Представлена технология, заменяющая фон в реальном времени качественнее, чем существующие аналоги

Аватар Булат Яббаров

В сравнении с реализацией функции той же Zoom, разработка исследователей из Вашингтонского университета выглядит как заметный скачок вперёд.

Группа исследователей из Вашингтонского университета разработали новую технологию Background Matting V2, сообщается на сайте учебного заведения. Они сумели добиться более качественной замены фона на видео, чем в приложениях по типу Zoom. Особенно сильно разница бросается в глаза в фрагментах с волосами и очками.

Представлена технология, заменяющая фон в реальном времени качественнее, чем существующие аналоги 1

Инструмент способен заменять фон в 4К-видео при 30 к/сек и в HD-видео при 60 к/сек. В основу разработки легла технология background matting. Её суть заключается в использовании двух вариантов одного и того же кадра: с человеком и без него.

Чтобы добиться итогового результата, исследователи использовали две нейросети. Одна занималась вычислением результатов с низким разрешением, а итог её работы уточняла вторая нейросеть, работавшая с материалами высокого качестве на выборочных участках.

У проекта имеется своя страница на GitHub. Для использования инструмента, необходимо иметь достаточно современное железо. Речь идёт как минимум о видеокарте уровня NVIDIA RTX 2080 Ti и выше.

Источник: Вашингтонский университет

Нейронные сети
2231