Представлена технология, заменяющая фон в реальном времени качественнее, чем существующие аналоги

В отличие от того же Zoom, Background Matting V2 заменяет фон в реальном времени так, что можно увидеть отдельные локоны.

Группа исследователей из Вашингтонского университета разработали новую технологию Background Matting V2, сообщается на сайте учебного заведения. Они сумели добиться более качественной замены фона на видео, чем в приложениях по типу Zoom. Особенно сильно разница бросается в глаза в фрагментах с волосами и очками.



Обратите внимание, как качественно «вырезаны» отдельные локоны волос / Источник: Вашингтонский университет

Инструмент способен заменять фон в 4К-видео при 30 к/сек и в HD-видео при 60 к/сек. В основу разработки легла технология background matting. Её суть заключается в использовании двух вариантов одного и того же кадра: с человеком и без него.

Чтобы добиться итогового результата, исследователи использовали две нейросети. Одна занималась вычислением результатов с низким разрешением, а итог её работы уточняла вторая нейросеть, работавшая с материалами высокого качестве на выборочных участках.

У проекта имеется своя страница на GitHub. Для использования инструмента, необходимо иметь достаточно современное железо. Речь идёт как минимум о видеокарте уровня NVIDIA RTX 2080 Ti и выше.

Источник: Вашингтонский университет