Нейросеть научили создавать фотографии с новых ракурсов

Исследователи из Google разработали алгоритм Stereo Magnification, который из двух снятых с близких ракурсов кадров создает новые снимки с других ракурсов. По мнению исследователей, технологию можно использовать для создания стереопар с помощью двухкамерных смартфонов.

Как это работает?

Для создания Stereo Magnification исследователи использовали сверточную нейросеть. На основе полученной пары снимков алгоритм генерирует многоплоскостное представление кадра. Каждое представление состоит из равноудаленных друг от друга слоев, несущих информацию о цвете и прозрачности расположенных на нем областей. Имея объемное представление сцены в кадре, нейросеть создает фотографии с новых ракурсов.

Обучение

Для обучения потребовалось более 1500 роликов с YouTube, в которых камера движется относительно статичных объектов. В результате исследователи научились создавать стереопару, в которой расстояние между кадрами в восемь раз больше, чем в исходных снимках.

Нейросеть корректно обрабатывает отражения от глянцевых поверхностей, снятые на улице или в помещениях кадры. Иногда алгоритм неправильно определяет глубину нахождения мелких объектов на текстурированном или разноцветном фоне, из-за чего в новых ракурсах они выглядят нереалистично.

Работа с изображениями является самым частым применением нейронных сетей. В мае 2018 года разработчики использовали сверточную нейросеть для создания алгоритма PrimNet. Система должна помочь в спасении вымирающих видов животных. В то же время исследователи из Intel научили искусственный интеллект ретушировать фотографии с плохим освещением.