NVIDIA научила нейросеть превращать котов в собак и наоборот

Мультимодальная система MUNIT одновременно заменяет изображение одного животного на несколько других, а также работает с видео. Подобную технологию NVIDIA выпустила в декабре 2017 года, однако она умела выдавать только одну картинку.

Как это работает?

Сначала искусственный интеллект отделяет содержимое от стиля. Например, поза кошки — это содержание, а ее порода — это стиль. Содержание остается неизменным, а один стиль заменяется на другие (овчарка, домашняя короткошерстная кошка, леопард).

Чтобы научить ИИ мультимодальному переводу изображений, разработчики использовали самообучение и генеративно-состязательные сети (GAN). Второй алгоритм подразумевает участие двух нейросетей, одна из которых генерирует образцы, а другая старается отличить верные от неверных. Как правило, для перевода картинок и видео требуется база возможных исходов, из которых выбирается конечный результат. MUNIT работает без нее.

По словам разработчиков, метод поможет обучить глубокие нейронные сети для их использования в беспилотных автомобилях. В сфере игр мультимодальный перевод изображений облегчит процесс создания новых персонажей и миров.

В марте 2017 года NVIDIA представила технологию, которая рендерит видео до кинематографического качества в реальном времени. Для ее распространения компания заключила партнерство с Microsoft.