Нейросеть научилась «переносить» движения из видео на неподвижные фото людей

С помощью новой технологии, человека можно, например, заставить танцевать, имея лишь одно-единственное изображение с ним. Причём, в отличие от прошлых попыток реализовать подобное, свежая разработка делает это на качественно новом уровне.

Команда разработчиков из Impersonator опубликовала на сайте информацию о новом проекте — Impersonator++. Его суть заключается в переносе движений из видеоисточника на людей, запечатлённых на фотографиях. В качестве одного из примеров работы технологии, компания показала, как она «заставила» Дональда Трампа играть с баскетбольным мячом, используя лишь одно фото с ним.



Пример работы Impersonator++ / Источник: Impersonator

Для сохранения исходной информации о текстуре, цветах и т.д, разработчики использовали технологию Attentional Liquid Warping GAN вместе с Attentional Liquid Warping Block (AttLWB). С их помощью им удалось добиться максимально естественного «смешения» фото и видеоисточников при создании итогового видео. Свою роль в улучшении финального результата сыграло и использование состязательного обучения.

Более детально с принципом работы нейросети можно ознакомиться на GutHub-странице проекта. Там же можно найти инструкцию по запуску Impersonator++ (пока что проект работает лишь в консольном режиме).

Источник: Impersonator