Нейросеть научилась «переносить» движения из видео на неподвижные фото людей

Команда разработчиков из Impersonator опубликовала на сайте информацию о новом проекте — Impersonator++. Его суть заключается в переносе движений из видеоисточника на людей, запечатлённых на фотографиях. В качестве одного из примеров работы технологии, компания показала, как она «заставила» Дональда Трампа играть с баскетбольным мячом, используя лишь одно фото с ним.

Для сохранения исходной информации о текстуре, цветах и т.д, разработчики использовали технологию Attentional Liquid Warping GAN вместе с Attentional Liquid Warping Block (AttLWB). С их помощью им удалось добиться максимально естественного «смешения» фото и видеоисточников при создании итогового видео. Свою роль в улучшении финального результата сыграло и использование состязательного обучения.

Более детально с принципом работы нейросети можно ознакомиться на GutHub-странице проекта. Там же можно найти инструкцию по запуску Impersonator++ (пока что проект работает лишь в консольном режиме).

Источник: Impersonator