Нейросеть научилась «переносить» движения из видео на неподвижные фото людей
Причём в отличие от множества аналогов, представленных ранее, новинка делает это на совершенно ином, качественно более высоком уровне.
Команда разработчиков из Impersonator опубликовала на сайте информацию о новом проекте — Impersonator++. Его суть заключается в переносе движений из видеоисточника на людей, запечатлённых на фотографиях. В качестве одного из примеров работы технологии, компания показала, как она «заставила» Дональда Трампа играть с баскетбольным мячом, используя лишь одно фото с ним.
Для сохранения исходной информации о текстуре, цветах и т.д, разработчики использовали технологию Attentional Liquid Warping GAN вместе с Attentional Liquid Warping Block (AttLWB). С их помощью им удалось добиться максимально естественного «смешения» фото и видеоисточников при создании итогового видео. Свою роль в улучшении финального результата сыграло и использование состязательного обучения.
Более детально с принципом работы нейросети можно ознакомиться на GutHub-странице проекта. Там же можно найти инструкцию по запуску Impersonator++ (пока что проект работает лишь в консольном режиме).
Источник: Impersonator