Сбер AIJ 11.12.24
Сбер AIJ 11.12.24
Сбер AIJ 11.12.24

Нейросеть научилась «переносить» движения из видео на неподвижные фото людей

Новости Отредактировано

С помощью новой технологии, человека можно, например, заставить танцевать, имея лишь одно-единственное изображение с ним. Причём, в отличие от прошлых попыток реализовать подобное, свежая разработка делает это на качественно новом уровне.

2К открытий2К показов

Команда разработчиков из Impersonator опубликовала на сайте информацию о новом проекте — Impersonator++. Его суть заключается в переносе движений из видеоисточника на людей, запечатлённых на фотографиях. В качестве одного из примеров работы технологии, компания показала, как она «заставила» Дональда Трампа играть с баскетбольным мячом, используя лишь одно фото с ним.

Нейросеть научилась «переносить» движения из видео на неподвижные фото людей 1

Для сохранения исходной информации о текстуре, цветах и т.д, разработчики использовали технологию Attentional Liquid Warping GAN вместе с Attentional Liquid Warping Block (AttLWB). С их помощью им удалось добиться максимально естественного «смешения» фото и видеоисточников при создании итогового видео. Свою роль в улучшении финального результата сыграло и использование состязательного обучения.

Превью видео Zkrcx3_DtCw

Более детально с принципом работы нейросети можно ознакомиться на GutHub-странице проекта. Там же можно найти инструкцию по запуску Impersonator++ (пока что проект работает лишь в консольном режиме).

Источник: Impersonator

Следите за новыми постами
Следите за новыми постами по любимым темам
2К открытий2К показов