Виммельбух, 2, перетяжка
Виммельбух, 2, перетяжка
Виммельбух, 2, перетяжка

Ученые создали ИИ, который на видео переносит танцевальные движения одного человека на другого

Новости

На основе двух видео нейросеть генерирует третье, где движения танцора повторяет обычный человек. Такой вид обработки записи называют «глубоким фейком».

20К открытий20К показов

Четверо ученых из Калифорнийского университета в Беркли разработали алгоритм, создающий на основе видео с танцем фейковую запись, на которой другой человек выполняет те же движения. Для глубокой обработки он требует двадцатиминутной съемки с частотой 120 кадров в секунду.

Превью видео PCBTZh41Ris

Подробнее об алгоритме

В основе технологии лежит алгоритм на генеративно-состязательных нейросетях. Отдельная подпрограмма обрабатывает заранее записанные видео (источник и целевое) и накладывает движения на простую фигуру — каркас человеческого тела.

Ученые создали ИИ, который на видео переносит танцевальные движения одного человека на другого 1

Затем алгоритм переносит движения профессионала на запись любительского танца и «выравнивает» итоговое видео, чтобы фигура сильно не «дергалась» от кадра к кадру и лицо находилось там, где ему положено.

Ученые создали ИИ, который на видео переносит танцевальные движения одного человека на другого 2

Ограничения

Исследователи признают, что синтезированное видео хоть и выглядит реалистично, но не лишено артефактов: части тела иногда дрожат или вовсе исчезают, а некоторые кадры выглядят размытыми. Кроме того, алгоритм не умеет обрабатывать поведение ткани при движении человека, поэтому люди на целевом видео носят обтягивающую одежду, которая почти не образует складок.

Такой вид обработки видео называют «глубоким фейком». В середине августа 2018 года специалисты из университета Карнеги — Меллона представили Recycle-GAN, которая способна воссоздавать мимику одного человека на лице другого, моделировать распускание цветка и изменять погоду на видеозаписях. Подобный результат обеспечивает приложение FakeApp, выпущенное в январе 2018 года, а также алгоритмы Face2Face и HeadOn.

Следите за новыми постами
Следите за новыми постами по любимым темам
20К открытий20К показов