Ученые создали ИИ, который на видео переносит танцевальные движения одного человека на другого

Четверо ученых из Калифорнийского университета в Беркли разработали алгоритм, создающий на основе видео с танцем фейковую запись, на которой другой человек выполняет те же движения. Для глубокой обработки он требует двадцатиминутной съемки с частотой 120 кадров в секунду.

Подробнее об алгоритме

В основе технологии лежит алгоритм на генеративно-состязательных нейросетях. Отдельная подпрограмма обрабатывает заранее записанные видео (источник и целевое) и накладывает движения на простую фигуру — каркас человеческого тела.

Затем алгоритм переносит движения профессионала на запись любительского танца и «выравнивает» итоговое видео, чтобы фигура сильно не «дергалась» от кадра к кадру и лицо находилось там, где ему положено.

Ограничения

Исследователи признают, что синтезированное видео хоть и выглядит реалистично, но не лишено артефактов: части тела иногда дрожат или вовсе исчезают, а некоторые кадры выглядят размытыми. Кроме того, алгоритм не умеет обрабатывать поведение ткани при движении человека, поэтому люди на целевом видео носят обтягивающую одежду, которая почти не образует складок.

Такой вид обработки видео называют «глубоким фейком». В середине августа 2018 года специалисты из университета Карнеги — Меллона представили Recycle-GAN, которая способна воссоздавать мимику одного человека на лице другого, моделировать распускание цветка и изменять погоду на видеозаписях. Подобный результат обеспечивает приложение FakeApp, выпущенное в январе 2018 года, а также алгоритмы Face2Face и HeadOn.