Нейросеть научили реалистично копировать мимику и поведение человека

Международная группа исследователей из университетов Германии, США, Франции и Великобритании разработала нейронную сеть, реалистично переносящую выражение лица одного человека на другого между двумя видеозаписями. Разработчики планируют представить алгоритм, получивший название Deep Video, на конференции SIGGRAPH 2018.

Как работает Deep Video?

В качестве основы программа берет два видео с людьми крупным планом. Затем алгоритм принимает параметры лица исходного человека и накладывает их на модель из целевого видео. После создается фотореалистичный рендер лица человека из второго видео с новыми параметрами. Эти данные передаются порождающей нейросети, которая компилирует из рендеров реалистичный видеоролик:

Imgur: The magic of the Internet

imgur.com

Кроме изображения лица человека, Deep Video автоматически редактирует задний фон, основываясь на других кадрах видео. Более того, он позволяет в реальном времени вручную изменять положение головы и выражение лица.

Демонстрация технологии

Разработчики показали практические возможности нейросети и сравнили алгоритм с аналогичными технологиями в видео:

Также был проведен небольшой эксперимент с добровольцами. По результатам отмечено, что людям сложно определить, реальное перед ними изображение человека или созданное нейросетью Deep Video.

Эффективность алгоритма зависит от входных данных: если сеть встретит незнакомое выражение лица, на видео могут появиться неожиданные артефакты.

В последнее время появилось множество проектов, создающих реалистичные модели людей из заданных источников. В апреле 2018 года ученые из Германии разработали алгоритм создания трехмерной модели человека по короткому видео.