Нейросеть научилась анимировать людей на изображениях

Исследователи из Вашингтонского университета совместно с разработчиками из Facebook создали алгоритм, который «оживляет» людей на фотографиях. По единственному снимку он генерирует трёхмерную движущуюся модель фигуры, которая может садиться, прыгать, бегать и даже «выходить» за пределы изображения. Алгоритм работает также для рисунков и персонажей аниме.

Работа алгоритма

Для создания такой технологии исследователи воспользовались наработками коллег.

• Нейросеть Mask R-CNN распознаёт на изображении фигуру человека и выделяет её из фона.
• Другой алгоритм накладывает на фигуру упрощённую разметку скелета, определяя то, как она будет двигаться.
• Третий алгоритм «заполняет» пространство фона, ранее скрытое фигурой.

Далее собственный алгоритм исследователей на основе размеченной двумерной фигуры создаёт трёхмерную модель и по исходному изображению генерирует уровень текстуры.

Разработчики добавили пользовательский интерфейс, который позволяет менять позу фигуры, чтобы отредактировать саму фотографию или определить, с чего начнётся анимация. Кроме того, можно «оживить» рисунок или фотографию в дополненной реальности и увидеть объёмную фигуру в VR- или AR-очках.

Похожую технологию представили исследователи из DeepMind. Их алгоритм способен построить трёхмерную модель объекта по нескольким изображениям, что позволяет по фотографиям воссоздавать в виртуальной реальности объёмные сцены.