Учёные разработали нейросеть, создающую 3D-модели человека по короткому видео

Исследователи из Института информатики Общества Макса Планка и Брауншвейгского технического университета создали искусственный интеллект, которому достаточно видео длительностью в 3−5 секунд, снятого с одного угла, для создания трёхмерной модели.

Как это работает?

Система состоит из трёх этапов. Сначала нейросеть распознаёт силуэт и отделяет его от фона, приблизительно оценивая форму тела и местоположение суставов. Далее «ставит» человека на каждом из кадров в позу с разведенными в стороны руками, затем объединяет эту информацию в одну более точную модель. Наконец, на третьем этапе она добавляет цвета и текстуры волос, одежды и кожи.

Исследователи протестировали метод с различными формами тела, одеждой и фоном — средняя погрешность составила 5 миллиметров. Искусственный интеллект воспроизводит складки на ткани, но плохо справляется с юбками и длинными волосами. С его помощью можно «изменить» вес, одежду и даже «сделать» танцевальный пируэт. Полный отчёт разработчики планируют представить в июне 2018 года на конференции CVPR.

В начале апреля 2018 года учёные из Индии научили нейросеть создавать короткие видео из размытых изображений. Она ищет схожие искажения в базе и восстанавливает движения объекта по существующему примеру.