Учёные разработали нейросеть, создающую 3D-модели человека по короткому видео
Исследователи из Германии научили нейросеть создавать 3D-модели по 3−5 секундному видео, снятому с одного угла. Средняя погрешность системы составила 5 миллиметров.
Исследователи из Института информатики Общества Макса Планка и Брауншвейгского технического университета создали искусственный интеллект, которому достаточно видео длительностью в 3−5 секунд, снятого с одного угла, для создания трёхмерной модели.
Как это работает?
Система состоит из трёх этапов. Сначала нейросеть распознаёт силуэт и отделяет его от фона, приблизительно оценивая форму тела и местоположение суставов. Далее «ставит» человека на каждом из кадров в позу с разведенными в стороны руками, затем объединяет эту информацию в одну более точную модель. Наконец, на третьем этапе она добавляет цвета и текстуры волос, одежды и кожи.
Исследователи протестировали метод с различными формами тела, одеждой и фоном — средняя погрешность составила 5 миллиметров. Искусственный интеллект воспроизводит складки на ткани, но плохо справляется с юбками и длинными волосами. С его помощью можно «изменить» вес, одежду и даже «сделать» танцевальный пируэт. Полный отчёт разработчики планируют представить в июне 2018 года на конференции CVPR.
В начале апреля 2018 года учёные из Индии научили нейросеть создавать короткие видео из размытых изображений. Она ищет схожие искажения в базе и восстанавливает движения объекта по существующему примеру.