Ученые разработали MoSculp, программу для изображения движения в 3D

MoSculp, совместная работа ученых MIT и Калифорнийского университета в Беркли, построена на базе нейронной сети. Разработка анализирует видеозапись движущегося человека и генерирует то, что создатели назвали «интерактивной визуализацией формы и времени». По словам ведущего специалиста проекта Ксиума Чжана (Xiuming Zhang), ПО будет полезно атлетам для детального разбора движений.

Как работает MoSculp

На первом этапе система покадрово сканирует видео и определяет положение ключевых точек тела объекта, таких как локти, колени, лодыжки. Для этого ученые решили прибегнуть к библиотеке OpenPose, разработанной Университетом Карнеги — Меллона. На основе полученных данных нейросеть составляет 3D-модель человека в каждом кадре, а потом рассчитывает траекторию движения, получая «скульптуру движения».

На этом этапе изображение, по словам разработчиков, страдает от нехватки текстур и деталей, поэтому приложение интегрирует «скульптуру» в оригинальное видео. Чтобы избежать наложений, MoSculp рассчитывает карту глубины для оригинального объекта и 3D-модели.

Оператор может корректировать изображение в процессе обработки, выбрать материал «скульптуры», цвет, освещение, а также какие части тела будут отслеживаться. Система способна напечатать результат с помощью 3D-принтера.

Перспективы развития

Команда исследователей заявила о планах дальнейшего развития технологии MoSculp. Разработчики хотят добиться от системы обработки более одного объекта на видео, что в настоящее время невозможно. Создатели технологии считают, что программа будет использоваться для изучения групповой динамики, социальных расстройств и межличностных взаимодействий.

Принцип создания 3D-модели на основе движений человека уже использовался раньше. Например, в августе 2018 года ученые того же Калифорнийского университета в Беркли продемонстрировали алгоритм, переносящий движения одного человека на другого.