Ученые представили технику создания «голограммы» из видеозаписи футбольного матча

Специалисты из Вашингтонского университета, Google и Facebook разработали систему, которая из записи футбольного матча на YouTube генерирует его трехмерную модель в дополненной реальности. Обученный на данных из игры FIFA, алгоритм предсказывает карту глубины для каждого игрока и воссоздает матч в динамике. За исключением мяча, отслеживание которого разработчики оставили на будущее.

Работа алгоритма

Ученые отметили в своей статье существование других техник рендеринга, однако все они требуют размещения на площадке большого количества синхронизированных между собой камер, передающих видео в высоком разрешении.

Представленная система работает на базе сверточной нейронной сети. Разработчики составили дата-сет из 12 тысяч пар «изображение — карта глубины» из игры FIFA и натренировали нейросеть отслеживать корреляцию между этими видами данных. При работе с видеозаписью матча алгоритм распознает каждого игрока, создает модель его скелета и динамику. Затем на основе тренировочных данных он предсказывает карту глубины для отдельного изображения и воссоздает игру в виртуальном пространстве. С очками дополненной реальности Microsoft HoloLens разработчики смогли разместить 3D-модель на поверхности стола.

Ограничения

Разработчики пока не уделяли внимание оптимизации, поэтому обработка видео на данном этапе требует большой вычислительной мощности. Они испытывали алгоритм на настольном компьютере с процессором Core i7, 32 ГБ оперативной памяти и видеокартой GTX 1080 на 6 ГБ — в этих условиях анализ каждого кадра в качестве 4K занимал около 15 секунд.

Качество модели могут ухудшить сильная размытость изображения из-за скорости движения, а также запись в низком разрешении. Кроме того, ученые отметили, что рассматривали только горизонтальное перемещение игроков — прыжки их алгоритм обработать не может.

В начале июня 2018 года группа ученых, работавших над проектом Face2Face, представила систему, которая в реальном времени воссоздает в виртуальной реальности движения человека — повороты головы, корпуса, шеи и даже мимику. Она может передавать эту динамику модели самого пользователя или другого человека.