Перетяжка, Дом карьеры
Перетяжка, Дом карьеры
Перетяжка, Дом карьеры

Ученые представили технику создания «голограммы» из видеозаписи футбольного матча

Новости Отредактировано

Обученный на данных из игры FIFA, алгоритм предсказывает карту глубины для каждого игрока и воссоздает матч в дополненной реальности — за исключением мяча.

1К открытий1К показов

Специалисты из Вашингтонского университета, Google и Facebook разработали систему, которая из записи футбольного матча на YouTube генерирует его трехмерную модель в дополненной реальности. Обученный на данных из игры FIFA, алгоритм предсказывает карту глубины для каждого игрока и воссоздает матч в динамике. За исключением мяча, отслеживание которого разработчики оставили на будущее.

Превью видео eRGAB4QBS6U

Работа алгоритма

Ученые отметили в своей статье существование других техник рендеринга, однако все они требуют размещения на площадке большого количества синхронизированных между собой камер, передающих видео в высоком разрешении.

Представленная система работает на базе сверточной нейронной сети. Разработчики составили дата-сет из 12 тысяч пар «изображение — карта глубины» из игры FIFA и натренировали нейросеть отслеживать корреляцию между этими видами данных. При работе с видеозаписью матча алгоритм распознает каждого игрока, создает модель его скелета и динамику. Затем на основе тренировочных данных он предсказывает карту глубины для отдельного изображения и воссоздает игру в виртуальном пространстве. С очками дополненной реальности Microsoft HoloLens разработчики смогли разместить 3D-модель на поверхности стола.

Ученые представили технику создания «голограммы» из видеозаписи футбольного матча 1

Ограничения

Разработчики пока не уделяли внимание оптимизации, поэтому обработка видео на данном этапе требует большой вычислительной мощности. Они испытывали алгоритм на настольном компьютере с процессором Core i7, 32 ГБ оперативной памяти и видеокартой GTX 1080 на 6 ГБ — в этих условиях анализ каждого кадра в качестве 4K занимал около 15 секунд.

Качество модели могут ухудшить сильная размытость изображения из-за скорости движения, а также запись в низком разрешении. Кроме того, ученые отметили, что рассматривали только горизонтальное перемещение игроков — прыжки их алгоритм обработать не может.

В начале июня 2018 года группа ученых, работавших над проектом Face2Face, представила систему, которая в реальном времени воссоздает в виртуальной реальности движения человека — повороты головы, корпуса, шеи и даже мимику. Она может передавать эту динамику модели самого пользователя или другого человека.

Следите за новыми постами
Следите за новыми постами по любимым темам
1К открытий1К показов