Google разработала способ сделать VR-гарнитуру прозрачной

Несмотря на развитие технологий виртуальной реальности, демонстрация её возможностей зачастую выглядит довольно-таки неловко. Можно часами скакать на сцене, чтобы доказать реалистичность технологий, но пока потребитель сам не наденет гарнитуру, он не сможет ощутить всех прелестей виртуальной реальности.

Наконец, кто-то взялся за решение этой проблемы. Google, Daydreams Labs и YouTube Spaces расширили возможности VR-гарнитуры, позволив наблюдателям видеть лицо пользователя устройства в то время, когда они погружены в виртуальный мир.

Таким образом исследователи надеются придать VR-демонстрациям больше правдивости и погрузить наблюдающих в процесс, продоставляя им «законченную картину» виртуального мира.

Данная задача была решена благодаря технологии «смешанной реальности», которая совмещает виртуальное пространство пользователя и 2D-видео, чтобы позволить другим оценить процесс погружения по достоинству. Кроме того, была решена еще одна проблема. VR-гарнитура всегда скрывает лицо пользователя, лишая зрителей возможности увидеть его выражение лица и эмоции.

И как они это сделали?

Используя комбинацию стереозрения, технологию машинного обучения и графические приёмы, исследователи разработали решение, которое «раскрывает лицо пользователя, «убирая» гарнитуру и создавая эффект сквозного просмотра».

Технология состоит из трех основных компонентов. Сначала работает так называемый «динамический захват модели лица» пользователя, который использует её как «прокси» для синтезирования лица в смешанной реальности, что дает эффект «удаленной» гарнитуры.

Чтобы создать модель лица, Google использует следующий метод: пользователь сидит напротив монитора и следит глазами за маркером. Затем происходит калибровка лица, которая занимает меньше минуты, и синхронизация с базой данных текстур.

На следующем этапе используется внешняя камера, захватывающая видеопоток пользователя VR, сидящего напротив «зеленого экрана». Модель лица синхронизируется с видео, что в итоге дает сквозной эффект.

Удаление гарнитуры может улучшить различные аспекты виртуальной коммуникации, например, в VR видео-конференциях и многопользовательских играх.