Создан алгоритм Flare для оптимизации потоковой передачи VR-видео

На конференции MobiCom 2018 учёные из Индианского университета в Блумингтоне (США) и исследователи из AT&T Labs представили систему Flare. Она способна во время просмотра потокового VR-видео предугадывать направление взгляда человека и на основании этого показывать ему только нужные кадры.

Исследователи реализовали прототип Flare в виде Android-приложения для смартфонов, которые можно использовать как экран VR-шлема.

Проблема с потоковым VR-видео

Разрешение, а следовательно, и размер видео с покрытием 360 градусов в четыре раза больше, чем у обычных роликов для просмотра на мониторе. Кроме того, для более полного погружения требуется онлайн-передача с минимальной скоростью 60 кадров в секунду. Такое современным беспроводным сетям не под силу.

Решение Flare

Система с помощью датчиков на смартфоне отслеживает движение головы пользователя в трёх измерениях. С помощью метода линейной регрессии она предсказывает будущую траекторию на секунду вперёд, а метод регуляризации Тихонова позволяет Flare «заглядывать» даже дальше. После этого система рассчитывает, какая часть видео должна попасть в поле зрения человека и скачивает только эти кадры, но с небольшим запасом на случай ошибки.

Конкретные кадры рассчитываются по сетке 4 на 6. Помимо координат запрос к серверу также содержит указание на качество записи, определяемое по количеству кадров и скорости передачи данных.

Обучение и тестирование

Для обучения алгоритма исследователи использовали данные от 130 добровольцев, которые просмотрели десяток VR-роликов по несколько минут каждый. Тестирование показало, что при просмотре видео с использованием LTE-соединения система Flare помогла увеличить качество картинки на 22 %, при этом сократила требуемую пропускную способность сети на 35 %.

В мае 2018 года Google показала технологию обработки VR-контента, которая также предназначена для оптимизации затрачиваемых на отрисовку ресурсов. Алгоритм Seurat научился упрощать 3D-объекты, показывая только «фасады» объектов, но сохраняя глубину и детализацию изображения.