Создан алгоритм Flare для оптимизации потоковой передачи VR-видео
Новости Отредактировано
Система Flare способна предугадывать направление взгляда человека и на основании этого показывать ему только нужные кадры.
704 открытий739 показов
На конференции MobiCom 2018 учёные из Индианского университета в Блумингтоне (США) и исследователи из AT&T Labs представили систему Flare. Она способна во время просмотра потокового VR-видео предугадывать направление взгляда человека и на основании этого показывать ему только нужные кадры.
Исследователи реализовали прототип Flare в виде Android-приложения для смартфонов, которые можно использовать как экран VR-шлема.
Проблема с потоковым VR-видео
Разрешение, а следовательно, и размер видео с покрытием 360 градусов в четыре раза больше, чем у обычных роликов для просмотра на мониторе. Кроме того, для более полного погружения требуется онлайн-передача с минимальной скоростью 60 кадров в секунду. Такое современным беспроводным сетям не под силу.
Решение Flare
Система с помощью датчиков на смартфоне отслеживает движение головы пользователя в трёх измерениях. С помощью метода линейной регрессии она предсказывает будущую траекторию на секунду вперёд, а метод регуляризации Тихонова позволяет Flare «заглядывать» даже дальше. После этого система рассчитывает, какая часть видео должна попасть в поле зрения человека и скачивает только эти кадры, но с небольшим запасом на случай ошибки.
Конкретные кадры рассчитываются по сетке 4 на 6. Помимо координат запрос к серверу также содержит указание на качество записи, определяемое по количеству кадров и скорости передачи данных.
Обучение и тестирование
Для обучения алгоритма исследователи использовали данные от 130 добровольцев, которые просмотрели десяток VR-роликов по несколько минут каждый. Тестирование показало, что при просмотре видео с использованием LTE-соединения система Flare помогла увеличить качество картинки на 22 %, при этом сократила требуемую пропускную способность сети на 35 %.
В мае 2018 года Google показала технологию обработки VR-контента, которая также предназначена для оптимизации затрачиваемых на отрисовку ресурсов. Алгоритм Seurat научился упрощать 3D-объекты, показывая только «фасады» объектов, но сохраняя глубину и детализацию изображения.
704 открытий739 показов
Как выбрать оптимальный маршрут для автомобиля или определить самый выгодный вариант перелёта с учетом возможных пересадок? Алгоритм Дейкстры предлагает эффективное решение задачи поиска в графе кратчайших путей от заданной вершины. Разбираем подробнее.
Использование команд find и mkdir в bash-скриптах позволяет реализовать сложные алгоритмы и вычисления. Узнайте, как эти команды помогают достигать новых высот в программировании.
Математика и компьютерные науки идут рука об руку. Подобрали 7 математических формул разного уровня сложности для проверки — сможете ли вы их реализовать? И на всякий случай снабдили статью нашими решениями.
Адель Валиуллин делится опытом участия в соревнованиях и рассказывает, как занять высокое место в рейтинге Kaggle.