Facebook опубликовала новые стандарты для видео в 360˚

Facebook 360 video

Стандарты SSIM360 и 360VQM Facebook опубликовала в своем блоге 9 марта. SSIM360 служит для оценки качества отдельных компонентов кодировки и воспроизведения, в то время как 360VQM оценивает качество видео в целом.

Исследователь Facebook в области VR Шэннон Чен (Shannon Chen) объяснил, почему компания решила разработать собственные стандарты. Он надеется, что SSIM360 и 360VQM найдут широкое применение в создании контента, так как стандарты, существующие для «плоского» видео, не подходят для видео в 360˚.

Зачем нужны новые стандарты?

Кодировка обычного контента оценивается с помощью индекса структурного подобия (SSIM), который показывает, насколько закодированное видео совпадает с оригинальным. SSIM разбивает каждый кадр на маленькие сегменты (как квадратики на изображении ниже), и каждому из них выставляется определенная оценка. На их основе рассчитывается средний балл для каждого кадра и видео в целом.

SSIM work example

Однако такой метод не работает для видео в 360˚. Чтобы показать почему, рассмотрим два изображения с фрагментом карты. Оба закодированы кодеком, который искажает часть карты, где видно Антарктику. При наложении на сферу изображения выглядят одинаково. Но SSIM даст примеру слева меньший балл, так как на нем не учитываются деформации, и искаженная часть занимает большую часть карты.

SSIM work example1

Решение с помощью SSIM360

Чтобы устранить эту проблему, в Facebook разработали SSIM360. Он присваивает каждой оценке определенный вес, на основе которого рассчитывается средний балл. Чем сильнее оцениваемый участок растянут, тем меньше его вес. Новый стандарт снижает вероятность ошибки на 50 %.

Для чего тогда нужен 360QVM?

Из-за того, что SSIM360 оценивает не область зрения пользователя, а кадр целиком, стандарт становится менее полезным на практике. К тому же он не учитывает оптимизацию, зависящую от взгляда пользователя.

Разработчики решили эту проблему с помощью карт распределения. Первая измеряет количество пикселей внутри поля зрения, а вторая использует систему оценки SSIM360 для отображения изменения плотности пикселей.

The mapping

Эта система образует метрику качества видео в 360˚ (360QVM). Разработчики поясняют, что 360QVM улавливает изменение качества во время кодирования, а затем накладывает этот эффект на финальный балл для расчета оптимизации изображения.

Ниже приведена схема работы двух стандартов при оценке видео:

Standarts work scheme

Это не первая разработка Facebook в сфере контента 360˚. В 2017 году разработчики компании создали с использованием машинного обучения систему прогнозирования взгляда пользователя во время просмотра видео.

Источник: блог Facebook

Ещё интересное для вас:
Тест: какой язык программирования вам стоит выбрать для изучения?
Тест: как хорошо вы разбираетесь в Data Science?
Соревнования и бесплатная онлайн-школа для программистов