Facebook начала использовать ИИ для улучшения загружаемых 360-градусных изображений

Facebook анонсировала использование искусственного интеллекта в обработке 360-градусных фотографий пользователей. Компания хочет, чтобы после загрузки в социальную сеть изображения выглядели так, как их видели во время съёмки.

Для чего это нужно Facebook?

Глубинное обучение будет корректировать все фотографии, исправляя, например, невыдержанную линию горизонта. Если изображение наклонено, это может разрушить эффект погружения при просмотре в режиме виртуальной реальности. Нейронная сеть Facebook на вход получает изображение, а результатом работы являются параметры наклона и поворота, применив которые к исходнику, можно выровнять линию горизонта. Данная нейронная сеть основана на популярной системе распознавания изображений AlexNet.

Улучшение качества 360-градусных фотографий пользователей является одной из ключевых целей компании, которая вкладывает значительные средства в VR, например, в Facebook Spaces. Если изображения, используемые для создания эффекта присутствия в приложении, не будут выглядеть безупречно, это может оставить не лучшие впечатления от продукта.

Как справиться с большим весом подобных фотографий?

В дополнение к исправлению качества изображений, Facebook должна учитывать и огромный объём данных, загружаемых на серверы. Сервисы компании конвертируют фотографии и сохраняют в их кубах различного разрешения. Затем кубы делятся на квадраты размером 512×512 пикселей. Когда же пользователь просматривает подобную фотографию, Facebook вычисляет, какое разрешение и какое место в изображении должно быть подгружено. В случае невозможности предоставить достаточно высокое качество, например, из-за скорости подключения, социальная сеть уменьшает разрешение до оптимального.