Twitter научила нейросеть красиво обрезать фото для превью

Возможность загружать фото в твиты появилась еще в 2011 году, теперь же это неотъемлемая часть сервиса. Сотрудники компании долго искали способ отображать в одном приложении картинки разных размеров и форм.

Области высокой значимости

Сначала изображение обрезалось с фокусом в центре, но это не лучшее решение для большинства изображений. Ему на смену пришел алгоритм, использующий распознавание лиц, однако он бесполезен в отношении фотографий пейзажей, животных и других объектов.

В конце концов, инженеры обучили нейросеть редактировать фото так, чтобы в кадре оставались области высокой значимости, на которые человек в первую очередь обращает внимание. Данные для тренировки разработчики взяли из сторонних исследований того, на что человек в первую очередь обращает внимание при взгляде на изображение.

Вопрос оптимизации

Но возникла другая проблема: нейросеть обрабатывала изображения слишком долго, чтобы запустить процесс в реальном времени. И поскольку для создания превью нужно было грубое, поверхностное предсказание фокусной области, разработчики упростили алгоритм и избавились от тех частей системы, которые при больших затратах времени мало влияли на результат.

В итоге алгоритм работает в десять раз быстрее и позволяет формировать адекватное превью в реальном времени.

Статью с техническими подробностями разработчики выложили на arXiv.