Twitter научила нейросеть красиво обрезать фото для превью
Разработчики Twiter натренировали нейросеть обрезать фото так, чтобы в центре всегда была наиболее значимая область, на которую человек в первую очередь обращает внимание.
Возможность загружать фото в твиты появилась еще в 2011 году, теперь же это неотъемлемая часть сервиса. Сотрудники компании долго искали способ отображать в одном приложении картинки разных размеров и форм.
Области высокой значимости
Сначала изображение обрезалось с фокусом в центре, но это не лучшее решение для большинства изображений. Ему на смену пришел алгоритм, использующий распознавание лиц, однако он бесполезен в отношении фотографий пейзажей, животных и других объектов.
В конце концов, инженеры обучили нейросеть редактировать фото так, чтобы в кадре оставались области высокой значимости, на которые человек в первую очередь обращает внимание. Данные для тренировки разработчики взяли из сторонних исследований того, на что человек в первую очередь обращает внимание при взгляде на изображение.
Вопрос оптимизации
Но возникла другая проблема: нейросеть обрабатывала изображения слишком долго, чтобы запустить процесс в реальном времени. И поскольку для создания превью нужно было грубое, поверхностное предсказание фокусной области, разработчики упростили алгоритм и избавились от тех частей системы, которые при больших затратах времени мало влияли на результат.
В итоге алгоритм работает в десять раз быстрее и позволяет формировать адекватное превью в реальном времени.
Статью с техническими подробностями разработчики выложили на arXiv.
2К открытий2К показов
В GitHub Copilot появились ссылки на предложенный код, который был взят из других репозиториев. Также Copilot указывает лицензию на код.
Исследование показало, что помощники, такие как Copilot, пишут код, который по качеству похож на «хаотичную работу неопытного аутсорсера».
Лингвисты выяснили, что у разных языковых моделей есть собственные политические взгляды. Они не меняются, даже если переобучать модели.
Рассказываем, с чего началась история нейросетей и как игровая индустрия стала главным двигателем прогресса.