Twitter научила нейросеть красиво обрезать фото для превью
Новости
В блоге Twitter сотрудники компании рассказали о том, как внедряли алгоритм автоматической обрезки изображений для предпросмотра.
2К открытий2К показов
Возможность загружать фото в твиты появилась еще в 2011 году, теперь же это неотъемлемая часть сервиса. Сотрудники компании долго искали способ отображать в одном приложении картинки разных размеров и форм.
Области высокой значимости
Сначала изображение обрезалось с фокусом в центре, но это не лучшее решение для большинства изображений. Ему на смену пришел алгоритм, использующий распознавание лиц, однако он бесполезен в отношении фотографий пейзажей, животных и других объектов.
В конце концов, инженеры обучили нейросеть редактировать фото так, чтобы в кадре оставались области высокой значимости, на которые человек в первую очередь обращает внимание. Данные для тренировки разработчики взяли из сторонних исследований того, на что человек в первую очередь обращает внимание при взгляде на изображение.
Вопрос оптимизации
Но возникла другая проблема: нейросеть обрабатывала изображения слишком долго, чтобы запустить процесс в реальном времени. И поскольку для создания превью нужно было грубое, поверхностное предсказание фокусной области, разработчики упростили алгоритм и избавились от тех частей системы, которые при больших затратах времени мало влияли на результат.
В итоге алгоритм работает в десять раз быстрее и позволяет формировать адекватное превью в реальном времени.
Статью с техническими подробностями разработчики выложили на arXiv.
2К открытий2К показов
Лучшие курсы по нейронным сетям. Полный рейтинг вариантов обучения для программистов: бесплатные и платные курсы, а также онлайн-уроки по нейросетям от ведущих школ
IT-блогер Хауди Хо рассказал в новом видео, как сделать собственную нейросеть на языке Python всего за 10 минут.
IT-блогер Alex Ziskind сделал обзор на Cody — помощника на основе искусственного интеллекта, который пишет код за вас.
Простое объяснение работы нейронных сетей и искусственного интеллекта. Что такое ИИ, машинное обучение, LLM и Deep Learning, как они развивались и где применяются сегодня.