Facebook обучила ИИ описывать происходящее на видео

Новости

Технология VideoStory может пригодиться для людей с ограниченными возможностями. К примеру, для слабовидящих или слепых.

777 открытий788 показов
Facebook обучила ИИ описывать происходящее на видео

Видеоролики давно стали основным контентом социальных сетей. Однако не все люди в силу физических ограничений могут использовать их. Потому в Facebook разработали систему VideoStory для обучения искусственного интеллекта, чтобы тот «автоматически рассказывал истории».

Принципы работы

В основе лежит система, которая анализирует видео и создаёт подробные описания к ролику. Технически это набор предложений, которые достаточно подробно описывают происходящее. Для обработки данных использовалась рекуррентная нейросеть, а в качестве «обучающего материала» выступили около 20 тысяч роликов и 123 тысячи предложений с описанием. Для этого выбирались популярные видео из социальных сетей.

Facebook обучила ИИ описывать происходящее на видео 1

Сама нейросеть должна была учитывать связь между прошлыми и будущими событиями на видео, для чего исследователи добавили понимание контекста.

Результаты работы

На первом этапе система сгенерировала описания, хотя предложения зачастую не были связаны между собой. Однако потенциально VideoStory может служить хорошим ориентиром для создания будущих систем описания происходящего на экране. Пока что сам проект не заявлен как коммерческий, потому неизвестно, когда он выйдет в качестве готового приложения.

Facebook обучила ИИ описывать происходящее на видео 2

К слову, такая же система может пригодиться слепым людям в повседневной жизни. Только она будет описывать не видео, а окружающий мир.

В конце октября 2018 года разработчики из Facebook представили набор правил (датасет) для систем распознавания естественных языков. Он позволяет расширить их возможности и улучшить восприятие.

Следите за новыми постами
Следите за новыми постами по любимым темам
777 открытий788 показов