Facebook обучила ИИ описывать происходящее на видео

Видеоролики давно стали основным контентом социальных сетей. Однако не все люди в силу физических ограничений могут использовать их. Потому в Facebook разработали систему VideoStory для обучения искусственного интеллекта, чтобы тот «автоматически рассказывал истории».

Принципы работы

В основе лежит система, которая анализирует видео и создаёт подробные описания к ролику. Технически это набор предложений, которые достаточно подробно описывают происходящее. Для обработки данных использовалась рекуррентная нейросеть, а в качестве «обучающего материала» выступили около 20 тысяч роликов и 123 тысячи предложений с описанием. Для этого выбирались популярные видео из социальных сетей.

Сама нейросеть должна была учитывать связь между прошлыми и будущими событиями на видео, для чего исследователи добавили понимание контекста.

Результаты работы

На первом этапе система сгенерировала описания, хотя предложения зачастую не были связаны между собой. Однако потенциально VideoStory может служить хорошим ориентиром для создания будущих систем описания происходящего на экране. Пока что сам проект не заявлен как коммерческий, потому неизвестно, когда он выйдет в качестве готового приложения.

К слову, такая же система может пригодиться слепым людям в повседневной жизни. Только она будет описывать не видео, а окружающий мир.

В конце октября 2018 года разработчики из Facebook представили набор правил (датасет) для систем распознавания естественных языков. Он позволяет расширить их возможности и улучшить восприятие.