Facebook обучила ИИ описывать происходящее на видео

Facebook создала нейросеть VideoStory

Видеоролики давно стали основным контентом социальных сетей. Однако не все люди в силу физических ограничений могут использовать их. Потому в Facebook разработали систему VideoStory для обучения искусственного интеллекта, чтобы тот «автоматически рассказывал истории».

Принципы работы

В основе лежит система, которая анализирует видео и создаёт подробные описания к ролику. Технически это набор предложений, которые достаточно подробно описывают происходящее. Для обработки данных использовалась рекуррентная нейросеть, а в качестве «обучающего материала» выступили около 20 тысяч роликов и 123 тысячи предложений с описанием. Для этого выбирались популярные видео из социальных сетей.

Facebook создала нейросеть для описания видео

Сама нейросеть должна была учитывать связь между прошлыми и будущими событиями на видео, для чего исследователи добавили понимание контекста.

Результаты работы

На первом этапе система сгенерировала описания, хотя предложения зачастую не были связаны между собой. Однако потенциально VideoStory может служить хорошим ориентиром для создания будущих систем описания происходящего на экране. Пока что сам проект не заявлен как коммерческий, потому неизвестно, когда он выйдет в качестве готового приложения.

Facebook создала нейросеть для описания видео

К слову, такая же система может пригодиться слепым людям в повседневной жизни. Только она будет описывать не видео, а окружающий мир.

В конце октября 2018 года разработчики из Facebook представили набор правил (датасет) для систем распознавания естественных языков. Он позволяет расширить их возможности и улучшить восприятие.

via VentureBeat
Source: статья Facebook AI Research

Подобрали три теста для вас:
— А здесь можно применить блокчейн?
Серверы для котиков: выберите лучшее решение для проекта и проверьте себя.
Сложный тест по C# — проверьте свои знания.

Также рекомендуем: