Нейросеть научилась превращать изображения в китайскую поэзию

Microsoft обучила систему искуственного интеллекта XiaoIce считывать картинку и генерировать китайские стихи с описанием того, что на ней изображено.

Создание

Система состоит из двух нейросетей. Одна из них распознает детали на картинке и выделяет ключевые слова, а затем генерирует стихотворение. Вторая часть оценивает итог. Алгоритм получал от исследователей набор инструкций и работал до достижения наилучшего результата. Если он не устраивал исследователей, они меняли набор инструкций и снова запускали систему.

Например, для такого изображения алгоритм генерирует стих:

Крылья держат камни и воду слегкав одиночествеГуляют в пустотеЗемля становится мягкой

По словам ученых, современная китайская поэзия требует большого воображения и творческого использования языка, что является сложной задачей даже для человека.

Чтобы определить качество работы программы, исследователи провели эксперименты, где предложили людям выбрать между стихами бота Microsoft и других алгоритмов. В подавляющем большинстве участники выбирали первый вариант.

В апреле 2018 года Microsoft создала новый способ анализа человеческой речи одновременно с разговором специально для чат-ботов, которые будут предсказывать дальнейшие указания пользователя. Технология дебютировала в ботах Microsoft XiaoIce и Rinna.