Стэнфордские исследователи научили нейросеть создавать мемы

Ученые из Университета Стэнфорда Эйбел Пирсон (Abel Peirson) и Мелтем Толунай (Meltem Tolunay) опубликовали доклад о новой модели машинного обучения, способной создавать мемы. Для обучения использовался набор из 400 000 картинок на различные тематики с сайта memegenerator.net. Исследователи остановили выбор на мемах в стиле «советующих животных».

Нейросеть основывается на комбинации заранее обученной сети типа Inception-v3 для анализа изображений и рекуррентных сетей долгой краткосрочной памяти для создания подписей.

Качество мемов

После того, как нейросеть научилась связывать текст с изображением на нем, исследователи начали тестировать ее. Сперва получался бессмысленный набор слов:

Но после нескольких попыток ученые получили неплохие результаты:

Проверка человеком

Ученые проверили работу нейронной сети на фокус-группе, которая должна была определить, кем создан мем и насколько он хорош. Люди смогли вычислить мем, созданный машиной, в 70 % случаев. В своем докладе авторы написали, что в среднем «искусственный» мем сложно отличить от «настоящего» в контексте качества шутки в нем. Тем не менее, они подчеркивают, что это субъективная оценка.

Нейронные сети достаточно хорошо научились работать с генерацией изображений и текстов. В конце апреля 2018 года команда ученых из Microsoft и Киотского университета рассказала о нейросети, способной создавать стихи на основе заданных изображений.