Microsoft разработала бота-художника

Программу обучили создавать рисунки по текстовым описаниям.

Исследователям из Microsoft удалось разработать нейросеть, умеющую рисовать картинки по текстовому описанию. Технология получила название Attentional Generative Adversarial Network (AttnGAN).

Особенности

В основу бота положено две модели машинного обучения, одна из которых отвечает за генерацию изображения по тексту, а другая проверят его достоверность. Все это происходит с усиленной опорой на анализ актуальных слов из описания на естественном языке, что позволяет создавать правдоподобные рисунки по частям без потери существенных деталей.

Кроме того, обученная программа умеет дорисовывать объекты, которые по смыслу дополняют картину, даже если они напрямую не прописаны в текстовом задании. Например, большинство птиц на фото сидят на ветках, и сеть, вероятнее всего, в таком виде их и изобразит.

Эта птица красно-белая с очень коротким клювом

Эта птица красно-белая с очень коротким клювом

Разработчики считают, что при наличии достаточного количества вычислительных мощностей, бота можно было бы обучить рисовать мультики по тексту сценария.

Математическое описание модели и больше примеров доступно в официальном отчете.

Источник: Microsoft

Наши тесты для вас:
Какой язык программирования стоит выбрать для изучения?
Что вы знаете о работе мозга?
Насколько вы гиканутый?