Microsoft разработала бота-художника

Ученым из исследовательского цента Microsoft удалось создать нейронную сеть, которая умеет создавать рисунки по текстовому описанию.

Исследователям из Microsoft удалось разработать нейросеть, умеющую рисовать картинки по текстовому описанию. Технология получила название Attentional Generative Adversarial Network (AttnGAN).

Особенности

В основу бота положено две модели машинного обучения, одна из которых отвечает за генерацию изображения по тексту, а другая проверят его достоверность. Все это происходит с усиленной опорой на анализ актуальных слов из описания на естественном языке, что позволяет создавать правдоподобные рисунки по частям без потери существенных деталей.

Кроме того, обученная программа умеет дорисовывать объекты, которые по смыслу дополняют картину, даже если они напрямую не прописаны в текстовом задании. Например, большинство птиц на фото сидят на ветках, и сеть, вероятнее всего, в таком виде их и изобразит.

Разработчики считают, что при наличии достаточного количества вычислительных мощностей, бота можно было бы обучить рисовать мультики по тексту сценария.

Математическое описание модели и больше примеров доступно в официальном отчете.