Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN

Автор блога AI Weirdness Джанель Шейн (Janelle Shane) рассказала о генеративно-состязательной нейросети под названием AttnGAN, которая обучена рисовать изображения по текстовому описанию. Проблема в том, что она требует слишком точно заданных параметров картинки и порой не может определить границы объектов.

Примеры работ AttnGAN

Джанель отмечает, что, пока нейросеть была натренирована на узком наборе данных в виде птиц, у нее получались сносные изображения:

Однако когда создатели обучили ее на датасете, включающем картинки от овец до торговых центров, она не смогла создать осмысленное изображение по аналогичному описанию. Автор AI Weirdness считает, что ошибка кроется в слишком широком наборе исходных данных, в котором AttnGAN не смогла отобрать подходящие экземпляры:

К тому же, у нее почему-то наблюдается проблема с определением правильного количества отверстий на человеческом лице. Разработчики AttnGAN добавили в контрольный датасет лица знаменитостей для создания фотореалистичных портретов, но нейросети это оказалось не под силу:

В отображении животных и текстуры их шерсти тоже есть определенные ошибки: алгоритм неправильно определяет границу объекта и его формы, из-за чего все изображение текстурировано как шерсть овцы или жирафа:

С другими примерами работ нейросети AttnGAN можно ознакомиться в блоге Джанель Шейн. Кроме того, разработчики предлагают сгенерировать изображение самому.

Автор AI Weirdness называет проект AttnGAN «Visual Chatbot наоборот». Данный чат-бот, о котором мы писали в конце июня 2018 года, анализирует изображение, которое отправляет пользователь, и описывает его, зачастую неправдоподобно.