Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN
Особенность AttnGAN в том, что она требует слишком точно заданных параметров картинки и порой не может определить границы или форму объектов.
Автор блога AI Weirdness Джанель Шейн (Janelle Shane) рассказала о генеративно-состязательной нейросети под названием AttnGAN, которая обучена рисовать изображения по текстовому описанию. Проблема в том, что она требует слишком точно заданных параметров картинки и порой не может определить границы объектов.
Примеры работ AttnGAN
Джанель отмечает, что, пока нейросеть была натренирована на узком наборе данных в виде птиц, у нее получались сносные изображения:
Однако когда создатели обучили ее на датасете, включающем картинки от овец до торговых центров, она не смогла создать осмысленное изображение по аналогичному описанию. Автор AI Weirdness считает, что ошибка кроется в слишком широком наборе исходных данных, в котором AttnGAN не смогла отобрать подходящие экземпляры:
К тому же, у нее почему-то наблюдается проблема с определением правильного количества отверстий на человеческом лице. Разработчики AttnGAN добавили в контрольный датасет лица знаменитостей для создания фотореалистичных портретов, но нейросети это оказалось не под силу:
В отображении животных и текстуры их шерсти тоже есть определенные ошибки: алгоритм неправильно определяет границу объекта и его формы, из-за чего все изображение текстурировано как шерсть овцы или жирафа:
С другими примерами работ нейросети AttnGAN можно ознакомиться в блоге Джанель Шейн. Кроме того, разработчики предлагают сгенерировать изображение самому.
Автор AI Weirdness называет проект AttnGAN «Visual Chatbot наоборот». Данный чат-бот, о котором мы писали в конце июня 2018 года, анализирует изображение, которое отправляет пользователь, и описывает его, зачастую неправдоподобно.
