Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN

AttrGAN weird neural network

Автор блога AI Weirdness Джанель Шейн (Janelle Shane) рассказала о генеративно-состязательной нейросети под названием AttnGAN, которая обучена рисовать изображения по текстовому описанию. Проблема в том, что она требует слишком точно заданных параметров картинки и порой не может определить границы объектов.

Примеры работ AttnGAN

Джанель отмечает, что, пока нейросеть была натренирована на узком наборе данных в виде птиц, у нее получались сносные изображения:

AttnGAN example 1

Однако когда создатели обучили ее на датасете, включающем картинки от овец до торговых центров, она не смогла создать осмысленное изображение по аналогичному описанию. Автор AI Weirdness считает, что ошибка кроется в слишком широком наборе исходных данных, в котором AttnGAN не смогла отобрать подходящие экземпляры:

AttnGAN example 2

К тому же, у нее почему-то наблюдается проблема с определением правильного количества отверстий на человеческом лице. Разработчики AttnGAN добавили в контрольный датасет лица знаменитостей для создания фотореалистичных портретов, но нейросети это оказалось не под силу:

AttnGAN example 3

В отображении животных и текстуры их шерсти тоже есть определенные ошибки: алгоритм неправильно определяет границу объекта и его формы, из-за чего все изображение текстурировано как шерсть овцы или жирафа:

AttnGAN animals

С другими примерами работ нейросети AttnGAN можно ознакомиться в блоге Джанель Шейн. Кроме того, разработчики предлагают сгенерировать изображение самому.

Автор AI Weirdness называет проект AttnGAN «Visual Chatbot наоборот». Данный чат-бот, о котором мы писали в конце июня 2018 года, анализирует изображение, которое отправляет пользователь, и описывает его, зачастую неправдоподобно.

Источник: AI Weirdness

Ещё интересное для вас:
— Биты, байты, Ада Лавлейс — тест на знание околоIT.
— Level Up — события и курсы, на которых можно поднять свой уровень.
— Работа мечты — лучшие IT-вакансии для вас.