Тимур Кондратьев

Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN

Особенность AttnGAN в том, что она требует слишком точно заданных параметров картинки и порой не может определить границы или форму объектов.

1458

Автор блога AI Weirdness Джанель Шейн (Janelle Shane) рассказала о генеративно-состязательной нейросети под названием AttnGAN, которая обучена рисовать изображения по текстовому описанию. Проблема в том, что она требует слишком точно заданных параметров картинки и порой не может определить границы объектов.

Примеры работ AttnGAN

Джанель отмечает, что, пока нейросеть была натренирована на узком наборе данных в виде птиц, у нее получались сносные изображения:

Однако когда создатели обучили ее на датасете, включающем картинки от овец до торговых центров, она не смогла создать осмысленное изображение по аналогичному описанию. Автор AI Weirdness считает, что ошибка кроется в слишком широком наборе исходных данных, в котором AttnGAN не смогла отобрать подходящие экземпляры:

К тому же, у нее почему-то наблюдается проблема с определением правильного количества отверстий на человеческом лице. Разработчики AttnGAN добавили в контрольный датасет лица знаменитостей для создания фотореалистичных портретов, но нейросети это оказалось не под силу:

В отображении животных и текстуры их шерсти тоже есть определенные ошибки: алгоритм неправильно определяет границу объекта и его формы, из-за чего все изображение текстурировано как шерсть овцы или жирафа:

С другими примерами работ нейросети AttnGAN можно ознакомиться в блоге Джанель Шейн. Кроме того, разработчики предлагают сгенерировать изображение самому.

Автор AI Weirdness называет проект AttnGAN «Visual Chatbot наоборот». Данный чат-бот, о котором мы писали в конце июня 2018 года, анализирует изображение, которое отправляет пользователь, и описывает его, зачастую неправдоподобно.

Следите за новыми постами по любимым темам

Подпишитесь на интересующие вас теги, чтобы следить за новыми постами и быть в курсе событий.

Машинное обучение
Нейронные сети
Распознавание
1458
Что думаете?
0 комментариев
Сначала интересные
Курсы
набор еще идетонлайн7590₽
набор еще идетонлайнбесплатно
набор еще идетонлайнбесплатно
набор еще идетонлайн2790₽
Все курсы