Сбер вакансии Backend
Сбер вакансии Backend
Сбер вакансии Backend
Написать пост

Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN

Новости

Особенность AttnGAN в том, что она требует слишком точно заданных параметров картинки и порой не может определить границы или форму объектов.

1К открытий1К показов

Автор блога AI Weirdness Джанель Шейн (Janelle Shane) рассказала о генеративно-состязательной нейросети под названием AttnGAN, которая обучена рисовать изображения по текстовому описанию. Проблема в том, что она требует слишком точно заданных параметров картинки и порой не может определить границы объектов.

Примеры работ AttnGAN

Джанель отмечает, что, пока нейросеть была натренирована на узком наборе данных в виде птиц, у нее получались сносные изображения:

Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN 1

Однако когда создатели обучили ее на датасете, включающем картинки от овец до торговых центров, она не смогла создать осмысленное изображение по аналогичному описанию. Автор AI Weirdness считает, что ошибка кроется в слишком широком наборе исходных данных, в котором AttnGAN не смогла отобрать подходящие экземпляры:

Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN 2

К тому же, у нее почему-то наблюдается проблема с определением правильного количества отверстий на человеческом лице. Разработчики AttnGAN добавили в контрольный датасет лица знаменитостей для создания фотореалистичных портретов, но нейросети это оказалось не под силу:

Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN 3

В отображении животных и текстуры их шерсти тоже есть определенные ошибки: алгоритм неправильно определяет границу объекта и его формы, из-за чего все изображение текстурировано как шерсть овцы или жирафа:

Создатель AI Weirdness обнаружила плохо рисующую, но старательную нейросеть AttnGAN 4

С другими примерами работ нейросети AttnGAN можно ознакомиться в блоге Джанель Шейн. Кроме того, разработчики предлагают сгенерировать изображение самому.

Автор AI Weirdness называет проект AttnGAN «Visual Chatbot наоборот». Данный чат-бот, о котором мы писали в конце июня 2018 года, анализирует изображение, которое отправляет пользователь, и описывает его, зачастую неправдоподобно.

Следите за новыми постами
Следите за новыми постами по любимым темам
1К открытий1К показов