NVIDIA показала нейросеть для создания фотореалистичных пейзажей по наброскам

На конференции GTC 2019 NVIDIA представила демоверсию нейросети GauGAN, которая умеет превращать схематичные рисунки в фотореалистичные изображения.

Как работает GauGAN?

Модель GauGAN, названная в честь знаменитого художника Поля Гогена, использует генеративно-состязательные нейросети для обработки сегментированных изображений. Генератор создаёт изображение и передаёт его обученному на реальных фотографиях дискриминатору. Он в свою очередь попиксельно подсказывает генератору, что и где исправить.

Проще говоря, принцип работы нейросети похож на разукрашивание раскраски, только вместо детских рисунков она выдаёт красивейшие пейзажи. Её создатели подчёркивают, что она не просто склеивает куски изображений, а генерирует уникальные, как настоящий художник.

Что ещё она умеет?

Помимо прочего, нейросеть умеет имитировать стили различных художников и менять времена суток и года на изображении. Также она генерирует реалистичные отражения на водных поверхностях, вроде прудов и рек.

Пока что GauGAN настроена для работы с пейзажами, но архитектура нейросети позволяет обучить её создавать и урбанистические изображения. Исходный текст доклада в PDF доступен по ссылке.

И зачем она нужна?

GauGAN может пригодиться как архитекторам и градостроителям, так и ландшафтным дизайнерам с разработчиками игр. ИИ, который понимает, как выглядит реальный мир, упростит реализацию их идей и поможет быстро вносить в них изменения.

А попробовать-то можно?

Пока нет, но скоро нейросеть будет доступна на площадке AI Playground.