NVIDIA представила ИИ для создания графики в компьютерных играх

NVIDIA рассказала о технологии, создающей фотореалистичную графику с помощью искусственного интеллекта. Такая технология может применяться в компьютерных играх, фильмах и виртуальной реальности. Прототип технологии представят 4 декабря 2018 года на конференции NeurIPS 2018 в Монреале.

Создание графики с помощью ИИ

Брайан Катандзаро (Bryan Catanzaro), вице-президент NVIDIA, заявил, что в основе новой технологии визуализации лежат глубокое обучение и генеративно-состязательная сеть (GAN, generative adversarial network). Такая нейросеть применяется в системах генерации и обработки изображений, например, в знаменитом «генераторе кошек» pix2pix.

NVIDIA усовершенствовала алгоритм и создала демонстрационную версию игры, в которой графика полностью генерируется с помощью ИИ. В демоверсии необходимо проехать несколько кварталов на машине. Хотя игрок не может выйти из транспорта или иначе взаимодействовать с миром, новая технология показывает возможность использования ИИ для создания виртуальных вселенных.

Принципы работы

На первом этапе разработчики собрали из открытых источников данные, использующиеся для обучения автономных автомобилей. Это были снимки неба, машин, домов, деревьев и прочего. Данные разбили на категории и «скормили» нейросети, которая обучалась создавать новые версии этих объектов.

На следующем этапе использовался игровой движок Unreal Engine 4, в котором разработчики создали «скелет» виртуального окружения. ИИ добавил в этот виртуальный мир графику. Для просчёта использовалась видеокарта Titan X. Катандзаро заявил, что структура VR-мира создана традиционными методами, за исключением графики. По его словам, это концепция, а не готовый продукт. Пока система работает с частотой 25 кадров в секунду, на большее не хватает мощности. Кроме того, разработчикам пришлось добавить «кратковременную память» системе, чтобы текстуры не менялись в каждом кадре.

Безопасность технологии и сроки появления

Система находится на ранней стадии тестирования. До выхода коммерческой версии могут пройти годы. Катандзаро сравнил ИИ-генерацию графики с технологией трассировки лучей, которая была создана давно, но лишь сейчас добралась до серийных устройств.

Вице-президент NVIDIA подтвердил, что новая технология может использоваться для создания поддельных изображений. При этом, по его словам, проблему дезинформации нужно решать не только в технологической плоскости. Он отметил, что система пригодится не только для создания графики, но также для роботов, беспилотных автомобилей и других подобных систем.

Нейросеть, создающая графику, решит в играх проблему разрешения текстур и необходимости хранить их в памяти. Создание графических объектов будет полностью автоматизировано, что ускорит игры и сделает их более гибкими.

В апреле 2018 года NVIDIA представила ИИ-технологию, которая восстанавливает повреждённые изображения и добавляет отсутствующие элементы. Разработчики утверждают, что эту технологию можно реализовать в программном обеспечении для редактирования фотографий.