Нейросеть научилась воссоздавать трехмерные сцены по фотографиям
Новости Отредактировано
Алгоритм из генеративной и репрезентативной сетей наблюдает сцену с нескольких ракурсов, а затем создает ее трехмерную модель с произвольного угла обзора.
2К открытий2К показов
Разработчики из DeepMind представили алгоритм Generative Query Network (GQN) на нейросетях, который исследует двумерную сцену и определяет, как она будет выглядеть в трехмерном пространстве.
Обучение
GQN состоит из генеративной и репрезентативной сетей. Репрезентативная нейросеть кодирует информацию о полученных двумерных изображениях и представляет ее в виде вектора. Затем генеративная сеть предсказывает, как будет выглядеть окружение с новой точки наблюдения, и создает трехмерный рендер.
Если нейросеть видит один и тот же объект много раз, то запоминает его характеристики и использует при последующих взаимодействиях. По словам разработчиков, ИИ способен воспроизвести лабиринт, просканировав несколько сделанных изнутри фотографий.
Эксперименты
Тесты в виртуальном трехмерном мире показали, что GQN создает качественные изображения без знаний о законах перспективы или освещения. Также система классифицирует частично скрытые объекты и считает их количество.
Разработчики обучали нейросети только на искусственно созданных данных, однако в перспективе они намерены использовать реальные сцены.
В мае 2018 года исследователи из Google представили алгоритм Stereo Magnification, который из двух снятых с близких ракурсов кадров воссоздает новые снимки с других ракурсов. В отличие от GQN, он не создает изображения с принципиально другого угла обзора, но работает с реальными фотографиями.
2К открытий2К показов
В этой статье мы разберем не только тему применения ИИ в разработке сайтов, но и поделимся мнениями действующих разработчиков из нашей компании об использовании нейросетей в своей работе – узнаем, действительно ли разрабам уже сегодня есть какая-то помощь и польза от ИИ, и от каких инструментов конкретно?
Google готовится к выпуску Android 15 уже 15 октября. Правда, на первом этапе обновление получат только устройства серии Pixel
Оператор карт «Мир» представил технологию «Волна», позволяющую оплачивать покупки с iPhone и Android через Bluetooth без необходимости использования Apple Pay
Выпуск новостей от Типичного программиста. Иногда нам кажется, что современные новости действительно пишет нейронка, хотя это наша с вами реальность (к счастью, или к сожалению).