Нейросеть научилась воссоздавать трехмерные сцены по фотографиям
Новости Отредактировано
Алгоритм из генеративной и репрезентативной сетей наблюдает сцену с нескольких ракурсов, а затем создает ее трехмерную модель с произвольного угла обзора.
2К открытий2К показов
Разработчики из DeepMind представили алгоритм Generative Query Network (GQN) на нейросетях, который исследует двумерную сцену и определяет, как она будет выглядеть в трехмерном пространстве.
Обучение
GQN состоит из генеративной и репрезентативной сетей. Репрезентативная нейросеть кодирует информацию о полученных двумерных изображениях и представляет ее в виде вектора. Затем генеративная сеть предсказывает, как будет выглядеть окружение с новой точки наблюдения, и создает трехмерный рендер.
Если нейросеть видит один и тот же объект много раз, то запоминает его характеристики и использует при последующих взаимодействиях. По словам разработчиков, ИИ способен воспроизвести лабиринт, просканировав несколько сделанных изнутри фотографий.
Эксперименты
Тесты в виртуальном трехмерном мире показали, что GQN создает качественные изображения без знаний о законах перспективы или освещения. Также система классифицирует частично скрытые объекты и считает их количество.
Разработчики обучали нейросети только на искусственно созданных данных, однако в перспективе они намерены использовать реальные сцены.
В мае 2018 года исследователи из Google представили алгоритм Stereo Magnification, который из двух снятых с близких ракурсов кадров воссоздает новые снимки с других ракурсов. В отличие от GQN, он не создает изображения с принципиально другого угла обзора, но работает с реальными фотографиями.
2К открытий2К показов
В этой статье мы разберем не только тему применения ИИ в разработке сайтов, но и поделимся мнениями действующих разработчиков из нашей компании об использовании нейросетей в своей работе – узнаем, действительно ли разрабам уже сегодня есть какая-то помощь и польза от ИИ, и от каких инструментов конкретно?
Весной в сети появилась информация, что Apple будет покупать OpenAI — компанию, которая разработала ChatGPT. Разбираемся, что известно сейчас и что будет, если сделка состоится.
Руководство Google уволило еще больше сотрудников, участвовавших в протестах против контракта компании с израильским правительством
Open-source решения помогают разработчикам совместно использовать и улучшать написанный код. К 2024 году накопилось много таких проектов — в статье разберем самые громкие из них.