🔥 Google Genie 3 научился создавать 3D-миры, по которым можно прогуляться в 720p@24fps

Google DeepMind представила Genie 3 — новую версию своего ИИ, способного генерировать интерактивные 3D-миры по текстовому описанию.

Теперь пользователи могут «прогуляться» по созданным мирам в разрешении 720p при 24 кадрах в секунду и с сохранением визуальной и физической целостности сцены на протяжении нескольких минут.

Если раньше модели могли генерировать лишь видео или фрагменты виртуальных пространств, то Genie 3 позволяет взаимодействовать с миром в реальном времени, включая свободную навигацию и реакцию на действия пользователя.

Что умеет Genie 3

Модель способна:

• воспроизводить физику — от отражений на воде до ветра и взаимодействия с поверхностью;
• генерировать правдоподобные ландшафты — от японских садов до вулканов и побережий;
• создавать фантастические сцены — например, парящего острова, порталов в пустыню или сказочных лесов;
• переносить пользователя в прошлое или другие места — от Древней Греции до улиц Венеции;
• поддерживать «chain-of-memory» — помнить, что происходило в мире несколько минут назад, и обеспечивать целостность среды при повторном возвращении в локации;
• интегрировать «promptable events» — то есть менять погоду, добавлять объекты или события по текстовому запросу.

ИИ для агентов и обучения

Genie 3 не просто красивый генератор. Это модель, с которой уже взаимодействуют обучающиеся агенты.

Например, агент SIMA от DeepMind решает задачи внутри этих миров, отправляя навигационные команды.

Genie 3 не знает целей агента, а лишь «пишет» развитие мира в ответ на его действия. Это делает симуляции полезными для тестирования и развития будущих автономных систем.

В чём техническая сложность?

Генерация мира — авторегрессивная, кадр за кадром, с учётом всей предыдущей траектории перемещения.

Чтобы пользователь мог вернуться в ранее посещённое место и увидеть его таким же — модель должна вспомнить и восстановить детали ландшафта и окружения. Это требует огромной вычислительной мощности, особенно при работе в 24 fps в реальном времени.

Пока не AGI, но шаг в ту сторону

Genie 3 не претендует на полную имитацию реальности — модель не способна точно воспроизвести реальные географические объекты, ограничена в действиях агентов, а продолжительность взаимодействия пока не превышает нескольких минут.

Но даже так, это один из самых продвинутых подобных ИИ в открытом доступе.

Ответственность и осторожность

DeepMind подчёркивает, что Genie 3 доступен пока лишь в рамках ограниченного исследовательского превью — для академиков и разработчиков, чтобы собрать отзывы и лучше оценить риски.