NVIDIA выложила Alpamayo 2 Edge: модель вождения на 2 млрд параметров

Компактная модель «зрение, язык, действие» для автономного вождения доступна на Hugging Face вместе с кодом инференса.

Обложка: NVIDIA выложила Alpamayo 2 Edge: модель вождения на 2 млрд параметров

NVIDIA 10 ноября выложила на Hugging Face Alpamayo 2 Edge, компактную модель для автономного вождения класса VLA (зрение, язык, действие). Она принимает кадры с шести камер, историю движения автомобиля и текстовую навигационную подсказку, а выдаёт траекторию на 6,4 секунды вперёд и текстовое объяснение, почему выбрано именно такое действие. Веса опубликованы под лицензией OpenMDW-1.1, код инференса — под Apache 2.0.

Модель вместе с кодом можно скачать и запустить без закрытых соглашений: доступ к весам не ограничен, есть Jupyter-блокнот с примерами и симулятор для проверки. NVIDIA проверяла её только на H100 и для описанной в карточке конфигурации рекомендует не меньше 16 ГБ памяти GPU; нужны Linux и видеокарта NVIDIA с поддержкой BF16. Данные для примеров лежат в отдельном датасете со своими условиями доступа.

Ключевые выводы
  • Состав: основа на 2,45 млрд параметров (языковая модель 1,96 млрд, зрительный кодировщик SigLIP2 0,41 млрд, проектор 0,08 млрд) и «эксперт действий» на 0,2 млрд.
  • На входе 22 кадра с шести камер, 20 прошлых положений автомобиля и текст; на выходе 64 точки траектории с шагом 0,1 секунды.
  • Обучение: около 115 тыс. часов видео с нескольких камер и около 3,7 млн размеченных цепочек рассуждений.
  • По замерам NVIDIA, в симуляторе AlpaSim модель проезжает 15,15 км между инцидентами по своей вине.
  • Компания Embedl показала оптимизированную сборку для Jetson AGX Thor: 11 решений в секунду при росте ошибки на 1,8%.

Что умеет модель и как она устроена?

Alpamayo 2 Edge построена на основе NVIDIA Cosmos 3 Edge, зрительно-языковой модели семейства Nemotron, к которой добавлен диффузионный декодер действий. В карточке модели она названа рассуждающей: перед тем как выдать траекторию, модель генерирует текст в формате Chain-of-Causation, то есть цепочку «что вижу, поэтому делаю». Каждому варианту траектории соответствует собственное рассуждение. Модели также можно задавать свободные вопросы о дорожной сцене.

Для прогноза траектории используются шесть камер и 22 кадра: по пять кадров с двух фронтальных камер за последние две секунды и по три с четырёх боковых и задних камер за последнюю секунду. К ним добавляются 20 прошлых положений автомобиля с шагом 0,1 секунды и текстовая навигационная инструкция. На выходе модель выдаёт 64 путевые точки от 0,1 до 6,4 секунды: координаты и матрицы поворота в системе отсчёта автомобиля. Декодер предсказывает ускорение и кривизну на каждом шаге, а в положения их переводит простая кинематическая модель.

Обучающий набор NVIDIA описывает так: около 115 000 часов вождения с нескольких камер (с разметкой движения и траекторий) и около 3,7 млн цепочек Chain-of-Causation, часть из которых сгенерирована синтетически. Разметка — на английском языке.

Какие результаты заявляет NVIDIA?

Все цифры ниже взяты из карточки модели — это собственные замеры разработчика. В замкнутом контуре модель проверяли в открытом симуляторе AlpaSim на 875 сценариях по три прогона на каждый: 15,15 км пути на один инцидент по вине модели (съезд с дороги или столкновение), плюс-минус 0,04 км между наборами прогонов. В разомкнутом контуре на 1392 примерах ошибка лучшей из шести траекторий на горизонте 5 секунд составила 0,52 м.

Результаты Alpamayo 2 Edge в тестах на понимание дорожных сцен, по данным NVIDIA

8 сервисов, 2 столбца
Результаты Alpamayo 2 Edge в тестах на понимание дорожных сцен, по данным NVIDIA
ТестРезультат
LingoQA, Lingo-Judge75,2
SURDS86,50
Ego3D, точность84,94
WaymoQA, все вопросы75,77
WaymoQA, критичные для безопасности71,09
VLADBench69,94
nuReasoning, выбор ответа78,58
KITScenes, сцена89,46
Листайте столбцы →Смахните влевоВсе 2 столбца
карточка модели nvidia/Alpamayo2-Edge на Hugging Face

Сравнения с другими моделями в карточке нет, поэтому судить по этим числам, насколько модель хороша относительно конкурентов, нельзя. Километры между инцидентами получены в симуляции на реконструированных сценах — этот показатель годится для сравнения версий между собой и ничего не обещает о поведении на дороге.

На чём её запускать?

В карточке указана среда для запуска: Linux, Python 3.12, PyTorch 2.8.0 и Transformers 5.17.0. Замер NVIDIA сделан на одной H100 с 80 ГБ: при одном примере из 22 кадров, точности BF16 и шести вариантах траектории процесс занял 12,06 ГиБ памяти GPU. Отсюда рекомендация иметь не меньше 16 ГБ. Другие видеокарты, по словам компании, не проверялись, а потребление памяти зависит от числа вариантов траектории и размера входа.

Целевая платформа модели — автомобильный компьютер NVIDIA DRIVE AGX Thor. Компания Embedl, которая оптимизирует модели под встраиваемое железо, опубликовала сборку для Jetson AGX Thor на TensorRT Edge-LLM 0.10.1 с квантованием NVFP4 и FP8. По её замерам, сборка выдаёт 11 решений в секунду, а при живом потоке с камер на 10 Гц — 9,4 решения в секунду. Ошибка траектории на 1434 примерах выросла на 1,8% относительно исходных весов BF16 при доверительном интервале от снижения на 1,7% до роста на 5,2%. Это замеры заинтересованной стороны: Embedl продаёт такую оптимизацию.

Что разрешает лицензия и чего ждать дальше?

Веса распространяются под OpenMDW-1.1, разрешительной лицензией, написанной специально для моделей и сопутствующих материалов; код в репозитории NVlabs/alpamayo2-edge выпущен под Apache 2.0. Регион развёртывания в карточке указан как Global, ограничений по странам там нет. Датасет PhysicalAI-Autonomous-Vehicles, из которого берутся кадры для примеров, требует отдельно принять свои условия.

NVIDIA подчёркивает, что модель служит отправной точкой для дообучения и встраивания, а готовым автопилотом компания её не называет: интеграция в реальную систему требует собственных испытаний на данных под конкретное применение. Для большинства разработчиков модель сейчас полезна прежде всего в исследовательских задачах: разобрать архитектуру VLA для вождения, прогнать сценарии в AlpaSim, попробовать дообучение на своих данных.

Источники: Hugging Face: nvidia/Alpamayo2-Edge, карточка модели, GitHub: NVlabs/alpamayo2-edge, OpenMDW License 1.1, Embedl: Alpamayo 2 Edge на AGX Thor, GitHub: NVlabs/alpasim