Независимый тест Gemini 4 Hydrogen: мало галлюцинаций, слабый терминал

Независимая лаборатория Artificial Analysis 12 ноября опубликовала замеры Gemini 4 Hydrogen, новой быстрой модели Google. На максимальном уровне рассуждений xhigh модель набрала 54 балла в Artificial Analysis Intelligence Index, на балл меньше Claude Sonnet 5.5 и GPT-6.1 Sol на уровне max. Задача индекса при этом обходится примерно в треть цены Sonnet, но в 2,5 раза дороже Sol.

Для разработчика это сторонняя проверка заявлений Google и подсказка, где Hydrogen стоит ставить в пайплайн. По замерам лаборатории, модель реже конкурентов выдумывает ответ там, где не знает его и хорошо работает с длинными документами и картинками, но в агентных задачах в терминале уступает Sonnet 5.5 и Sol, а дорогой уровень xhigh там ничего не добавляет.

Где Hydrogen оказалась в рейтинге Artificial Analysis?

Intelligence Index v5.0.1 у Artificial Analysis собирает девять тестов: офисные агентные задачи AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0 и Terminal-Bench-Science 0.1, FrontierCode-AA 2.0, проверку знаний и галлюцинаций AA-Omniscience, визуальный анализ длинных документов GDP.pdf, HLE-Diamond и CritPt v2 (Hard Subset). Все прогоны лаборатория делает сама через API.

С 54 баллами на xhigh Hydrogen идёт вслед за Claude Sonnet 5.5 и GPT-6.1 Sol на max (по 55) и на 4 балла опережает Gemini 4 Argon на high. Выше в рейтинге Claude Fable 5.2 (65), Gemini 4 Carbon (60), Claude Opus 5.5 (59) и GPT-6 Astra (57), все на максимальных уровнях. На уровне по умолчанию high у Hydrogen 51 балл: рядом GPT-6.1 Sol на xhigh и Claude Opus 5.5 на high, у обоих по 52. По подсчёту Artificial Analysis, на high модель выходит на уровень Gemini 4 Argon примерно за 19% её цены за задачу.

Intelligence Index и цена задачи по моделям. Источник: Artificial Analysis

Уровень xhigh появился у моделей Gemini впервые: раньше максимальным был high. У Hydrogen теперь четыре уровня рассуждений: low, medium, high и xhigh. Подробно об изменениях в API и о режиме Orchestrator в Antigravity мы писали в новости о выходе Hydrogen.

В чём Hydrogen сильнее конкурентов?

Самый заметный результат — готовность признать незнание. В AA-Omniscience доля галлюцинаций считается среди вопросов, на которые модель не ответила полностью правильно: какую часть из них она отвечает неверно, вместо того чтобы отказаться. У Hydrogen на xhigh это 8%, это один из самых низких результатов за всю историю теста. У Claude Sonnet 5.5 на max тот же показатель 43%, у GPT-6.1 Sol на max 52%.

Второе сильное место — визуальный анализ длинных документов. В GDP.pdf модель на уровне medium проходит все критерии в 33% попыток и делит первое место в этом тесте. В AA-Briefcase, где оценщики смотрят на результат офисной агентной работы, оформление ответов Hydrogen оценили выше, чем у других моделей Gemini, включая Carbon.

На практике это аргумент в пользу Hydrogen для задач, где ошибка в факте дороже скорости: извлечение данных из PDF и сканов, ответы по базе знаний, черновики отчётов.

Почему Hydrogen отстаёт в агентной работе в терминале?

На Terminal-Bench 4.0, где модель как агент решает задачи разработки в командной строке, у Hydrogen 54%. У Claude Sonnet 5.5 на max 64%, у GPT-6.1 Sol на max 56%. В научной версии Terminal-Bench-Science 0.1 у Hydrogen 50% против 53% у Sonnet и 58% у Sol.

Уровень xhigh помогает только на научных задачах: Terminal-Bench-Science вырос с 41% на high до 50%, а на Terminal-Bench 4.0 результат одинаковый, 54% на обоих уровнях. Результаты по научным областям ровные, от 46% в науках о Земле до 53% в физических науках.

Эти цифры расходятся с анонсом Google, где у Hydrogen 57% на Terminal-Bench 4.1. Сравнивать их напрямую нельзя: это разные версии бенчмарка и разные прогоны, у Google собственный, у Artificial Analysis независимый.

Сколько стоит xhigh и когда он окупается?

Hydrogen стоит $1,50 за миллион входных токенов и $7,50 за миллион выходных, кэшированный вход дешевле на 95%, то есть $0,075. Но итоговую цену определяет расход токенов: на xhigh модель генерирует почти вдвое больше выходных токенов, чем на high. За прогон всего индекса на xhigh она выдала 304 млн выходных токенов при медиане 72,8 млн у сопоставимых моделей.

Переход с high на xhigh даёт 3 балла индекса за 69% прибавки к цене задачи. По расчёту Artificial Analysis, на xhigh задача стоит около 32% от цены Claude Sonnet 5.5 на max при почти равном интеллекте, но примерно в 2,5 раза больше, чем у GPT-6.1 Sol на max.

Скорость вывода около 200 токенов в секунду. На уровнях high, medium и low модель лежит на границе Парето по соотношению времени задачи и интеллекта: нет моделей, которые одновременно умнее и решают задачу быстрее. На xhigh расчётное время задачи индекса по методике лаборатории 13 минут.

Какой уровень рассуждений выбрать?

По замерам Artificial Analysis, на Terminal-Bench 4.0 xhigh не дал прироста к high, а средняя задача индекса на high дешевле в 1,7 раза. Google в документации всё же рекомендует xhigh для сложных многошаговых задач кодинга, где high не справляется. xhigh имеет смысл проверять также на научных и аналитических задачах, где он заметно поднял результат. Google сама советует прогнать собственные оценки на всех четырёх уровнях и выбрать самый низкий, который даёт нужное качество.

Для сравнения старших моделей Google посмотрите разбор Gemini 4 Carbon, которая в том же индексе набирает 60 баллов.

Контекстное окно Hydrogen 1 млн токенов, на вход модель принимает текст, изображения, видео и речь, на выходе отдаёт текст. Приведённые независимые результаты получены на бенчмарках, поэтому на своём коде модель стоит проверить самому.

Источники: Artificial Analysis в X: разбор Gemini 4 Hydrogen, Artificial Analysis: Gemini 4 Hydrogen, Google: Introducing Gemini 4 Hydrogen, Gemini API: Pricing

Изображение на обложке: Tproger по данным Artificial Analysis