Artificial Analysis обновила Intelligence Index до v5: новые тесты и лидеры

27 октября 2026 года Artificial Analysis выпустила пятую версию Intelligence Index, сводного рейтинга, по которому ИИ-лаборатории и разработчики сравнивают модели. Это крупнейшее обновление с января, когда вышла v4: в индекс добавили два новых теста, три обновили и три убрали.

Главное изменение в том, что 60% индекса теперь считается по тестам с закрытыми наборами задач или скрытыми ответами. Такие тесты сложнее «выучить»: задач нет в открытом доступе, и они не попадают в обучающие данные моделей.

Что изменилось в составе индекса

Новых тестов два. FrontierCode 2.0 от Cognition, разработчика агента Devin, состоит из 132 задач в реальных открытых репозиториях. Задачу засчитывают, только если мейнтейнер принял бы изменение агента: провал любой блокирующей проверки даёт ноль, а сами задачи закрыты, чтобы модели не видели их при обучении. Terminal-Bench-Science содержит 70 научно-исследовательских задач, которые агент выполняет в терминале, задача проходит, только если пройдены все её тесты.

Три теста обновили:

• HLE-Diamond заменил Humanity's Last Exam: это очищенная версия из 1000 вопросов, поровну на рассуждения и на знания;
• в AA-Omniscience v1.1 убрали вопросы, которые модели уже решают почти все, и вопросы из открытого набора, добавили новые и исправили неоднозначные;
• CritPt v2 теперь считается по закрытому подмножеству из 40 сложных задач по физике, модели решают их с инструментом для выполнения кода.

AA-Briefcase, AutomationBench-AA, GDP.pdf и Terminal-Bench 4.0 остались в индексе. Убрали GDPval-AA v2.1, SciCode и AA-LCR v1.1.

Кто лидирует

В день запуска v5 первой была Claude Opus 5.5 в режиме max с 58 баллами, за ней GPT-6 Astra с 57 и GPT-6.1 Sol с 55. Первые пять мест заняли модели Anthropic и OpenAI, Gemini 4 Argon оказалась следующей с 50 баллами.

Artificial Analysis Intelligence Index v5 на 27 октября. Источник: Artificial Analysis

Расклад продержался день. 28 октября Google анонсировала Gemini 4 Carbon, и Artificial Analysis поставила её на первое место с 59 баллами. Обновлённый рейтинг есть на сайте Artificial Analysis.

Ни одна модель не лидирует во всех девяти тестах. Claude Opus 5.5 первая в трёх, остальные шесть делят пять других моделей:

• Claude Opus 5.5: FrontierCode 2.0 (46%), HLE-Diamond (68%) и AA-Omniscience v1.1 (48 баллов);
• GPT-6 Astra: Terminal-Bench-Science (63%) и CritPt v2 (72%);
• Claude Sonnet 5.5: AA-Briefcase (1812 пунктов Эло);
• Kimi K3.1 Pro: Terminal-Bench 4.0 (67%);
• Gemini 4 Argon: AutomationBench-AA (78%);
• Muse Wonder Full: GDP.pdf (33% задач решены полностью).

На FrontierCode 2.0 за Claude Opus 5.5 с 46% идут GPT-6 Astra, GPT-6.1 Terra и Claude Sonnet 5.5, у всех по 42%. Лучшая открытая модель в этом тесте, DeepSeek V4.1 Flash 1017, набрала 28%.

FrontierCode 2.0, средний результат по трём прогонам. Источник: Artificial Analysis

В HLE-Diamond вопросы на знания оказались для лидеров сложнее вопросов на рассуждения: Claude Opus 5.5 и GPT-6 Astra набирают по 78% на рассуждениях и только 58% и 50% на знаниях.

Открытые модели отстали сильнее

Лучшая модель с открытыми весами, Kimi K3.1 Pro, набрала 46 баллов, но её веса ещё не опубликованы. Отставание от лидера выросло до 12 баллов, в v4.3 было 3. Среди моделей, чьи веса уже можно скачать, первые DeepSeek V4.1 Flash 1017 и GLM-5.3 с 32 баллами, ниже Claude Haiku 5.5 с 36.

Сильнее всего разрыв на HLE-Diamond и Terminal-Bench-Science: у Kimi K3.1 Pro там 37% и 34% против 68% у Claude Opus 5.5 и 63% у GPT-6 Astra.

Сколько стоит интеллект

Стоимость одной задачи индекса среди десяти лидеров отличается больше чем в 13 раз: от $0,96 у GPT-6.1 Terra до $13,04 у Claude Fable 5.1. Claude Opus 5.5 обходится в $10,04 за задачу, GPT-6 Astra в $6,24, GPT-6.1 Sol в $1,27. Sol отстаёт от Opus 5.5 на 3 балла и стоит примерно в восемь раз дешевле.

Зависимость балла от стоимости задачи, точки одной модели с разными уровнями усилий соединены линией. Источник: Artificial Analysis

В v5 сильнее влияет уровень усилий рассуждения. Claude Opus 5.5 на низком уровне набирает 35 баллов за $0,98 на задачу, на максимальном 58 за $10,04. У Claude Sonnet 5.5 разница между низким и максимальным уровнем выросла с 20 до 29 баллов, у GPT-6.1 Sol удвоилась с 10 до 20.

Задачи стали объёмнее: каждая модель тратит больше выходных токенов на задачу, чем в v4.3, медиана выросла с 35 до 59 тысяч. Агентные тесты Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase и FrontierCode 2.0 дают 55% веса индекса и около 90% выходных токенов, на один Terminal-Bench-Science приходится примерно треть.

Зависимость балла от числа выходных токенов на задачу. Источник: Artificial Analysis

Gemini 4 Carbon, которая появилась в рейтинге на следующий день, по данным Artificial Analysis потратила на весь индекс 200 млн выходных токенов при медиане 64 млн, а задача обошлась в $7,76.

Progress Index: шкала для сравнения поколений

Вместе с v5 Artificial Analysis запустила Progress Index v1. Он ставит на одну шкалу языковые модели, вышедшие с ноября 2022 года, и показывает, как росли возможности со временем, в том числе между моделями с разницей в несколько лет. При проектировании компания опиралась на Epoch Capabilities Index от Epoch AI. Для выбора модели под текущие задачи Artificial Analysis советует смотреть Intelligence Index, а не Progress Index.

Artificial Analysis Progress Index v1 по дате выхода моделей. Источник: Artificial Analysis

Методика Intelligence Index опубликована на сайте Artificial Analysis.