Claude Fable 5.2 и Opus 5.5 возглавили рейтинг ИИ-агентов для кода

Независимая лаборатория Artificial Analysis 14 ноября выпустила версию 2.1 рейтинга Coding Agent Index, который сравнивает модели внутри агентных оболочек для программирования: Claude Code, Codex, Antigravity CLI и других. Первое место с 58 баллами делят Claude Fable 5.2 на уровнях рассуждений xhigh и high и Claude Opus 5.5 на max. При этом Fable 5.2 на high набирает тот же балл за $7,51 за задачу, а на xhigh за $15,47.

Для разработчика рейтинг полезен тем, что меряет связку из агента, модели и уровня рассуждений, то есть ровно то, что запускается в терминале. Из новых данных следует, что самый дорогой уровень не обязательно лучший: у Fable 5.2 на max балл ниже, чем на high, а задача обходится почти в 6 раз дороже. Разница в цене задачи между конфигурациями с баллом от 48, по подсчёту лаборатории, около 30 раз.

Что изменилось в Coding Agent Index v2.1?

Индекс по-прежнему складывается из трёх тестов с равным весом, всего 322 задачи, каждую агент решает трижды, говорится в методологии. Обновили два теста из трёх.

• FrontierCode-AA 2.0 вместо FrontierCode 1.1: 132 задачи по правке реальных open-source репозиториев. Это реализация Artificial Analysis теста FrontierCode 2.0 от Cognition (компании, которая делает агента Devin) с теми же задачами, тестами и рубриками. Оценка отвечает на вопрос, принял бы мейнтейнер такое изменение. Провал блокирующей проверки даёт 0, прохождение всех блокирующих проверок даёт от 70 до 100% в зависимости от необязательных. Рубрику оценивает GPT-6 Luna (medium), задачи не опубликованы.
• Terminal-Bench 4.1 вместо 4.0: те же 66 задач в терминале от Laude Institute, от машинного обучения до системного администрирования, но с обновлёнными проверками. Код агента при проверке теперь запускается от недоверенного пользователя в отдельном процессе, а проверки, которые отклоняли верные решения, исправлены.
• SWE-Atlas-QnA-AA остался в индексе: 124 вопроса от Scale AI, на которые агент отвечает, разбираясь в коде репозитория; ответ проверяет GPT-6 Luna (xhigh) по 1306 критериям.

Попытка, которая завершилась ошибкой, вышла за лимит времени или была заблокирована отказом по соображениям безопасности, получает 0. На FrontierCode у агентов есть интернет, но если агент подсмотрел исходный pull request или merge-коммит с решением, попытка тоже обнуляется. Конфигурации Claude прогоняются со штатным откатом на другую модель при отказе по безопасности (в таблице лаборатории это помечено как Default Fallback); такая попытка засчитывается как обычная.

Новый FrontierCode оказался сложнее: по данным Artificial Analysis, модели в среднем потеряли 5 баллов по сравнению с прошлой версией индекса. Единственная конфигурация, которая не просела, это Codex с GPT-6.1 Terra на max: её балл в пределах 1 пункта от прежнего. Поэтому сравнивать баллы v2.1 со старыми результатами напрямую нельзя.

Кто лидирует и почему Fable 5.2 на max оказалась ниже high?

Верх рейтинга занимают модели Anthropic. На странице индекса у Claude Fable 5.2 в Claude Code 58,5 балла на xhigh и 58,2 на high, у Claude Opus 5.5 на max тоже 58,2. Ещё 58,4 набирает Devin Fusion CLI, мультимодельная оболочка Cognition, в которой Opus 5.5 на max работает в паре с GPT-6 Luna на high. Дальше идут Claude Sonnet 5.5 на max в Claude Code (56) и Gemini 4 Carbon на high в Antigravity CLI (55). О выходе Fable 5.2 и её ценах мы писали в отдельной новости.

Баллы Coding Agent Index v2.1 и зависимость балла от цены задачи. Источник: Artificial Analysis

Fable 5.2 на max набирает 56 баллов, меньше, чем на high и xhigh. Artificial Analysis объясняет это тем, что на max больше попыток упирается в лимит времени на задачу, а такие попытки получают 0. Это видно и по времени: на max агент тратит в среднем 129 минут чистой работы на задачу против 53 на xhigh и 31 на high.

Muse Wonder Full на max в оболочке Muse Code, модель лаборатории суперинтеллекта Александра Вана, набрала 54,5 балла, но публичного API у неё нет, поэтому цены задачи для неё в рейтинге нет. Из моделей с открытыми весами выше всех Kimi K3.1 Pro (48,6). GLM-5.3 в Opencode набирает 40,1, DeepSeek V4.1 Flash 1017 в собственной оболочке DeepSeek 36,8.

Сколько стоит одна задача агента?

Среди конфигураций с ценой и баллом от 48 цена задачи отличается в 29 раз (Artificial Analysis округляет до 30): от $1,51 у Codex с GPT-6.1 Sol на max (52 балла) до $44,22 у Claude Code с Fable 5.2 на max (56). Самая дешёвая из лидеров с 58 баллами Fable 5.2 на high за $7,51, следом Devin Fusion CLI за $8,75 и Opus 5.5 на max за $12,61.

Если 58 баллов не обязательны, дешевле обходятся соседние уровни. Fable 5.2 на medium набирает 53 балла за $2,89 и 15 минут на задачу, на low 48 баллов за $2,49 и 13 минут. Gemini 4 Carbon на high даёт 55,5 балла за $7,13 и 34 минуты. GPT-6.1 Sol на max стоит в 5 раз дешевле Fable 5.2 на high и отстаёт на 6 баллов.

Цена задачи у Artificial Analysis считается по тарифам API за токены с учётом кеша, а не по подпискам. Лаборатория сама оговаривает, что многие работают с этими агентами по подписке, и тогда реальный расход другой. Время задачи считается как чистое время работы агента, без подготовки окружения и проверки результата.

По нашей оценке, при оплате по API выбор уровня рассуждений влияет на счёт сильнее, чем выбор между моделями из верхней группы: переход Fable 5.2 с xhigh на high по этим данным экономит половину денег без потери округлённого балла. Почему кеш и выходные токены сильнее всего влияют на счёт за агентов, мы разбирали в статье об экономике API.

В каких задачах сильнее каждая модель?

Общий балл скрывает разницу по тестам. На FrontierCode-AA 2.0, где решение оценивают как pull request для мейнтейнера, впереди Fable 5.2: 49,2% на xhigh и 48,7% на high. У Opus 5.5 на max 44,0%, у GPT-6 Astra и GPT-6.1 Sol на max 42,6% и 42,5%.

На Terminal-Bench 4.1 первая Kimi K3.1 Pro в Kimi Code CLI с 67,2%, следом Claude Sonnet 5.5 на max (65,7%), Opus 5.5 на max и Gemini 4 Carbon на high (по 64,6%). Но на FrontierCode у Kimi K3.1 Pro 22,0%, в 2 с лишним раза меньше, чем у лидера, поэтому в индексе у неё 48,6 балла. Как запустить эту модель у себя и сколько для этого нужно железа, мы рассказывали в разборе её весов.

На вопросах по коду SWE-Atlas-QnA-AA лучший результат у Muse Wonder Full на max, 68,8%, хотя публичного API у неё нет. Среди конфигураций, доступных через API, первая Devin Fusion CLI с 68,3%. Claude Fable 5.1 на max набирает здесь 66,4%, Opus 5.5 на max в Claude Code 65,9%, Fable 5.2 на xhigh 62,1%. Если агент нужен в основном для разбора чужой кодовой базы, а не для правок, порядок лидеров здесь другой.

Какой уровень рассуждений выбрать в агенте?

Прямой рекомендации Artificial Analysis не даёт, но из таблицы следует несколько выводов. Для Fable 5.2 в Claude Code уровень high по этим замерам даёт тот же округлённый балл, что xhigh, вдвое дешевле и в 1,7 раза быстрее, а max проигрывает обоим. Для задач, где цена важнее последних баллов, Codex с GPT-6.1 Sol на max и Fable 5.2 на medium дают 52–53 балла за $1,51–2,89 за задачу. Что сама Anthropic советует о выборе модели и уровня effort, мы собрали в отдельной статье.

Рейтинг сравнивает конкретные связки, а не модели сами по себе: та же модель в другой оболочке или с другим лимитом времени может показать другой результат. Задачи FrontierCode-AA 2.0 закрыты, поэтому проверить результат на них самостоятельно нельзя; список задач Terminal-Bench 4.1 и набор SWE-Atlas-QnA-AA опубликованы. Судья в двух тестах из трёх, GPT-6 Luna, сама участвует в рейтинге, а подозрительные попытки на FrontierCode разбирает Claude Opus 5.5.

Предыдущий большой рейтинг лаборатории, Intelligence Index v5, мы разбирали в конце октября. Дальше стоит смотреть, сохранится ли разрыв между high и max у Fable 5.2 в следующих версиях индекса и как изменятся результаты моделей с открытыми весами, лучшая из которых пока отстаёт от лидера почти на 10 баллов.

Источники: Artificial Analysis в X: анонс Coding Agent Index v2.1, Artificial Analysis: Coding Agent Index, Artificial Analysis: методология Coding Agent Index

Изображение на обложке: Tproger по данным Artificial Analysis