Тест 22 агентов показал: при смене модели стоит сменить и харнесс
Какой CLI-агент выгоднее с GLM, DeepSeek, Kimi и Muse и почему цену агента определяют шаги, а не промпт.
Компания Runta, которая сдаёт в аренду изолированные среды для запуска ИИ-агентов, 17 ноября опубликовала FrontierHarness Eval v1.1 — сравнение 22 конфигураций кодинг-агентов (харнессов) на пяти открытых моделях. Главный вывод: лучший по соотношению цены и результата харнесс у каждой модели свой, и при смене модели стоит перепроверить и обвязку. Codex CLI с GLM-5.3 оказался самым выгодным, а с Kimi-K3 по цене задачи опустился на 16-е место из 22.
Харнесс — это всё, что окружает модель в агенте: системный промпт, набор инструментов, правила сжатия контекста, логика шагов. Claude Code, Codex CLI, OpenCode, Pi, GitHub Copilot CLI — всё это харнессы. Если вы подключаете к любимому CLI дешёвую открытую модель через API, исследование показывает, что вы можете переплачивать в 2–5 раз за ту же работу просто из-за неудачной пары.
Ключевые выводы
- Масштаб: 22 харнесса, 5 моделей, 62 терминальные задачи, 4 попытки — 27 280 запусков и 83 млрд токенов, в 76 раз больше версии 1.0.
- Лучшие пары по цене за решённую задачу: Codex CLI с GLM-5.3, Pi с GLM-5.3 Flash, ZCode с DeepSeek V4.1 Flash, Oh My Pi с Muse Spark Open, Alma с Kimi-K3.
- На одной модели самый дорогой харнесс тратил на задачу в 1,8–5,0 раза больше самого дешёвого; дороже не значит лучше.
- Стоимость предсказывает число шагов агента, а не размер промпта или число инструментов.
- 64,5% расчётных затрат на инференс ушло на попытки, которые не прошли проверку; 68–82% таких провалов у лучших харнессов закончились уверенным «готово».
Как устроен тест?
Runta сделала исследование вместе с Baseten — провайдером API для открытых моделей, который обслуживал все пять моделей: GLM-5.3 и GLM-5.3 Flash от Z.ai, DeepSeek V4.1 Flash 1017, Muse Spark Open от Meta и Kimi-K3 от Moonshot AI. Закрытые модели (Claude, GPT, Gemini) в этот раунд не вошли.
Харнессов 18, но четыре профиля DeepSeek Harness отличаются набором инструментов, а OpenCode гоняли в двух версиях, поэтому конфигураций 22. Среди них Codex CLI, Claude Code, GitHub Copilot CLI, Antigravity CLI, Grok Build, OpenCode, Pi, Oh My Pi, Cline CLI, Hermes Agent, KimiCode, MiniMax Code, ZCode, Alma, Maka, Exo и минималистичный mini-SWE-agent.
Задачи — 62 терминальные задачи с лимитами времени от 15 минут до 8 часов, прогон через фреймворк оценки Harbor. Каждый харнесс работал с настройками по умолчанию и на максимальном уровне reasoning; каждая попытка запускалась в новой чистой среде Runta, которую удаляли после завершения. Стоимость считали по прайсу Baseten умножением на токены, которые вернул провайдер.
Отдельно авторы проверили логи на «читерство»: 216 попыток помечены как reward hacking, из них 163 — обращения к интернет-источникам (поиск, чтение страниц, скачивание кода), которые аудит отметил как нарушение. Такие попытки засчитаны как провал. Больше всего их у Oh My Pi (42 попытки, 3,4%), OpenCode v2 и Hermes Agent.
Какой харнесс выгоднее с какой моделью?
Главная метрика — стоимость одной успешной задачи (средняя цена задачи, делённая на долю успешных). Победитель определялся по ней, но с поправкой: если другой харнесс дороже не больше чем на 30% и решает хотя бы на 5 пунктов больше задач, побеждает он. Так ZCode обошёл OpenCode v1 с DeepSeek, а Alma — Oh My Pi с Kimi-K3.
Лучший по цене и результату харнесс для каждой модели
6 сервисов, 4 столбца
Листайте столбцы →Смахните влевоВсе 4 столбца
Источник: Runta, FrontierHarness Eval v1.1
Насколько уверенно? Авторы 4000 раз пересэмплировали набор задач. Codex CLI с GLM-5.3 остался первым в 99,6% случаев. Остальные победители держатся куда менее надёжно и выбираются лучшими лишь в части пересэмплирований: Oh My Pi с Muse — в 53%, ZCode с DeepSeek — в 47%, Pi с GLM Flash — в 42%, Alma с Kimi-K3 — в 25%. Доверительный интервал доли решённых задач у одного харнесса с одной моделью — около 10 пунктов в обе стороны, так что разница в несколько пунктов означает ничью.
По всем моделям вместе «эффективную границу» образуют четыре харнесса: OpenCode v2 (самая низкая средняя цена задачи, $0,561), Pi, Codex CLI и ZCode (самая высокая доля решённых, 61,9%). Остальные стоили до 1,6 раза дороже и решали от 50,6% до 60,2%. Самая дорогая успешная задача в среднем — у Antigravity CLI ($1,63), у Claude Code — $1,55, у GitHub Copilot CLI — $1,38.
Почему один и тот же харнесс то дешёвый, то дорогой?
Порядок цен в целом задаёт модель: прайсы пяти моделей различаются в 20 раз и больше, и дисперсионный анализ логарифмов средней цены задачи по 110 парам относит к модели 92,8% разброса. Общий для всех моделей эффект харнесса — 2,3%, а 4,9% приходится на конкретную пару модели и харнесса (вместе с шумом). То есть при фиксированной модели около 68% различий между харнессами зависит от пары или объясняется шумом: анализ их не разделяет.
В деньгах это заметно. С каждой моделью самый дорогой харнесс тратил на задачу в 1,8–5,0 раза больше самого дешёвого; при перемешивании попыток случайный разброс составлял только 1,2–1,8 раза (p = 0,003). Рекорд у DeepSeek: Cline CLI стоил в 5 раз дороже OpenCode v1 и решил всего на 2 пункта больше. С остальными моделями самый дешёвый харнесс отставал от самого дорогого по качеству не больше чем на 0,4 пункта.
Ранги прыгают сильно. Медианный харнесс при смене модели сдвигался на 11 мест из 22. DeepSeek Harness в профиле Creator был самым дешёвым с Muse и 21-м с GLM Flash, OpenCode v1 — первым с DeepSeek и 13-м с Muse. Повторные прогоны это не объясняют: на одной модели рейтинги двух половин попыток совпадали с корреляцией 0,71, а между разными моделями — только 0,26.
И дороже не значит лучше: корреляция цены задачи и доли решённых по моделям — от -0,39 до +0,22. Харнесс с лучшим результатом был от 5-го до 20-го места по цене, а с четырьмя моделями из пяти самый дорогой по цене успешной задачи харнесс решал реже самого дешёвого.
Что на самом деле делает агента дорогим?
Интуиция «маленький промпт — дешёвый агент» не подтвердилась. Размер первого запроса (от 882 до 21 365 токенов), число инструментов (от 1 до 29) и доля попаданий в кэш (87–95,7%) почти не коррелируют с ценой успешной задачи. Коррелирует число шагов: +0,51 при p = 0,015. Каждый шаг заново отправляет весь контекст, поэтому попытка в среднем съедала 2,0–4,8 млн входных токенов, и даже самый большой системный промпт — меньше 1% от этого объёма.
Самый наглядный пример — mini-SWE-agent: самый маленький первый запрос (882 токена) и один инструмент, но 38 шагов на успешную задачу и 17-е место по цене успешной задачи. По всем запускам 42% денег ушло на чтение из кэша, 33% — на выходные токены, 25% — на некэшированный вход.
У пяти лучших харнессов авторы нашли общие черты (это наблюдения, а не проверенные гипотезы):
- один shell-инструмент делает большую часть работы: на него приходится 61–93% вызовов; у Pi по умолчанию всего четыре инструмента — read, bash, edit, write;
- каждый запрос только дописывает контекст, начало не меняется, поэтому провайдер отдаёт его из кэша: 91,1–94% входа в успешных попытках;
- почти нет субагентов и сжатия контекста: только Codex CLI сжимал историю, в 8 попытках, при заполнении 90% окна.
Слабость у них тоже общая. 64,5% расчётных затрат на инференс (по прайсу Baseten, без стоимости самих сред) ушло на непрошедшие попытки (52,7% — ошибки, 11,8% — таймауты). У пяти лучших харнессов 68% (Pi) — 82% (Codex CLI) провалов закончились уверенным финальным ответом, а не по лимиту времени. В примере из отчёта агент пишет, что проверил конкурентность и очистку отмены, а проверяющий тест падает с assert 0 == 2.
Что делать с этими результатами?
- Если вы переключаете агента на другую модель, прогоните 2–3 харнесса-кандидата на своих задачах. Авторы советуют собирать для этого свой закрытый набор, достаточно большой, чтобы разница не утонула в шуме.
- Сравнивайте цену успешной задачи, а не цену токена и не долю решённых по отдельности.
- С дешёвой моделью, у которой результат сильно зависит от харнесса, выбирайте по доле решённых: с DeepSeek она менялась от 54% до 69%.
- Не верьте «готово» без проверки: стоп-проверка тестами перед завершением могла бы сэкономить часть затрат на провалы, хотя авторы её не тестировали.
- Если вы пишете харнесс, сокращайте число шагов, а не только длину промпта.
Ограничения авторы называют сами: в тесте только открытые модели и один провайдер, а кэш и цены Baseten у другого провайдера могут изменить ранги. Важно и то, что Runta — коммерческая компания, продающая среды для агентов, а харнессы запускались с настройками по умолчанию. О том, как по-разному устроены обвязки популярных агентов, мы писали в новости про Code Mode в Claude Code, а о самих песочницах — в разборе изоляции ИИ-агентов.
Следующим шагом Runta обещает добавить закрытые модели — Claude Opus 5.5, GPT-6 Astra и Gemini 4 Carbon — и изучить, как харнесс, работающий в облаке непрерывно, улучшает себя на длинных задачах. Сроков компания не называет.
Источник: Runta: Introducing FrontierHarness Eval v1.1
Изображение на обложке: Данные: Runta, FrontierHarness Eval v1.1