Anthropic рассказала, как команда Claude Code проверяет код агента

Инженер Anthropic описал, как команда Claude Code проверяет код агента: E2E, property- и дифференциальные тесты, чек-лист из 39 пунктов и гейт коммитов.

Обложка: Anthropic рассказала, как команда Claude Code проверяет код агента

16 ноября инженер Anthropic Addy Osmani рассказал, как команда Claude Code проверяет код, который пишет агент.

По словам автора, около 90% кода Claude Code пишет и ревьюит сам Claude, поэтому вручную читать каждый дифф команда не может.

Вместо этого агенту дают способ доказать, что изменение работает: прогнать приложение целиком и сверить результат с тестами и чек-листом. Упавшая проверка — один из поводов позвать человека; сколько людей должны одобрить изменение, зависит от его риска.

Для разработчика, который работает с Claude Code, Codex или другим агентом, это готовый список приёмов. Для части из них в Claude Code уже есть механизмы из документации: навык /verify, условие /goal и hook на завершение хода.

Ключевые выводы
  • Около 90% кода Claude Code пишет и ревьюит Claude, утверждает команда; без автоматической проверки параллельно можно вести лишь одного-двух агентов.
  • Если вкладываться в один тип тестов, команда советует сквозные (E2E): они проходят путь пользователя; рядом property- и дифференциальные тесты.
  • Если проверка падает три раза подряд, Claude останавливается и зовёт человека.
  • Чек-лист надёжности из 39 пунктов срабатывает по диффу: обычно проверяются 3–10 пунктов.
  • Правила ревью (REVIEW.md) Code Review читает из базовой ветки или ветки по умолчанию, никогда из самого pull request, чтобы изменение не могло ослабить собственную проверку.

Зачем агенту проверять себя?

Без проверки человек становится узким местом. «Verification loops are the building block that lets you delegate more work to Claude» («Циклы проверки — основа, которая позволяет поручать Claude больше работы», перевод редакции), пишет Osmani. Без них, по его словам, одновременно можно вести только одного-двух агентов, а с ними — десятки и сотни.

Как довод автор приводит внутренний замер Anthropic на другой задаче, генерации структурированных файлов. Там отдельный проверяющий, который сверял работу Claude с рубрикой, поднял долю успешных задач до 10 пунктов по сравнению с обычным циклом промптов; сильнее всего на самых сложных задачах. Методику и абсолютные цифры пост не раскрывает.

Какие тесты команда считает главными?

Если выбирать один тип, Osmani советует сквозные (E2E) тесты: они описывают путь пользователя, например «положить товар в корзину, оформить заказ, увидеть страницу подтверждения». Такой тест трудно обмануть: функция либо работает целиком, либо нет. Юнит-тесты быстрее и стабильнее, но их можно пройти и всё равно сломать функцию.

Anthropic рассказала, как команда Claude Code проверяет код агента_10
Падение юнит-теста и падение E2E-теста: во втором случае агент видит шаг, скриншот и причину. Изображение: Anthropic

Два других типа закрывают слабые места агента:

  • Property-тесты. Пишется утверждение, которое не должно ломаться, а библиотека (fast-check для JS/TS, Hypothesis для Python, proptest для Rust) генерирует тысячи входов, чтобы его опровергнуть. Примеры свойств: кодирование и обратное декодирование возвращают исходное значение, баланс счёта не уходит в минус, повторная миграция ничего не меняет, оптимизированный код совпадает с наивным.
  • Дифференциальные тесты. Старую и новую систему запускают на одних входах и сравнивают выход; любое расхождение — баг или ломающее изменение. Нужны случайные входы или выборка продового трафика, нормализация несущественных отличий вроде пробелов и список одобренных изменений.

Сами тесты тоже могут вредить: нестабильные (flaky) приучают агента перезапускать их вместо исправления кода, а медленные — запускать реже. Тяжёлые проверки лучше ставить до коммита.

Как устроен конвейер проверки у самой команды?

Первое правило — запускать изменение. «Running the app end to end matters more than tests» («Прогнать приложение целиком важнее тестов», перевод редакции). Для веба Claude работает через расширение Claude для Chrome, для мобильных приложений — через MCP для iOS или Android, для десктопа — через computer use, для бэкенда поднимает сервис локально. Как запустить приложение, описывается в навыке verify в папке .claude/skills/, как можно ближе к нужному коду; по словам автора, Claude использует его перед коммитом.

Дальше работают правила, которые команда перечисляет в посте:

  • Падение — один из поводов позвать человека. Claude сам чинит упавшие проверки, но после трёх неудачных раундов останавливается и передаёт задачу человеку. В прошлом посте команды о ревью описано и одобрение людьми по уровню риска: для мелких правок за флагом человек не нужен, для остальных — один или два.
  • Проверки пишут владельцы кода. Проверка, которая зовёт ревьюера, должна объяснять почему.
  • Чек-лист надёжности по диффу. В нём 39 пунктов, у каждого триггер, который читается из диффа, сама проверка и инциденты или PR, из которых она выросла. Claude проверяет только совпавшие пункты, обычно от 3 до 10.
  • Один ревьюер в несколько раундов. Второй, более дорогой ревьюер поверх первого, по опыту команды, часто хуже настройки основного через файл REVIEW.md; каждый раунд опирается на итоги прошлых.
  • Ревью привязано к коммиту. Если во время ревью в ветку пушат, его результат теряет смысл: «A passing review on an out-of-date commit means nothing» («Успешное ревью устаревшего коммита ничего не значит»).
  • Дешёвое — первым. Тесты, сборку и линтер Claude запускает до открытия pull request.

Ключевой принцип сформулирован так: «If a change can modify the check that judges it, the check is broken» («Если изменение может поменять проверку, которая его оценивает, проверка сломана»). Поэтому Code Review читает REVIEW.md из базовой ветки или ветки по умолчанию и никогда из изменений самого pull request.

Новые гейты команда включает постепенно. Каждый коммит помечается способом проверки, включая «none». Гейт коммитов блокирует коммит, если в сессии не было /code-review или /verify, и работает в трёх режимах: off, observe (только пишет в лог, что заблокировал бы) и enforce. После двух блокировок в одной сессии следующий коммит пропускается, чтобы Claude не застрял: «Claude Code isn't perfect», признаёт автор.

Сами проверки тоже проверяют. Команда считает откаченные после мержа изменения и изменения, которые мейнтейнер отклонил до мержа, а также ведёт подобранную по размеру выборку изменений, оставшихся чистыми.

Пропуски превращаются в правила: шаблон из замечаний ревью и откатов должен встретиться минимум в двух PR и читаться из диффа, три агента пытаются его опровергнуть, а правило утверждает человек.

Нестабильный тест Claude не может пропустить, обложить паузами или перезапускать до успеха: если причину найти не удалось, тест удаляется с записью почему.

Что из этого можно включить у себя?

Большая часть приёмов не зависит от инструмента, но в Claude Code для них есть готовые механизмы, описанные в документации:

  • Встроенные навыки /run и /verify запускают приложение и проверяют изменение на работающей программе. /verify записывает рабочий рецепт в .claude/skills/verify/SKILL.md. С версии Claude Code v2.1.286 такой навык verify в проекте Claude запускает перед каждым коммитом, кроме правок документации и тестов, если в настройках не отключены встроенные Git-инструкции (includeGitInstructions). Команда /run-skill-generator сохраняет рецепт запуска для нестандартных проектов с базой, env-файлом или многошаговой сборкой.
  • Команда /goal задаёт условие завершения, например /goal all tests in test/auth pass and the lint step is clean; после каждого хода отдельная модель проверяет, выполнено ли оно.
  • Hook на событие Stop срабатывает, когда Claude заканчивает ответ; код выхода 2 возвращает агента к работе. Так можно запускать тесты в конце каждого хода.
  • REVIEW.md в корне репозитория настраивает облачный Code Review для GitHub (тарифы Team и Enterprise). Файл читается из базовой ветки или ветки по умолчанию в зависимости от защиты веток; документация советует держать его в ветке по умолчанию и защитить её. Локальная команда /code-review учитывает файлы CLAUDE.md, REVIEW.md она не читает.

Те же принципы переносятся и на другие агенты: правила проверки держать вне досягаемости изменения, ограничивать число попыток починки, а повторяющиеся ошибки агента записывать в правила. Раньше мы разбирали официальный гайд Anthropic о работе Claude Code в циклах и набор скиллов Addy Osmani с тестами и ревью для агентов.

Что команда не утверждает и с чем спорят инженеры?

Пост описывает практику одной команды и не приводит её результатов: сколько багов ловит конвейер, какова доля откатов и сколько стоит проверка в токенах, не сказано. Единственная цифра эффекта, до 10 пунктов, относится к внутреннему замеру на генерации файлов.

В обсуждении на Hacker News главная претензия — стоимость. Один из инженеров заметил, что проверку через агента в браузере можно заменить Playwright: результат детерминированный, а тест пишется один раз и дальше почти ничего не стоит. Другой предложил совмещать подходы: просить Claude переводить инвариант из естественного языка в детерминированный тест и ревьюить этот код.

Довод про стоимость в самом посте есть: тесты, которые написал агент, дальше запускаются как обычные программы и почти не тратят токены. Но ручной прогон приложения агентом команда ставит выше тестов, и во сколько он обходится, не сообщает. По нашей оценке, переносить эти приёмы стоит с замером: сколько изменений откатывается до и после.

Источники: claude.dev: How the Claude Code team thinks about verification, claude.dev: How the Claude Code team does code review, Документация Claude Code: skills, /run и /verify, Документация Claude Code: /goal, Документация Claude Code: hooks, Документация Claude Code: настройка Code Review и REVIEW.md, Обсуждение поста на Hacker News

Изображение на обложке: Изображение: Anthropic

Рекомендуем