Anthropic две недели ломала Claude Docs силами Claude Code перед запуском

Как Anthropic две недели гоняла Claude Code против своего сервиса перед запуском, что он нашёл и сколько это стоило.

Обложка: Anthropic две недели ломала Claude Docs силами Claude Code перед запуском

Anthropic рассказала, как готовила к запуску свой редактор документов Claude Docs: за две недели до релиза инженер оставил сессию Claude Code, которая без перерыва нагружала тестовый кластер, ломала компоненты, читала телеметрию и сама выкатывала исправления. По словам компании, к 22 сентября, через шесть дней после запуска, пользователи создали больше 4,6 млн документов, на 2 млрд запросов пришлось 60 серверных ошибок, а сервис ни разу не откатывали. Пост в инженерном блоге claude.dev опубликовал 17 ноября инженер Anthropic Вивек Наир.

Для разработчика здесь интересен не сам Claude Docs, а рецепт: как поставить ИИ-агенту задачу уровня «сервис должен выдержать запуск», а не «почини этот баг», и что для этого подготовить в коде и инфраструктуре. Автор приводит стоимость всего инференса с конца августа до запуска — около $125 тыс. по прайсу API — и оценку для небольшого сервиса: $3–10 тыс. за двухнедельный прогон. Все цифры в посте — данные самой Anthropic, независимо их не проверить.

Ключевые выводы
  • С 4 сентября Claude Code две недели гонял копию продакшена на staging со скоростью больше миллиона синтетических документов в день и намеренно ломал её компоненты.
  • Сессия-координатор раздавала работу субагентам: обычно около 11 одновременно, на пике 30; решения, которые трудно откатить, агент отдавал человеку.
  • Одна из находок: каждое нажатие клавиши копировало документ в несколько структур; после перехода на copy-on-write оценка нужной мощности упала с более чем 500 подов до примерно 50.
  • Сервис написан на Rust с минимумом зависимостей, чтобы любое число в телеметрии сводилось к коду команды, а не к сборщику мусора.
  • Весь инференс с конца августа до запуска, включая продуктовую работу, автор оценивает в $125 тыс. по прайсу Claude Fable 5.2; двухнедельный цикл для небольшого сервиса — в $3–10 тыс., но такой прогон он не запускал.

Как был устроен «цикл хаоса»

Claude Docs — редактор, в котором с документом одновременно работают люди и Claude: любая сессия Claude, от чата до Claude Code, может открыть документ, читать, писать и комментировать в реальном времени. Его выпустили 16 сентября 2026 года. За три недели до этого сервис работал прототипом на одном узле, им пользовались несколько тысяч сотрудников Anthropic, а собственная оценка команды обещала миллионы документов в первые дни после запуска.

Реального трафика такого масштаба не было, поэтому 4 сентября автор поручил Claude управлять staging-кластером, повторяющим продакшен: генерировать больше миллиона синтетических документов в день и намеренно ломать основные компоненты. Цикл — это одна сессия Claude Code, оставленная работать: выбрать сценарий, запустить нагрузочный стенд, прочитать телеметрию, предложить исправление, выкатить его на staging и повторить.

Anthropic две недели ломала Claude Docs силами Claude Code перед запуском_6
Одна итерация цикла: синие шаги делает Claude, оранжевые — человек. Источник: Anthropic, блог claude.dev

Сессия работала координатором и отдавала большую часть работы субагентам: в самую загруженную неделю обычно около 11 одновременно, на пике 30. Через Slack MCP координатор ещё и общался с внутренней версией Claude Tag — агентами других инфраструктурных команд Anthropic, которые уже масштабировали похожие сервисы и проверяли подход на известные им ловушки. Телеметрию Claude читал через Datadog MCP.

Сценарии автор выбирал заведомо «параноидальные»:

  • 10 млн новых документов за один день;
  • 22 тыс. живых соединений, которые переподключаются одновременно;
  • один «горячий» документ с сотнями зрителей, сервер, убитый посреди загрузки документа, и зависшая база данных.

Каждая итерация выглядела одинаково: стенд доводил одну функцию, например создание документов, до насыщения, а Claude читал телеметрию и возвращался с коротким списком вариантов и рекомендацией. Если изменение легко откатить, Claude писал его, проверял в отдельной сессии и выкатывал на staging, после чего тест запускался снова; на схеме из поста выбор варианта и одобрение изменения остаются за человеком. Каждый запрос к базе отчитывался своим именем и тем, сколько строк он просканировал и сколько вернул, поэтому плохие запросы находились и переписывались сразу.

Где агенту понадобился человек

До старта автор перечислил Claude решения, которые требуют его одобрения: всё, что трудно откатить, — изменения схемы базы и раскладки ключей, способа хранения и материализации документа. Встретив такое решение, агент останавливался и спрашивал, обычно с рекомендацией, которую автор в итоге принимал. Про схемы данных он пишет, что разумных ответов обычно несколько, а менять направление потом больно.

Кроме того, весь прогон держался на двух инвариантах. Документ должен открываться практически мгновенно, даже с длинной историей правок. И если сервер подтвердил правку, тесты должны показывать, что она сохранилась. По словам автора, модель держала эти инварианты через многократное сжатие контекста, и повторять их не пришлось.

Почему сервис писали так, чтобы его «понимал» агент

Автор ссылается на заметку коллеги Феликса Ризеберга: формулировать задачу на уровне результата («сделай приложение без падений»), а не отдельного действия («почини это падение»). Чтобы это работало, агент должен сам получать отчёты о сбоях и запускать стенд, который воспроизводит сбой и проверяет исправление. Для этого команда сделала две вещи.

Первая — диагностический цикл: на каждой итерации Claude читал телеметрию и сам добавлял метрики, которых не хватало. Обычно телеметрию дописывают руками и уже после аварии, здесь агент делал это по ходу работы. Показательный пример — память. В начале прогона один большой документ занимал на поде около 3 ГБ. Первая гипотеза Claude — уменьшить кэш, чтобы сервер раньше выгружал документы, — не подтвердилась: следующий прогон показал, что память сидит в отдельном кэше внутри одной из зависимостей, и правку отменили. Более детальное профилирование нашло причину: каждое нажатие клавиши копировало документ в несколько разных структур данных, добавляя несколько мегабайт. Claude перевёл эти структуры на copy-on-write, чтобы они ссылались на одну копию.

Примерно через три дня итераций тот же документ занимал около 180 МБ, а оценка мощности, нужной для запуска, упала с более чем 500 подов с оптимизированной памятью до примерно 50. Весь сервис на запуске и работал примерно на 50 таких подах.

Anthropic две недели ломала Claude Docs силами Claude Code перед запуском_18
Выбор технологий ради понятной агенту телеметрии. Источник: Anthropic, блог claude.dev

Вторая — выбор технологий. Команда избегала рантаймов, которые расходуют память и процессор так, что код этим не управляет, то есть языков со сборщиком мусора: по логике автора, память и задержки в них меняются по расписанию сборщика, а модели лучше всего «карабкаются» по чистому сигналу. Сервис написан на Rust, зависимостей минимум, а немногие нужные библиотеки вендорили, чтобы их можно было читать и измерять. Автор оговаривается: в Anthropic есть хороший инструментарий для Go, и сравнения двух языков команда не проводила — это опыт с Rust, а не тест. Его довод: Rust трудно писать людям, но Claude пишет на нём нормально, поэтому сложность языка теперь весит меньше.

Что случилось на запуске

По данным Anthropic, первый миллион документов появился примерно за 30 часов после запуска 16 сентября, к 22 сентября их было больше 4,6 млн. На 2 млрд запросов пришлось 60 серверных ошибок. Продакшен в сентябре выкатывали 629 раз, и ни одна выкатка не потребовала отката.

Семь из десяти сценариев, отрепетированных на staging, действительно произошли в продакшене. К тому моменту Claude уже выпустил исправления за флагами времени выполнения, поэтому, когда часть инфраструктуры оказывалась под давлением, команда обычно просто включала флаг.

Почему это стало возможно только сейчас, автор объясняет «дрейфом цели» (goal drift): старые модели нормально читали телеметрию через MCP, но через 10–20 итераций длинного цикла забывали, что именно оптимизируют, и цель приходилось повторять (подробнее о дрейфе — в другом посте claude.dev). Сам он работал с внутренней исследовательской моделью, которую сравнивает с Claude Fable 5.2. Похожий подход, по словам автора, применила Vercel, которая агентным циклом под присмотром человека ускорила Turborepo: по данным Vercel, подготовка графа задач перед запуском в версии 2.9.0 стала быстрее до 96% по сравнению с 2.8.0, в зависимости от репозитория.

Сколько это стоит и как повторить

С конца августа до дня запуска автор израсходовал инференса примерно на $125 тыс. по прайсу API Claude Fable 5.2 на ноябрь 2026 года. В эту сумму входит вся работа за период, не только нагрузочный цикл; большая часть ушла на чтение телеметрии, предложения, генерацию исправлений и ревью кода. Он сам называет два фактора, которые раздули счёт: масштаб запуска потребовал инфраструктуры, о которой агенту пришлось много рассуждать, а много токенов сгорело, пока он отлаживал сам процесс; сейчас, по его оценке, хватило бы половины. Пару лет назад такая работа, по его догадке, заняла бы у команды инженеров около полугода.

Для небольшого сервиса — пара Kubernetes-узлов и Postgres — автор пересчитал затраты, убрав интеграцию с внутренними сервисами, продуктовую работу, работу на множестве подов и тонкий rate limiting. Осталась примерно треть изменений, и двухнедельный прогон, по его оценке, обошёлся бы в $3–10 тыс. по тому же прайсу. Он прямо пишет, что такой прогон не запускал и цифра приблизительная.

Рецепт из поста рассчитан на одного инженера с Claude Code, staging-окружение и сервис наблюдаемости:

  1. Дайте агенту доступ к телеметрии: у большинства сервисов наблюдаемости есть MCP-сервер.
  2. Попросите агента написать нагрузочный скрипт, который даёт staging-копии в 10 раз больше реального трафика и ломает её намеренно: убить инстанс, подвесить базу, выкатить релиз посреди пика. Дальше пусть чинит всё, что падает.
  3. При выборе стека отдавайте предпочтение тому, что агенту проще измерять; у команды Claude Docs это Rust и минимум зависимостей.
  4. До старта запишите самые важные технические инварианты и передайте их агенту.
  5. Для всего, что трудно откатить, требуйте от агента остановиться и предложить несколько вариантов с рекомендацией.
Координатор с субагентами ускорял работу, но автор допускает, что если они сжигают слишком много токенов в час, один агент тоже справится. Это самый простой способ снизить счёт при первом опыте.

По нашей оценке, переносимая часть рецепта не зависит от конкретного агента: телеметрия, доступная через MCP, стенд с намеренными сбоями, записанные инварианты и явный список решений, которые остаются за человеком. Без изолированного staging запускать такой цикл нельзя: агент здесь сам выкатывает изменения, и границы его прав нужно продумать заранее — как это делают, мы разбирали в материале про изоляцию агентов. Как подобрать модель и уровень рассуждений под долгую задачу, Anthropic объясняла в отдельном руководстве.

Источники: claude.dev: Using a chaos loop to harden the Claude Docs launch, Felix Rieseberg: How to be more ambitious, Vercel: Turborepo на 96% быстрее с агентами, claude.dev: A harness for every task

Изображение на обложке: Tproger по данным Anthropic