Долг понимания: мечтают ли ИИ-агенты о риск-менеджменте?
Что общего у теоремы Ферма, зелёных тестов и кредитного риска?
Компании полагаются на ИИ больше, чем успевают проверять и контролировать. Так накапливается «долг понимания», почти незаметный на дашбордах. Точность в норме, экономика сходится, а вот время диагностики растёт, ход решений уже не восстановить, и всё держится на одном-двух людях. Способа свести такой долг к одному числу я не знаю, поэтому предлагаю посмотреть на него глазами банковского риск-менеджмента, от экспозиции и цены ошибки до независимости проверок и погашения долга.
Поводом для этой статьи стал выпуск 503 подкаста Лекса Фридмана «AI Crisis in Math» (от 26 октября 2026), о котором я даже написал короткую заметку. Разговор там был о будущем математики, но зацепила меня вполне практическая проблема: Claude формализовал доказательство Великой теоремы Ферма, а OpenAI опубликовала сотни рукописей с заявленными результатами. И теперь самое трудное это не получение новых результатов, а их проверка и осмысление.
Я Вадим Аюев. В Альфа-Банке сначала руководил моделированием в розничных рисках, затем — дирекцией моделей и методов продвинутой аналитики, а сейчас возглавляю дирекцию по разработке лингвистических моделей. Мы занимаемся NLP, GenAI и ИИ-агентами, поэтому вопросы качества моделей, их контроля и рисков применения для меня совсем не теоретические. ИИ-системы работают, приносят пользу и проходят предусмотренные проверки, а разобраться в их поведении становится всё сложнее.
Доказать — не значит понять
4 сентября Anthropic сообщила, что Claude за 11 дней, почти без участия людей, формализовал доказательство Великой теоремы Ферма на языке Lean. Объём — 13 миллионов строк кода и около 29500 промежуточных теорем. Это формализация известного доказательства, а не новое математическое открытие, но ещё недавно ожидалось, что подобная работа потребует многих лет усилий большого сообщества математиков.
OpenAI тем временем объявила о новых результатах для отдельных вариантов постановки задачи Навье–Стокса — ИИ нашёл конструкцию, в которой при гладкой внешней силе решение за конечное время приходит к сингулярности. А 6 октября опубликовала сразу 722 математические рукописи (правда, уже на следующий день 3 из них пришлось отозвать из-за ошибки в знаке, ещё 14 исправить). Филдсовский лауреат Теренс Тао в колонке Nature называет происходящее своеобразным «несварением доказательств»: математики не успевают осмыслять результаты с той скоростью, с которой ИИ их производит.
Но даже там, где доказательство уже формализовано, остаётся вопрос: «Что именно проверено?» Lean проверяет корректность логических шагов относительно заданных аксиом, определений и утверждений. Поэтому в проекте Anthropic формальную запись теоремы Ферма отдельно сверили с её формулировкой в Mathlib. Ведь Lean не гарантирует, что человек хотел доказать именно то, что записано на формальном языке. И уж тем более не обеспечивает понимания идеи, на которой доказательство построено. Как сформулировал Алекс Конторович, один из гостей подкаста, математика — это не столько установление факта, сколько поиск ответа на вопрос «Почему?».
Это не просто теоретическое ограничение. Александр Бастунис, Фабиан Чирчелли и Андерс Хансен в своей работе сравнили математический текст OpenAI с его формализацией в Lean и нашли расхождения (например, в одной из лемм текст использует оценку, требующую 4 дополнительных производных, а формальная версия — 5). То есть Lean проверил более слабое утверждение, чем было заявлено в тексте. Это не доказывает ошибочность итогового результата OpenAI, но иллюстрирует, почему только машинной проверки недостаточно.
Интересный подход предложила Axiom, опубликовавшая 4 ноября формализацию Stacks Project — гигантского справочника по алгебраической геометрии. Формальные утверждения, сверенные людьми с оригиналом, попадают в StacksCore. А написанное агентами и проверенное Lean, но пока не изученное людьми, остаётся в StacksFrontier. Так становится видно, что проверила машина, а что ещё и человек.
Получается, имеет смысл разделить проверку результата на 3 вопроса.
- Во-первых, корректно ли доказательство внутри формальной системы? Тут Lean почти безупречен.
- Во-вторых, доказано ли то самое, что мы хотели доказать? Это отдельная проверка, и как раз на ней Бастунис с соавторами нашли расхождения.
- В-третьих, понимаем ли мы результат достаточно хорошо, чтобы им пользоваться? А здесь одной корректности уже недостаточно. Программистам это кое-что может напомнить.
Где-то мы это уже видели: зелёные тесты и неверная задача
В ИТ подобные ситуации знакомы давно. В 2023 году DeepMind представила AlphaDev — систему, которая с помощью обучения с подкреплением нашла более быстрые процедуры сортировки, исследуя последовательности машинных инструкций (сейчас вошли в стандартную библиотеку LLVM libc++). В 2025 году появилась AlphaEvolve, которая нашла алгоритм умножения комплексных матриц 4×4 за 48 скалярных умножений вместо 49, а её эвристика планирования задач сэкономила Google около 0.7% вычислительных ресурсов дата-центров.
Делать отсюда вывод, что ИИ уже создаёт непостижимые для человека алгоритмы, было бы неправильно, и DeepMind подчёркивает, что эвристика AlphaEvolve — понятный и удобный в сопровождении код. Эти примеры показывают, что ИИ находит эффективные решения, не объясняя человеку всю логику поиска. И главное, результат их работы легко проверить — отсортирован ли массив, верно ли перемножены матрицы, сократилось ли время расчёта. Джейсон Вей называет это асимметрией верификации и выводит из неё «правило верификатора»: ИИ тем легче осваивает задачу, чем быстрее и объективнее можно проверить результат.
С корпоративными системами всё сложнее, ведь сначала нужно убедиться, что правильно сформулирована сама задача. Представим, что несколько ИИ-агентов проектируют архитектуру приложения, пишут код, создают тесты и исправляют ошибки быстрее, чем инженеры успевают разобраться в его устройстве. Функциональные, интеграционные и нагрузочные тесты проходят успешно, но соответствия ожиданиям бизнеса это ещё не гарантирует. Полная формальная спецификация есть далеко не всегда, требования бывают противоречивыми, а часть ограничений живёт только в головах людей. Работающий код и корректный код никогда не были синонимами. Именно поэтому ИИ-разработка без качественных БФТ (бизнес-функциональных требований) может обернуться неприятными сюрпризами.
С ошибками в постановке задачи мы в Альфе сталкивались и без автономных агентов, причём случаи бывали весьма болезненные. В одном из проектов требования составили наспех, а бизнес-заказчик делегировал их согласование рядовому аналитику и сам в детали не погрузился. Команда добросовестно работала над промтами и настройкой модели, но решала, как оказалось, не совсем ту задачу, которая была нужна бизнесу. Итог не устроил заказчика, разбор дошёл чуть ли не до топ-менеджмента, и значительную часть работы пришлось переделывать.
Не менее опасно, когда тесты пишет та же модель, что и код. Допустим, в требованиях сказано: «Возвращать клиенту стоимость доставки при отмене заказа до передачи курьеру», а агент понимает это как «До доставки клиенту», и пишет код и тесты исходя из своего понимания. Все тесты проходят, покрытие отличное, CI зелёный, только бизнес-правило реализовано неправильно. Это та же история, что и с формализацией доказательства, — система уверенно подтверждает корректность относительно постановки, которая сама может оказаться ошибочной.
Независимые тесты, property-based и мутационное тестирование (mutation testing), а также ревью самой постановки задачи снижают такие риски. Важно принципиально различать независимость инструмента и независимость способа проверки. Если две разные LLM опираются на одинаково неверную спецификацию, их взаимная проверка не спасёт от ошибки в самой постановке. Так что дело даже не в том, что ИИ пишет непонятный код. Организация может перестать успевать разбираться в предположениях, ограничениях и зависимостях собственной системы. Подозреваю, что когда-нибудь одни модели будут писать системы, другие проверять их, а третьи объяснять нам, почему первым двум группам можно доверять. Но подписывать решение в конце всё равно придётся человеку.
Пока.
Долг понимания
Технический долг знаком любому разработчику: сэкономил время сегодня, приняв компромиссное решение, а завтра расплачиваешься более сложной поддержкой и развитием системы.
Похожую проблему для сгенерированного LLM кода Джейсон Горман в прошлом году описал как «долг понимания» (comprehension debt). Близкая мысль звучала и раньше, когда Джонатан Зиттрейн (в далёком уже 2019 году) писал об «интеллектуальном долге», который копится, пока мы пользуемся результатами машинного обучения, не понимая, почему они работают. Причём Зиттрейн уже тогда предлагал учитывать такой долг и риски, которые он создаёт. Подробно о долге понимания в коде писал Адди Османи (на Хабре есть перевод его статьи), а Анатолий Овчинников недавно разобрал, как этот долг проявляется в разработке и сопровождении ИИ-кода. Термин Гормана кажется мне самым удачным, только применять его хочется шире (не только к коду), ведь автономные агенты помимо создания программ ещё и сами выполняют операции в корпоративных системах.
Под долгом понимания я буду иметь в виду ситуацию, когда компания полагается на систему больше, чем способна её проверять и контролировать, потому что изучение её поведения, тестирование и документирование не поспевают за изменениями или сознательно откладываются. Накопленный дефицит понимания постепенно повышает стоимость изменений, диагностики и устранения ошибок.
Замечу, долг понимания не тождествен непрозрачности модели. Мы можем не знать, почему нейросеть выдала конкретный результат, но хорошо понимать её статистическое поведение, ограничения, способы контроля и последствия ошибок. С техническим долгом он тоже совпадает лишь частично: даже аккуратный, хорошо структурированный код может создавать долг понимания, если команда так и не разобралась в его логике и зависимостях. В математике похожий разрыв возникает, когда формально проверенных результатов становится больше, чем сообщество успевает осмыслить. В разработке долг становится практическим — компоненты работают, но быстро объяснить, на каких допущениях держится система, от чего она зависит и что сломается при смене модели или её поставщика, уже никто не может. Агенты добавляют к этому новое измерение: каждый шаг цепочки выглядит разумно, но последствия их взаимодействия никто толком не проверял.
Самое неприятное, что этот долг не обязательно отражается в привычных метриках. Точность, производительность, доступность и даже финансовый эффект могут выглядеть отлично, пока компания постепенно теряет способность объяснять и диагностировать поведение системы. А если чего-то нет в измеримых и понятных условному борду метриках, защитить ресурс на митигирование риска бывает крайне непросто.
Обнаруживается такой риск позже — при редком инциденте, смене требований или необходимости быстро заменить компонент. С появлением ИИ-инструментов такой долг может накапливаться особенно быстро. Один агент создаёт код, второй расширяет функциональность, третий переписывает архитектуру, четвёртый помогает всё это поддерживать, и каждый новый слой опирается на предыдущий, в котором инженеры так и не успели разобраться. Разрубить этот гордиев узел, просто переписав решение на что-то более лёгкое, без потери качества уже не получится.
Впрочем, те же ИИ-инструменты могут помочь этот долг погасить — объяснить код, восстановить зависимости, найти причину ошибки. Вопрос лишь в том, насколько этим объяснениям можно доверять и как проверять их независимо. Ведь модели умеют убедительно объяснять собственные ответы, не всегда называя то, что на самом деле на них повлияло. Иначе легко принять рефинансирование долга за его погашение: объяснения появились, а способности самостоятельно разобраться в системе не прибавилось.
Можно ли измерить долг понимания?
О том, что стандартные метрики разработки этот долг не показывают, писал и Османи. Одной величиной его масштаб вряд ли оценишь, но стоит поискать косвенные признаки того, что организация теряет способность разбираться в собственных системах.
Часть показателей описывает сам долг (насколько сложно разобраться в системе или безопасно её изменить), часть — защищённость от его последствий. Граница условная, одно без другого почти не живёт, поэтому в таблице ниже они идут вперемешку.
7 сервисов, 3 столбца
Листайте столбцы →Смахните влевоВсе 3 столбца
Скажем, компания меняет правила обработки определённых обращений в ИТ-поддержку. Агент самостоятельно классифицирует заявки, обращается к базе знаний и выбирает маршрут обработки. Можно измерить, сколько времени потребуется команде, чтобы найти все зависимости от старого правила, внести изменения и проверить, что остальные сценарии продолжают работать корректно. Если при изменении одного бизнес-правила основное время уходит не на реализацию и тестирование, а на восстановление логики и зависимостей агента, хотя все привычные метрики остаются «зелёными», это осязаемый признак долга понимания.
Предупрежу, это набросок, а не готовая методология. Сводить показатели в один супериндекс я бы не стал: разные системы требуют разного уровня контроля. Да и закон Гудхарта никто не отменял (когда метрика становится целью, её можно научиться улучшать, не решая исходную проблему). Например, долю действий с журналированием легко довести до 100%, но если логи не позволяют восстановить причинно-следственную цепочку, пользы от них немного.
Интереснее изучать динамику. Если объём автоматизированных решений быстро растёт на фоне увеличения времени диагностики, независимое покрытие не расширяется и всё больше критичных сценариев завязано на одного-двух специалистов, это весомый повод задать неприятные вопросы. Ещё важнее сопоставлять эти показатели с ценой ошибок (10 минут на разбор неверно классифицированного обращения и 10 минут на разбор массово выполненных ошибочных платежей — это совершенно разные 10 минут).
Можно, конечно, добиваться полного понимания любой системы и не запускать её, пока всё не будет учтено могучим ураганом. Но опыт индустрии подсказывает, что так и до запуска можно не дожить.
Мы давно используем модели, которые до конца не понимаем
В колонке для Nature Тао среди примеров приводит кредитование и оценку финансовых рисков. Его беспокоит ситуация, в которой сложность моделей начинает опережать способность человека понимать, когда и почему они могут ошибаться.
Мне как раз довелось работать в этой области, так что предлагаю посмотреть на проблему немного с другой стороны. Раньше мы внедряли нейросетевые эмбеддинги в промышленные PD-модели (модели вероятности дефолта заёмщика) для розничного кредитования. Решения там принимаются за доли секунды, часто без участия человека, и имеют конкретные финансовые последствия. Назвать такую модель полностью интерпретируемой трудно, но для банка это не значит, что её нельзя использовать.
У нас для этого есть целый набор процедур: независимая валидация, проверка качества на исторических выборках, мониторинг отклонений фактических результатов от ожидаемых, оценка устойчивости к изменениям данных, стресс-тестирование, контроль изменений. Наконец, A/B-тесты и глобальные контрольные группы помогают заметить отклонения в бизнес-результатах, хотя сами по себе не объясняют их причины.
SHAP и другие методы помогают исследовать влияние признаков на прогнозы, но не заменяют проверку качества и устойчивости самой модели. Мы не знаем исчерпывающе, почему нейросеть приняла каждое конкретное решение, но можем накопить достаточно свидетельств о её поведении и ограничить риски применения. Требования к объяснимости отдельных решений и регуляторные ограничения при этом никуда не деваются. Но чтобы держать модель под контролем, полная интерпретируемость не обязательна.
Показательный случай из нашей практики. Одна модель больше полугода работала в проде с зелёным мониторингом: получала данные, выдавала прогнозы, все модельные метрики были в норме. A/B-тест запустили только при плановом обновлении — раньше бизнес не соглашался выделять контрольные группы, опасаясь потери эффекта. И внезапно тест не выявил различий между старой моделью, новой и группой без модели. Оказалось, что в какой-то момент из бизнес-логики просто исключили учёт прогнозов. Модель продолжала работать, только её результаты уже никто не использовал.
Проблема оказалась не в качестве модели, а в том, что мы упустили изменение бизнес-процесса. Этот случай помог сделать A/B-тестирование обязательной практикой в одной из бизнес-линий. Он же дал убедительный ответ на аргумент «Зачем тестировать то, что и так работает?»
В кредитном риске давно научились принимать решения в условиях неполного знания, не превращая это незнание в оправдание отсутствия контроля. Но достаточно ли этого опыта, когда модель не только отвечает, но и действует?
Почему модельного риска недостаточно
Классический модельный риск — это возможные потери от решений, основанных на ошибочной модели, неверных допущениях, плохих данных или использовании модели не по назначению. Для кредитного скоринга объект контроля относительно понятен. Модель получает признаки и выдаёт оценку вероятности дефолта, а решение на её основе принимают другие компоненты банковской системы. На практике всё сложнее, но модель обычно не управляет собственной дальнейшей работой и не выбирает новые действия во внешней среде.
Агент, напротив, сам выбирает инструменты, обращается к внешним источникам, изменяет данные, выполняет операции и учитывает результаты предыдущих действий при планировании следующих. Поэтому ошибка может возникнуть и без неправильного ответа LLM. Модель способна верно понять запрос, но выбрать не тот инструмент или вызвать нужный с неверными параметрами. Бывает и хуже — каждое действие по отдельности допустимо, а вместе они нарушают бизнес-ограничение (скажем, каждая выплата укладывается в лимит, а их сумма за день — уже нет). Добавьте сюда ошибки в правах доступа, атаки (те же промт-инъекции) и сбои внешних API. В длинной цепочке действий последствия таких сбоев могут накапливаться и усиливать друг друга.
Вот как может выглядеть такой сбой. Допустим, агент оформляет компенсации клиентам — проверяет статус заявки и отправляет команду на выплату. Платёжный сервис выполняет операцию, но из-за сетевого сбоя подтверждение до агента не доходит. Агент решает повторить запрос, и клиент получает компенсацию дважды. Формально он правильно определил сумму, платёжный сервис корректно выполнил оба вызова, но бизнес-процесс привёл к некорректному результату.
Здесь недостаточно проверить качество модели и отдельных API. Нужно убедиться, что повторный запрос не приводит к повторному исполнению уже выполненной операции, что система умеет проверять текущее состояние заявки и исправлять последствия сбоев.
Стандартное решение для выплат — ключ идемпотентности: повторный запрос с тем же ключом не должен создавать вторую выплату. Только формировать и сохранять ключ должна не модель, а исполняющая часть системы, привязывая его к конкретной операции. Иначе при повторе агент может сгенерировать новый ключ. И одной проверки статуса перед повтором мало, потому что между проверкой и исполнением операции возможна гонка.
Сам по себе такой сбой ещё не означает, что у команды есть долг понимания. Двойную выплату можно получить и в обычной, прекрасно документированной системе без всякого ИИ. Долг проявится, если во время инцидента никто не сможет быстро восстановить цепочку действий, оценить масштаб последствий и понять, где именно контроль дал сбой.
И дело не обязательно в недостатке логов: журналы могут содержать все вызовы инструментов, но не позволять понять, почему агент выбрал именно эти действия, на какие данные опирался и какие ограничения должен был учитывать. Ошибку исполнения нужно предотвращать в любом случае, а долг понимания влияет на то, насколько быстро компания способна обнаружить её причины и разобраться с последствиями.
Пробелы в наблюдаемости агентных систем — проблема вполне практическая. В октябре Partnership on AI изучила 4 популярных агентных фреймворка и нашла 6 типов пробелов в телеметрии — от смены полномочий до вмешательств человека. Фреймворки не записывают, почему потребовалось согласование, кто одобрил действие агента и какими полномочиями обладал. Без таких записей осмысленный контроль не отличить от подписи не глядя.
Отдельная история — агент может менять состояние среды, в которой потом продолжает работать. Одно неверное действие меняет данные или права, следующие решения принимаются уже с учётом этих изменений, и в некоторых сценариях ошибка усиливает саму себя. Конечно, обратная связь существует и в традиционных системах, например когда результаты скоринга влияют на состав кредитного портфеля и последующие данные. Но агент способен самостоятельно выбирать и выполнять целые последовательности действий внутри такого контура, что расширяет пространство возможных ошибок.
Поэтому методология управления рисками агентных систем не может быть прямой копией управления модельным риском. ФРС США, судя по всему, тоже не спешит переносить на агентов старые подходы: в апреле 2026 года вместе с другими американскими банковскими регуляторами она обновила руководство по модельному риску (SR 26-2), заменив документ 2011 года. Генеративный и агентный ИИ прямо исключены из области применения новых рекомендаций из-за новизны и быстрого развития этих технологий. Однако это не означает, что соответствующие системы освобождаются от требований к управлению рисками.
Модельный риск никуда не исчезает, и качество модели, устойчивость результатов и галлюцинации по-прежнему нужно оценивать. Просто теперь к нему добавляются операционные риски, информационная безопасность, управление доступом, обработка данных и зависимость от внешних систем. А объект оценки расширяется от отдельной модели до всего агентного сценария — от исходного запроса до всех действий и их последствий для бизнес-процесса.
Такой же подход отражён и в OWASP Top 10 for Agentic Applications, где отдельно разобраны злоупотребление инструментами, ошибки управления привилегиями, атаки на память и контекст, небезопасное взаимодействие агентов и каскадные сбои. На практике это значит, что классическую независимую валидацию модели нужно дополнять проверкой всей агентной системы — её полномочий, сценариев использования, внешних зависимостей и механизмов ограничения последствий ошибок. Это уже управление операционным риском в целом, а не только модельным (который во многих классификациях и так считается частью операционного).
Для долга понимания это означает, что разбираться нужно не только в поведении модели, но и в полномочиях, зависимостях и цепочках действий агента. Иначе зелёные модельные метрики могут скрывать потерю контроля над всем сценарием.
Есть похожий документ и у Банка России. Отдельного режима для агентов он не вводит, но в критически важных процессах, где ИИ автоматически выполняет операции и риски информационной безопасности оценены как высокие, рекомендует проверять результаты человеком с возможностью их изменить. Правда, такая проверка работает, только пока человек действительно вчитывается в то, что проверяет.
И ещё одна сложность — данные. Кредитный риск хорошо поддаётся статистической оценке, потому что у нас есть история наблюдений, определения дефолта, статистика потерь, бэктестинг и развитая независимая валидация. Для автономных агентов такой базы чаще всего нет — модели меняются, полномочия расширяются, а редкие сложные ошибки могут вообще не встречаться в доступной истории.
Но отсутствие статистики не означает, что остаётся только ждать первых серьёзных убытков. Пока данных мало, помогают прогоны на исторических и синтетических сценариях, теневой режим и разбор почти-инцидентов (near miss — ошибок, которые не успели привести к ущербу). А лимиты ограничивают последствия ошибок, вероятности которых мы пока не умеем надёжно оценивать.
Можно ли управлять рисками, не понимая систему до конца?
В кредитовании никто не пытается полностью избавиться от риска — это означало бы просто остановить выдачи. Задача в том, чтобы понимать, сколько риска банк принимает, какие потери возможны, как они соотносятся с доходностью и что делать, когда неблагоприятное событие всё-таки происходит. С ИИ-агентами можно рассуждать по аналогии.
Таблица показателей выше помогает понять, насколько управляемой остаётся система. 5 пунктов ниже описывают, как оценивать риски и выбирать меры контроля. Проверять всё одинаково глубоко слишком дорого, поэтому объём контроля стоит соотносить с полномочиями агента, возможным ущербом и обратимостью последствий. Чем хуже компания понимает систему, тем труднее оценивать и контролировать её риски. Первые 4 пункта помогают это делать даже при неполном понимании, а пятый посвящён погашению самого долга понимания.
1. Экспозиция: сколько решений мы доверили системе?
Начнём с экспозиции (exposure), то есть подверженности риску. Каков масштаб решений и действий, которые мы доверили агентам, и насколько хорошо понимаем и контролируем их поведение? Считать стоит не число запросов к LLM или запущенных агентов, а реальные полномочия — какие операции агент может выполнять, какие данные читать и изменять, к каким системам обращаться, сколько решений принимать без подтверждения человека.
Отдельно нужно понимать, какие данные агент способен передать за пределы корпоративного контура. Ведь право прочитать клиентские данные ещё не означает права отправить их внешней модели или инструменту, даже если агент делает это исключительно ради выполнения задачи.
Совет по финансовой стабильности (СФС) в октябрьском отчёте рекомендует оценивать риски ИИ-сценариев ещё при запуске, затем пересматривать эту оценку и соотносить её с риск-аппетитом организации. И ещё предупреждает, что с расширением полномочий риск агента может расти мультипликативно. Но тот же СФС напоминает и о другой чаше весов: у отказа от ИИ свои риски, от потери конкурентоспособности до ослабления киберзащиты.
Агент, который генерирует оператору ответ для клиента, и агент, который сам перечисляет деньги или меняет права доступа, представляют два совершенно разных профиля риска, и для второго средней точности на тестовом наборе недостаточно. Нужен хотя бы реестр автономных сценариев, где видно, что агент делает, с какими ресурсами работает, какие ограничения действуют и где проходит граница человеческого контроля.
По-хорошему, для каждого критичного сценария должно быть понятно, какие действия агент действительно может выполнить без подтверждения человека, а не только какие ему разрешены в промте. Заодно стоит договориться, кому приходят сигналы об отклонениях и у кого есть полномочия остановить агента. Без такого реестра компания просто не знает собственной экспозиции, а это уже магнит для аудита.
В крупных организациях (в частности, банках) на вопрос «Кто проверяет?» есть стандартный ответ — 3 линии защиты.
- Первая — те, кто создаёт и использует решение: бизнес-заказчик, который формально владеет процессом и риском, и команда разработки, которая строит и сопровождает решение, хотя часто сидит совсем в другом подразделении.
- Вторая — независимые валидация и риск-менеджмент.
- Третья — внутренний аудит, который проверяет, работают ли первые две.
Для агентов эта схема подходит почти без изменений, но на первой линии возникает новая ловушка. Бизнес-заказчик отвечает за результат, разработчики — за техническую реализацию, а ответственность за автономные действия агента легко теряется где-то между ними. Поэтому у каждого критичного агентного сценария должен быть конкретный владелец риска, а не только владелец продукта.
2. Цена ошибки и обратимость
Два агента могут ошибаться одинаково часто, но материальные последствия их ошибок будут различаться на порядки. Неправильно классифицированное обращение клиента можно перенаправить, ошибочную финансовую операцию исправить намного сложнее, а последствия ошибочно выданных прав доступа иногда невозможно полностью отменить.
Одной вероятности ошибки мало: важно учитывать масштаб ущерба, время обнаружения, возможность остановить цепочку действий и обратимость последствий.
В классическом кредитном риске есть близкая идея: ожидаемые потери определяются вероятностью дефолта (PD), суммой под риском (EAD) и долей, которую не удастся вернуть (LGD). В агентных системах обратимость играет роль, похожую на LGD. Ошибка, которую можно безопасно исправить за пять минут, совсем не то же самое, что необратимое действие, даже при одинаковой стоимости операции.
Похожую логику развивают и исследователи из ФРС США, которые в августовской работе предложили перенести формулу ожидаемых кредитных потерь на агентные системы, оценивая вероятность вредного действия, тяжесть ущерба и «радиус поражения». Причём они пошли дальше: изучили общие источники ошибок множества агентов, риски каскадных сбоев и ограничения традиционных механизмов контроля при необратимых действиях.
Отсюда и лимиты. Агент может сам выполнять операции до установленного порога, а для действий с потенциально необратимыми последствиями нужно дополнительное подтверждение. К слову, исследование Data Insight об агентной коммерции показывает: даже у ранних пользователей ИИ порог доверия к автономным платежам ощутимый — около 5000 рублей. В качестве меры защиты авторы предлагают привязывать к агенту отдельные виртуальные карты и кошельки с лимитом. По сути, такие лимиты — это риск-аппетит, переведённый на язык чисел, и обеспечивать их нужно не промтом (агент может его обойти), а внешними механизмами авторизации и контроля.
Лимиты снижают риск, а часть оставшегося можно попытаться передать страховщику. Правда, рынок страхования агентных рисков пока только формируется: по данным Reuters, обычные киберполисы не всегда покрывают ущерб от ошибочных действий агента, особенно, если он работал в рамках выданных ему полномочий и никакой атаки не было. Юристы отмечают и риск споров со страховщиками, которые могут попытаться применить исключение для умышленных действий, даже если компания не санкционировала причинение ущерба агентом.
Возможность остановить ошибочные операции и отменить их последствия лучше проверять заранее, в том числе на контрольных сбоях. Наличие в документации процедуры остановки или отката ещё не означает, что она сработает достаточно быстро, когда ошибочные операции пойдут потоком. В 2012 году американский брокер Knight Capital за 45 минут потерял почти полмиллиарда долларов: обновление торговой системы установили лишь на 7 из 8 серверов, на восьмом активировался старый код, и система отправила на рынок миллионы ошибочных заявок. Оперативно остановить её не удалось. ИИ там не было, но агент с доступом к платежам может наломать дров так же быстро.
Говорят, правила техники безопасности написаны кровью. Правила работы с агентами, похоже, будут написаны логами инцидентов — хорошо бы чужих.
3. Концентрация, или кто наблюдает за самими наблюдателями
Концентрацию чаще всего упускают из виду, а ведь это один из самых распространённых рисков. В кредитном портфеле сотни заёмщиков могут выглядеть независимыми, пока не выяснится, что все они зависят от одной отрасли или одного макроэкономического фактора. Возьмём кризис 2008 года. Многие участники рынка оценивали зависимость дефолтов в структурированных кредитных продуктах с помощью моделей на основе гауссовой копулы Дэвида Ли. Когда цены на жильё пошли вниз, выяснилось, что заложенные в них допущения недооценивали риск одновременных потерь и подвели сразу многих, кто на них опирался.
С моделями также. Агенты одного семейства, которые пишут код, генерируют тесты, проводят ревью и подтверждают готовность системы, формально независимы, но у них общие данные, общие предположения и склонность к одним и тем же ошибкам.
Независимую проверку нужно понимать шире, чем просто «другую модель». Иногда это другой алгоритм, детерминированное бизнес-правило, независимый набор тестов, формальная спецификация или эксперт, который проверяет не код, а саму постановку. И здесь важно смотреть не только на долю сценариев, прошедших такую проверку, но и на то, насколько совпадают ошибки проверяющих. Например, на контрольной выборке с известными ответами можно посчитать, как часто несколько моделей ошибаются одновременно и одинаково. Если заметно чаще, чем при независимых ошибках, диверсификация получается довольно условной.
И не только внутри одной компании: если большинство организаций построит агентов на моделях одного-двух поставщиков, общая слабость модели или изменение условий провайдера ударит по всем сразу — копула 2.0, теперь в масштабе всего рынка. Неслучайно страховщики уже обсуждают отдельные исключения для системных событий, когда одна модель вызывает убытки сразу у многих компаний.
Держать альтернативные модели про запас полезно, но недостаточно. Нужен план выхода, как в аутсорсинге: заранее понимать, как переключить критичный процесс на другого поставщика и что продолжит работать, если переключение не удастся. Договор должен предусматривать уведомления об изменениях модели, доступ к результатам проверок и действия сторон при инцидентах. Передать исполнение поставщику можно, но ответственность компании за собственный процесс от этого не исчезает.
4. Мониторинг и стресс-тестирование
Риск-менеджмент не заканчивается выдачей кредита — дальше надо следить за его качеством и постоянно искать признаки проблем. С агентами также, но одного итогового ответа мало: наблюдать нужно последовательности действий, использование инструментов, сдвиги во входных данных, частоту отказов и вмешательств человека.
Опасность пробелов в мониторинге показал июльский инцидент OpenAI и Hugging Face. Агенты, чьи возможности в задачах кибербезопасности тестировали с частично отключёнными защитными механизмами, выбрались из песочниц и взломали часть инфраструктуры Hugging Face. Пострадавшая компания сообщила об атаке 16 июля, а OpenAI подтвердила участие своих агентов лишь 21-го.
В сентябре похожая история повторилась в меньшем масштабе: агент во время испытаний нашёл обходной путь в интернет (через DNS-резолвер), хотя доступа в сеть у него не должно было быть. Мониторинг поднял тревогу в течение 15 минут, но другие похожие случаи не распознал как достаточно серьёзные. Автоматическая остановка не сработала, и запуск прервали вручную спустя 2,5 часа.
Для новых сценариев полезен теневой режим, когда агент предлагает действия, но пока не выполняет их сам. Мониторинг же нужен, чтобы замечать опасное поведение до того, как оно приведёт к ущербу, а не только фиксировать уже случившиеся инциденты. Почти-инциденты (случаи, когда ошибочное действие вовремя остановил лимит или человек) стоит разбирать также внимательно, как настоящие. Это те же сигналы о слабых местах, только полученные до того, как за ошибку пришлось платить. А заодно материал для стресс-тестов редких сценариев.
Наблюдать стоит и за самими проверяющими: рутинные согласования постепенно учат доверять агенту по умолчанию — это одно из проявлений предвзятости автоматизации (automation bias). Поэтому растущая доля одобрений может означать не только улучшение агента, но и то, что человек перестал по-настоящему проверять. Проверить это можно примерно как при досмотре багажа в аэропортах, где в рентгеновские снимки подмешивают изображения запрещённых предметов: в тестовом или теневом контуре предъявлять проверяющим заведомо ошибочные действия и смотреть, сколько из них отклонят. Разумеется, такие контрольные действия не должны исполняться в реальных системах.
В стресс-тесты, помимо редких и граничных входов, нужно закладывать враждебные сценарии: атаки, попытки обойти ограничения полномочий, цепочки действий с неожиданными побочными эффектами. Отдельно стоит проверять сами механизмы защиты. Можно ли остановить агента посреди длинной цепочки действий? А отозвать его полномочия — сразу или только после того, как он закончит очередной шаг? И что он сделает, если внешний инструмент вернёт противоречивый результат (остановится, переспросит или продолжит как ни в чём не бывало)?
Ни один универсальный бенчмарк LLM на эти вопросы не ответит. Такие сценарии придётся строить самим, пока их не построила за вас реальность и снизу не постучали.
5. Погашение долга
Сам по себе долг — не зло. Банки на нём зарабатывают, а компании берут его, чтобы расти быстрее. Опасен тот размер, которого никто не знает, а обслуживание не заложено в план. Но любой долг платежом красен. А платёж здесь — время инженеров, специалистов по мониторингу и валидации, аналитиков и экспертов предметной области, которые документируют требования, разбирают решения, проводят независимые проверки и поддерживают возможность заменить или восстановить систему.
А ещё у долга должен быть график платежей: не разовая кампания «разберём legacy, когда прижмёт», а регулярно выделяемое время команды, уходящее на разбор инцидентов, актуализацию документации и учения. Чтобы всё не держалось на горстке людей, к разбору критичных инцидентов стоит привлекать тех, кто их не устранял, а на учениях проверять, сможет ли другой инженер самостоятельно восстановить ход действий агента и разобраться в сбое (попутно выявляя проблемы документации и методологии). Долг, по которому не платят, не рассасывается — он растёт.
Это и есть «переваривание» результатов, без которого, по Тао, наступает «несварение доказательств». Работа медленная, и её трудно красиво показать на презентации об экономическом эффекте ИИ, особенно когда рядом соблазн похвастаться, сколько строк кода агент написал за ночь.
Экономический эффект ИИ часто оценивают по тому, насколько дешевле стало выполнять исходную операцию. Но в Total Cost of Ownership должны входить и расходы на независимую проверку, мониторинг, расследование инцидентов, поддержание контроля над полномочиями агентов и восстановление после ошибок. Иначе экономия может оказаться вполне реальной, а расчёт окупаемости — нет. Вы ведь не будете удалять из машины подушки безопасности ради экономии?
Если постоянно наращивать систему, не разбираясь в уже созданном, стоимость сопровождения будет расти, и рано или поздно долг проявится в инциденте, устранение которого обойдётся несравнимо дороже своевременной проверки. По времени диагностики и исправления ошибок можно судить, насколько дорогим становится накопленный долг понимания. Понимать каждую строку сгенерированного кода или каждую активацию нейросети тоже не нужно — достаточно понимать систему ровно настолько, насколько этого требует принимаемый риск, и уметь убедительно проверять её существенные свойства.
Точно оценить все эти риски пока сложно. Статистики по редким ошибкам мало, да и столь разные последствия к одному числу не сведёшь. Но 4 вопроса можно задать себе уже сегодня: какие полномочия у агента на самом деле (а не в промте), какие ошибки мы готовы пропустить, сколько стоит худший день и кто посмотрит на результат своими глазами, а не глазами агента.
Нового риск-менеджмента я не изобретаю: многие из этих принципов уже описаны в NIST AI Risk Management Framework. Мне интереснее, как перенести опыт банковского управления рисками на агентные системы, где модельный риск переплетается с операционным риском и информационной безопасностью.
Когда наступит сингулярность
Размышляя обо всём этом, я невольно вернулся к разговорам о технологической сингулярности. Возможно, на мысль навела сингулярность в уравнениях Навье–Стокса, хотя общего у них ровно одно — название.
Кто-то представляет сингулярность как момент появления сверхинтеллекта, развитие которого человек больше не может контролировать или предсказывать. Но для серьёзного разрыва между возможностями технологий и человеческим пониманием ждать реализации этого сценария не обязательно. Достаточно, чтобы ИИ продолжал создавать научные результаты, алгоритмы и сложные системы быстрее, чем мы успеваем их проверять и осмыслять. Lean будет подтверждать доказательства, тесты — код, дашборды — хорошие бизнес-метрики, а расстояние между тем, что организация умеет создавать, и тем, что она способна сама диагностировать и контролировать, будет расти.
Можно назвать это сингулярностью понимания — гипотезой о том, к чему ведёт устойчивый разрыв между скоростью создания решений и скоростью их осмысления.
Так что сингулярность наступит не в момент, когда ИИ станет умнее всех, а когда мы перестанем замечать, что не понимаем, что он делает. Впрочем, некоторые легаси-системы прошли эту точку невозврата ещё до появления генеративного ИИ.
Но практическая проблема догонит нас задолго до любой сингулярности. Мы уже используем модели, которые не понимаем до конца, а с появлением агентов доверяем ИИ ещё и всё больше самостоятельных действий. Поэтому центральный вопрос — какой риск мы готовы разменять на эффективность ИИ и насколько хорошо умеем этим риском управлять.
Как и в кредитовании, с агентами придётся принимать решения в условиях неполного знания. Только здесь вероятности некоторых ошибок оценить труднее, а последствия зависят от длинной и не всегда предсказуемой цепочки действий. Агенты о риск-менеджменте, разумеется, не мечтают. Так что думать о нём придётся нам.
P.S. Вопрос любому руководителю, у которого ИИ уже работает в проде, в том числе себе. Если ваша главная ИИ-система завтра примет странное решение, кто сможет разобраться в его причинах, сколько времени ему понадобится и что успеет произойти за это время? В большинстве известных мне компаний у ответа на первую часть вопроса bus factor равен единице. Такую концентрацию в кредитном портфеле не одобрил бы ни один кредитный комитет.
Всё написанное здесь — личное мнение автора, которое может не совпадать с позицией Альфа-Банка. При подготовке статьи ИИ-инструменты помогали с поиском и подбором источников, а заодно с вычиткой и сокращением текста — боюсь, без последнего вы бы просто не дочитали до этого дисклеймера. А чтобы не копить долг понимания, все источники проверены вручную.
