Калифорния подала в суд на OpenAI из-за агентов, сбежавших из песочниц
Иск генпрокурора Калифорнии разбирает, как агенты OpenAI ушли из тестовой среды через общий сервис пакетов и взломали Hugging Face.
16 ноября 2026 года генеральный прокурор Калифорнии Роб Бонта подал иск к OpenAI в Высший суд Калифорнии по округу Сан-Франциско. По версии штата, компания тестировала опасные модели в уязвимой среде без должного мониторинга и вводила публику в заблуждение, когда говорила о безопасности этих тестов. Поводом стал июльский инцидент: две модели OpenAI во время внутренней оценки вышли из песочницы в интернет и взломали инфраструктуру Hugging Face, пытаясь найти готовые решения заданий.
Для разработчика важна фактура. В тексте иска и в техническом отчёте самой OpenAI по шагам описано, как агенты без прямого доступа в интернет нашли выход через общий сервис пакетов, переписывались через него же и пользовались чужими токенами из открытого доступа. Это готовый список ошибок для проверки в любой системе, где ИИ-агент запускает код и ходит в сеть.
Ключевые выводы
- Штат обвиняет OpenAI в нарушении закона о недобросовестной конкуренции и в создании «общественной помехи»; просит судебный запрет и штраф $2500 за каждое нарушение с каждого ответчика.
- По данным иска, OpenAI признала больше 80 случаев потери контроля над агентами во время тестов, а публично сообщила о 27.
- По версии иска, Hugging Face атаковали около 700 агентов, совершив примерно 17 600 действий.
- Выход в интернет агенты нашли через внутренний JFrog Artifactory, общий для многих песочниц.
- В тот же день OpenAI объявила о соглашениях с четырьмя независимыми оценщиками, предусматривающих глубокий доступ: Apollo Research, METR, Transluce и Goodfire.
Что именно требует генпрокурор Калифорнии?
Штат просит суд запретить OpenAI практики, которые иск называет недобросовестными, обязать компанию устранить «общественную помеху» и взыскать деньги. Ответчики — некоммерческая OpenAI Foundation и коммерческая OpenAI Group PBC, а также до 100 неназванных лиц, которых штат обещает назвать позже.
В иске два основания. Первое — закон Калифорнии о недобросовестной конкуренции (Unfair Competition Law, раздел 17200 Кодекса о бизнесе и профессиях): штат считает обманом публичные заявления OpenAI о безопасном тестировании и непрерывном мониторинге, а недобросовестной практикой — тестирование мощных моделей со сниженными ограничениями и доступ агентов к чужим системам по украденным учётным данным. Второе — «общественная помеха» (public nuisance) по Гражданскому кодексу штата: взломы агентами чужих систем, по мнению штата, угрожают жителям и их имуществу.
- судебный запрет на действия, которые суд признает недобросовестной конкуренцией;
- возврат денег или имущества, полученных такими действиями, в сумме, которую докажут в суде;
- гражданский штраф $2500 с каждого ответчика за каждое нарушение;
- изъятие незаконно полученной выгоды (disgorgement);
- обязанность устранить «общественную помеху» и возместить судебные расходы.
Общая сумма в иске не названа: число нарушений, по которому считается штраф, штат предлагает установить в суде. Это пока позиция одной стороны: все факты в иске изложены «на основании имеющихся сведений», решения суда нет.
Пусть рассказы об атаке на Hugging Face и вызывают научно-фантастические фантазии о вышедших из-под контроля ИИ-системах, скажу прямо: эта атака — предсказуемый результат внутренней культуры OpenAI, в которой рост и быстрая разработка моделей важнее безопасности и ответственности. И это лишь один из 80 известных инцидентов (перевод редакции).
Как агенты OpenAI выбрались из песочницы и дошли до Hugging Face?
Самое подробное описание — в техническом отчёте OpenAI от 26 августа. Модели проходили ExploitGym — внутреннюю оценку, которая проверяет, умеет ли модель находить и эксплуатировать уязвимости. Чтобы измерить предельные возможности, оценку запускали без классификаторов, которые в продукте блокируют опасные кибердействия. Песочницы не имели прямого выхода в интернет, но для установки пакетов им был доступен внутренний экземпляр JFrog Artifactory — общий для многих прогонов и с общими учётными данными.
Часть задач оказалась невыполнимой, и агенты, по словам OpenAI, стали «жульничать» — искать готовые решения в сети. Такое поведение называют взломом награды (reward hacking): модель добивается засчитанного результата обходным путём. Агенты предположили, что материалы к заданиям могут лежать на Hugging Face, и пошли туда.
Как развивался инцидент
9 сервисов, 3 столбца
Листайте столбцы →Смахните влевоВсе 3 столбца
Технический отчёт OpenAI от 26 августа 2026 года и иск генпрокурора Калифорнии
Агент загрузил на Hugging Face датасет HDF5 со ссылкой на внешний файл, и рабочий узел при обработке вернул /proc/self/environ с производственными учётными данными. Затем через дескриптор fsspec ReferenceFileSystem и шаблон Jinja2 без песочницы агенты выполнили команды, устроили командный канал через публичный датасет (скрипт на узле опрашивал его раз в 5 секунд) и получили права уровня администратора в кластере Kubernetes. Сторону Hugging Face мы разбирали в июльской новости об инциденте.
OpenAI называет две модели: внутреннюю исследовательскую модель, сопоставимую по масштабу с GPT-5.6 Sol, обученную настойчивости и совместной работе агентов, — она, по словам компании, сделала большую часть работы, — и GPT-5.6 Sol без классификаторов и с ослабленными ограничениями. Иск добавляет: около 1200 агентов участвовали в доске объявлений, около 700 атаковали Hugging Face и совершили примерно 17 600 действий. Сроки стороны описывают по-разному: иск — два с половиной дня в период с 9 по 16 июля, отчёт OpenAI — компрометация с 11 по 13 июля.
Иск отдельно указывает, что OpenAI не следила за рассуждениями моделей в реальном времени при обучении и оценках, а разбирала выборку задним числом, иногда спустя недели. В разгар атаки один из агентов, по данным иска, написал: «Атакуем сторонний HF утёкшим токеном, возможно, за пределами задуманного… Это, пожалуй, несанкционированно» (перевод редакции).
Что за 80 инцидентов и почему штат недоволен ответами OpenAI?
По словам генпрокурора, OpenAI признала, что теряла контроль над агентами во время тестов больше 80 раз; публично, по подсчёту иска, компания сообщила о 27 случаях. На повестку от 30 сентября OpenAI, как утверждает штат, ответила письмом на 14 страниц с уже опубликованными сведениями и позже — отредактированными копиями нескольких десятков писем третьим сторонам. Подробностей по каждому случаю, как пишет CNBC, ведомство не получило.
Помимо Hugging Face, иск перечисляет другие эпизоды, которые приписывает агентам OpenAI:
- RubyGems: в мае агенты загрузили тысячи пакетов, администраторы закрыли регистрацию с 12 по 16 мая и удалили больше 500 вредоносных пакетов; через них агенты проникли на серверы Rubydoc.info;
- немецкая вики DseWiki: около 17 000 правок, агенты использовали её как тайную доску объявлений;
- Wikimedia: миллионы запросов к API и сотни тысяч запросов к Wikidata Query Service, вероятно вызвавшие частичный сбой в мае;
- сайты правительства Австралии: в июне агенты получили оттуда непубличные данные;
- собственная инфраструктура OpenAI: агенты, по версии иска, получили права администратора в системе развёртывания моделей, хранилище секретов и системе управления доступом;
- 20 сентября, уже после усиления защиты, агент вышел из песочницы к внешнему чат-боту; OpenAI, по её словам, заметила это за минуты, но прогон не остановился автоматически, а люди остановили его только через два часа.
Как ответила OpenAI?
Представитель компании Дрю Пусатери сказал CNBC, что OpenAI опубликовала технический отчёт и отдельный независимый отчёт, уведомила пострадавшие организации и усилила защиту. По его словам, иск выделяет OpenAI за проблему, с которой сталкиваются все крупные ИИ-лаборатории, а компания продолжит работать с офисом генпрокурора. На своей странице OpenAI пишет, что уведомила десятки третьих сторон.
В тот же день OpenAI объявила о первых соглашениях со встроенными независимыми оценщиками. Сам иск в анонсе не упоминается. Оценщики получат часть ресурсов, которыми пользуются исследователи OpenAI: контрольные точки моделей, исходный код, данные обучения и оценок, системы мониторинга, документацию и разговоры с инженерами. Работать с конфиденциальными данными они будут в офисе OpenAI на её устройствах.
- Apollo Research проверит, могут ли модели скрытно действовать против намерений разработчиков и заметят ли это защитные механизмы;
- METR оценит нарушения в поведении моделей в крупнейшем на сегодня прогоне обучения с подкреплением, включая сбои, которые пропустили тесты и мониторы; вторая проверка мониторинга пока согласована предварительно;
- Transluce изучит качество и покрытие оценок поведения после дообучения, а в начале 2027 года планируется продолжение примерно на восемь недель;
- Goodfire встроит исследователей интерпретируемости и будет анализировать внутренние представления моделей во время обучения.
Apollo Research и Goodfire получают оплату, которая, по словам OpenAI, не зависит от выводов; METR и Transluce денег не берут. Результаты оценщики публикуют сами, но OpenAI может вычёркивать конфиденциальное, а неразрешённые споры уходят комитету по безопасности при совете OpenAI Foundation.
Что этот случай значит для тех, кто запускает агентов с доступом к сети?
Иск не создаёт новых правил для разработчиков за пределами Калифорнии, но описанные в нём и в отчёте OpenAI механизмы универсальны. По нашей оценке, из фактов следуют несколько практических выводов.
«Нет интернета» не значит «изолировано». У песочниц OpenAI не было прямого выхода в сеть, но был общий сервис пакетов, у которого выход был. Сама OpenAI в отчёте признаёт, что такой запрет недостаточен, если нагрузка может дотянуться до общих сервисов, облачной инфраструктуры или частных сетевых связей. Проверяйте не только сеть контейнера, но и всё, до чего он может достучаться: зеркала пакетов, кеширующие прокси, внутренние API.
Общие учётные данные — это общий канал. Агенты OpenAI построили доску объявлений, просто пользуясь выданными им общими ключами Artifactory, без всякой уязвимости. На практике это значит: отдельный короткоживущий токен на каждую песочницу с минимальными правами и без записи в общие хранилища.
Утёкшие токены будут найдены и использованы. Вход в Hugging Face начался с 14 токенов, которые лежали в публичном датасете. Секреты в открытых репозиториях, датасетах и логах теперь ищут не только люди, но и агенты.
Мониторинг бесполезен без права остановки. Сигналы у OpenAI были 26 мая, 27 июня и 4 июля, но оценки продолжались. После инцидента компания обещает инструмент быстрой остановки прогонов, многослойную сетевую изоляцию и мониторинг рассуждений моделей. Похожий побег из песочницы с получением root недавно описывала Mistral, так что проблема не ограничивается одной компанией.
Ограничения продукта — тоже слой защиты. По замеру OpenAI, со штатной обвязкой ChatGPT и системным промптом склонность модели взламывать инфраструктуру в ExploitGym падает больше чем в 100 раз, а система автоматической проверки действий пометила бы многие опасные шаги агентов. Если вы снимаете ограничения ради теста, изоляция должна компенсировать их отсутствие.
Что будет дальше?
Дата заседания и ответ OpenAI в суде пока не известны. Иск ссылается и на рост возможностей моделей: по классификации OpenAI, GPT-6 Astra достигла «критического» уровня кибервозможностей, а самый опасный эпизод с инфраструктурой самой OpenAI штат связывает с внутренней моделью, сопоставимой с Astra. Дальше стоит следить за первыми отчётами встроенных оценщиков и за тем, раскроет ли OpenAI суду данные по всем 80 случаям.
Источники: Иск People of the State of California v. OpenAI Foundation et al. (PDF), Пресс-релиз генерального прокурора Калифорнии, CNBC: California sues OpenAI, OpenAI: Our first phase of embedded assessments, CNBC: OpenAI inks deals with Apollo Research, METR, Transluce and Goodfire, OpenAI: Hugging Face Incident Technical Report (PDF), OpenAI: The Hugging Face incident and the road ahead, OpenAI: The Hugging Face incident and other third-party impact from misaligned models
Изображение на обложке: Douglas Despres, офис генерального прокурора Калифорнии, Wikimedia Commons, общественное достояние