OpenAI раскрыла замеры моделей и предложила общие лимиты для ИИ
OpenAI раскрыла внутреннюю метрику прогресса моделей и предложила отрасли общий порог по перплексии.
22 ноября OpenAI опубликовала замеры предобучения своих моделей и предложила отрасли общие ограничения на разработку ИИ. Главный научный сотрудник компании Якуб Пахоцки считает, что в качестве базового ориентира для сравнения систем и согласования мер безопасности может выступать перплексия.
OpenAI публично раскрыла внутреннюю метрику прогресса от GPT-3.5 до неназванной новой модели и привязала к ней предложение об ограничении разработки. Для программистов и команд, строящих продукты на LLM, это прямой сигнал о том, как в OpenAI связывают снижение ошибки предсказания со скачками возможностей моделей. При этом речь пока идёт только об инициативе одной компании: договориться с другими разработчиками о сопоставимых замерах и условиях ограничений ещё предстоит.
Ключевые выводы
- OpenAI замеряет логарифм перплексии базовых моделей на фиксированном отложенном наборе данных из своей внутренней кодовой базы. Чем ниже значение, тем точнее модель предсказывает следующий токен.
- На графике компании GPT-3.5 соответствует около 0,99, GPT-4 около 0,91, GPT-6.2 Astra около 0,76, а неназванная внутренняя модель опустилась до 0,73.
- Пахоцки предлагает ввести общий порог по перплексии и другим метрикам и не переходить его, пока способность понимать и отслеживать поведение ИИ не достигнет конкретной вехи.
- Сравнивать метрику между лабораториями сложно из-за разных данных, а сама она не отражает прогресс за пределами этапа предобучения.
- Сэм Альтман поддержал идею общих ограничений; о договорённостях с другими разработчиками пока не сообщалось.
Что измеряет перплексия и почему OpenAI считает её на коде?
Перплексия показывает, насколько точно модель в среднем предсказывает следующий токен в последовательности. Чем меньше это число на одном и том же наборе данных, тем выше качество предсказаний. На графике OpenAI отложен логарифм перплексии, который в машинном обучении также называют функцией потерь кросс-энтропии.
Пахоцки описывает предобучение как создание предсказателя на большом массиве данных. Затем разработчики применяют промптинг, дообучение и обучение с подкреплением, чтобы раскрыть скрытые способности модели в конкретных задачах. По мнению автора, наблюдение за ошибкой предсказания помогает отслеживать прогресс предобучения даже тогда, когда привычные бенчмарки быстро устаревают.
Свои замеры OpenAI ведёт начиная с GPT-3.5 на фиксированном снимке отложенной выборки из внутренней кодовой базы. Пахоцки выбрал именно этот набор, поскольку на него компания сегодня чаще всего опирается при оценке этапа предобучения.
У такого выбора есть ограничение. Для GPT-2 и GPT-3 точность предсказания кода плохо отражает общие способности из-за состава их обучающих данных. Пахоцки отмечает, что эти ранние модели стоило бы оценить вместе с современными на обычных текстах. Опубликованные цифры относятся только к внутреннему набору данных OpenAI.
Какие способности OpenAI связала с порогами на графике?
На графике компания отметила несколько уровней логарифма перплексии и соответствующие им навыки моделей. Эти числа считаны с иллюстрации приблизительно; они описывают наблюдения OpenAI, а заранее заданных универсальных границ для любых моделей нет.
5 сервисов, 2 столбца
Листайте столбцы →Смахните влевоВсе 2 столбца
По словам Пахоцки, GPT-3.5 со значением около 0,99 уже вела беглый диалог и легла в основу первого ChatGPT. GPT-4 на уровне около 0,91 начала продуктивно использовать цепочку рассуждений, что подтолкнуло разработчиков целенаправленно развивать этот подход. После преодоления порога 0,8, пишет автор, появились «преобразующие» способности в кибербезопасности и математике.
На графике также отмечены GPT-5.6 Sol (около 0,83), GPT-6 Astra (около 0,78), GPT-6.2 Astra (около 0,76) и безымянная внутренняя модель (около 0,73). Название последней разработки OpenAI не раскрывает. Пахоцки подчёркивает, что появление конкретных навыков на этих отметках нельзя было предсказать заранее.
Упоминание задачи тысячелетия есть только на графике; какую задачу имеет в виду подпись, в тексте статьи не сказано. В сентябре 2026 года OpenAI заявляла, что её внутренняя модель, не выпущенная публично, решила задачу Навье — Стокса о движении жидкости: на это ушло 88 часов и до 10 000 агентов. Премию тысячелетия OpenAI получать не собирается, а официально решённой из семи задач по-прежнему считается только гипотеза Пуанкаре.
Пахоцки рассказывает, что OpenAI больше года проверяла модели на открытых математических задачах. По его словам, версия с уровнем около 0,76 начала выдавать результаты, которые он назвал «прорывными», причём решения появлялись одно за другим в одном треде в Slack. Автор предполагает, что в диапазоне 0,68–0,7 возникнут новые значительные способности, но какие именно, он не знает и допускает, что сегодня их даже не тестируют.
Какие общие ограничения предлагает Пахоцки?
Пахоцки призывает разработчиков договориться о едином ограничении по перплексии и другим измерениям. Компании должны обязаться не пересекать этот уровень, пока способность понимать и отслеживать поведение ИИ не достигнет конкретной вехи. В качестве примера такой вехи он называет создание преемника современных систем мониторинга цепочек рассуждений.
Сначала, по задумке автора, индустрии нужно определить первый порог и чёткие условия перехода за него. На этой базе можно выстроить систему последовательных ограничений для дальнейшего развития моделей. К моменту первого запуска таких моделей Пахоцки также предлагает согласовать общие правила оценки, атакующего тестирования обоснований безопасности и стандарты прозрачности.
В своём посте о публикации учёный объяснил раскрытие внутренних замеров желанием ускорить выработку общих требований безопасности. В статье он признаёт, что график даёт конкурентам более ясное представление о позициях OpenAI, но считает задачу безопасности более срочной.
Необходимость ограничений автор связывает и с риском резкого ускорения исследований. Он допускает, что уже в 2027 году участие ИИ в изучении алгоритмов предобучения вызовет лавину фундаментальных улучшений. По его оценке, методы согласования поведения моделей с намерениями людей и средства мониторинга вряд ли успеют за таким темпом. Полностью автоматическое самоулучшение без надзора человека он считает сценарием, которого нужно избегать.
Резкий скачок на графике в 2026 году OpenAI объясняет в основном плодами многолетних исследований и ростом вычислительных мощностей, и лишь отчасти автоматизацией. Тем не менее, по словам Пахоцки, ИИ уже внёс заметный вклад в проектирование последних моделей.
Как отреагировали на график?
Один из ответов под постом Пахоцки перевернул ось Y на графике OpenAI с подписью «Поправил за вас» и собрал больше 500 лайков. Падение перплексии превратилось в привычную кривую, которая растёт вверх, и так проще увидеть главное: чем ниже значение, тем сильнее базовая модель.
Другой пользователь нанёс на ту же шкалу собственные оценки открытых моделей 2026 года: Kimi K3 и K3.1 Pro, DeepSeek V4.1 Flash и V4 Pro, Qwen3.8-Max, GLM-5.3, Muse Spark Open и Mistral Large 4. Для каждой он показал середину оценки и разброс: от сравнения по затраченным вычислениям до сравнения по способностям. Середины у него легли примерно от уровня GPT-5 до GPT-5.4, а Kimi оказалась чуть сильнее GPT-5.4, у порога «полезного помощника в программировании». Это оценка автора ответа, а не данные OpenAI, и методику он не раскрыл. OpenAI замеров для чужих моделей не публиковала.
Илон Маск ответил, что предобучение стоит называть просто обучением: по его словам, нельзя иметь «до» и «после», но не иметь самого обучения, это как переодеться для тренировки и принять душ, так и не потренировавшись. Главной проблемой обучения в следующем году, если он ничего не упускает, станет нехватка данных.
В чём слабость метрики и что будет дальше?
Сам Пахоцки выделяет 4 проблемы перплексии как общего стандарта:
- Разные лаборатории используют свои оценочные наборы и обучающие выборки, поэтому их результаты трудно сравнивать напрямую.
- Снижение перплексии прямо не указывает на успех в конкретной прикладной задаче; связь с новыми навыками приходится проверять отдельно.
- Метрика не учитывает прогресс после этапа предобучения. Например, цепочка рассуждений резко повышает качество ответов, хотя значение перплексии остаётся прежним.
- Нижняя граница показателя неизвестна: нулевая потеря означала бы полную предсказуемость данных, чего автор не ожидает. По мере приближения к этому неизвестному пределу даже малый сдвиг метрики способен сопровождаться крупным скачком возможностей.
Отдельно Пахоцки предупреждает, что при дальнейшем росте моделей нынешние способы аудита согласованности будут терять эффективность, а сами модели начнут лучше распознавать ситуации оценки и обучения.
Глава OpenAI Сэм Альтман поддержал публикацию, назвав её самой важной за последнее время для компании. Он выразил надежду, что отрасль сможет договориться об общих лимитах ради сохранения контроля и безопасности. Главный вопрос теперь в том, удастся ли конкурирующим лабораториям согласовать сопоставимые замеры, первый порог и проверяемые условия для его преодоления.
Источники: OpenAI: Perplexity and Intelligence, Якуб Пахоцки в X, Сэм Альтман в X, CNN: OpenAI says it has solved one of math’s Millennium Problems, Оценки открытых моделей (@basement_agi), Илон Маск в X
Изображение на обложке: Изображение: OpenAI