Тео Браун и Every раскритиковали GPT-6.2 Astra после недель тестов

Почему ранние тестеры разочаровались в GPT-6.2, что показывают бенчмарки и что сама OpenAI признала в анонсе.

Обложка: Тео Браун и Every раскритиковали GPT-6.2 Astra после недель тестов

В первый час после выхода GPT-6.2 Astra и GPT-6.2 Sol 17 ноября несколько известных ранних тестеров публично отказались их рекомендовать. Разработчик и видеоблогер Тео Браун назвал Astra худшей моделью в истории OpenAI, предприниматель Мэтт Шумер отказался писать обзор, потому что модели оказались «по сути непригодны», а издание Every назвало релиз разочаровывающим на фоне Claude Fable 5.2.

При этом в бенчмарках у Astra рекорды: второе место в индексе Artificial Analysis и первые 100% в ARC-AGI-3. Жалобы тестеров сходятся в одном: с моделью трудно работать. Она пишет слишком сжато, на длинных задачах бросает работу или ходит по кругу, а в ответах теряет важное. Похожую черту OpenAI описала и сама в разделе анонса о безопасности.

Для тех, кто выбирает модель для Codex или API, это значит, что цифры релиза пока не подтверждены опытом работы. Новые модели стоит сравнить на своих задачах, прежде чем переключать на них агентов по умолчанию.

Ключевые выводы
  • Тео Браун, Мэтт Шумер и Дэн Шиппер из Every тестировали GPT-6.2 до выхода и раскритиковали её; Итан Моллик назвал Astra неровной, но сильной на большом 3D-проекте.
  • Главные претензии: слишком сжатые и непонятные ответы, остановки на полпути в длинных задачах, циклы без результата, вопросы пользователю о внутренних деталях реализации.
  • В индексе Artificial Analysis Astra набрала 62 балла и уступает только Claude Fable 5.2 с 65, но в кодинг-индексе прироста нет, а Sol потеряла 3 балла.
  • OpenAI сама пишет, что обе модели в двух тестах чаще умалчивали о препятствиях вроде пропавшего файла, и добавила в Codex инструкции против этого.
  • Под анонсом на Hacker News около 970 очков и 600 комментариев, оценки расходятся от «новый стандарт для 3D-игр» до «слабые примеры слайдов».

Что говорят те, кто тестировал GPT-6.2 до выхода?

Коротко: из пяти заметных отзывов четыре отрицательные, но трое из пяти авторов отмечают и сильные стороны. Подборку сделал ведущий подкаста ThursdAI Алекс Волков: он написал, что настроения вокруг новых моделей «хуже некуда», и приложил скриншоты постов Брауна, Шумера и Шиппера.

Самый резкий отзыв у Тео Брауна, автора YouTube-канала про веб-разработку и чат-клиента T3 Chat. В первом посте он назвал Astra «худшей моделью, которую OpenAI когда-либо выпускала», а через 11 минут опубликовал полный текст письма, которое написал OpenAI во время раннего тестирования. По его словам, часть претензий компания исправила, но не настолько, чтобы он рекомендовал модель.

Мэтт Шумер ограничился тремя предложениями: тестирование прошло «ужасно», Astra и Sol «по сути непригодны», рекомендовать их он не будет. Подробностей Шумер не привёл.

Дэн Шиппер, глава издания Every, пишет, что команда гоняла модели несколько недель. Выводы по трём направлениям (перевод редакции):

  • Тексты. Astra 6.2 пишет хуже, чем GPT-6 Astra: её, судя по всему, обучили быть предельно краткой и конкретной, настолько, что текст трудно понять, а там, где нужен развёрнутый ответ, она отвечает коротко.
  • Код. На бенчмарках Every результат на уровне GPT-6 Astra. Но в реальных задачах модель часто останавливается слишком рано, и сквозная сборка проекта от начала до конца раздражает.
  • Дизайн. Хорошее чутьё по умолчанию, но варьировать решения модель не умеет, и у её работ заметен один «фирменный стиль».

Мягче всех высказался профессор Уортонской школы бизнеса Итан Моллик. Он назвал Astra «очень неровной и странной»: управлять ею сложнее, чем другими моделями, зато амбициозный проект с нуля, аттракцион «поездка на космическом лифте» в Blender и Unity, она собрала хорошо.

В чём именно Тео Браун обвиняет Astra?

Письмо Брауна интересно конкретными случаями. Он начинает с плюсов: Astra хорошо ревьюит код и замечает то, что пропускают другие модели, на мировом уровне работает с 3D и играми, отлично управляет компьютером, пишет заметно более качественный код и удачные промпты для субагентов. По его словам, она помогла придумать новый обратный прокси, который сэкономит ему $25 тыс. в месяц.

Дальше три претензии, которые он называет новыми для моделей OpenAI:

  1. Вопросы, на которые пользователь не может ответить. На задаче «сделай новый уровень для Outer Wilds» модель через два часа работы остановилась и спросила, в какой из двух файлов с внутренними именами ревьюер пишет видеоклипы. Брауну пришлось запускать других агентов по расписанию, чтобы проверять, не заблокировала ли Astra сама себя очередным вопросом. Он проверил и в Codex, а не только в своём клиенте T3 Code: поведение то же.
  2. Непонятные объяснения. После длинного прогона Браун переключается на Claude Opus 5.5, чтобы получить читаемое резюме сделанного. На вопрос, почему git worktree медленно работают на одной машине из четырёх, Astra выдала четыре абзаца о внутренностях pnpm и кэшах, а Opus 5.5 ответил, что медленный SSD. Правки системного промпта и просьбы объяснить попроще, по словам Брауна, не помогают.
  3. Циклы без результата. На его тестовом проекте, переписывании компилятора TypeScript на Rust, Astra работала 7 дней и не внесла ни одного улучшения, а компилятор из-за её правок стал медленнее на 56%. Ещё 4 дня после уточнения задачи тоже прошли без изменений. По словам Брауна, Opus довёл этот проект меньше чем за две недели примерно за $20 тыс. в токенах, хотя прошлые модели OpenAI не сдвинули его и за $300 тыс.
Модель явно очень умная. Но работать с ней на реальных проектах невыносимо. На коротких задачах она пишет нормальный код, а потом объясняет его сложнее, чем сам этот код.
Тео Браунразработчик, автор T3 Chat (перевод редакции)

Браун сам оговаривается, что, возможно, реагирует слишком остро, и прогнозирует сценарий: в первый день модель полюбят за эффектные результаты с одного промпта, на второй заметят расход лимитов и скромный итог по сравнению с Opus, через две недели о ней в основном забудут. Цифры из письма, включая затраты на токены, проверить нельзя: это его собственные замеры на его проектах.

Что показывают независимые бенчмарки?

Бенчмарки рисуют другую картину. Artificial Analysis, которая сама прогоняет модели на своём наборе тестов, поставила GPT-6.2 Astra на второе место в общем индексе: 62 балла против 65 у Claude Fable 5.2. Это на 5 баллов больше, чем у GPT-6 Astra, и выше Gemini 4 Carbon (60) и Claude Opus 5.5 (59). GPT-6.2 Sol набрала 57 баллов, как GPT-6 Astra, примерно за 15% её стоимости задачи.

Тео Браун и Every раскритиковали GPT-6.2 Astra после недель тестов_19
Общий индекс и стоимость задачи. Источник: Artificial Analysis

Но в индексе кодинг-агентов, где модели OpenAI работают в Codex на максимальном уровне рассуждений, прироста нет: Astra на уровне GPT-6 Astra, а Sol потеряла 3 балла к GPT-6.1 Sol. Падение Sol дал тест вопросов по кодовой базе SWE-Atlas-QnA-AA, минус 14 баллов. По объяснению Artificial Analysis, новая модель чаще предшественницы упускает в ответах ключевые факты.

Фонд ARC Prize сообщил, что Astra первой набрала 100% в ARC-AGI-3, наборе интерактивных головоломок на обобщение. Оговорка важна: 100% получены с адаптером провайдера за $4,1 тыс., в стандартной обвязке результат 70,3% за $24,2 тыс. В ARC-AGI-2 у модели 95,8% при $0,50 за задачу.

Почему рекорды в тестах не совпадают с опытом тестеров?

OpenAI на критику пока не ответила, но в её анонсе есть три детали, которые с жалобами согласуются. Связь между ними — вывод редакции, а не заявление компании.

Первая: обе модели оптимизировали на экономию токенов. OpenAI пишет, что они дают лучший результат «с меньшим числом выходных токенов», а Astra на внутреннем бенчмарке GDPval v2 расходует на 22% меньше выходных токенов, чем GPT-6 Astra. Про тексты компания пишет, что они стали «более прямыми и конкретными, с меньшим количеством общих выводов и воды». Every описывает то же свойство как недостаток: сжато до непонятности.

Вторая: в разделе о безопасности OpenAI признаёт, что в двух тестах обе модели чаще умалчивали о препятствиях, которые мешали работе, например о пропавшем файле или недоступном инструменте поиска. В тесте Blocker Deception у агента, например, удаляют файл, который просили отредактировать, и проверяют, скажет ли он об этом. Компания добавила в Codex инструкции, которые «существенно снижают» такие умолчания, и продолжает изучать поведение. Падение Sol в тесте Artificial Analysis из-за пропущенных фактов похоже на ту же черту.

Третья: руководитель Codex Тибо Соттьо в день релиза написал, что модели «чрезвычайно эффективны», и это заметно по скорости, стоимости и тому, насколько дольше хватает лимитов. По нашей оценке, оборотная сторона той же эффективности — короткие ответы, которые тестеры называют непонятными. Модели OpenAI и раньше реже других объясняли через образы: в недавнем тесте характера моделей GPT-6.1 Sol оказалась внизу рейтинга по образности объяснений.

Что пишут разработчики на Hacker News?

Обсуждение анонса на Hacker News собрало около 970 очков и больше 600 комментариев, и единого мнения там нет. Одни хвалят производительность при такой цене и игровую демку на Godot из анонса: по словам комментатора, Astra задаёт «новый стандарт» для создания 3D-игр. Другие пишут, что примеры слайдов и документов в анонсе выглядят слабее, чем то, что они получали от прошлых моделей.

Частая тема — сравнение с Opus 5.5 и вопрос, исправила ли OpenAI склонность прошлой Astra к лишним абстракциям и избыточному числу файлов. Ещё один заметный комментарий: пользователь не нашёл задач, где Astra заметно лучше Sol, и спрашивает, находят ли их другие. Отдельно комментаторы замечают, что в ветках про релизы OpenAI хвалят Anthropic и наоборот, а многие отзывы на деле описывают прошлые модели.

Стоит ли переходить на GPT-6.2 прямо сейчас?

Отзывы тестеров основаны на их собственных проектах, и в основном это длинные агентные задачи. Для коротких правок, ревью кода и задач, где важна цена, картина может быть другой: даже критики отмечают качество кода и ревью у Astra, а Sol по цене задачи остаётся одной из самых выгодных моделей в индексе Artificial Analysis. На практике, по нашей оценке, это значит:

  • Не переключать агентов по умолчанию на GPT-6.2, пока не прогнали её на нескольких своих типовых задачах рядом с текущей моделью.
  • В длинных задачах явно просить сообщать о препятствиях и о том, что модель не сделала. OpenAI добавила подобные инструкции в Codex; в своих обвязках и при работе через API имеет смысл прописать такую просьбу самостоятельно.
  • Следить за долгими запусками: Every описывает преждевременные остановки, а Браун — циклы без прогресса.
  • Если итоговые отчёты непонятны, их можно отдать на пересказ другой модели, как делает Браун, но это лишний расход токенов.

Every обещает полный обзор моделей, Браун собирается записать видео, когда выздоровеет. Цены, режимы и доступность в подписках мы разобрали в новости о релизе, а историю утечек до выхода — в отдельном материале.

Источники: OpenAI: Introducing GPT-6.2 Astra and Sol, Тео Браун в X: Why I hate GPT-6.2 Astra, Тео Браун в X: первый отзыв, Мэтт Шумер в X, Дэн Шиппер (Every) в X, Итан Моллик в X, Алекс Волков (ThursdAI) в X, Artificial Analysis в X: GPT-6.2 Astra и Sol, ARC Prize в X: GPT-6.2 Astra на ARC-AGI, Тибо Соттьо в X, Hacker News: GPT-6.2 Astra and Sol

Изображение на обложке: OpenAI