Модели Google чаще всех объясняют через аналогии, модели OpenAI реже всех
Artificial Analysis показала, какие ИИ-модели чаще объясняют через аналогии и как устроен её бенчмарк стиля ответов.
Artificial Analysis 17 ноября опубликовала рейтинг «метафоричности» ИИ-моделей: чаще всех объясняет идеи через аналогии и образный язык Gemini 4 Argon, у неё перцентиль 100 среди моделей бенчмарка. Реже всех это делают модели OpenAI: у GPT-6 Luna 3, у GPT-6.1 Sol 18, у старой GPT-3.5 Turbo 1.
Рейтинг входит в AA-PersonalityBench, бенчмарк, который оценивает манеру письма моделей по умолчанию, без системного промпта. Правильность ответов он не проверяет.
Для разработчика это ещё одна ось при выборе модели. Там, где ответ читает человек (объяснения в обучающем сервисе, документация, чат-бот поддержки), стиль по умолчанию заметен не меньше точности. Замер AA показывает, какие модели пишут образно, когда им ничего не сказано о стиле.
Ключевые выводы
- В черте «метафоричность» лидирует Gemini 4 Argon (100), за ней Gemini 3.8 Flash (98), Muse Spark Open (95), Gemini 3.1 Pro Preview (93) и Inkling (91).
- Внизу GPT-3.5 Turbo (1), GPT-6 Luna (3), GPT-6 Sol (6), Llama 4 Maverick (8) и GPT-4o (10); у GPT-6.1 Sol 18, у Claude Opus 5.5 67.
- AA-PersonalityBench запущен 19 октября 2026 года; сейчас в нём 43 модели, 900 вопросов, 30 черт и 8 индексов.
- Ответы сравнивают попарно три модели-судьи; модели отвечают без системного промпта, поэтому замер описывает поведение по умолчанию.
Что такое «метафоричность» в этом бенчмарке?
Это одна из 30 черт AA-PersonalityBench. Судье задают вопрос: использует ли модель аналогии или образный язык, чтобы сделать идею осязаемой. Сама черта не считается ни плюсом, ни минусом: Artificial Analysis измеряет, насколько сильно она проявляется, а нужна ли она, решает тот, кто выбирает модель.
«Метафоричность» входит в индекс Expressiveness («выразительность») вместе с ещё четырьмя чертами: разнообразие лексики, красноречие, литературность и естественность речи. По индексу целиком первая Claude Fable 5.1, последняя GPT-3.5 Turbo. Получается, что лидер по образности и лидер по общей выразительности текста не совпадают.
Кто наверху и внизу рейтинга?
Верх рейтинга почти целиком занимают модели Google: Gemini 4 Argon (100), Gemini 3.8 Flash (98) и Gemini 3.1 Pro Preview (93). Между ними Muse Spark Open (95), а пятой идёт Inkling от Thinking Machines (91). Дальше Muse Wonder (81) и GLM-5.3 (79).
В середине модели Anthropic, причём заметно разнесённые: у Claude Opus 5.5 67, у Claude Fable 5.2 39. Ниже Grok 4.7 (34), DeepSeek V4.1 Flash 1017 (32) и Kimi K3.1 Pro (22).
Низ почти полностью за OpenAI: GPT-6 Astra (20), GPT-6.1 Sol (18), GPT-4o в версии ноября 2024 года (10), GPT-6 Sol (6), GPT-6 Luna (3) и GPT-3.5 Turbo (1). Из других компаний на графике в этой зоне только Llama 4 Maverick (8); на графике показаны 19 из 43 моделей.
Разрыв между крайними моделями большой. По данным страницы черты, рейтинги Elo у 43 моделей лежат в диапазоне от 691 до 1895, между Gemini 4 Argon и GPT-3.5 Turbo 1204 пункта. Типичный 95-процентный доверительный интервал у модели плюс-минус 30 пунктов Elo, это примерно плюс-минус 4 пункта перцентиля. На графике интервалы показаны усами: у Gemini 4 Argon и Gemini 3.8 Flash они не пересекаются, так что разница между первым и вторым местом не случайна.
Как Artificial Analysis измеряет стиль ответов?
Бенчмарк Artificial Analysis запустила 19 октября 2026 года. На каждую из 30 черт написано по 30 вопросов, всего 900; часть вопросов мягко подталкивает модель проявить черту, часть нейтральна. Полный набор закрыт, чтобы вопросы не попали в обучающие данные, публично доступны 5 примеров, например «Почему пал Рим?» для структурированности.
Каждая модель отвечает на вопрос один раз, одним сообщением пользователя и без системного промпта. Так видно, как она пишет по умолчанию, и все модели отвечают на одни и те же вопросы.
Дальше работают судьи. По методике, судье дают название черты, её определение, вопрос и два ответа без имён моделей, и он выбирает, в каком ответе черты больше, или ставит ничью. В панели три модели: Gemini 3.8 Flash (high), Claude Sonnet 5.5 (medium) и GLM 5.3 Flash (max). Каждое сравнение достаётся одному судье, сравнения каждой модели делятся между судьями примерно поровну, порядок ответов перемешивается, чтобы убрать влияние позиции.
Gemini 3.8 Flash одновременно входит в панель судей и стоит второй в рейтинге «метафоричности». Отдельно вопрос о том, отдаёт ли судья предпочтение ответам моделей своей линейки, в методике не разбирается.
Вердикты превращаются в рейтинг по модели Брэдли — Терри со штрафом Ферта, ничья считается половиной победы. Шкала устроена как Elo: равные рейтинги означают шансы 50 на 50, разница в 400 пунктов означает шансы 10 к 1. Якорем служит GPT-6.1 Sol, ей на каждой черте назначен рейтинг 1000. Доверительные интервалы считают бутстрепом на 1000 повторных выборок. Итоговое число для читателя — перцентиль от 1 до 100 среди всех моделей бенчмарка.
Какие ещё черты и индексы есть в AA-PersonalityBench?
30 черт сведены в 8 индексов. Индекс — среднее нормированных рейтингов его черт, тоже переведённое в перцентиль:
- Expressiveness, выразительность: разнообразие лексики, красноречие, литературность, естественность, метафоричность;
- Organization, организация: структурированность, удобство беглого чтения, итог в конце, ответ в начале;
- Informativeness, информативность: плотность информации, опора на факты, конкретные ресурсы, практические шаги, прагматичность;
- Transparency, прозрачность: правдивость, признание неуверенности, оговорки о допущениях, нюансы и угодливость, которая входит в индекс с обратным знаком;
- Warmth, теплота: дружелюбие, юмор, искренность, эмоциональный интеллект;
- Conviction, убеждённость: прямота, уверенность, наличие мнения, конструктивные возражения;
- Imagination, воображение: креативность и открытость к размышлениям;
- Slop: наполнитель и общие слова.
Отдельно от оценок судей бенчмарк программно считает 21 характеристику ответа: длину в символах, словах и предложениях, число списков, заголовков и таблиц, тире, восклицательных знаков, вопросов, жирного шрифта, эмодзи и долю ответов, которые заканчиваются вопросом.
Как использовать рейтинг при выборе модели?
На странице бенчмарка есть конструктор собственного рейтинга: любой из 30 черт можно задать вес от минус 2 до плюс 2, и сайт пересчитает перцентиль под ваши требования. Например, для документации можно поднять вес структурированности и опоры на факты и понизить метафоричность. Есть и попарное сравнение двух моделей с вероятностью того, что ответ одной покажет черту сильнее.
На практике это значит, по нашей оценке, следующее. Бенчмарк описывает поведение модели без инструкций, поэтому он полезен как отправная точка: если аналогии в ответах не нужны, модели из нижней части рейтинга «метафоричности» по умолчанию используют их реже, а модели из верхней, возможно, придётся просить писать проще. Сухой тон в целом это не гарантирует: теплоту, юмор и естественность речи бенчмарк оценивает отдельно. Насколько системный промпт сдвигает эти черты, AA-PersonalityBench не измеряет, и это стоит проверить на своих задачах.
Высокий балл по стилю не говорит о качестве модели в задачах. Для кода и агентов у Artificial Analysis есть отдельные замеры: мы разбирали обновление Intelligence Index до v5 и рейтинг ИИ-агентов для кода, где наверху Claude Fable 5.2 и Opus 5.5.
Рейтинг живой: Artificial Analysis добавляет модели по мере выхода, а перцентили пересчитываются по всем моделям бенчмарка, поэтому место конкретной модели может сдвинуться и без изменений в ней самой.
Источники: Artificial Analysis в X, 17 ноября 2026, AA-PersonalityBench: страница бенчмарка, AA-PersonalityBench: рейтинг черты Metaphorical, AA-PersonalityBench: индекс Expressiveness, AA-PersonalityBench: методика, Artificial Analysis: анонс AA-PersonalityBench, 19 октября 2026
Изображение на обложке: Tproger по данным Artificial Analysis