Модель Gestalt обошла людей и Claude Fable 5.2 в слепом тесте дизайна

Как устроен Frontier Design Benchmark, где в нём Claude, GPT и Gemini и по каким приметам видно сайт от ИИ.

Обложка: Модель Gestalt обошла людей и Claude Fable 5.2 в слепом тесте дизайна

Contra Labs, исследовательское подразделение фриланс-площадки Contra, вместе с BenchFlow запустила Frontier Design Benchmark, бенчмарк дизайна сайтов по реальным заказам. Первое место в нём заняла неанонсированная модель Gestalt: на лидерборде у неё Elo 1931 и 90% выигранных сравнений. По данным авторов, это первая модель, которую профессиональные дизайнеры в слепом голосовании оценили выше эталонных сайтов, сделанных людьми.

Для разработчика, который собирает интерфейсы с ИИ-агентом, бенчмарк полезен в двух местах. Он показывает, какие публичные модели сейчас лучше всего справляются с вёрсткой по настоящему брифу: верхнюю группу занимают Claude Fable 5.2, Opus 5.5, Sonnet 5.5, GPT-6.1 Sol, GPT-6 Astra и Kimi K3.1 Pro. И он перечисляет конкретные приметы «ИИ-сайта», которые дизайнеры замечают сразу и которые можно убрать из своего промпта или правил агента. Чья модель Gestalt, когда она выйдет и сколько будет стоить, Contra Labs не сообщает.

Ключевые выводы
  • Gestalt на лидерборде Contra Labs: Elo 1931, 90% побед; эталонные сайты дизайнеров (Human golden) идут вторыми с 1739, Claude Fable 5.2 третьей с 1713.
  • Модели делали сайты по 33 брифам: 27 основаны на реальных заказах с Contra, 6 получены от стартапов-партнёров.
  • Голосовали 35 профессиональных дизайнеров, всего 4311 слепых сравнений пар.
  • Шесть публичных моделей держатся в диапазоне 1638–1714 Elo, остальные девять отстают больше чем на 200 очков.
  • Разработчик Gestalt, дата выхода и цена не раскрыты; независимой проверки результатов в опубликованных материалах нет.

Как устроен Frontier Design Benchmark?

Авторы исходят из того, что задачи вроде «сделай лендинг для кофейни» мало говорят о реальной работе. В блоге о запуске Contra Labs приводит статистику своей площадки: из 4,6 тыс. заказов на сайты за последний год медианный бриф занимает 138 слов при бюджете $1050, а в 75% брифов есть два и больше ограничений, например фирменные материалы, целевая аудитория или бизнес-цели.

В стартовый набор вошли 33 задачи. 27 из них написаны по реальным заказам с Contra, клиенты в них заменены вымышленными. В 19 из этих 27 брифов есть логотип клиента, 17 требуют, чтобы сайт хорошо работал на телефоне. Среди задач многостраничные маркетинговые сайты (например, сайт фестиваля с продажей билетов), лендинги, веб-приложения с рабочими сценариями вроде оформления краудфандинга или онлайн-курса с тестами и сертификатом, а также два мобильных приложения. Ещё 6 задач дали стартапы-партнёры: это проекты, под которые они нанимали дизайнера на Contra, вместе с их брендовыми материалами, файлами текущего сайта и презентациями.

Прогоны моделей делала BenchFlow: агент решает задачу в песочнице, а платформа записывает результат, стоимость и всю траекторию. Модели вызывались через OpenRouter и, где это было возможно, в фирменной агентной оболочке своей лаборатории. Параллельно дизайнеры Contra делали по тем же брифам эталонные сайты: сначала мудборд из трёх направлений, затем вёрстка в любых инструментах и несколько итераций по замечаниям команды.

Кто и как оценивал сайты?

Главная метрика бенчмарка складывается из попарных сравнений. Дизайнеру показывают два сайта по одному брифу без названий моделей, стороны каждый раз перемешиваются, он выбирает лучший и по желанию объясняет выбор: цвет, типографика, сетка, удобство, соответствие брифу. По голосам строится рейтинг Elo по модели Брэдли — Терри, той же схеме, что у популярных арен.

Отличие от арен в том, кто голосует. На аренах, пишут авторы, рейтинг формируют все, кто зашёл на сайт, и большинство из них дизайном не занимается. Здесь голосовали 35 профессиональных дизайнеров, всего 4311 голосов в пяти раундах. Устойчивость рейтинга проверяли так: голосующих 200 раз случайно делили на две половины и строили рейтинг по каждой, в среднем рейтинги совпали с коэффициентом Спирмена 0,95.

Кроме голосов, у бенчмарка есть ещё две метрики. Рубрика из 34 критериев по блогу (на странице рубрики их 35: иерархия шрифтов, отступы, контраст, отрисовывается ли страница целиком) оценивает ошибки, которые можно назвать и исправить; по моделям она совпадает с рейтингом дизайнеров с корреляцией 0,94. Детектор «ИИ-слопа» оценивает по шкале от 0 до 100, насколько страница похожа на сделанную ИИ: это классификатор, обученный на сайтах, сделанных людьми и моделями.

Насколько Gestalt опередила остальных?

Модель Gestalt обошла людей и Claude Fable 5.2 в слепом тесте дизайна_12
Рейтинг Elo по слепым голосам дизайнеров. Скриншот: лидерборд Contra Labs, 19 ноября 2026 года

На текущем лидерборде Gestalt набирает 1931 очко и выигрывает 90% сравнений (95-процентный доверительный интервал 86–92%), по ней 420 голосов. Эталонные сайты людей идут вторыми с 1739 и 74% побед. Третье место у Claude Fable 5.2: 1713 и 73%. Дальше Claude Opus 5.5 (1691), GPT-6.1 Sol (1668), Claude Sonnet 5.5 (1667), Kimi K3.1 Pro (1663) и GPT-6 Astra (1638).

В блоге о запуске цифры чуть другие: там у Gestalt 1928 Elo и 378 побед из 423 голосов, у Fable 5.2 1714. Причину расхождения авторы не объясняют. По блогу, разрыв между Gestalt и Fable 5.2 составляет 214 очков, и их 95-процентные интервалы не пересекаются. В прямых парах с эталонными сайтами людей дизайнеры выбрали Gestalt 20 раз из 28.

Последнее число стоит держать рядом с громким выводом про «обошла людей»: очных сравнений Gestalt с людьми всего 28, а набор задач ограничен 33 брифами веб-дизайна. По нашей оценке, это сильный сигнал о качестве вёрстки, но не доказательство того, что модель заменит дизайнера на любом проекте. Бенчмарк проводит компания, которая продаёт лабораториям данные для обучения моделей дизайну, и в блоге прямо сказано, что Contra Labs работает с командой Gestalt и даёт ей обратную связь.

Почему публичные модели разделились на две группы?

Модель Gestalt обошла людей и Claude Fable 5.2 в слепом тесте дизайна_17
Разрыв в 204 очка делит модели на две группы. Изображение: Contra Labs

Шесть моделей, которые прогнала сама Contra Labs, держатся плотно: от 1638 до 1714 Elo и от 66% до 73% побед. Это три модели Claude и две GPT плюс Kimi K3.1 Pro. Остальные девять сидят между 1122 и 1434 и выигрывают от 12% до 41% сравнений. Разрыв между группами 204 очка, больше чем вдвое шире разброса внутри верхней группы.

В нижней группе по текущему лидерборду Qwen3.8 Max (1434), Kimi K3 (1415), GLM-5.3 Prime (1403), Gemini 4 Carbon (1366), Muse Spark 1.3 (1335), Muse Wonder (1249), Grok 4.7 (1247), Gemini 4 Argon (1221) и DeepSeek V4 Pro (1121). Модели Google в рейтинг попали в версиях Carbon и Argon; вышедшей 18 ноября Gemini 4 Neon в таблице нет. Расклад в верхней группе похож на рейтинг кодинг-агентов Artificial Analysis, где Fable 5.2 и Opus 5.5 тоже наверху, но здесь дизайнеры оценивают внешний вид, удобство и соответствие брифу, а не умение довести задачу в репозитории.

Рубрика в целом ранжирует модели так же, как дизайнеры, но расходится с ними на работах людей. Эталонные сайты набрали по рубрике 73,6 балла и оказались шестыми из 16, позади двух GPT (78,7 и 79,4) и трёх Claude (от 79,3 до 83,8). Баллы они потеряли на ошибках исполнения: слишком тёмная подпись кнопки на фоне, логотип, обрезанный соседней секцией. Дизайнеры видели эти ошибки и всё равно выбирали работы людей в 74% голосов (425 из 574). Рубрика ловит ошибки, но вкус, за который голосуют дизайнеры, она не измеряет.

По каким приметам видно, что сайт сделал ИИ?

Модель Gestalt обошла людей и Claude Fable 5.2 в слепом тесте дизайна_22
Приметы, по которым сайт выглядит сделанным ИИ. Изображение: Contra Labs

Детектор слопа уверенно отличает работу людей от работы моделей: эталонные сайты получили 0,9 балла из 100, модели от 1,2 до 66. Внутри моделей показатель больше зависит от лаборатории, чем от места в рейтинге: три Claude дают от 31 до 38, две GPT от 41 до 53, две Gemini от 54 до 57. Низкий балл 1,2 получили две модели по противоположным причинам. У DeepSeek V4 Pro многие страницы недоделаны и поэтому не похожи на типичный ИИ-сайт, а у Gestalt страницы законченные и при этом почти не выдают модель.

Авторы выписали приметы, которые дизайнеры называют «ИИ-шными» и которые на сайтах моделей встречаются намного чаще, чем у людей:

  • Мелкая подпись капсом с разрядкой над заголовком раздела, которая повторяет сам заголовок. В обучающей выборке детектора такие подписи хотя бы у половины разделов есть на 93% ИИ-страниц и 11% страниц людей; Gemini 4 Argon делает это на каждой странице, GPT-6.1 Sol на 96%.
  • Одно слово заголовка курсивом для акцента: у Kimi K3.1 Pro на 60% страниц, у GPT-6 Astra на 53%, у людей в одном эталонном сайте из 19.
  • Нумерация разделов 01, 02, 03. У людей в выборке её нет совсем, у Gemini 4 Argon она на 42% страниц, у Kimi K3.1 Pro и Gemini 4 Carbon на 40%.
  • Всё содержимое разложено по карточкам с рамкой или заливкой: у Gemini 4 Argon и Carbon на 92% страниц, у Muse Spark 1.3 на 88%.

Отдельно Contra Labs описывает «почерк» лабораторий. Модели Claude ставят горизонтальную стрелку на ссылки и кнопки (Fable 5.2 на 88% страниц, Opus 5.5 на 80%, Sonnet 5.5 на 90%), модели GPT диагональную (GPT-6 Astra на 84%, GPT-6.1 Sol на 92%). У GPT-6.1 Sol почти половина страниц состоит из заголовков-слоганов вроде «Less paperwork. More possibility.», а текст останавливается на выгоде и не объясняет, как работает продукт. Gemini 4 Argon, наоборот, превращает обычные маркетинговые секции в техническую спецификацию со статусами и ссылками на рисунки. Kimi K3.1 Pro наклоняет карточки и телефоны, у DeepSeek V4 Pro на половине страниц все заголовки разделов выровнены по центру.

На практике этот список можно использовать как чек-лист для своих правил агента: запретить подписи капсом над заголовками, нумерацию разделов, стрелки на каждой кнопке и сплошные карточки. Это не сделает модель дизайнером, но уберёт приметы, по которым посетитель сразу узнаёт сгенерированный сайт.

Что известно о Gestalt?

Почти ничего. Contra Labs называет её высококачественной моделью для дизайна, которая находится в «стелс-режиме», то есть ещё не анонсирована разработчиком. Её проверяли в той же конфигурации слепого голосования, что и остальных. Разработчик, архитектура, цена и дата выхода не раскрыты; на лидерборде у неё нет и точки на графике стоимости одного результата, который есть у остальных моделей.

После запуска бенчмарка в X начали гадать, кто стоит за Gestalt: в одном из популярных постов среди вариантов следующие модели OpenAI, Anthropic, Google, xAI и Z.ai. Подтверждений ни одной из версий нет. Contra Labs пишет, что продолжит тестировать Gestalt вместе с её командой, а набор из 33 задач будет расширять новыми брифами, моделями и списком примет ИИ-дизайна. Посмотреть пары сайтов и проголосовать самому можно на странице бенчмарка.

Источники: Contra Labs: лидерборд Frontier Design Benchmark, Contra Labs: Frontier Design: Evaluating AI on Real World Design Tasks, Contra Labs: Frontier Design Benchmark

Изображение на обложке: Contra Labs