Модель Gestalt обошла людей и Claude Fable 5.2 в слепом тесте дизайна
Как устроен Frontier Design Benchmark, где в нём Claude, GPT и Gemini и по каким приметам видно сайт от ИИ.
Contra Labs, исследовательское подразделение фриланс-площадки Contra, вместе с BenchFlow запустила Frontier Design Benchmark, бенчмарк дизайна сайтов по реальным заказам. Первое место в нём заняла неанонсированная модель Gestalt: на лидерборде у неё Elo 1931 и 90% выигранных сравнений. По данным авторов, это первая модель, которую профессиональные дизайнеры в слепом голосовании оценили выше эталонных сайтов, сделанных людьми.
Для разработчика, который собирает интерфейсы с ИИ-агентом, бенчмарк полезен в двух местах. Он показывает, какие публичные модели сейчас лучше всего справляются с вёрсткой по настоящему брифу: верхнюю группу занимают Claude Fable 5.2, Opus 5.5, Sonnet 5.5, GPT-6.1 Sol, GPT-6 Astra и Kimi K3.1 Pro. И он перечисляет конкретные приметы «ИИ-сайта», которые дизайнеры замечают сразу и которые можно убрать из своего промпта или правил агента. Чья модель Gestalt, когда она выйдет и сколько будет стоить, Contra Labs не сообщает.
Ключевые выводы
- Gestalt на лидерборде Contra Labs: Elo 1931, 90% побед; эталонные сайты дизайнеров (Human golden) идут вторыми с 1739, Claude Fable 5.2 третьей с 1713.
- Модели делали сайты по 33 брифам: 27 основаны на реальных заказах с Contra, 6 получены от стартапов-партнёров.
- Голосовали 35 профессиональных дизайнеров, всего 4311 слепых сравнений пар.
- Шесть публичных моделей держатся в диапазоне 1638–1714 Elo, остальные девять отстают больше чем на 200 очков.
- Разработчик Gestalt, дата выхода и цена не раскрыты; независимой проверки результатов в опубликованных материалах нет.
Как устроен Frontier Design Benchmark?
Авторы исходят из того, что задачи вроде «сделай лендинг для кофейни» мало говорят о реальной работе. В блоге о запуске Contra Labs приводит статистику своей площадки: из 4,6 тыс. заказов на сайты за последний год медианный бриф занимает 138 слов при бюджете $1050, а в 75% брифов есть два и больше ограничений, например фирменные материалы, целевая аудитория или бизнес-цели.
В стартовый набор вошли 33 задачи. 27 из них написаны по реальным заказам с Contra, клиенты в них заменены вымышленными. В 19 из этих 27 брифов есть логотип клиента, 17 требуют, чтобы сайт хорошо работал на телефоне. Среди задач многостраничные маркетинговые сайты (например, сайт фестиваля с продажей билетов), лендинги, веб-приложения с рабочими сценариями вроде оформления краудфандинга или онлайн-курса с тестами и сертификатом, а также два мобильных приложения. Ещё 6 задач дали стартапы-партнёры: это проекты, под которые они нанимали дизайнера на Contra, вместе с их брендовыми материалами, файлами текущего сайта и презентациями.
Прогоны моделей делала BenchFlow: агент решает задачу в песочнице, а платформа записывает результат, стоимость и всю траекторию. Модели вызывались через OpenRouter и, где это было возможно, в фирменной агентной оболочке своей лаборатории. Параллельно дизайнеры Contra делали по тем же брифам эталонные сайты: сначала мудборд из трёх направлений, затем вёрстка в любых инструментах и несколько итераций по замечаниям команды.
Кто и как оценивал сайты?
Главная метрика бенчмарка складывается из попарных сравнений. Дизайнеру показывают два сайта по одному брифу без названий моделей, стороны каждый раз перемешиваются, он выбирает лучший и по желанию объясняет выбор: цвет, типографика, сетка, удобство, соответствие брифу. По голосам строится рейтинг Elo по модели Брэдли — Терри, той же схеме, что у популярных арен.
Отличие от арен в том, кто голосует. На аренах, пишут авторы, рейтинг формируют все, кто зашёл на сайт, и большинство из них дизайном не занимается. Здесь голосовали 35 профессиональных дизайнеров, всего 4311 голосов в пяти раундах. Устойчивость рейтинга проверяли так: голосующих 200 раз случайно делили на две половины и строили рейтинг по каждой, в среднем рейтинги совпали с коэффициентом Спирмена 0,95.
Кроме голосов, у бенчмарка есть ещё две метрики. Рубрика из 34 критериев по блогу (на странице рубрики их 35: иерархия шрифтов, отступы, контраст, отрисовывается ли страница целиком) оценивает ошибки, которые можно назвать и исправить; по моделям она совпадает с рейтингом дизайнеров с корреляцией 0,94. Детектор «ИИ-слопа» оценивает по шкале от 0 до 100, насколько страница похожа на сделанную ИИ: это классификатор, обученный на сайтах, сделанных людьми и моделями.
Насколько Gestalt опередила остальных?
На текущем лидерборде Gestalt набирает 1931 очко и выигрывает 90% сравнений (95-процентный доверительный интервал 86–92%), по ней 420 голосов. Эталонные сайты людей идут вторыми с 1739 и 74% побед. Третье место у Claude Fable 5.2: 1713 и 73%. Дальше Claude Opus 5.5 (1691), GPT-6.1 Sol (1668), Claude Sonnet 5.5 (1667), Kimi K3.1 Pro (1663) и GPT-6 Astra (1638).
В блоге о запуске цифры чуть другие: там у Gestalt 1928 Elo и 378 побед из 423 голосов, у Fable 5.2 1714. Причину расхождения авторы не объясняют. По блогу, разрыв между Gestalt и Fable 5.2 составляет 214 очков, и их 95-процентные интервалы не пересекаются. В прямых парах с эталонными сайтами людей дизайнеры выбрали Gestalt 20 раз из 28.
Последнее число стоит держать рядом с громким выводом про «обошла людей»: очных сравнений Gestalt с людьми всего 28, а набор задач ограничен 33 брифами веб-дизайна. По нашей оценке, это сильный сигнал о качестве вёрстки, но не доказательство того, что модель заменит дизайнера на любом проекте. Бенчмарк проводит компания, которая продаёт лабораториям данные для обучения моделей дизайну, и в блоге прямо сказано, что Contra Labs работает с командой Gestalt и даёт ей обратную связь.
Почему публичные модели разделились на две группы?
Шесть моделей, которые прогнала сама Contra Labs, держатся плотно: от 1638 до 1714 Elo и от 66% до 73% побед. Это три модели Claude и две GPT плюс Kimi K3.1 Pro. Остальные девять сидят между 1122 и 1434 и выигрывают от 12% до 41% сравнений. Разрыв между группами 204 очка, больше чем вдвое шире разброса внутри верхней группы.
В нижней группе по текущему лидерборду Qwen3.8 Max (1434), Kimi K3 (1415), GLM-5.3 Prime (1403), Gemini 4 Carbon (1366), Muse Spark 1.3 (1335), Muse Wonder (1249), Grok 4.7 (1247), Gemini 4 Argon (1221) и DeepSeek V4 Pro (1121). Модели Google в рейтинг попали в версиях Carbon и Argon; вышедшей 18 ноября Gemini 4 Neon в таблице нет. Расклад в верхней группе похож на рейтинг кодинг-агентов Artificial Analysis, где Fable 5.2 и Opus 5.5 тоже наверху, но здесь дизайнеры оценивают внешний вид, удобство и соответствие брифу, а не умение довести задачу в репозитории.
Рубрика в целом ранжирует модели так же, как дизайнеры, но расходится с ними на работах людей. Эталонные сайты набрали по рубрике 73,6 балла и оказались шестыми из 16, позади двух GPT (78,7 и 79,4) и трёх Claude (от 79,3 до 83,8). Баллы они потеряли на ошибках исполнения: слишком тёмная подпись кнопки на фоне, логотип, обрезанный соседней секцией. Дизайнеры видели эти ошибки и всё равно выбирали работы людей в 74% голосов (425 из 574). Рубрика ловит ошибки, но вкус, за который голосуют дизайнеры, она не измеряет.
По каким приметам видно, что сайт сделал ИИ?
Детектор слопа уверенно отличает работу людей от работы моделей: эталонные сайты получили 0,9 балла из 100, модели от 1,2 до 66. Внутри моделей показатель больше зависит от лаборатории, чем от места в рейтинге: три Claude дают от 31 до 38, две GPT от 41 до 53, две Gemini от 54 до 57. Низкий балл 1,2 получили две модели по противоположным причинам. У DeepSeek V4 Pro многие страницы недоделаны и поэтому не похожи на типичный ИИ-сайт, а у Gestalt страницы законченные и при этом почти не выдают модель.
Авторы выписали приметы, которые дизайнеры называют «ИИ-шными» и которые на сайтах моделей встречаются намного чаще, чем у людей:
- Мелкая подпись капсом с разрядкой над заголовком раздела, которая повторяет сам заголовок. В обучающей выборке детектора такие подписи хотя бы у половины разделов есть на 93% ИИ-страниц и 11% страниц людей; Gemini 4 Argon делает это на каждой странице, GPT-6.1 Sol на 96%.
- Одно слово заголовка курсивом для акцента: у Kimi K3.1 Pro на 60% страниц, у GPT-6 Astra на 53%, у людей в одном эталонном сайте из 19.
- Нумерация разделов 01, 02, 03. У людей в выборке её нет совсем, у Gemini 4 Argon она на 42% страниц, у Kimi K3.1 Pro и Gemini 4 Carbon на 40%.
- Всё содержимое разложено по карточкам с рамкой или заливкой: у Gemini 4 Argon и Carbon на 92% страниц, у Muse Spark 1.3 на 88%.
Отдельно Contra Labs описывает «почерк» лабораторий. Модели Claude ставят горизонтальную стрелку на ссылки и кнопки (Fable 5.2 на 88% страниц, Opus 5.5 на 80%, Sonnet 5.5 на 90%), модели GPT диагональную (GPT-6 Astra на 84%, GPT-6.1 Sol на 92%). У GPT-6.1 Sol почти половина страниц состоит из заголовков-слоганов вроде «Less paperwork. More possibility.», а текст останавливается на выгоде и не объясняет, как работает продукт. Gemini 4 Argon, наоборот, превращает обычные маркетинговые секции в техническую спецификацию со статусами и ссылками на рисунки. Kimi K3.1 Pro наклоняет карточки и телефоны, у DeepSeek V4 Pro на половине страниц все заголовки разделов выровнены по центру.
На практике этот список можно использовать как чек-лист для своих правил агента: запретить подписи капсом над заголовками, нумерацию разделов, стрелки на каждой кнопке и сплошные карточки. Это не сделает модель дизайнером, но уберёт приметы, по которым посетитель сразу узнаёт сгенерированный сайт.
Что известно о Gestalt?
Почти ничего. Contra Labs называет её высококачественной моделью для дизайна, которая находится в «стелс-режиме», то есть ещё не анонсирована разработчиком. Её проверяли в той же конфигурации слепого голосования, что и остальных. Разработчик, архитектура, цена и дата выхода не раскрыты; на лидерборде у неё нет и точки на графике стоимости одного результата, который есть у остальных моделей.
После запуска бенчмарка в X начали гадать, кто стоит за Gestalt: в одном из популярных постов среди вариантов следующие модели OpenAI, Anthropic, Google, xAI и Z.ai. Подтверждений ни одной из версий нет. Contra Labs пишет, что продолжит тестировать Gestalt вместе с её командой, а набор из 33 задач будет расширять новыми брифами, моделями и списком примет ИИ-дизайна. Посмотреть пары сайтов и проголосовать самому можно на странице бенчмарка.
Источники: Contra Labs: лидерборд Frontier Design Benchmark, Contra Labs: Frontier Design: Evaluating AI on Real World Design Tasks, Contra Labs: Frontier Design Benchmark
Изображение на обложке: Contra Labs