Как оценить качество LLM-приложения в 2026 году: evals по шагам
Из чего состоит eval, как считать результат при нестабильных ответах и какими открытыми инструментами проверять LLM-приложение.
Оценить LLM-приложение на глаз нельзя: одна и та же модель на один и тот же вопрос отвечает по-разному, а после правки промпта неизвестно, стало лучше или просто повезло с примером. Эту проблему решают evals: наборы повторяемых проверок, которые прогоняют приложение по фиксированным задачам и выдают число вместо впечатления. Для чат-бота, RAG-поиска или агента это то же, что автотесты для обычного кода.
В гайде собрана рабочая схема: из чего состоит eval, чем проверять ответы, как считать результат при нестабильных ответах и какими открытыми инструментами всё это запускать. Основа — руководство инженеров Anthropic по оценке агентов, документация promptfoo, DeepEval и Inspect и свежий эксперимент JetBrains как наглядный пример методики. Данные о проектах проверены 16 ноября 2026 года.
Ключевые выводы
- Для старта достаточно 20–50 простых задач, собранных из реальных сбоев: так советуют инженеры Anthropic.
- Ответы проверяют тремя способами: кодом, другой моделью и человеком; у каждого свои слабые места, поэтому их комбинируют.
- Если агент решает задачу в 75% попыток и попытки независимы, три попытки подряд он пройдёт только в 42% случаев: стабильность нужно измерять отдельно от способности.
- У promptfoo 27 316 звёзд на GitHub, у DeepEval 19 512, у Ragas 16 340, у Inspect 3 265 (16 ноября 2026 года); все четыре проекта открыты.
- JetBrains задала 12 моделям два вопроса по 50 раз: 1 200 запросов обошлись в $7,68 (с разметкой ответов $38,16), и повторы показали закономерности, невидимые в одном ответе.
Почему один прогон ничего не доказывает?
Потому что ответ модели — случайная величина, и по одному значению нельзя судить о распределении. Хорошо это видно на эксперименте, который 15 ноября 2026 года описал Денис Ширяев в блоге JetBrains. Двенадцати моделям задали два вопроса о языках программирования, каждый по 50 раз, всегда в новом диалоге и без системного промпта. В одном из вопросов модель просили выбрать язык случайно.
Если спросить один раз, любой ответ выглядит правдоподобно. На 600 повторах оказалось, что «случайный» выбор покрывает всего 14 языков, причём пять из них получили 541 выбор, то есть 90%. GPT-6.1 Sol за 50 попыток назвала только три языка: Go 30 раз, Java 17 раз и Python 3 раза. Одиночный запрос показал бы «модель выбрала Go» и ничего не сказал бы о том, что она выбирает его в 60% случаев.
All 1,200 requests came back. Collecting them cost USD 7.68, about two-thirds of a cent per hot take.
Из этого примера следуют три приёма, которые переносятся на любое приложение. Каждую задачу запускают много раз. Каждый запуск начинают с чистого состояния, чтобы прошлые ответы не влияли на новые. И заранее считают бюджет: в этом эксперименте 1 200 коротких запросов к двенадцати моделям стоили $7,68, а вместе с разметкой ответов $38,16.
Из чего состоит eval?
Из задач, попыток и оценщиков. Инженеры Anthropic в руководстве от 9 января 2026 года предлагают набор терминов, которым удобно пользоваться и вне их продуктов:
- Задача (task) — один тест с заданными входными данными и критерием успеха.
- Попытка (trial) — один запуск задачи. Ответы меняются от запуска к запуску, поэтому попыток делают несколько.
- Оценщик (grader) — логика, которая выставляет балл какой-то стороне результата. У задачи может быть несколько оценщиков, у оценщика несколько проверок.
- Транскрипт (transcript) — полная запись попытки: ответы, вызовы инструментов, промежуточные результаты.
- Исход (outcome) — итоговое состояние среды после попытки.
Различие между транскриптом и исходом принципиально для агентов. Пример из руководства: агент бронирования может написать в конце диалога «ваш рейс забронирован», но исход — это наличие записи о брони в базе данных. Проверять нужно второе. По той же причине руководство советует оценивать то, что агент произвёл, а не путь, которым он шёл: жёсткая проверка последовательности вызовов инструментов ломается, когда агент находит другой корректный способ.
Задача считается хорошо поставленной, если два эксперта независимо друг от друга вынесут по ней одинаковый вердикт. Двусмысленность в условии превращается в шум в метриках, а расплывчатая рубрика для модели-судьи даёт противоречивые оценки.
Чем проверять ответы: кодом, моделью или человеком?
Всеми тремя способами, в порядке от дешёвого к дорогому. Код проверяет то, что можно выразить условием. Модель-судья оценивает свободный текст по рубрике. Человек нужен, чтобы убедиться, что первые два способа измеряют то, что требуется.
Три типа оценщиков по руководству Anthropic
3 сервиса, 4 столбца
Листайте столбцы →Смахните влевоВсе 4 столбца
Anthropic Engineering, Demystifying evals for AI agents, 9 января 2026 года
Практическое правило: всё, что проверяется кодом, проверять кодом. Формат JSON, наличие обязательного поля, запрет на упоминание конкурента, длина ответа, задержка и стоимость не требуют модели-судьи. Судья нужен там, где ответ может быть правильным в разных формулировках. Как встроить такого судью в автотесты, подробно разобрано в статье про LLM-as-a-Judge, а метрики для поиска с генерацией — в материале об оценке RAG.
Как считать результат, если ответы нестабильны?
Двумя метриками, которые отвечают на разные вопросы. Метрика pass@k показывает вероятность того, что из k попыток хотя бы одна успешна. Метрика pass^k показывает вероятность того, что успешны все k попыток. Первая растёт с числом попыток, вторая падает.
Руководство приводит числовой пример для одной задачи: если агент справляется с ней в 75% попыток, вероятность пройти три попытки подряд равна 0,75 в кубе, то есть около 42%. Вероятность хотя бы одного успеха из трёх при этом выше 98%. Расчёт верен для независимых попыток с одинаковой вероятностью успеха; на средний процент прохождения всего набора его переносить нельзя, потому что задачи различаются по сложности, а сбои бывают связанными. Какую метрику брать, зависит от продукта. Для генерации кода, где достаточно одного рабочего решения, смотрят pass@k. Для агента поддержки, от которого клиент ждёт одинаково надёжного поведения каждый раз, важна pass^k.
Сами наборы задач тоже делятся на два вида. Наборы на способности задают вопрос «что агент умеет»: в них кладут трудные задачи, и стартовый процент прохождения должен быть низким, чтобы было куда расти. Регрессионные наборы задают вопрос «не разучился ли агент»: в них процент прохождения должен держаться около 100%, а падение означает поломку. Задачи из первого набора со временем переходят во второй.
In reality, 20-50 simple tasks drawn from real failures is a great start.
Как запустить первый eval в promptfoo?
Тремя командами. promptfoo — утилита командной строки и библиотека с лицензией MIT: проверки описываются в YAML-файле, запускаются локально, результаты открываются в браузере. В README указано, что проект теперь входит в OpenAI и остаётся открытым. Быстрый старт из README:
Конфигурация состоит из промптов, провайдеров (моделей), тестов и проверок. В руководстве есть отдельный пример, где ответы оцениваются моделью-судьёй и кодом одновременно; он скачивается командой promptfoo init --example eval-self-grading вместе с файлом промптов. Его конфигурация:
Здесь две проверки на каждый тест: llm-rubric отдаёт ответ модели-судье с условием на естественном языке, а javascript считает балл по длине ответа. В справочнике проверок есть и детерминированные типы: equals, contains, regex, is-json, latency и другие, а также проверки функциями на Python и Ruby. Если в providers перечислить несколько моделей, один и тот же набор прогонится по каждой, и таблица результатов покажет их рядом.
Повторы включаются флагом --repeat: по справке по командам, он задаёт, сколько раз выполнить каждый тест. Для конвейера сборки отдельный флаг не нужен: по той же справке, команда eval возвращает код завершения 100, если провален хотя бы один тест или доля пройденных ниже порога из переменной PROMPTFOO_PASS_RATE_THRESHOLD, и код 1 при других ошибках. Примеры для разных систем сборки собраны в руководстве по CI/CD.
Когда брать DeepEval, Inspect или Ragas?
Когда проверки удобнее писать на Python рядом с кодом приложения или когда оценивается агент в изолированной среде. В README DeepEval описывается как аналог Pytest для LLM-приложений: каждый тест выглядит как обычная функция, метрика задаётся объектом, а итогом становится статус «прошёл» или «не прошёл». Пример из README с метрикой G-Eval, где модель-судья сравнивает фактический ответ с ожидаемым:
Устанавливается библиотека командой pip install -U deepeval, тест запускается командой deepeval test run test_ai_agent.py. Порог threshold=0.5 в примере означает, что тест пройден, если судья поставил не меньше половины балла.
Inspect разрабатывают британский институт безопасности ИИ (UK AI Security Institute) и Meridian Labs. Оценка в нём — это задача (Task) из трёх частей: набор данных с вопросами и эталонами, решатель (solver), который получает ответ, и оценщик (scorer). В комплекте больше 200 готовых реализаций известных бенчмарков и система песочниц для запуска недоверенного кода модели в Docker и Kubernetes. В документации разобран пример задачи в файле simpleqa.py; когда файл создан, оценка запускается так:
Ragas специализируется на оценке RAG-систем и агентов. По числу звёзд на GitHub лидирует promptfoo, по строгости среды для агентов выделяется Inspect; зачем агенту песочница, рассказано в статье об изоляции ИИ-агентов.
Открытые инструменты для evals
4 сервиса, 5 столбцов
Листайте столбцы →Смахните влевоВсе 5 столбцов
GitHub API, 16 ноября 2026 года
С чего начать, если evals ещё нет?
С малого набора и одного вечера работы. Последовательность ниже повторяет шаги из руководства Anthropic.
- Соберите 20–50 задач из реальных сбоев. Источники: то, что вы уже проверяете руками перед релизом, баг-трекер и обращения в поддержку.
- Сформулируйте критерий успеха для каждой задачи. Проверка: два эксперта независимо должны прийти к одному вердикту. Добавьте эталонное решение.
- Сбалансируйте набор. Нужны и случаи, где поведение должно сработать, и случаи, где оно сработать не должно.
- Начинайте каждую попытку с чистого окружения. Общие файлы и кэш между запусками дают связанные сбои и могут завышать результат.
- Сначала оценщики на коде, потом модель-судья. Судью периодически сверяйте с оценками людей; для задач из нескольких частей давайте частичный балл.
- Читайте транскрипты. Только так видно, ошибся агент или оценщик отклонил правильный ответ.
- Запускайте набор при каждом изменении. Смена промпта, модели или инструмента — повод для прогона; ненулевой код завершения в CI не даст выпустить регрессию.
- Следите за насыщением. Набор, который проходится на 100%, ловит регрессии, но не показывает улучшений: пора добавлять задачи сложнее.
Главное ограничение метода в том, что eval измеряет только то, что в него положили. Набор из удобных примеров покажет высокий балл и ничего не скажет о поведении на реальных запросах, поэтому его нужно пополнять случаями из эксплуатации. Руководство Anthropic отдельно предупреждает: чем дольше откладывать evals, тем труднее их строить, потому что в начале требования к продукту сами превращаются в тесты, а позже критерии успеха приходится восстанавливать по работающей системе.
Частые вопросы
Чем evals отличаются от бенчмарков?
Бенчмарк — общий набор задач для сравнения моделей между собой. Eval проверяет ваше приложение на ваших задачах: с вашим промптом, инструментами и данными. Высокое место модели в публичном рейтинге не гарантирует результата в конкретном продукте.
Можно ли доверять модели-судье?
Только после проверки. По руководству Anthropic, оценщики на моделях недетерминированы и требуют калибровки по оценкам людей; расплывчатая рубрика даёт противоречивые вердикты. Всё, что можно проверить кодом, лучше проверять кодом.
Сколько раз запускать каждый тест?
Единого числа нет. В эксперименте JetBrains каждый вопрос задавали 50 раз, в примере Anthropic рассматриваются три попытки. Чем меньше эффект, который вы хотите заметить, тем больше попыток и задач нужно.
Уходят ли данные наружу при запуске evals?
Сами инструменты работают локально: в README promptfoo сказано, что оценки выполняются на вашей машине. Но запросы к моделям идут их провайдерам, а модель-судья тоже получает ответы вашего приложения. Для чувствительных данных судью и тестируемую модель можно запускать локально.
Источники: Anthropic Engineering: Demystifying evals for AI agents, JetBrains AI Blog: AI models hate Python and love PHP, GitHub: promptfoo/promptfoo, promptfoo Docs: Getting started, promptfoo Docs: Assertions and metrics, promptfoo Docs: Command line, promptfoo Docs: CI/CD integration, GitHub: confident-ai/deepeval, Inspect: документация, GitHub: UKGovernmentBEIS/inspect_ai, GitHub: vibrantlabsai/ragas