Как проверить код, который написал ИИ

Код появляется быстрее, чем вы проверяете его логику и выявляете последствия для проекта. В статье разобрали порядок работы с кодом из чата или от агента в редакторе.

Обложка: Как проверить код, который написал ИИ

ИИ дописывает обработчик, добавляет тесты и заодно правит соседний модуль по одному запросу в чате. После нескольких таких запросов можно получить большой набор изменений, в котором не успеешь вовремя разобраться. Вы сталкиваетесь с тем, что нужно проверить всё и в ходе полного ревью работы ИИ объём вашей выполненной работы продолжает расти почти незаметно.

Если в этот момент просто попросить модель «найти ошибки», к коду добавится ещё и список замечаний, которые тоже придётся проверять. Чтобы довести задачу до готового результата, сначала ограничьте изменения, затем сверьте поведение с требованиями, запустите проверки и разберите рискованные сценарии. Ниже — порядок работы с кодом из чата или от агента в редакторе.

Как сократить объём до начала ревью

Начните со списка изменённых файлов и diff — разницы между исходной и новой версиями. Если вы скопировали ответ из чата, сохраните код в отдельной ветке и сравните его с исходным состоянием проекта. Описание, которое составила модель, используйте как пояснение: оно не заменяет просмотр изменений.

Для каждого файла найдите связь с задачей. Например, добавление пагинации в список заказов может потребовать изменить запрос к базе, обработчик API и тесты. Переписывание авторизации или обновление всех библиотек требует отдельного обоснования. Предложите ИИ вынести несвязанные правки, прежде чем тратить время на их проверку.

Google в своём руководстве рекомендуют делать небольшие самостоятельные изменения и отделять крупный рефакторинг от исправлений поведения. Для работы с ИИ это означает: одна понятная задача, необходимые изменения и тесты к ним. Не дробите решение так, чтобы промежуточные версии перестали работать.

Размер оценивайте по смыслу. Сотни строк обновлённого файла зависимостей и несколько строк проверки прав требуют разного внимания. Если вы не можете объяснить, какие части системы затронул патч, попросите разделить его на законченные изменения.

Эту границу полезно задать ещё до генерации: перечислить допустимые файлы, запретить несвязанный рефакторинг и попросить объяснять необходимость новых зависимостей, а также потребовать отдельно обосновывать любые изменения существующих тестов. Когда решение уже соответствует задаче, очередной запрос «улучши код» может создать новую работу без понятного критерия завершения.

Как сверить код с требованиями

До чтения реализации запишите, что должен получить пользователь и при каких условиях. Это даст независимую точку отсчёта: иначе легко принять поведение сгенерированной функции за правильное только потому, что оно выглядит последовательным.

Допустим, вы добавляете пагинацию. Зафиксируйте размер страницы, порядок сортировки, поведение пустого списка и правила доступа к заказам. Уточните, что означает общее количество: все заказы в базе или только доступные текущему пользователю. Эти решения нельзя восстановить по аккуратным названиям переменных.

Затем проследите путь запроса: от входных параметров через проверку прав и запрос к базе до ответа API. Читайте вызывающий код и связанные функции, даже если они не попали в diff. Отдельно, Google предлагают проверять изменение в контексте всей системы: локально понятная функция может плохо сочетаться с остальным проектом.

Сверяйте незнакомые методы библиотек с официальной документацией именно той версии, которую использует проект. Проверьте аргументы, возвращаемое значение и способ обработки ошибок. Если ИИ добавил собственный вспомогательный класс, найдите его назначение и проверьте, нет ли уже такого решения в кодовой базе. Лишняя абстракция увеличит объём будущего сопровождения.

Поищите продублированную истину, то есть одни и те же значения в разных частях кода, которые задаются или вычисляются заново в каждом месте. Это могут быть числа, статусы, правила. Например, лимит страницы прописан и в конфиге, и отдельно захардкожен в функции валидации. Изначально эти значения совпадают. Но после правки могут начать расходиться, поскольку в одном месте значения поменяются, а в другом нет, и как итог — код начнёт жить по двум правилам одновременно.

Как запустить автоматические проверки

Перед запуском посмотрите изменения в командах установки, сборки и тестов. Они тоже исполняют код. Незнакомую ветку проверяйте в отдельной среде с тестовыми данными и без рабочих секретов; отдельная ветка Git сама по себе не изолирует процессы.

Новые зависимости проверьте до установки: существует ли нужный пакет, кто его поддерживает, соответствует ли ссылка официальному проекту и зачем библиотека нужна. Это не перестраховка: GitHub отдельно называет проверку зависимостей и поиск выдуманных, несуществующих API одним из пунктов ревью ИИ-кода. Похожее название в реестре пакетов ещё не подтверждает, что вы нашли нужную библиотеку.

Запускайте проверки, которые уже приняты в проекте. У каждой своя область ответственности:

4 сервиса, 3 столбца
ПроверкаЧто она помогает обнаружитьЧего успешный результат не доказывает
Сборка и проверка типовОшибки компиляции, несовместимые типы в проверяемом кодеЧто программа выполняет нужные бизнес-правила
Линтер, например Ruff для PythonНарушения включённых правил и некоторые типовые ошибкиЧто алгоритм выдаёт правильный результат
ТестыРасхождения с ожидаемым поведением в заданных сценарияхЧто сценариев достаточно и ожидания заданы верно
Сканеры безопасности и зависимостейПодозрительные конструкции и известные уязвимости в пределах возможностей инструментаЧто код безопасен во всех сценариях
Листайте столбцы →Смахните влевоВсе 3 столбца

Проверьте и настройки этих инструментов. Например, mypy по умолчанию пропускает проверку тела функций без аннотаций типов. Надпись «ошибок нет» имеет смысл только вместе с пониманием, какой код инструмент проверил. Компиляция и синтаксический разбор тоже не гарантируют, что вызываемая функция существует: если ветка кода с опечаткой в имени не выполняется во время проверки, ошибка обнаружится только на реальном запросе.

Сохраните команды и результаты запуска для проверяемой версии кода. Если агент сообщил, что тесты прошли, откройте вывод тестового инструмента. Текстовое обещание в чате не показывает, что именно он запускал.

Что делать для проверки тестов, написанных ИИ

Модель может написать реализацию и тест, который подтверждает ту же ошибку. Поэтому сначала определите ожидаемый результат сами, опираясь на задачу, а затем сравните с ним код.

Возьмём учебную функцию подсчёта страниц. На вход она получает целые числа: количество записей и размер страницы. Для пустого набора требуется ноль страниц; отрицательное количество записей и неположительный размер страницы должны вызывать ValueError. Проверку типов входных данных в этом примере оставим вызывающему коду.

В файле pagination.py находится ошибочная версия:

			def page_count(total: int, page_size: int) -> int:
    return total // page_size + 1

		

Для 11 записей при размере страницы 10 она вернёт 2. Один такой тест пройдёт. Но для 10 записей нужна одна страница, а функция тоже вернёт две.

Добавим проверки границ и недопустимых значений. Сохраните следующий код рядом в test_pagination.py. Он использует unittest из стандартной библиотеки Python, поэтому дополнительные пакеты не нужны.

			import unittest

from pagination import page_count


class PageCountTests(unittest.TestCase):
    def test_boundaries(self):
        cases = [(0, 0), (1, 1), (9, 1), (10, 1), (11, 2), (20, 2)]
        for total, expected in cases:
            with self.subTest(total=total):
                self.assertEqual(page_count(total, 10), expected)

    def test_invalid_values(self):
        for total, page_size in [(-1, 10), (10, 0), (10, -1)]:
            with self.subTest(total=total, page_size=page_size):
                with self.assertRaises(ValueError):
                    page_count(total, page_size)

		

Запустите из каталога с этими файлами:

			python3 -m unittest -v test_pagination
		

Проверки обнаружат лишнюю страницу для пустого набора и количества записей, кратного размеру страницы. Они также покажут, что функция не обрабатывает недопустимые значения по заданным правилам.

Заменим содержимое pagination.py:

			def page_count(total: int, page_size: int) -> int:
    if total < 0:
        raise ValueError("total must be non-negative")
    if page_size <= 0:
        raise ValueError("page_size must be positive")
    return (total + page_size - 1) // page_size

		

Повторный запуск тех же тестов проверит исправление. Их ожидаемые значения остались прежними, потому что требования к функции не менялись.

В реальном проекте проверяйте и изменения существующих тестов. OWASP выделяет удаление тестов и ослабление проверок как риск работы с ИИ-агентами. Сравнение точной суммы нельзя без объяснения заменить проверкой «результат не пустой». Если тест перестал проходить, сначала выясните, изменились ли требования или сломалась реализация.

Как проверить поведение в составе приложения

Корректный подсчёт страниц ещё не означает, что список заказов работает правильно. Запустите сценарий через настоящий обработчик API в тестовой среде: проверьте состав ответа, сортировку, число запросов к базе и отсутствие чужих заказов.

Для проверки доступа создайте двух тестовых пользователей и попробуйте запросить данные одного от имени другого. Сервер должен учитывать права при каждом обращении к ресурсу — такой принцип закреплён в рекомендациях OWASP по авторизации. Скрытая кнопка в интерфейсе не защищает API от прямого запроса.

Если изменение вызывает внешний сервис, проверьте отказ и повтор запроса. Представьте, что сервис создал заказ, но ответ потерялся. Автоматический повтор может создать дубликат. В AWS Builders' Library разбирают идемпотентные API — интерфейсы, в которых повтор одной операции не создаёт дополнительного эффекта. При ревью выясните, предусмотрено ли такое поведение у вашей интеграции и использует ли его новый код.

Отдельно проверьте оптимистичный путь: что код делает, когда то, на что он опирается, недоступно. Это одна из самых первостепенных проверок именно для ИИ-кода, потому что модель чаще пишет правдоподобную заглушку, чем явный отказ. Вот реальный случай: у сервиса закончилась квота на внешний вызов, и код вместо ошибки подставил правдоподобный текст-заменитель и пометил результат как готовый — скрипт отчитался «создано N, ошибок 0», хотя часть результатов была мусором, который чуть не ушёл дальше по процессу. Формулировка задачи здесь решает многое: «обработай ошибку API» с высокой вероятностью даст try/except с запасным значением, который сделает поведение хуже; «если сервис недоступен, не создавай результат и сообщи об этом явно» — ближе к тому, что нужно.

Выбирайте проверки по последствиям изменения. Перед принятием правки полезно уточнить сразу: каков урон, есть ли тут ошибка и что вообще произойдёт после вступления в работу правки. Изменения в отображении вы заметите и откатите; а вот последствия исправлений в отправке, удалении или списании денег — уже нет, и такие моменты заслуживают более пристального внимания, чем остальные. Для миграции базы проверьте сохранность существующих данных и способ восстановления после сбоя. Для нового запроса оцените работу на объёме данных, близком к ожидаемому. Для интерфейса пройдите пользовательский сценарий. Список проверок должен следовать из того, что код читает, меняет и вызывает.

Как использовать ИИ для дополнительного ревью

Передавайте модели ограниченный diff, требования и связанные функции. Сформулируйте конкретную задачу проверки, например:

Проверь изменение пагинации в приложенном diff.
Сопоставь код с приложенными требованиями и вызывающими функциями.
Проверь границы страниц, фильтрацию заказов по пользователю и изменение существующих тестов.
Для каждого замечания укажи файл, участок кода, условие ошибки, последствие и способ воспроизведения.
Если для вывода не хватает контекста, перечисли недостающие сведения.
Не изменяй файлы: сначала верни замечания в порядке важности.

Такой ответ удобнее проверять, чем общую оценку «код качественный». Для каждого существенного замечания воспроизведите сценарий или проследите ошибку по коду. GitHub предупреждает об ограничениях ИИ-ревью: модель может пропустить проблему или сообщить об ошибке, которой нет.

Для дополнительного прохода можно выбрать другую модель через RouterAI. Сервис даёт доступ к моделям разных провайдеров через один API-ключ, с оплатой в рублях. Передайте одинаковый набор материалов и сопоставьте конкретные находки. Совпадение оценок двух моделей само по себе не доказывает корректность кода.

Не просите автоматически исправлять все замечания подряд. Если каждое ревью запускает новую генерацию, объём непроверенного кода снова растёт. Сначала подтвердите дефект, затем внесите ограниченную правку и повторите затронутые проверки. Сложные изменения в правах доступа, конкурентной обработке или хранении данных передайте коллеге, который знает эту часть системы.

Что проверить перед мёржем

Перед объединением изменений с основной веткой убедитесь, что у вас есть конкретные ответы:

  • Вы можете объяснить назначение каждого изменённого файла и обосновать новые зависимости.
  • Ожидаемое поведение записано в задаче или описании изменения; спорные требования уточнены.
  • Проверки запускались на последней версии кода, а их результаты доступны ревьюеру.
  • Тесты проверяют нужное поведение; удаления и ослабления существующих проверок обоснованы.
  • Сценарии отказа, доступа к данным и восстановления проверены там, где изменение их затрагивает.
  • Существенные замечания закрыты проверяемыми исправлениями; сложные участки посмотрел компетентный ревьюер.

Фраза «я проверил, всё работает» в описании изменения стоит ровно столько, сколько стоит указанная рядом проверка. Если не видно, что именно запускали и что получили в ответ, разумнее считать, что проверки не было, — вне зависимости от того, кто писал код, модель или человек.