Опубликовано в Профессии

Как проверять код AI-ассистента перед добавлением в проект

Фигурка рассматривает отдельную шестерёнку через лупу рядом с открытым механизмом.

Время чтения: 5 мин.

Код AI-ассистента стоит проверять как чужое изменение: сначала понять задачу, затем прочитать дифф и подтвердить важное поведение. Успешная сборка показывает только часть результата. Она не доказывает, что выбран правильный контракт, сохранены права пользователя и обработан отказ зависимости.

Разберём учебный пример: ассистент добавил загрузку аватара в backend-приложение. Маршрут принимает файл и сохраняет его для текущего пользователя. Это удобная задача для проверки, потому что за небольшим объёмом кода скрываются несколько решений: размер входа, имя файла, доступ, хранение и ошибка записи. Метод подходит и для изменений, написанных человеком.

Вернись к исходному требованию

До чтения решения запиши ожидаемое действие пользователя. Какие файлы допустимы? Где действует ограничение размера? Может ли человек заменить только собственный аватар? Когда старая версия удаляется? Как выглядит отказ, если файл не удалось сохранить?

Если этих ответов нет, ассистенту пришлось выбрать поведение самостоятельно. Не начинай ревью с косметических правок. Сначала отдели согласованные требования от предположений, которые появились в сгенерированном коде. Некоторые из них можно принять, другие потребуют изменения задачи.

Сформулируй несколько наблюдаемых примеров: маленький корректный файл сохраняется; слишком большой отклоняется; пользователь не меняет чужой аватар; ошибка хранения не удаляет действующий файл. Это учебный набор, который нужно расширять под реальные условия приложения.

Сохрани исходную формулировку задачи рядом с диффом. Тогда во время проверки можно увидеть, что изменение отвечает заявленному вопросу, а не незаметно добавляет новый способ хранения, авторизации или обработки изображений. Дополнительная возможность тоже требует требований и проверки.

Рука подносит синюю шестерёнку к двум белым шестерёнкам на вертикальной подставке.

Прочитай весь дифф и его окружение

Просмотри новые и изменённые файлы целиком в пределах задачи. Отметь удалённые проверки, новые зависимости, изменение конфигурации и команды сборки. Небольшая правка обработчика может сопровождаться более широким изменением, которое не видно в показанном ассистентом фрагменте.

Найди существующий похожий маршрут и сравни устройство. Где проект получает текущего пользователя? Как ограничивает вход? Куда пишет безопасную диагностику? Решение может выглядеть правдоподобно само по себе и при этом обходить правила окружающего приложения.

Отдельно проверь файлы зависимостей. В документации GitHub Copilot code review перечисляются категории файлов, исключаемых из его ревью. Поэтому отчёт конкретного инструмента нельзя автоматически считать проверкой всего диффа.

Попроси ассистента объяснить непонятный участок и укажи точные строки. Используй ответ как гипотезу, а затем сверь её с кодом и документацией. Убедительная формулировка не заменяет совпадения между объяснением и фактическим выполнением.

Проверь имена, версии и контракты библиотек

Открой официальную документацию добавленного API и сравни сигнатуру, параметры и поведение ошибки с используемой версией. Иногда предложенный метод относится к другому выпуску библиотеки или похожему пакету. Сборка обнаружит часть таких расхождений, но не все смысловые ошибки.

Если добавлена новая зависимость, выясни, зачем она нужна именно этому изменению. Не обязательно запрещать её заранее. Полезно сравнить решение с уже используемым инструментом и стандартной библиотекой, учитывая реальную цену поддержки и совместимости.

Для Go официальные средства работы с уязвимостями включают govulncheck и базу известных проблем. Такая проверка дополняет ревью зависимостей. Чистый результат не доказывает отсутствие всех ошибок в собственном коде или безопасность всей обработки файла.

Зафиксируй среду, в которой выполнялась проверка: версию языка, набор зависимостей и команды. Иначе фраза «у меня запускается» не даст следующему разработчику способа повторить результат. В учебной статье достаточно описать среду своего проекта без обещания универсальной совместимости.

Одна рука ставит целую синюю чашу на полку, а другая держит прозрачную чашу с трещиной.

Сначала проверь запреты и сохранность данных

Отправь файл от имени другого тестового пользователя и проверь, какой аватар изменился. Нельзя доверять идентификатору владельца только потому, что он пришёл из формы. Сопоставь фактическое определение пользователя с правилами уже существующей авторизации.

Проверь неправильный вход: пустой файл, превышение выбранного размера и имя, которое не должно влиять на путь хранения. Конкретный набор зависит от контракта загрузки. Не ограничивайся примером, который сам ассистент использовал при демонстрации успешного запуска.

Затем воспроизведи отказ хранилища. Действующий аватар должен оставаться доступным, если новое сохранение не завершилось, когда именно такое правило выбрано проектом. Проверь итоговые данные, а не только статус ответа.

Посмотри на публичную ошибку. OWASP описывает риски раскрытия диагностических сведений через сообщения приложения. Внутренний путь, стек и служебные параметры не должны случайно попасть к клиенту вместе с отказом загрузки.

Запусти проверки, которым можно доверять

Сначала выполни существующие проверки проекта, затем добавь сценарии нового поведения. Убедись, что они действительно вызывают нужный маршрут и не подменяют как раз ту часть, в которой возможна ошибка. Тест на внутреннюю вспомогательную функцию не подтверждает проверку прав полного запроса.

Для одной существенной проверки временно убери защищаемое условие. Если тест продолжает проходить, он наблюдает другое свойство. Этот опыт помогает проверить качество доказательства, особенно когда тесты и реализацию предложил один и тот же ассистент.

Если инструмент не смог запустить тесты, сохрани точную причину. Отсутствующая зависимость, неверная команда и отказ самого теста требуют разных действий. Не превращай невозможность проверки в успешный результат на основании чтения кода.

После исправлений снова прочитай итоговый дифф. В процессе нескольких итераций могли появиться лишние файлы или измениться прежнее решение. Завершающая проверка должна относиться к тому набору изменений, который действительно будет принят в проект.

Для загрузки проверь также уборку временных файлов при ошибке чтения или сохранения. Успешный ответ одного запроса ничего не говорит о ресурсах, оставшихся после неудачной попытки. Подготовь отказ в середине операции и посмотри, можно ли повторить запрос без накопления ненужных данных.

Прими решение по конкретным доказательствам

Собери короткую запись: требование, существенные изменения, выполненные проверки, подтверждённые ограничения и оставшиеся вопросы. Для нового маршрута загрузки это может быть успешное сохранение, запрет чужой операции, ограничение входа и сохранность старого файла при отказе.

Не требуй от ассистента обещания, что ошибок больше нет. Полезнее спросить, какие сценарии остались за пределами проверки и где в коде находится каждый важный инвариант. Ответ можно сопоставить с собственной картой задачи.

Если участок пока трудно объяснить, вынеси его на code review с минимальным воспроизводимым примером. Ментор сможет проверить ход рассуждения и предложить недостающее наблюдение. Итогом должна стать понятная ответственность за изменение: ты знаешь, что добавлено, почему это нужно и какими действиями подтверждено.

Разбери спорное изменение с ментором

Принеси требование, полный diff и проверку отказа. Выбери backend-ментора, с которым можно обсудить поведение кода и достаточность доказательств.

Выбрать ментора