Опубликовано в Профессии

Как использовать AI для поиска тестовых сценариев

Робот придерживает синий куб на конвейере перед круглым отверстием, а за отверстием лежит синий шар.

Время чтения: 5 мин.

AI полезно просить сначала найти тестовые сценарии, а уже потом писать проверки. Дай ему контракт функции, ограничения данных и известные отказы. Полученный список сравни с требованиями, а каждый тест проверь на том, что он действительно замечает ошибку. Большое число зелёных тестов ещё не показывает, какие дефекты они способны обнаружить.

Возьмём учебный импорт CSV с устройствами. Приложение читает файл, проверяет обязательные поля и добавляет записи в каталог. Договоримся, что при ошибке одной строки весь импорт отклоняется без частичного сохранения. Этот выбор сделан для примера; другой проект может обрабатывать строки независимо.

Передай контракт вместо просьбы покрыть всё

Начни с описания входа, результата и правил. Укажи обязательные колонки, допустимую длину названия и поведение при дубликате. Если часть правил пока не определена, пометь её вопросом. Модель не должна незаметно стать автором продуктового решения.

Приложи несколько коротких тестовых файлов и ожидаемый результат для каждого. Все значения должны быть безопасными учебными данными. Реальный клиентский экспорт не нужен, чтобы обсудить пустую строку или повтор идентификатора.

Задай первый запрос так: «Предложи сценарии для проверки контракта. Для каждого укажи исходные условия, действие, ожидаемый результат и какую возможную ошибку он обнаружит. Код пока не пиши». Такой формат помогает заметить непонятное правило до генерации десятков функций.

Руководство GitHub по тестам с Copilot рекомендует давать конкретные требования и примеры. Его примеры не заменяют контракт твоего импортера; ожидаемое поведение следует определить самостоятельно.

Рука кладёт длинный синий брусок в белый лоток так, что его конец выступает наружу, а выше лежит короткий прозрачный брусок.

Сгруппируй сценарии по риску

Раздели список на корректный импорт, невалидные данные, ошибки окружения и взаимодействие с хранилищем. Для нашего правила особенно важны случаи, где ошибка возникает после нескольких уже обработанных строк. Иначе проверка отклонения пустого файла ничего не скажет о частичном сохранении.

Попроси AI назвать границы каждого ограничения. Если длина поля ограничена, нужны значение на границе и ближайшее недопустимое. Если разрешён один вариант кодировки, проверь несовместимый вход и понятную ошибку. Числа и правила бери из своего контракта, а не из предложенного моделью «стандартного» значения.

Удаляй повторы, которые не проверяют новое поведение. Десять вариантов обычного названия могут давать меньше пользы, чем один файл с корректной первой строкой и ошибочной второй. Сохрани рядом объяснение, зачем выбран каждый важный случай.

Отдельно выпиши неизвестное. Например, считаются ли одинаковыми идентификаторы с разным регистром? Пока ответа нет, нельзя объявлять один вариант теста истинным и исправлять под него реализацию.

Проверь ожидаемый результат без подсказки реализации

Тест должен сравнивать поведение с требованием. Если попросить AI прочитать функцию и «написать подходящие тесты», он может закрепить её текущую ошибку как ожидаемый результат. Поэтому полезно сначала сформулировать сценарии по контракту, а затем сопоставить их с кодом.

В нашем примере после ошибки второй строки каталог должен остаться прежним. Проверка только текста ошибки этого не доказывает. Нужен доступ к результату сохранения: число записей, содержимое или иной наблюдаемый признак изоляции импорта.

Посмотри, что делают заглушки. Если тест сам подменяет хранилище так, что откат всегда выглядит успешным, он не проверяет поведение настоящей базы. Правило обработки входа можно тестировать отдельно, а сценарий сохранения проверить с подходящим тестовым окружением.

Попроси модель объяснить каждую проверку обычными словами. Затем сравни объяснение с утверждениями в тесте. Несовпадение между красивым описанием и одной проверкой «ошибки нет» часто видно уже на этом шаге.

Робот светит фонариком на трещину трубы, из которой капает вода в миску.

Убедись, что тест ловит выбранную ошибку

В отдельной локальной копии временно внеси известный дефект: например, оставь первую строку записанной в каталог после отклонения файла из-за ошибки второй строки. Это должен быть частично зафиксированный импорт. Промежуточная запись внутри транзакции с успешным откатом таким дефектом не будет. Запусти соответствующий тест. Он должен упасть по нужной причине, а после возврата исправления пройти.

Не сохраняй специально внесённый дефект в рабочую ветку. Цель такого эксперимента узкая: проверить чувствительность теста. Если проверка остаётся зелёной, выясни, какое наблюдение в ней отсутствует или почему дефект не достиг нужного участка.

Для функции обработки строк можно дополнительно исследовать свойства на разных входах. Официальный учебник Go по fuzzing показывает поиск неожиданных входов и проверку свойств. Применимость зависит от функции и выбранного свойства; случайные данные не придумывают за разработчика правильный контракт.

У импортера таким свойством может быть отсутствие частичного результата при отклонённом файле. Перед автоматическим перебором убедись, что проверка действительно наблюдает состояние каталога. Без этого получится быстрый запуск множества бесполезных примеров.

Проверь воспроизводимость и независимость

Запусти новые тесты отдельно и в составе набора. Убедись, что им не нужны данные от прошлого запуска и что они не зависят от порядка. Время, случайность и внешние обращения должны быть контролируемыми там, где влияют на результат.

Прочитай новые зависимости и команды запуска, предложенные AI. Для обычной проверки CSV не всегда нужен новый фреймворк или отдельный сервис. Используй существующие инструменты проекта, если они позволяют наблюдать нужное поведение.

Посмотри сообщения об ошибке теста. По ним должно быть понятно, какой файл обрабатывался, какое состояние ожидалось и что получилось. Вывод полного клиентского файла или секретов в диагностике недопустим; используй короткие тестовые значения.

Подготовь список для совместного разбора

К завершению работы сохрани контракт, выбранные сценарии и один пример «дефект → красный тест → исправление → зелёный тест». Это небольшой проверяемый результат, который удобно обсуждать на code review.

Если разбираешь проект с наставником, покажи сомнительные границы: что проверяется без базы, где нужна настоящая транзакция и какой случай пока не удаётся воспроизвести. Тогда разговор начнётся с инженерного решения, а не с количества сгенерированных строк. AI расширит набор идей, а обоснованность проверок будет видна в поведении тестов.

Обсуди, какие ошибки ловят твои тесты

Подготовь контракт, выбранные сценарии и один пример теста, который действительно замечает дефект. Выбери backend-ментора для разбора оставшихся вопросов.

Выбрать ментора