Опубликовано в Профессии

Как собрать evals для первого LLM-приложения

Робот помещает квадратный синий блок в подходящее углубление лотка рядом с круглым блоком и прямоугольной деталью.

Время чтения: 5 мин.

Для первого набора evals запиши реальные вопросы к приложению и признаки приемлемого ответа. У каждого случая должны быть входные данные, доступный контекст и способ проверки. Тогда изменение промпта или модели можно оценить по повторяемому прогону, а не по впечатлению от нескольких удачных диалогов.

Возьмём учебный помощник для внутренней базы инструкций. Он отвечает сотруднику, где оформить доступ к тестовому окружению. В одной инструкции есть обычный порядок, в другой исключение для подрядчиков. Помощник должен выбрать подходящий материал, объяснить действие и отказаться от вывода, если оснований не хватает.

Начни с обещания продукта

Фраза «ответ должен быть качественным» не даёт проверяющему правила решения. Уточни обещание: помощник называет допустимый порядок действий и приводит источник для каждого существенного условия. Он не выдаёт доступ самостоятельно и не придумывает согласующего сотрудника.

Раздели свойства ответа. Верная процедура, подходящий источник, сохранённые ограничения и понятное объяснение проверяются отдельно. Одно общее число скрывает ситуацию, где текст стал приятнее, но начал путать типы сотрудников.

Документация Anthropic об evals предлагает связывать оценку с измеримыми критериями задачи. Для нашего примера это означает заранее описать, что считается правильным действием и какой пропуск делает ответ неприемлемым. Конкретные критерии ниже составлены для учебного помощника; их нужно адаптировать к своему процессу.

Собери случаи, которые различаются причиной ошибки

Начальный набор можно составить вручную вместе с владельцем инструкций. Возьми обычный запрос штатного сотрудника, запрос подрядчика, отсутствие нужной инструкции, устаревший документ и вопрос с недостаточными условиями. Добавь несколько перефразировок одного вопроса.

Для каждой записи сохрани:

  • идентификатор случая и тип пользователя;
  • вопрос и разрешённые этому пользователю документы;
  • ожидаемое действие либо необходимость уточнения;
  • основание в источнике, включая версию;
  • признаки критической ошибки.

Например, подрядчику требуется отдельное согласование. Правильный ответ может быть написан разными словами, но должен сохранить это условие. Проверка на совпадение с одной готовой фразой будет браковать полезные варианты и пропускать содержательные ошибки, если искать только название формы.

Случай без ответа тоже нужен. Удали правило из тестовой копии базы и проверь, признаёт ли помощник нехватку материала. Общий совет из памяти модели здесь не заменяет внутреннюю инструкцию.

Руки измеряют штангенциркулем синий болт.

Выбери проверяющего под конкретное свойство

То, что можно проверить обычным кодом, проверяй обычным кодом. Например, ответ должен содержать существующий идентификатор документа, а возвращаемый объект обязан иметь нужные поля. Такая проверка воспроизводима и не требует второго вызова модели.

Смысл инструкции приходится оценивать по рубрике. Для случая с подрядчиком она может выглядеть так: назван отдельный маршрут; согласование сохранено; чужие закрытые документы не использованы; неподтверждённые шаги отсутствуют. У каждого пункта должно быть описание того, что увидеть в ответе.

Если проверяющей служит другая LLM, сохрани её инструкцию и версию. Сначала сравни её решения с ручным разбором нескольких примеров, включая спорные. Модель-судья может соглашаться с уверенным объяснением или предпочитать более длинный ответ. Её оценка становится ещё одним компонентом, который тоже требует проверки.

Не поручай автору ответа самому объявить свой результат правильным без независимого основания. Сравнение с документом должно быть доступно в отчёте. Для фактических утверждений полезны приёмы проверки по источникам, но сами ссылки также нужно проверять.

Робот держит синюю изогнутую деталь над открытым ящиком, а рядом стоит закрытый ящик с замком.

Отдели настройку от итоговой проверки

Сделай рабочий набор, на котором разрешено разбирать ошибки и менять систему. Часть случаев оставь закрытой до сравнения вариантов. Обозначь эти наборы в файлах, чтобы итоговый прогон случайно не использовал только знакомые вопросы.

Пусть первая версия забывает исключение подрядчиков. После изменения инструкции проверь рабочие примеры, затем отложенные случаи с другими формулировками и условиями. Если улучшение видно только на отредактированном вопросе, оснований объявить проблему решённой пока мало.

Новые ошибки из ручного тестирования сохраняй отдельными случаями. Перед добавлением в общий набор проверь, что ожидаемый ответ действительно следует из действующих документов. Опечатка в эталоне способна месяцами заставлять команду исправлять работающий ответ.

Не переименовывай пример и не удаляй сложный случай только ради роста оценки. Если требования изменились, сохрани причину изменения и предыдущую версию набора. Иначе результаты разных недель перестанут сравниваться.

Зафиксируй условия каждого прогона

В отчёт включи версию приложения, модель, параметры запроса, промпт, версию документов и проверяющего. Отдельно запиши, какой контекст реально получил генератор. Это помогает отличить ухудшение модели от ошибки поиска или загрузки данных.

Для первого проекта достаточно файлов с примерами и небольшой команды запуска. Не нужно начинать с большой оценочной платформы. Существенно, чтобы другой разработчик мог повторить прогон и увидеть причину провала конкретного случая.

Повтори часть одинаковых запросов, если приложение выдаёт разные результаты. Один удачный ответ не показывает устойчивость поведения. Количество повторов выбирай по цене проверки и риску ошибки; фиксированный универсальный минимум здесь не задаём.

Измеряй также отказ приложения, пустой ответ, превышение времени и невозможность проверить источник. Если учитывать только успешно полученные тексты, система с частыми сбоями может выглядеть лучше, чем работает для пользователя.

Преврати результат в решение об изменении

До сравнения определи блокирующие ошибки. Для нашего помощника выдача закрытой инструкции и неверный маршрут доступа важнее стилистики. Если новый вариант улучшает читаемость, но нарушает доступ, это изменение не готово к выпуску.

Если обычных вопросов много, а сложных мало, общий результат может скрыть провал редкого сценария. Посмотри каждый тип вопросов отдельно. Например, правильные ответы штатным сотрудникам не компенсируют постоянную ошибку для подрядчиков. Запиши число случаев в каждой группе, чтобы при следующем прогоне изменение состава не выглядело улучшением качества.

Сохрани перечень улучшенных и ухудшившихся случаев. Для каждого серьёзного провала укажи ожидаемое поведение, фактический ответ и предполагаемый этап ошибки. Разделяй подтверждённую причину и гипотезу, которую ещё предстоит проверить.

Хороший первый результат работы с evals состоит из набора проверочных случаев, понятной рубрики и воспроизводимого отчёта. По нему можно объяснить, почему конкретное изменение принимается или возвращается в работу. Общий балл полезен для обзора, а решение требует просмотра критических ошибок и границ самого набора.