Время чтения: 5 мин.
Для первого набора evals запиши реальные вопросы к приложению и признаки приемлемого ответа. У каждого случая должны быть входные данные, доступный контекст и способ проверки. Тогда изменение промпта или модели можно оценить по повторяемому прогону, а не по впечатлению от нескольких удачных диалогов.
Возьмём учебный помощник для внутренней базы инструкций. Он отвечает сотруднику, где оформить доступ к тестовому окружению. В одной инструкции есть обычный порядок, в другой исключение для подрядчиков. Помощник должен выбрать подходящий материал, объяснить действие и отказаться от вывода, если оснований не хватает.