Соберите представительную выборку
Включите типовые обращения, редкие исключения, неполные данные и случаи, где правильный ответ — отказ. Отделите примеры настройки от примеров итоговой проверки.
Опишите правильный результат
Для извлечения полей сохраните эталонные значения, для ответов по документам — подходящие источники. Для действий агента определите разрешённые инструменты и события, требующие подтверждения.
Разделите виды ошибок
Не ограничивайтесь общей оценкой: отдельно считайте пропуски, неверные значения, неподтверждённые утверждения и опасные действия. Ошибки разной тяжести требуют разных решений.
Проверьте весь процесс
Помимо ответа модели проверьте недоступность интеграции, повторную обработку, сохранение прав доступа и передачу оператору. Время и труд на ручную проверку тоже относятся к процессу.
Повторяйте оценку после изменений
Новая версия документов, промпта или модели может изменить результат. Сохраняйте набор тестов и проводите повторную проверку перед расширением доступа; целевые пороги согласуются под конкретный риск.