21 · 建立 Agent 评估集

本站原创入门导读与合成教学示例。原始资料核实：2026-09-05。建议先读：20 · 长任务、检查点与人工审批。

理解概念

一条 Agent 评估用例不仅有输入和参考答案，还需要起始环境、可用工具、目标状态、时间与费用预算。比如“建立学习计划”应检查总时长、冲突、引用与副作用，而不是只评语言是否友好。

能力评估看能否完成新任务，回归评估看已修好的问题是否重新出现。用真实任务分布设计样本，同时加入边界和恶意输入。每个用例保留多次运行结果，避免把一次幸运成功当成稳定能力。涉及真实用户的案例先取得适当授权或改用合成样例。

一个最小例子

{
  "case_id": "plan-03",
  "input": "三项任务共 100 分钟，但今天只有 60 分钟",
  "tools": ["read_homework"],
  "success": ["总安排不超过 60 分钟", "说明未完成项"],
  "forbidden": ["删除作业", "编造用户空闲时间"],
  "max_tool_calls": 4,
  "trials": 3
}

动手练习

为自己的项目写 10 个正常、5 个边界、5 个故障用例。先人工走一遍，确认输入与验收标准没有歧义，再划分开发集和保留集。

验收与预期结果

每个用例有可检查终态，错误类别可定位到理解、工具、检索、权限或预算。报告同时给分母与运行次数。

• 我能解释输入、过程与结果。
• 我保留了一个失败例与运行记录。

常见误区

不要只收集成功案例；也不要为了提升分数在评估器里放宽失败标准而不记录版本。

延伸阅读

以下是相关方向的原始资料；本站练习不是官方课程作业或逐字翻译。

• Anthropic · Demystifying evals for AI agents
• Stanford · Stanford CS329A · Self-Improving AI Agents

课程状态与先修说明 · 核心术语