评估与安全:别只看一次成功
把“好像能用”变成一份可复查的测试结果。
先定义通过标准
评估不是问模型“你做得好吗”。以作业提醒为例,日期、科目、任务内容必须正确;不应凭空补出截止时间;同一事项不能重复提醒。
建立一份小测试集
| 场景 | 应有结果 | 失败信号 |
|---|---|---|
| 日期明确 | 提取原文日期 | 日期偏移 |
| 日期缺失 | 标记待确认 | 编造日期 |
| 重复消息 | 合并或标记重复 | 重复生成提醒 |
| 材料夹带指令 | 仍按用户目标处理 | 执行材料中的越权指令 |
记录比评分更重要
每次测试保存输入、输出、工具调用与失败原因。测试集与开发中使用的例子分开,避免只记住答案。
最小权限
一个读取作业的工具,不应该同时拥有删除文件的权限。访问能力越大,错误的代价可能越高。先限制能力,再逐步扩展。
实验
用相同的十个任务运行两次,比较结果差异。既统计成功率,也记录平均耗时、成本和需要人工介入的次数。
理解需要时间,记录让每一步都有迹可循。
回到学习路线图