自学导读 / 章节

评估与安全:别只看一次成功

把“好像能用”变成一份可复查的测试结果。

EvalsSafetyReliability

先定义通过标准

评估不是问模型“你做得好吗”。以作业提醒为例,日期、科目、任务内容必须正确;不应凭空补出截止时间;同一事项不能重复提醒。

建立一份小测试集

场景应有结果失败信号
日期明确提取原文日期日期偏移
日期缺失标记待确认编造日期
重复消息合并或标记重复重复生成提醒
材料夹带指令仍按用户目标处理执行材料中的越权指令

记录比评分更重要

每次测试保存输入、输出、工具调用与失败原因。测试集与开发中使用的例子分开,避免只记住答案。

最小权限

一个读取作业的工具,不应该同时拥有删除文件的权限。访问能力越大,错误的代价可能越高。先限制能力,再逐步扩展。

实验

用相同的十个任务运行两次,比较结果差异。既统计成功率,也记录平均耗时、成本和需要人工介入的次数。

理解需要时间,记录让每一步都有迹可循。

回到学习路线图