检索与知识系统 / 知识库

16 · 检索与问答如何分开评估

定位是没找到证据，还是找到了却答错。

AgentDIY2026.09.05阅读 8 分钟 · 练习 20–40 分钟

检索与知识系统原创导读

本站原创入门导读与合成教学示例。原始资料核实：2026-09-05。建议先读：15 · RAG：有证据才回答。

理解概念

端到端答案分数不能告诉你该改哪里。先标注问题对应的相关文档，测检索 recall@k、排序和无关内容；再把正确证据直接交给生成器，测事实、引用和拒答。最后跑整条链路，观察误差是否叠加。

为数据集加入同义词、否定、例外、过期版本与无答案问题。调参用开发集，保留集只做验收。同一问题可以有多份正确证据，不要把唯一标准措辞当成唯一正确答案。重排会增加延迟与费用，应看同等预算下的净收益。

用例	找回关键证据	答案正确	首先检查
普通周开放时间	是	是	保留为回归例
考试周例外	否	否	切块与检索
资料没有的节假日	无证据	编造	拒答与生成
两版规章冲突	是	否	版本选择与提示

制作 12 道合成问题，分成四类各三道。比较 k=2 与 k=4 的检索结果，记录召回、引用错误、上下文长度和响应时间。

报告包含分层结果与至少一个失败轨迹；改进能定位到环节。不能只因为总体多答对一题就宣称普遍提升。

用同一个模型生成题目、答案和所有评分容易共享偏差；小样本优先用人工校对的明确事实题。

以下是相关方向的原始资料；本站练习不是官方课程作业或逐字翻译。

理解需要时间，记录让每一步都有迹可循。