14 · 文档清洗、切块与索引版本

本站原创入门导读与合成教学示例。原始资料核实：2026-09-05。建议先读：13 · Embedding 与混合检索。

理解概念

知识入库经过获取、许可确认、解析、清洗、切块、标注元数据、编码与索引。扫描 PDF 需要 OCR；表格若被拆散，数值会失去行列含义。保留标题层级、日期、单位和例外条款，比机械按字符平均切分更重要。

块太小缺上下文，太大混入噪声；可从段落或小节起步，在开发集比较不同策略。少量重叠减少跨边界断裂，但会增加存储与重复引用。源文件修改后更新相关块，删除时同步删除索引和缓存；每次实验固定语料快照。

一个最小例子

{
  "document_id": "lab-rules",
  "version": "2026-09",
  "chunk_id": "lab-rules:2026-09:section-2",
  "heading": "开放时间与例外",
  "text": "周三开放；考试周暂停。",
  "source": "合成教学资料",
  "access": "public"
}

动手练习

把“开放时间”与“考试周暂停”分别切开，再合并成完整条款。对两个问题测试：普通周能否进入、考试周能否进入。比较错误来自检索还是生成。

验收与预期结果

两类问题都能取到例外条款；每个块能追溯原始文档和版本。删除测试资料后检索不再命中旧内容。

• 我能解释输入、过程与结果。
• 我保留了一个失败例与运行记录。

常见误区

不要把 PDF 页眉、目录和参考文献的重复文本大量索引；模型无法从错误解析的表格中稳定恢复真实数据。

延伸阅读

以下是相关方向的原始资料；本站练习不是官方课程作业或逐字翻译。

• Anthropic · Effective context engineering for AI agents
• Stanford · Stanford CS329Z · Engineering AI Agents

课程状态与先修说明 · 核心术语