理解语言模型 / 知识库

05 · Token、上下文与 Transformer

理解模型一次看到了什么，以及它为什么可能忘记或编造。

AgentDIY2026.09.05阅读 8 分钟 · 练习 20–40 分钟

理解语言模型原创导读

本站原创入门导读与合成教学示例。原始资料核实：2026-09-05。建议先读：04 · 实验记录、Git 与数据划分。

理解概念

语言模型把文字编码为 token，再根据上下文预测后续 token。一个汉字不一定对应一个 token，不同模型的分词器不同；成本与长度应按供应商计量结果计算。Transformer 的注意力让位置之间交换信息，训练形成的参数与当前请求传入的上下文是两类存储。

上下文通常含系统约束、用户问题、历史消息、检索片段和工具结果。它有容量与注意力成本，填满并不等于利用好。知识截止、缺少证据和输入冲突都会造成错误；流畅表达不是事实核验。模型输出需要下游解析与证据检查。

教学用预算：若可用输入空间是 6,000 token，规则占 500、当前问题 300，剩余 5,200 仍要给检索与历史合理分配；具体模型还需核对输出上限与上下文限制。

把一页校园规章缩成三条证据，保留条款编号与日期。用原文检查摘要有没有丢失例外情况；不用模型也能完成此练习。

能区分 token、字符、上下文与参数；摘要中的结论都能回到原文，且明确缺少什么资料。

增加上下文长度不能保证消除幻觉；把过期信息反复复制进历史还可能让错误更稳定。

以下是相关方向的原始资料；本站练习不是官方课程作业或逐字翻译。

理解需要时间，记录让每一步都有迹可循。