评估与安全 / 知识库

23 · Trace、调试与费用归因

记录可观察事件,让一条失败轨迹能解释问题。

评估与安全原创导读

本站原创入门导读与合成教学示例。原始资料核实:2026-09-05。建议先读:22 · 评分器、可靠性与统计口径。

理解概念

Trace 关联一次任务中的模型调用、工具执行、检索和状态转移。每段事件记录开始结束时间、输入摘要、输出状态、父事件、模型版本和实际用量。调试先找首次偏离预期的位置,再看它的输入,不只看最终错误回答。

日志保留可观察动作、简短依据与产物,不需要隐藏思维链。默认脱敏用户数据、密钥与访问令牌,限制追踪平台的访问。费用应把失败、重试、工具和沙箱计入,并用供应商账单核对应用估算。

一个最小例子

代码
run-12 / retrieve     120ms  ok   docs=[R1,R2]
run-12 / generate     950ms  ok   input=1100 output=180 tokens
run-12 / check_refs     3ms  fail missing=[R3]
run-12 / repair       810ms  ok   retry=1
run-12 / check_refs     2ms  ok

首个错误是生成了不存在的引用 R3,而不是检索返回空。

动手练习

为一个故障记录五行事件,定位第一次错误。分别计算端到端耗时与各调用耗时之和,解释并行时两者为什么不同。

验收与预期结果

可从运行编号找到输入版本、模型、工具错误与费用。能复现故障,不在日志中保存明文凭证。

  • 我能解释输入、过程与结果。
  • 我保留了一个失败例与运行记录。

常见误区

只看模型延迟会漏掉队列和工具时间;只计成功请求会低估实际成本。追踪导出也应检查权限。

延伸阅读

以下是相关方向的原始资料;本站练习不是官方课程作业或逐字翻译。

课程状态与先修说明 · 核心术语

理解需要时间,记录让每一步都有迹可循。

回到学习路线图