04 · 实验记录、Git 与数据划分

本站原创入门导读与合成教学示例。原始资料核实：2026-09-05。建议先读：03 · 概率、向量与评估的最小数学。

理解概念

一个可复现实验需要问题、输入数据、环境、版本、运行步骤、评价标准和结果。Git 记录代码变化，数据集版本记录题目变化；两者都影响结论。可以固定随机种子帮助复查，但外部模型更新、并发和服务端随机性仍可能改变结果。

把样例拆成开发集与保留测试集。用开发集调提示与工具；测试集只用于阶段性验收。如果看完测试答案再改提示，测试就逐渐变成了开发数据。数据需记录来源、许可和去标识处理，练习先用自造的校园任务。

一个最小例子

{
  "experiment": "homework-v1",
  "question": "固定规则能否提取作业时长？",
  "dataset_version": "synthetic-2026-09-05",
  "code_version": "填写实际 Git 提交",
  "model": "none",
  "cases": 10,
  "passed": 8,
  "failures": ["空输入", "时间单位歧义"]
}

动手练习

写 10 条合成作业描述，保留 3 条不参与调试。记录一个失败例，提出只改变一个因素的改进，再跑同一批题。保存修改前后的结果。

验收与预期结果

别人按记录能得到规则程序相同的结果。笔记包含失败输入与预期输出，且没有把保留集答案塞进提示。

• 我能解释输入、过程与结果。
• 我保留了一个失败例与运行记录。

常见误区

一次成功截图无法解释稳定性。不要提交真实学生信息、API Key 或完整私人聊天；.gitignore 不会自动删除已经提交过的凭证。

延伸阅读

以下是相关方向的原始资料；本站练习不是官方课程作业或逐字翻译。

• Carnegie Mellon · CMU MLiP / AI Engineering
• Anthropic · Demystifying evals for AI agents

课程状态与先修说明 · 核心术语