27 · 从反馈优化到强化学习

本站原创入门导读与合成教学示例。原始资料核实：2026-09-05。建议先读：26 · 编码、浏览器与多模态 Agent。

理解概念

优化可以发生在提示、检索、工具接口、候选选择或参数训练层。先用轨迹定位瓶颈：工具参数错误优先修契约，证据缺失优先修数据，只有模型能力问题才考虑换模型或训练。

可计算验证器让系统生成候选、执行检查、保留较好方案。强化学习则进一步用奖励优化策略，涉及采样、信用分配、稳定性与奖励设计。验证器覆盖范围有限，候选可能投机通过检查；隐藏测试、资源限制和人工抽查仍然重要。

一个最小例子

# 独立教学例：比较候选排序函数
candidates = [lambda xs: xs, lambda xs: sorted(xs)]
cases = [([3, 1], [1, 3]), ([], []), ([2, 2], [2, 2])]
scores = [sum(fn(x.copy()) == y for x, y in cases)
          for fn in candidates]
print(scores)

这里是候选验证，不是强化学习训练。

动手练习

先运行例子，再加入降序、有负数的隐藏测试。列出只对这三道样例硬编码的投机方案，解释为什么开发集满分不够。

验收与预期结果

得分是 [2,3]；能区分候选搜索、提示优化与参数训练。每次改变只比较同一版本评估集。

• 我能解释输入、过程与结果。
• 我保留了一个失败例与运行记录。

常见误区

不要把研究论文特定任务的提升当作通用保证；费用预算还要算失败候选、评估器与训练成本。

延伸阅读

以下是相关方向的原始资料；本站练习不是官方课程作业或逐字翻译。

• Google DeepMind · AlphaEvolve
• DeepSeek · DeepSeek-R1 · official repository
• Stanford · Stanford CS329A · Self-Improving AI Agents

课程状态与先修说明 · 核心术语