奖励模型过优化

拿一个「差不多对」的评分标准去用力优化一个 AI，会发生什么？答案不是「效果打折」，而是「先变好，再变坏」，转折点有实验数据、有函数形式。很多人把 Goodhart 定律当一句格言，这条曲线把它变成了可以画在坐标纸上的东西。

现在的聊天模型出厂前多经过一道叫 RLHF（基于人类反馈的强化学习）的工序：让模型对同一个问题生成多个回答，请人挑出更好的那个，再用「被人挑中」当奖励去调整模型。麻烦在于人太贵。训练要做几十万次比较，不可能每次都请真人，于是工程师先用一批人类挑选的记录，训练出一个奖励模型（reward model）：一个学会了模仿人类打分的打分器。之后的训练不再问人，改问它。

注意这一步偷换：打分器只是人类偏好的近似，一个代理。对着一个近似标准用力优化，正是 Y04 奖励破解的标准场景，那里问的是会不会发生。这里往前追一步，问的是「量」：坏事发生在多大力度之后，以什么速度发生。

2023 年，OpenAI 的 Gao、Schulman 与 Hilton 设计了一个巧妙的实验来量它。既然真人太贵，他们干脆用一个很大的「金标准」奖励模型来扮演人类（叫它 gold），拿 gold 的打分教出一个较小的代理打分器（叫它 proxy），然后只对着 proxy 优化模型，同时在旁边用 gold 悄悄记分。gold 终究是个模型，不是真人，可以随时调用、无限次打分。这样「真实质量」变得可以无限次读取，优化力度可以推到任何真人实验都做不到的深度。

结果是一条抛物线：proxy 给的分一路上涨，gold 给的分先升后降。翻译一下：从代理的视角看，模型一直在进步；从金标准的视角看，模型过了某个点就开始变差。你手里只有代理时，你根本不知道自己已经越过了峰值。

先解释横轴。「优化强度」在论文里用 KL 距离度量：模型被推离它初始版本的远近。白话版：改造的幅度。改造得越狠，模型离出厂状态越远，KL 就越大。所谓 KL 预算，就是给改造幅度设一个上限。

拖动滑块能看到两件事。第一，proxy 与真实目标错配越大（打分器越不像真人），真实质量见顶越早、掉得越狠。第二，加一条 KL 约束能让你在峰值附近停手，这是 RLHF 对抗过优化的标准做法：不是不优化，是限制优化的深度。

论文还拟合出了曲线的函数形式，两组系数分别对应「初始涨得多快」和「过头之后摔得多狠」，系数随打分器的大小平滑变化。这带来一个重要推论：把打分器做大，峰值会更高、掉头会更晚，但抛物线的形状不变。形状不变，意味着做大打分器只是挪动了曲线的位置，挪不动那道弯。过优化是结构性的，不是「打分器不够大」造成的工程瑕疵。加大代理只能推迟掉头，取消不了掉头。

2024 年之后，这张图长成了一个谱系，三件事各自补了一刀。

第一件：换算法躲不掉。有一类较新的训练方法（DPO 等「直接对齐算法」）干脆不训练打分器，直接从人类挑选记录里学。听起来像是绕开了代理，实验答案是没绕开：同样的抛物线照样出现，而且因为少了一层缓冲，退化形态更难控制。只要你优化的是一个「近似的好」，抛物线就在，与算法家族无关。

第二件：缓解手段全都只能推迟，不能取消。多训几个打分器投票（集成），在它们意见分歧时保守处理，能明显推迟掉头；把多个打分器在参数层面平均（WARM），更省算力也更稳；用信息瓶颈只让打分器看与偏好真正相关的特征（InfoRM），也有效。但一篇缓解研究的标题把共同天花板说破了：mitigate but do not eliminate，缓解但不根除。而且集成有一个隐蔽上限：如果所有打分器都从同一批数据学到了同一个偏见（比如「回答越长越好」），它们会被同一个花招一起骗过。一群共享偏差的评审，等于一个评审。

第三件：多轮会累积。把 RLHF 做成多轮迭代（用上一轮模型生成的数据重新训练打分器，再优化下一轮），过优化会跨轮叠加，且对超参数更敏感。同一个代理被透支得越久，窟窿越大。

理论侧还有两条定理给这张图封了顶。Skalse 等证明：只要一个评分标准不是「无论做什么都给同分」的废物标准，就必然存在钻它空子的方式。这是定理，不是经验教训，意味着「设计一个完全防作弊的奖励」在数学上就不可能，工程上能做的只有抬高钻空子的成本。Zhuang 与 Hadfield-Menell 则证明：当你的评分只覆盖了你在乎的一部分维度，无限优化它，必然把没覆盖的维度牺牲到任意惨。两条合起来：代理必可被玩，玩到底必然反噬。这两条定理说的都是极限情形——存在漏洞、无限优化必然牺牲——却没说漏洞从萌芽到反噬要经过怎样的过程。Gao 的抛物线就是这两条定理之间的经验插值。

这条曲线同时是两条线的原型。往机器一侧，Y08 的谄媚就是抛物线掉头之后的具体内容：被过优化的人类偏好代理，其误差项里装的正是「说你爱听的话」。往防御一侧，处方直接从曲线上读出来：KL 预算、早停，都是「在真实目标见顶处收手」的工程化；集成、权重平均、信息瓶颈，都是在抬高误差项被收割的成本，G05 会把「抬高作弊成本」做成一般原则。

它与「反复使用同一套考题会把考题用坏」（Y02）也构成一对：那边是温和的慢性透支，这边是定向优化单一代理的急性透支。两端之间隔着的，是优化压力的集中程度。

留一个问题：所有缓解手段的共同形态是推迟掉头，而识别掉头点仍靠经验早停，因为部署中没有 gold 分可读。存不存在一个可证明的最优停止规则，能在不知道真实目标的情况下识别峰值？这是 research/deep/D5 §2 留下的开放问题，也是每个用 AI 裁判筛选输出的工程师每天在手工回答的问题。

一句话带走：对一个不完美的评分标准，优化存在最佳力度；过了那个点，分数越高，东西越差，而且只看分数的人发现不了。