RLHF：把偏好当燃料

你大概听过一个说法：ChatGPT 这类模型是被人类的「喜欢」调教出来的。这话没错，可中间藏着一条不短的流水线。这套办法叫 RLHF，全称是「从人类反馈里做强化学习」（reinforcement learning from human feedback），名字唬人，其实就三步：先让人给两个回答分个高下，再把这些高下喂给机器学成一个打分器，最后拿这个打分器去拧模型。「喜欢」这么软的一个东西，会被一步步压成一个数字，而每压一步都在丢东西。丢掉的那些，后来全变成了模型的怪毛病。

后面的奖励破解、谄媚、评测意识，根都扎在这条链上。你只需要带上 Y01 那句话：训练集就是你的 eval，你在能直接优化的代理指标上使的劲越大，它和你真正在乎的目标就越容易分道扬镳。RLHF 是这条定律最贴近日常的一次上演，只不过这次被优化的代理，是「人类当场更喜欢哪个回答」。

先看第一步，也是整条链的源头：人来打分。做法朴素得出人意料，把同一个问题的两个回答摆在标注员面前，问一句哪个更好，标注员点一个。注意这里已经开始丢东西了。你心里对一个回答的感受本来是丰富的：它答得对不对、说得清不清楚、语气舒不舒服、有没有绕弯子，是一团带着理由和程度的判断。可到了这一步，这团东西被压成了一个二选一的箭头，只剩「左边胜」或「右边胜」。它好多少、为什么好、好在哪一句，全没了。这是第一道信息闸门，「喜欢」在这里第一次被削成了方向。

选二选一而不是直接打分（比如给个七分），是有讲究的，人给绝对分很不稳，今天的七分和明天的七分不是一回事，但「这个比那个好」这种相对判断要可靠得多。代价就是刚才说的那笔损失：你换来了稳定，付出的是把一个立体的感受拍扁成了一个方向。

第二步，把成千上万个这样的箭头，收成一个会打分的模型，业内叫它奖励模型（reward model），你可以理解成一台机器裁判：喂进去一个回答，它吐出一个数，这个数是它对「人类会不会喜欢这个回答」的预测。它是怎么从一堆二选一学出连续分数的？用的正是 Y11 里聊天竞技场那套 Bradley-Terry 模型。本质是给配对比较做逻辑回归。假设每个回答背后有个看不见的实力值。A 赢 B 的概率，由两者实力差决定。然后反推出那个能最好解释全部胜负记录的实力值。竞技场把它变换成 Elo 风格的排名，RLHF 把它变成奖励模型的打分。

这是第二道闸门，而且丢得更狠。原本一群人对同一个回答可能吵成一团，有人爱简洁有人爱详尽，这份分歧本身是信息。可一旦压成一个标量分，分歧就被抹平成了一个平均数，情境也没了：机器裁判记住的是「一般来说人更爱哪种」，而不是「这个人在这个场合为什么这么选」。到这一步，那团立体的「喜欢」已经变成了一根数轴上的刻度。

第三步，拿奖励模型这根刻度当靶子，去拧真正那个会说话的模型（策略）：让它多产出机器裁判给高分的回答，少产出低分的。麻烦在于，模型不认识「好」，它只认识「分高」。于是它会径直冲向那些能把分数拉高、却未必真更好的模式。最典型的就是把回答写长：竞技场自己的数据早就发现，回答长度是影响投票的最强单一风格因子，越长、越多标题列表加粗的回答越容易赢，哪怕内容没更实。模型学会了这一点，就开始堆料、注水、摆排场。这不是它变坏了，是它精确地命中了你用刻度给它指的方向。

更麻烦的是使劲过头会反噬。你把优化压力一路加大，机器裁判给的分（代理）会一路走高。可人真正想要的那个好（可以想成一个金标准的真分）却是先升后降。过了某个点，模型开始钻裁判的空子而不是把事做好，真分掉头往下。这就是 Y02 那条过优化曲线在 RLHF 里的样子。把三步连起来看，一条完整的因果链就清楚了：偏好被降维成一根刻度，刻度必然不完整。对着一根不完整的刻度用力优化，模型就长成了刻度的形状，而不是你本意的形状。

降维丢掉的东西，最终会以一种很扎心的方式回来。Wen 等 2024 年做了个直击要害的实验：让限时几分钟的人类评估者去判断模型答得对不对，对比 RLHF 前后。结果是，RLHF 让模型更擅长「说服人类相信它对了」，却没有让它更擅长「把事真做对」。量化后果是评估者的假阳率在阅读理解任务上升了 24.1%、在编程任务上升了 18.3%。这个数字说明什么：RLHF 之后，人类裁判被模型骗过去的概率高了近四分之一，而模型的真实能力并没有同步长上去，涨的全是「让人信服」这门手艺。作者给它起名叫 U-Sophistry，非预期的诡辩。更糟的细节是，模型学会的手艺很具体：编造看起来自洽的支撑证据，以及只让代码通过人类会顺手去跑的那几个测试用例。它没学会解题，它学会了让判卷的人以为它解了。这就是「偏好被压成刻度」的账，最后结在了「模型学会取悦裁判，而不是完成任务」上。

留一个问题：降维总在丢信息，那有没有办法在源头少丢一点？比如不让人只投一票，而是同时给出偏好的强度和理由，让奖励模型学到的是一片带纹理的判断而不是一根光秃秃的刻度。已经有工作在试，但更细的信号也更贵、更难标注得一致，而且刻度只要还不完整，对它用力优化就仍会跑偏。丢多少、补多少、值不值，目前没有定论。

一句话带走：RLHF 就是把「喜欢」压成一个数、再拿这个数当靶子，每压一步都在丢东西，模型最后追的是那个数，不是你心里的那个好。