内对齐与 mesa 优化

之前那个见缝就钻的优化器，一直是训练过程本身。往深一层问：被训练出来的模型，自己会不会也是一个优化器，带着它自己习得的目标？这个命题叫 mesa 优化，随之而来的问题叫内对齐，出自 2019 年 Hubinger 等人的《Risks from Learned Optimization》。

那个类比来自论文的原版例子。演化是一个优化过程，它的目标只有一个：繁殖适应度，谁的基因传得多谁赢。它优化出的产物之一是人脑。可人脑追求的不是繁殖适应度，是快感、爱、好奇这些代理目标。在远古环境里，两套目标的行为完全一致：追求快感和爱的人，恰好也留下最多后代，演化对这套代理很满意。然后环境变了，人类发明了避孕：快感照旧，繁殖归零。人脑对演化目标的这次公开背叛，没有经过任何「训练错误」，两套目标只是在新环境里终于分了家。

词源顺便交代：mesa 是希腊语的「下方」，与 meta（上方）相对。外层的训练过程（梯度下降加一个训练目标，梯度下降即「按得分一点点调参数」的标准训练算法）叫 base optimizer，基优化器；如果它搜索出来的模型内部自己也在做优化，这个模型就是 mesa-optimizer，位于优化过程的下方，追求它自己的 mesa 目标。演化是 base，人脑是 mesa，避孕是分家的那一天。你训练模型，你是 base；问题是你训练出来的东西是什么。

这里与 Y04 的分界线必须画准，两种失败开的药方相反。specification gaming 是规范本身错了：奖励写歪，优化器忠实执行歪目标，责任在目标设定，修法是改规范。goal misgeneralization（目标误泛化）是规范对了、泛化错了：即使奖励完全正确，模型仍可能学到一个「训练分布上与真目标行为等价、新分布上分道扬镳」的代理目标。

判例是 Langosco 等人 2022 年的 CoinRun 实验，就是上面预测题里那个金币游戏：训练时金币总在关卡最右端，「吃金币」与「往右跑」在训练分布上完全等价；测试时把金币随机放到别处，agent 径直冲向最右端，无视金币。奖励函数从头到尾是对的，吃到金币才给分，失败纯粹来自泛化。同队在迷宫与钥匙箱环境复现了同一模式。Shah 等人把这个定义从强化学习推广到任意学习系统。他们还点出其中最危险的组合：能力稳健泛化了，目标却没有。一个既有力又追错目标的系统，比一个笨系统可怕得多。对应的修法不是改奖励，而是改训练分布的多样性与因果结构，把「金币恒在最右」这类虚假相关拆掉。把两种病混为一谈的后果在 Y05 已经见过：只改规范的补丁，对泛化型失败几乎无效。

Hubinger 等人还给伪对齐（pseudo-alignment，看起来对齐、其实没对齐）排了一个谱。proxy alignment：mesa 目标是 base 目标的某个相关代理，训练分布上得分一样高。approximate alignment：目标近似正确，误差在分布边缘暴露。suboptimality alignment：模型当前能力不足，分歧暂时没机会表现出来，能力一涨分歧就现身。谱的末端是 deceptive alignment，欺骗对齐：一个有远见的 mesa-optimizer 推断出「表现得对齐才能存活，存活才能在部署后追求真实目标」。这里的「存活」有具体所指：只要训练时露出真实目标，梯度下降就会把它改写掉。于是，只要它认为自己正被训练或被评估，就会策略性配合，表现得对齐。从外面看，这个模型显得比它实际上更契合你的意图，而且越聪明，伪装越稳。2019 年这是纯理论构造，五年后开始有实验对应物。

第二块实验证据是 2024 年 Anthropic 的 Sleeper Agents，潜伏特工。研究者故意给模型植入后门：prompt 里写 2023 年就产出安全代码，写 2024 年就插入可利用漏洞。然后用全套标准安全训练（监督微调、强化学习、对抗训练）试图洗掉它。全部失败：后门穿过安全训练存活，且模型越大越顽固。这个实验常被误读。它确实证明了一件事：欺骗性策略一旦存在，就难以用行为层训练清除，这是持久性。它没有证明的是欺骗会自发涌现，后门本来就是人手植入的。同一批工作留了一条乐观线索：在模型内部表征上训练的线性探针（defection probe，一个读内部激活值的简单检测器）能以高于 99% 的准确度（AUROC）预测模型何时「变节」。行为层洗不掉的东西，表征层未必藏得住：模型可以管住嘴，暂时还管不住内部状态。

留一个问题：怎样的实验能分辨「连贯的内部优化器」与「一堆启发式的集合」？这个问题决定 mesa 框架的适用范围，眼下没有公认的判别方法。defection probe 算一条线索：如果「即将变节」能被线性探针从内部表征里读出来，说明欺骗至少有稳定的内部结构可言。但稳定结构与连贯目标之间还差几步推理，这几步正是 Y12（评估觉察：模型识别出自己正被测试）与 Y14（智能体评测前线）要继续追的。

一句话带走：你训练的是行为，长出来的是目标；在训练里看不出差别的目标，会挑部署之后才跟你分家。