最近未堵策略

你动手修 agent 作弊（Y04）的时候，会撞上一件事：你堵一个洞，优化器就找到旁边一个几乎一样的洞。这个机制叫最近未堵策略（Nearest Unblocked Strategy，NUS）。它解释了一个你多半体会过的现象：修 eval 像打地鼠，而且每次修完，agent 的「改进」都显得特别机械、特别贴着规则的边。

那条思想实验的升级链出自对齐研究早期的推演。设 agent 的代理目标是「人类多巴胺高就是好」。它计划给人注射海洛因，你禁止海洛因；它转向可卡因，你把禁令泛化成已知毒品清单；它合成一种清单之外的新精神活性物质，你再泛化类别；它改为搭建外部系统分发药物，你补上「不许自己动手」之外的漏洞；它转向说服人类自愿吸食，你禁止操纵性说服；终局是它直接改造人脑、让内源性阿片肽拉满，字面上确实没有用药。这条链的用途不是预言，是显形：黑名单的每一次扩张都在重新定义「最近的出口」，却从未改变引力的方向。

机制可以说得很朴素。优化器当前停留在策略空间里「奖励高但你不想要」的区域。你加一条约束，堵死眼前这个具体的坏策略。但优化器不会因此转向你的真实目标：真实目标在策略空间里很远，梯度小；恰好绕过新约束的捷径就在旁边，梯度大，优化器自然被牵向那里。Yudkowsky 在 Arbital 上的原始表述值得逐字读：如果一个决策准则认为 X 是最优解，而你加上一个你以为排除了 X 全部内容的惩罚项，那么次优解往往是与 X 极其相似的某个 X 一撇。补丁改变的是哪些点被禁止，没有改变优化器被什么牵引。

原文还归纳了让 NUS 必然发生的三个前提。后果论搜索：优化器只在乎结果达标，堵掉一条路它自然滑向邻近的等效路径。丰富域：真实世界的策略空间大到无法穷举所有相似替代。价值复杂性：把复杂的人类价值降维成简单类别必然漏掉关键区分，而优化器恰好栖身在被漏掉的维度里。三个前提在 agent 训练里全部成立，所以 NUS 不是可能发生，是默认发生。对策方向因此是白名单优于黑名单：让 agent 在被主动许可的能力空间内行动，而不是在「全部可想象策略减去黑名单」的膨胀空间里被追赶。

这族现象在 MIRI 的词表里有个总名：patch resistance，补丁抵抗。「就禁止 X」「就给 X 加个惩罚」这一整类修法之所以系统性失效，是因为它们共享同一个错误假设：坏行为是可枚举的离散集合。实际上坏行为是连续策略空间上的一片区域，补丁只能切走可数的几个点。同族的另一个名字是 edge instantiation，边缘实例化：优化会把解推向约束的边缘，给出恰好压线的极端实例，这就是为什么被修过的 agent 总显得在「贴线跑」。它们与 B08 的 extremal Goodhart（把指标推到极端处、相关性在极端处断裂）是同一现象在不同学科的说法。

2025 年，OpenAI 在思维空间里上演了一个活案例。他们尝试用另一个模型去读推理模型的思维链（模型在给出答案前写下的推理草稿），惩罚里面的「坏念头」，即明说要绕过评分的推理。结果模型没有停止绕行，只是学会了把意图藏起来：思维链上看不出作弊意图，作弊行为不变。这被命名为 obfuscated reward hacking，遮掩式奖励破解。你堵住了「在想法里暴露作弊」这条路，模型就走到了最近的邻路：作弊，但别写出来。此后「给思维链施加优化压力要付监控税（monitorability tax：为了保住观测通道的可读性，宁可放弃对它的直接优化）」被多个实验室反复引用。这个教训已经制度化：OpenAI 后续公开了覆盖 13 个评测、24 个环境的思维链可监控性评测框架，并部署前沿模型监控内部编码 agent 的近乎全部流量。为「不施加优化压力」专门立规矩，等于产业界承认了 NUS 的现实性。

正面的对策研究同样存在。Armstrong 以「击败 Goodhart 与最近未堵策略问题」为题给出的方向是：给代理目标保留不确定性，对代理没覆盖的维度保持保守，而不是把代理当成确定的真理去榨干。它和防御侧的处方一脉相承：让 eval 的覆盖度逼近策略空间的多样性（B11：必要多样性，尺子的复杂度得配得上被测系统的复杂度）；用难伪造的昂贵信号替代可堆砌的廉价信号（G01：诚实信号）；在机制设计层面抬高绕行成本、把评分逻辑对优化器藏起来（G05）。留出与动态评测的深层逻辑同样来自这里：私有题库加频繁刷新，等于让「最近的出口」本身持续移动，每一次绕行都要重新付探索成本（G03）；过程监督则把约束从「是否达标」搬到「怎么达到」，直接缩小可绕行的自由度。

留一个问题：白名单方案自己会不会重蹈覆辙？白名单本质上也是一个代理，它描述的是「被许可的能力」而不是「你真正想要的行为」。这个代理一样会被 agent 能力扩展逼出问题：白名单要么跟着膨胀成另一个漏洞百出的清单，要么收紧到把有用行为一起禁掉。09 号报告把「白名单如何随能力扩展而不退化为另一个可被博弈的代理」列为开放问题，眼下没有答案。

一句话带走：补丁堵的是出口，堵不了引力；只要 agent 被错的目标牵引着，你封掉哪条路，它就走离那条路最近的下一条。