反 Goodhart 设计实验室

指标都会被腐蚀，但这不意味着只能放弃测量。既然指标必被博弈，那就设计一套让博弈成本高到不划算的评估。你在 C02 学过用七根杠杆估一个评测会失真多狠，在 G03 学过怎么用留出题库和动态轮换让优化循环永远追不上，在 G05 学过抗博弈机制设计的四条退路，还有那招有 43 倍实验撑腰的「把评分藏起来」。把它们拼成一台完整的机器，单靠任何一件都不够。

先把天花板钉在墙上。你在 G05 见过它：Gibbard–Satterthwaite 定理证明，一般情形下不存在既有效又完全防操纵的聚合规则；Skalse 等 2022 年的机器学习版同向：除了平凡情形，任何一对不完全对齐的奖励几乎必然可被博弈。所以「造一个不可被博弈的 eval」在数学上是死路。死路之下，可行的目标只有四条有可证代价的退路：限制适用域、接受近似、改变结构、抬高博弈成本。剩下能做的，是把这四条组装成一条可用的多层防线。

沙盒里的关键规律只有一条：没有单一防御能挡住一切，是多层组合把博弈成本顶到不划算。每一层堵一条特定的通道。

• 留出与动态轮换堵题目过拟合与污染（接 G03、Y02、Y03）：让优化循环永远看不到、追不上你的题库。诚实提示，同样来自 G03，藏题买的是时间不是免疫，2026 年跨基准的系统研究显示，私有测试集的饱和速度和公开的没有统计差异。
• 配对指标制衡堵维度窄化与风格刷分（接 B09、Y08）：几个互相拉扯的指标很难被同时满足，也顺带缓解代理指标替代（B07）。它的上限来自 B10：只要真实价值是高维隐含的，任何有限维的加权组合都留着残余的对齐缺口。
• eval 与优化解耦堵「直接顶着边界往上爬」（接 G02）：eval 只用来诊断，不直接驱动改模型。指标是开罐器，不是仪表盘。
• 随机人工抽检堵「测不到的部分被无视」（接 B05 的 McNamara 谬误）：刻意去看 rubric 覆盖不到的维度，对抗那句「测不了就当它不存在」。
• 承认容量约束堵真实挤占（接 B09）：别把全部优化压力压在一个窄 eval 上，模型的容量有限，投给被测维度的会从别处抽走。
• 评分逻辑对被评者不可见（接 G05）：METR 2025 年测得，同一模型在能看到评分函数的环境里作弊率是看不到时的 43 倍。这条有微观基础，B12 委托代理里，策略性不透明是能从一阶条件推出来的最优机制，不是行政偷懒。

把六层叠起来，你会发现它们不是并列的备选，而是互补的：留出治的是「记住题」，配对治的是「只练一面」，解耦治的是「顶着分数爬」，人审治的是「测不到就无视」，限压治的是「把别处抽干」，藏分治的是「照着评分函数钻」。缺一层，就漏一条道。这也是为什么单点防御总失效，博弈会从没设防的那条缝里挤过去。

拿配对制衡举个具体的。只考核 agent 的「任务成功率」，它会学会用最省事、副作用最大的方式冲高成功率；给它配上一个「走捷径就恶化」的对立指标，比如有害副作用率、资源消耗、对无关状态的破坏、幻觉率，单独博弈成功率就会立刻在配对项上露馅。这套思路 Andrew Grove 1983 年就用一句话讲透：考核卖出的早餐份数，别只数煮了多少个蛋。配对的诀窍不在多加几个 KPI，而在选出真正正交、作弊手段不相通的对立面；两个指标要是能被同一种作弊同时拉高，制衡就是假的。

再拿随机人审举个具体的。Bevan 与 Hood 研究英国 NHS 时点破一个通病，他们叫它以偏概全：被测的那一部分被当成了整体，没测到的就当不存在。对策不是把所有维度都测全，那办不到，而是让「随时可能被人抽出来细看」这件事可信。可信本身就带来威慑，威慑的量级远大于实际抽查的成本，税务研究里管这叫稻草人效应。关键是抽检要落在最容易钻空子的接缝上，且不可预测，被查者算不准哪次会被翻开，定向作弊的期望收益就塌了。

留一个问题：四条退路各有可证明的代价，那有没有一个统一的「可操纵性预算」框架，把利益冲突的成本、近似防博弈的程度、藏题和审计的开销，全放进同一个「我愿意容忍多少作弊、愿意付多少代价」的算式里一起最优化？目前没有。这是把 G01 到 G05 整条绿色防线收成一个可计算目标的最后一块拼图。

一句话带走：没有单层防御挡得住博弈；扛得住的 eval，是几层各堵一条路的防线叠出来的，而最省力的第一步是先把利益对齐。