良性指标的条件

到这里为止，讲的都是指标怎么坏。只陈列失败案例本身就危险：这清单本身就是按「指标失灵」这个结果去挑出来的，而按结果去挑证据，那正是它教你识别的毛病，选择偏差。所以要有一份反方陈词，用和讲失败时同样的较真程度，陈述指标什么时候真的管用、哪些硬证据站在指标那边。目的不是和稀泥，是把 Goodhart 定律从一句诅咒修正为一个条件命题：它有成立条件，条件之外，测量依然是人类已知最强的管理技术。

反方的第一件武器，你在 B10 已经见过，只是当时用来定罪，现在用来赦免。Baker 的判据说，指标的好坏看方向对齐度 ρ(Pₑ, Vₑ)：当它趋近一，你的每个动作对指标的影响与对真实价值的影响完全同向同比例。同向同比例，意味着全力优化指标就是全力优化价值；Firm A 的销售提成，因此可以放心拉满。翻译到考场上：当考的就是你想要的能力本身、且靠真本事提分比靠技巧提分更便宜时，应试就是学习。刷算法题提高的就是写算法的能力，背托福单词提高的就是词汇量，这些场景里没有 Goodhart 什么事。理论侧还有两条呼应：El-Mhamdi 与 Hoang 的尾分布判据（B08 讲过）反过来读，差异分布不呈长尾时，过度优化并不伤害真目标；2024 年那篇跨学科的 proxy failure 目标论文也专门强调，代理失效常常只是部分失效，不是全有全无。

反方最硬的实证来自英国医疗。背景先交代清楚：2000 年代英格兰 NHS（国家医疗服务体系）给医院设了等待时间硬指标，急诊四小时、择期手术有限期，不达标的医院管理层可能被撤职、被点名羞辱，学界给这套制度起了绰号 targets and terror（目标加恐怖）。批评者 Bevan 与 Hood 记录了大量博弈：救护车在急诊室外压车不卸人、为应付测量周突击加班（这段公案 K02 整课细讲）。按前半程的逻辑，你会预期这套制度纯属灾难。

但数据说了另一半故事。经济学家 Propper 等人 2008 年抓住一个天然对照：苏格兰有同构的 NHS，却没有采用英格兰的目标制。双重差分（比较两地前后变化之差）的结果是：目标制确实显著压低了英格兰的等待，而且找不到清晰证据表明这是靠数据造假或牺牲临床质量换来的。还有一个细节杀伤力很大：等待时间在没有被目标瞄准的低段也同步下降了。如果改善纯靠博弈，数字应该只在目标线附近堆积，不该整条分布都变好。连批评者自己都认账：Bevan 与 Hood 在《BMJ》的姊妹篇里写道，没有人想回到目标制之前的 NHS，那时超过两成患者在急诊等待逾四小时、择期入院要等十八个月以上。为什么这个案例里指标赢了：等待时间不是患者福利的代理，它本身就是患者福利的一部分。尺子和目标之间几乎没有距离，博弈的空间就小。

教育问责给出更微妙的两面样本，正反两组数字都值得记住。正面：美国 2002 年生效的 NCLB 法案（No Child Left Behind）强制全国按考试成绩问责学校。Dee 与 Jacob 2011 年利用各州引入问责的时间差做识别，发现 NCLB 使四年级数学成绩到 2007 年提高约 0.22 个标准差。关键在于这个数字量在哪把尺子上：NAEP，一种低利害的全国抽样审计考试。它不影响任何学校的拨款与排名，教师因此没有理由为它应试。而且增益遍布代数、测量等全部五个数学子量表，不是集中在容易押题的题型上。这两点合起来指向真实学习，而非分数虚胖。代价也如实记录：阅读成绩两个年级都毫无起色。

反面：教育测量学者 Koretz 的经典审计。肯塔基州的高利害州考 KIRIS 在 1992 至 95 年间分数大涨，可同一批学生考低利害的 ACT，成绩纹丝不动，两把尺子的差距在数学上约 0.7 个标准差、阅读约 0.4。州考涨的那部分学力，换把尺子就蒸发了，这就是分数通胀（score inflation）。两组证据并不打架，反而拼出完整图景：高利害分数 = 真实增益 + 通胀成分，而低利害审计考试是把两者分开的滤纸。分数是学力的远端代理（代理距离长），失真就重；这也再次反衬 NHS 案例里「尺子即目标」的幸运（教育公案在 K01 展开）。

跳出考核场景，「有指标」对「没指标」的对比证据同样一边倒。洛杉矶 1998 年强制餐馆在橱窗张贴卫生评级卡后，Jin 与 Leslie 测到三连击：后厨卫生检查分上升，顾客开始用脚投票，食源性疾病住院数下降。指标没有停留在名次游戏，它改变了真实世界的细菌数量。Hastings 与 Weinstein 的实验发现，直接把学校成绩信息递到低收入家庭手里，家长选高绩效学校的比例显著上升，孩子的成绩随之受益。这背后的机制是：公开指标把原本只有门路人家才有的信息变成了公共品，分配效应因此偏向弱者。科学史家 Porter 的著名论断正在于此：量化恰恰在信任稀缺、精英说了不算数的地方最有价值，它是局外人用来约束不受问责的专断裁量的武器；只引他的「数字冷冰冰」而不引这一半，是断章取义。

「那不用指标，靠人的判断」这条路，心理学已经测了半个世纪。Grove 等人对 136 项跨领域研究的元分析发现，专家的非正式判断能胜过简单统计公式的场合不足 5%；Schmidt 与 Hunter 的百年汇总里，带评分表的结构化面试预测效度约 0.51，自由发挥的无结构面试只有约 0.38。无结构的人类判断充满噪声、偏见与关系裙带，量化和结构化往往既更准又更公平。管理侧同理：Bloom 与 Van Reenen 的跨国调查发现绩效监测类管理实践与生产率稳健正相关，后续的印度纺织厂随机实验补上因果证据，引入结构化监测与目标的工厂生产率提升约 17%；Lazear 对挡风玻璃安装公司的研究则显示，任务单一、产出可验证时，计件工资就是干净有效的（提升产出，无质量灾难）。这正是 B09 定理的反面镜像：当任务只有一维、质量可验证，多任务挤占无从发生。

最后回到 eval 本身。理论早就预言：反复在同一个测试集上挑模型，等于慢慢把测试集泄漏进你的选择，分数必然虚高（这份恐惧在 Y02 有整课）。经验裁决却出人意料。Kaggle 是最大的机器学习竞赛平台，每场比赛都自带天然对照：公榜（参赛者可反复刷分）与私榜（赛末才揭晓的保留数据）。Roelofs 等人 2019 年复核了一百多场竞赛，结论原文是 somewhat surprisingly, little evidence of substantial overfitting：公私榜的分差主要由随机波动解释，跨领域、跨损失函数、跨参赛人群都稳。机制解释由 Mania 等人补上：参赛模型彼此高度相似，提交再多次，问的其实是重复的问题，对测试集的有效独立查询数因此远小于提交次数。有效查询越少，过拟合预算消耗得就越慢，慢过理论上限。问答基准上的复核同样干净：掉分几乎全来自新题稍难，不是刷榜刷坏了。教训要精确地记：理论保证的是最坏情况会退化，经验显示平均情况的退化被模型相似性稀释到几乎测不到，把两者混为一谈，会把「eval 越刷越假」当成无条件定律。边界同样要记：这批裁决来自 2019 年前的监督学习竞赛，LLM 时代的适应性操作（调 prompt、改脚手架、后训练）完全是另一种形态，尚无同等规模的复核。

把 Muller、Koretz、Bevan 与 Hood 加上正面证据综合起来，指标趋于良性的操作判据有五条，逐条可检查。一，代理距离短：被测量的就是（或极接近）你真正想要的。二，存在不可博弈的审计通道：留一把不挂钩任何奖惩的尺子专司验证。三，提升真实产出比博弈更便宜：任务单维、产出可验证时尤其成立。四，低利害或中利害使用：指标服务于诊断与学习，而不是机械触发奖惩。五，多指标加人为判断兜底，并定期轮换以对抗适应。五条同时满足很罕见，但满足得越多，指标越接近它的理想身份：一件测量工具，而非一个博弈标的。一句话收束整条蓝支：Goodhart 定律不是测量无用论，而是「代理指标 + 高压优化」这一组合的失效定律；拿掉高压、缩短代理链、保留审计与判断，测量依然是已知最强的管理技术。别忘了 Campbell 本人就是量化评估的旗手，他的悲观定律是「实验社会」的内置警戒条款，不是对它的否定。

留一个问题：反方最漂亮的证据（Kaggle 百场裁决）来自提交预测文件的旧式竞赛，而今天对着排行榜调 prompt、换脚手架、做后训练的适应性远比当年激进。模型相似性还护得住 holdout 吗，还是 LLM 时代终将补上那场理论早已预言的大规模适应性过拟合？目前没有同等规模的复核能回答。

一句话带走：指标本身不是毒药，「远代理 + 高利害 + 无审计」的鸡尾酒才是；条件调对了，应试就是学习。