你几乎肯定在哪里见过这句话:
"When a measure becomes a target, it ceases to be a good measure."
指标一旦成为目标,就不再是好指标。通常被归给 Goodhart,其实不是他说的
这句话背后是一个机制:好端端的指标,为什么一被拿去当考核目标就失灵。这是整个家族的地基。它还牵出一桩公案:这句流传最广的话,其实不是 Goodhart 本人说的;真实出处要经过三个人接力才拼得出来。于是就有了这个反讽:一条研究指标如何变质的定律,自己的名言也在流传中变了质。
先讲定律的出生现场。它不是书斋里想出来的,是一场货币政策事故的验尸报告。
1970 年代,英国政府想控制通货膨胀,选的办法叫货币目标制:盯住一个叫 £M3 的数字(统计社会上有多少「广义的钱」的一个口径),把它的增速压在目标区间里,指望这样就能管住物价。逻辑听上去很顺,因为历史数据里这个数字和经济的关系一直稳定。
然后怪事开始了。1971 年 9 月,英格兰银行放松信贷管制,这个数字和经济之间原本稳定的关系随即松动,1972 至 73 年广义货币增速一度超过 25%,完全脱缰。1973 年底央行掉头搞硬管制,出台一个绰号「胸衣」的制度直接压银行的负债规模。银行立刻发明出不计入管制口径的替代性负债,绕开这套管制;这种操作在行话里叫脱媒,久而久之,绕开监管从应急手段变成了行业手艺。最难看的一幕在撒切尔政府:1980 年的中期财政战略把 £M3 年增速目标定在 7% 到 11%,实际冲到 18% 到 19%,接近翻倍。如果这把尺子还牵着真实经济,货币这么失控,经济本该跟着过热、通胀本该跟着走高;可现实是同一时间经济深度衰退,通胀反而在下降。这组数字说明什么:政府盯住的那个数字,和它想管的真实经济已经彻底脱钩,数字失控与经济降温同时发生,尺子和世界各走各路。财政部的大臣们后来自己引用「Goodhart 定律」解释超标,广义货币目标制在 1985 至 86 年被实质放弃。
Goodhart 当时是英格兰银行的货币政策顾问。1975 年 7 月他到悉尼参加澳大利亚储备银行的会议,交了两篇论文(其中一篇的副题叫「来自针线街的观察」,针线街是英国央行的所在地),把上面这场事故概括成一句半开玩笑的话,仿照墨菲定律的戏谑腔调自称「定律」,塞进脚注:任何观测到的统计规律,一旦为了调控目的对它施加压力,就会趋于崩塌。他本人后来自嘲,公众名声主要建立在一条小脚注上,感觉相当古怪。
机制其实一句话就能讲清:相关,不是等同。
没人盯着一个指标时,读数是大家正常做事的副产品,它和真实目标自然相关。一旦宣布「按这把尺子发钱」,每个被它考核的人都得到一个新动机:专门去找「读数高、但真实目标没改善」的空间。于是努力从「把事情做好」漂移向「让读数变大」,而涨读数最省力的路径,几乎从来不是把事情真的做好。相关关系被优化压力硬生生撑断,Goodhart 说的崩塌,指的就是这一次断裂。
注意一个容易看漏的地方:这不需要任何人使坏。认真刷题的学生可能真心以为解题套路就是知识;盯着点击率的工程师可能真心觉得涨点击就是为用户创造价值。指标最可怕的地方不在诱人作弊,而在它会悄悄替换掉你脑子里的目标本身。这种「悄悄替换」有专门的名字,叫 surrogation(代理指标替代),B07 一课专讲它。
现在回到那桩公案。流行的那句话,比 Goodhart 的脚注晚出生二十二年,中间接力了三棒。
第一棒是 Goodhart 自己。1975 年那两篇论文只有脚注玩笑,没有留下一句干净的单句。最可靠的精炼措辞要等到 1984 年他的文集里才出现;那时他已经用第三人称「Goodhart 定律」称呼它,这说明命名到那时已被他本人接受。1997 年,他还留下过一个政府语境的重述版。第二棒是管理会计学者 Hoskin:1996 年他把定律从货币语境里剥出来,改写成「每一个成为目标的指标都会变成坏指标」,冠上 Goodhart 之名。第三棒是人类学家 Strathern:1997 年她读到 Hoskin 的版本,把它锻造成如今那句节奏最好的格言,语境是英国大学的审计文化。准确的记法是:定律之名归 Goodhart,泛化之功归 Hoskin,流行之句归 Strathern。
考证还挖出一层更早的地基:「指标一成考核就变形」,在被冠以任何人名之前,早就是组织社会学的田野常识。1956 年,Ridgway 在《Administrative Science Quarterly》创刊卷发表了一篇 8 页短文,综述当时的实地研究:职业介绍所的柜员被按安置人数考核,就专挑好安置的求职者(Blau 的记录);苏联工厂被按产量考核,就牺牲一切产量之外的东西(Berliner 的研究);还有 Argyris 的预算研究。他把单一、多重、复合三类指标各自的扭曲机理讲齐,比 Goodhart 早 19 年,还留下家族最早的警句:这副药,有时比病本身更糟。他对复合指标的批评尤其超前:把多个维度加权成一个总分,并不能解决问题,因为被考核者只会沿权重最高的那一维去优化,外部定的权重顶替了每个人自己心里的轻重判断。同样是「把多维压成一个数」,今天训练模型时把多个目标压成单一标量奖励,重演的正是这个困境。
最后是优先权。经济学里有一条几乎同时诞生的孪生命题,叫 Lucas 批判(大意:你观察到的经济规律内含了人们对旧政策的预期,政策一改、预期就变、规律就崩,B03 专讲)。Chrystal 与 Mizen 2003 年的权威梳理先给足排面:以本人名字命名一条经济学定律的人极少,Goodhart 与 Gresham、Walras、Say 同属一个非常小的俱乐部。随后是全文最锋利的裁定:可以论证 Goodhart 定律与 Lucas 批判本质上是同一件事,若果真如此,Lucas 几乎肯定先说。两者后来分了工:Lucas 批判改写了宏观计量的方法论,Goodhart 定律改写了货币政策的设计,货币目标退场、通胀目标登场。所以「几条定律同时独立发现」的准确版本,是一个横跨组织社会学(1956)、社会科学(1969 至 79,B02 的 Campbell 一线)、经济学(1975 至 76)的层累过程:Ridgway 在最前,Goodhart 因命名之功获得最大身后名。
定律传到今天,从格言长成了带刻度的科学,能回答「什么时候发作、有多严重」。
El-Mhamdi 与 Hoang 2024 年证明,关键看「真目标与被优化指标之差」的分布形状,并据此分成两档。差异大体收敛时是弱 Goodhart:过度优化指标只是白费力气,对真目标不再有帮助。差异呈长尾分布(极端偏差出现的概率不可忽略)时是强 Goodhart:继续优化指标会实打实地伤害真目标。分界由尾分布的形状决定。
这条刻度同时标出了定律的边界:它不是「测量无用论」,而是「代理指标加高压优化」这个组合的失效定律。把高压拿掉、把代理链缩短、留一条独立的审计通道,测量依然是已知最强的管理技术。Campbell 本人「实验社会」的立场,说的正是这个。指标什么时候是良性的,B14 专门陈列反方证据与成立条件。
留一个问题:下次有人拿一句名言、一个指标或一条干净结论说服你,做两件事,查它的出处,问它被优化了多久。名言和指标一样,越好用、被用得越久,内核越可能已经在使用中被悄悄换掉。顺带一桩悬而未决的小公案:Goodhart 1975 年会议宣读在前,Lucas 1976 年正式刊出在后,「谁先说」取决于把哪个动作算作首发,而 1975 年那两篇会议论文的影印件至今无人核到原件。一条以测量为业的定律,自己的出生证明还压在澳储行的档案里,这大概是它给自己开的玩笑。
一句话带走:指标没被当目标时才诚实;一旦按它发钱,它测到的就不再是世界,而是人们对它的反应。
来源 / 延伸阅读
- Ridgway, V. F. (1956). "Dysfunctional Consequences of Performance Measurements." Administrative Science Quarterly 1(2):240–247(家族最早一手源)。
- Goodhart, C. A. E. (1975). 两篇 RBA 会议论文,Papers in Monetary Economics Vol. I;精炼句锚定 Monetary Theory and Practice (Macmillan, 1984, p.96)。
- Hoskin, K. (1996). in Munro & Mouritsen (eds.), Accountability, pp.265–282(泛化与命名);Strathern, M. (1997). European Review 5(3):305–321, p.308(流行句真身)。
- Chrystal, K. A. & Mizen, P. D. (2003). "Goodhart's Law: Its Origins, Meaning and Implications for Monetary Policy." in Mizen (ed.), Edward Elgar(优先权裁定与货币史梳理)。
- Pan, Bhatia & Steinhardt (2022). ICLR;El-Mhamdi & Hoang (2024). arXiv:2410.09638(弱/强 Goodhart);Karwowski et al. (2024). ICLR(最优早停)。
- 完整考证见
research/03§1–2、research/03a与research/deep/D2§1–2、§5。