用一个数字去衡量一个会回应的对象,给学生打分、给医院排名、给一个 AI 模型跑测试,你以为自己只是在旁观读数,其实你已经动了手。
测量一个会回应的对象,从来不是被动读数,而是一次干预。这句话反直觉,却是后面一切的地基。
你想知道一个班学得怎么样,于是出了一张考卷。你以为你在做的事,跟拿尺子量桌子一样:桌子不会因为被量而变长,你量到多少就是多少。可学生不是桌子。他们知道自己在被考,于是开始为考试而学,猜你会考什么,练你给分的答法。尺子刚举起来,被量的东西就动了。你最后测到的,不再是「学得怎么样」,而是「应对你这张卷子的能力」。这两件事有关系,但不是一回事。
模块里那些点是「真实值」,把光标移过去,就是「观察它们」。你会看到:被光标扫过的点会变亮、上移,像在朝你的注视靠拢;与此同时,屏幕给出的「测量值」和「真实值」之间的吻合度,反而随着你看得越多越低。越用力看,看到的越假。这不是程序在骗你,这就是那台机器的最小演示。
这个现象有个朴素的学名:反应性(reactivity)。翻成大白话,就是「被测的东西会因为被测而改变」。这个词不新,社会学家 Donald Campbell 早在 1957 年就下过定义:一种反应性的测量,会改变它本想测量的那个现象本身。物理仪器扰动被测系统已经够麻烦,社会里的处境更难,因为人会反过来读你的尺子,然后照着尺子改造自己。
同一台机器,被三拨互不相识的人从三个方向撞见,又被第四拨人研究怎么防。这棵知识树因此分成几片颜色,你在导航里看到的就是它们:
- 红 · 社会学谱系:排名与量化如何重新制造社会。研究对象是法学院、医院、国家,结论是排名不只反映现实,还参与制造现实。
- 蓝 · 定律与形式:经济学家和控制论学者把同一件事压成定律,甚至压成可证明的定理。Goodhart、Campbell、多任务代理模型,以及 2022 年之后把这些格言做成数学的一批机器学习工作。
- 黄 · 机器与前沿:在机器学习里,被测的对象第一次是优化器本身,于是同一台机器跑快了两个数量级。过拟合、奖励破解、排行榜幻觉。如果你在做 AI 开发,这是最先撞上的那面墙。
- 绿 · 防御与设计:既然指标必被博弈,怎么设计才扛得住。诚实信号、解耦、留出题库、抗博弈机制,这一片最建设性,专讲「怎么办」。
此外还有两条特别的带。中性色的案例带把跨领域的真实事故并排放,从 US News 到世界银行到电商刷单,让你看见同一台机器在不同材料上留下的疤。白色的汇流节点是收束处,把散开的线重新收成一张能上手的图,你现在读的 N00 就是整棵树的根,最后一课 C07 是它的收口。
三条彩色分支各自成体系,但讲的是同一个机制在三种材料上的三次出现:社会里被测的是人,市场里被测的是理论,机器里被测的是优化器本身。材料换了,机制没换。所以你读完红色分支再翻到黄色分支,多半会有种似曾相识的感觉,那不是错觉,是同一台机器换了张皮,只是在机器里它跑得快了两个数量级,快到能在一个模型代际之内看完整个循环。
每一课的读法都一样,摸熟一课就摸熟了全部。正文讲清一件事的来龙去脉,先给具体故事,再给机制,尽量不端着。中间会穿插三种颜色的小卡片,各有分工:直觉卡用一段话把一个直觉讲透;纠讹卡专门更正流行说法、给出正确出处,把「说清楚哪句话其实是谁说的」当成招牌手艺;落地卡写给正在做 eval 或看排名的你,讲这一课的具体操作含义。每课结尾有「留一个问题」和「一句话带走」,前者是这个领域至今没有定论的真问题,后者是一句能装进口袋的总结。文末的 sources 列出出处,凡是带年份和数字的地方,都能顺着它查回原文。
节点之间有先后。一课的顶上会标出它的前置,读它之前最好先读那几课。这里假设你只读过某一课的前置,不假设你读过全树,所以每当用到一个还没讲的概念,正文会就地用大白话解释一遍,并附一个像 R01 这样的链接,你想深挖就点进去,不想岔开就接着往下读。你不必从头读到尾,顺着任一分支的颜色往下走都行,撞到不懂的前置再回头补。
往下读时带一个习惯:每当看到一个数字被用来发钱、发名声、发学位、发一场模型发布会的 PPT,就多问一句,这个读数里有多少是真的,有多少是被注视本身抬上去的。每一把已经失效却还在用的尺子,都还在给某个人或某个模型定价。认出它们,是你能带走的东西。
留一个问题:反应性能不能被彻底消除?传统方法论一直想把它当污染除掉。Espeland 与 Sauder 2007 年翻了个身:人本来就是会回应的存在,反应性根本除不掉。既然除不掉,不如把它本身当成研究对象。那么,有没有哪种测量,能设计得让反应性帮忙而不是帮倒忙?绿色分支就在试着回答,而一般性的答案至今还没有。
一句话带走:你以为你在读数,其实读数也在读你;量一个会回应的东西,这个动作本身就已经改变了它。
来源 / 延伸阅读
- Campbell, D. T. (1957). "Factors Relevant to the Validity of Experiments in Social Settings." Psychological Bulletin 54:297–312.
- Espeland, W. N. & Sauder, M. (2007). "Rankings and Reactivity: How Public Measures Recreate Social Worlds." AJS 113(1):1–40.
- 项目综合见
00-SYNTHESIS-总纲.md;三轮研究的总览见research/deep/D0。