REACTOR
B02 Campbell's Law 定律与形式 · REV.3

SELF-TEST OK · REACTOR v3 · LOADING [ B02 ]…

Campbell 定律

警示指标的人,本是测量的旗手。

Goodhart 定律说指标一旦被当成目标就会失准(B01)。Campbell 定律再狠一层:指标不只自己失准,它还会把被测量的那件事本身带坏。考试分数变得没意义只是小损失,教育本身被应试改造才是大损失。

Donald Campbell 是研究「社会项目到底有没有效」的方法论大家。他的定律比 Goodhart 多说了一层,强调腐蚀的必然性:

"The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor."Campbell, 1976/1979

翻译成白话:一个量化指标越是被用来做重要决策,它受到的腐蚀压力就越大,而且它越会扭曲、腐蚀它本来要监测的那个过程。注意最后半句:受害的不只是数字,还有数字背后的事。这句话出自小节标题就叫「量化指标的腐蚀效应」的一节,Campbell 用的字眼是复数的 pessimistic laws:他给出的是一组悲观定律,后人只记住了这一条。

FIG.01 Campbell 的张力:他既提出腐蚀定律,也主张实验社会 EXPLORABLE

Campbell 1979 年论文里的例子都带着案卷气,先讲警察局的。

警队按「清案率」考核,也就是破案占报案的比例。这个指标产生了双重腐蚀。报案端:案件被不记录、延迟记录,或降格成较轻的类别,报案少了,分母就小了。Campbell 点名尼克松的严打,说其主要效果是腐蚀了犯罪率指标(Seidman 与 Couzens 1972 的研究)。破案端更荒诞:辩诉交易里,被捕的窃贼多认几桩没头绪的悬案,换取轻判,用 Campbell 引的话说,「他在帮警察提高清案率」;而 Skolnick 1966 年的研究指出,其中不少人认下的是自己没犯的罪。清案率越好看,档案离真相越远。

再讲学校的。Texarkana 的绩效合同案(Stake 1971 记录):教育承包商按学生成绩涨幅收钱,于是直接把期末考题拿来教。分数涨了,钱付了,学生什么也没多学。随后才是 Campbell 最常被引的那段话:在以一般能力为目标的正常教学下,成绩测验可能是不错的学业指标;一旦分数成为教学过程的目标,它既丧失指标价值,又以不良方式扭曲教育过程。

他的例证还跨了国界和战场:苏联的产量指标文献(Granick 1954、Berliner 1957),以及越战的歼敌数,即 body count(按尸体数汇报战果的考核法)。歼敌数一旦成了考核部队的硬指标,部队就有了往上凑数、甚至滥杀充数的压力;美莱村惨案,在他笔下正是这股压力被推到极端的战场形态,这条线在 B05(McNamara 谬误)展开。

这个定律最容易被读错的地方,是把它当成反对量化的檄文。Campbell 的学术身份恰好相反:他与 Stanley 合著的实验与准实验设计教材,是整个项目评估领域的奠基文本;他 1969 年的《Reforms as Experiments》号召把社会改革当成实验来做、用严格测量指导政策。他是「实验社会」最有力的旗手。

张力在于,同一篇 1979 年论文里,他既号召大规模量化评估,又断言量化指标必被腐蚀。他的调和方案不是弃测,而是制度设计:引入外部评估者;让工会等利益相关方充当看门狗;多个指标三角互证;尽量让指标远离直接奖惩回路。他的原话是,我们应当研究腐败得以被揭露的社会过程,并尝试设计吸纳这些特征的社会系统。定律因此是实验社会的内置警戒条款,不是对它的否定。这条思路后来长成了整条防御分支:G04 讲多指标制衡,G06 讲制度层防御。

把 Campbell 与 Goodhart 并排读,分工清晰。Goodhart 的主语是统计规律:指标与目标之间的相关性在控制压力下崩塌,损失发生在测量端。Campbell 的主语是社会过程:教学、警务、审判这些被测量的活动本身被指标重塑,损失发生在世界端。前者说尺子会失准,后者说尺子会改写被测物。这也是 Campbell 选用「腐蚀」而非「失真」的原因:失真还可以校准,腐蚀改变的是产生数据的那个组织本身。课程把这半步之差当作蓝红两支的接口:蓝支处理尺子与目标的形式关系,红支(从 R01 反应性起)处理尺子对世界的改造。

反方证据同样要摆上桌,这是严肃考证与警世故事集的分界。

Dee 与 Jacob 2011 年利用美国各州引入问责制的时间差,检验「不让一个孩子掉队」法案(NCLB,把学校拨款与统考分数挂钩的联邦法):到 2007 年,四年级数学在 NAEP 上提高约 0.22 个标准差。NAEP 是全国抽查性质的审计考试,低利害,教师没有理由为它应试,所以这个涨幅更可能是真实学习。0.22 个标准差是什么概念:大约把一个中游学生挪到中上游,在教育干预里算相当可观的效应;而且增益遍布全部五个数学子量表,不是只涨易应试的题型。公平起见,同一研究里阅读科目两个年级均无效应,应试科目挤占其他课程的代价也有记录。

通胀那一侧的画面更早就有:Cannell 1987 年的调查发现,各州在自家高利害州考上都宣称高于全国平均。统计上不可能人人高于平均,这个集体幻觉因此得名「Lake Wobegon 效应」(一个虚构小镇,那里所有孩子都高于平均水平)。

合并的读法是:高利害分数同时包含真实增益与通胀成分,Campbell 定律断言的是后者必然存在,而不是前者必然为零。一条不可博弈的审计通道(比如 NAEP 这种没人有动机应试的考试)可以把两者分开。定律的完整边界条件在 B14(良性指标的条件),教育战场的全量证据(肯塔基 KIRIS 的分数通胀、芝加哥 4% 到 5% 班级的教师改卷检测)在 K01(案例带的教育卷宗)。

留一个问题:Campbell 的处方依赖看门狗与外部评估者,但看门狗自己也要被考核,审计通道自己也是一个指标。是什么防止揭露腐蚀的通道在第二轮被腐蚀?这个递归问题在 R09(审计社会)与 G06(制度层防御)各有半个答案。

一句话带走:高利害指标的杀伤半径不止数字本身,它会把产生数字的那件事一起改造掉。

来源 / 延伸阅读
  • Campbell, D. T. (1979). "Assessing the impact of planned social change." Evaluation and Program Planning 2(1):67–90(=1976 Occasional Paper #8;1974 年宣读)。
  • Skolnick (1966)、Seidman & Couzens (1972)、Stake (1971)、Granick (1954)、Berliner (1957):均为 Campbell 原文所引例证的出处。
  • Campbell, D. T. (1969). "Reforms as Experiments." American Psychologist 24(4):409–429(实验社会纲领)。
  • Rodamar, J. (2018). "There ought to be a law! Campbell versus Goodhart." Significance(优先权梳理)。
  • Dee, T. & Jacob, B. (2011). "The impact of No Child Left Behind on student achievement." JPAM 30(3):418–446(反方证据)。
  • Cannell, J. J. (1987). Lake Wobegon 报告(人人高于平均的州考调查)。
  • 考证与反方证据见 research/03 §3、§9 与 research/deep/D2 §3。
接下来去哪