一场考试的分数在涨,而它本该代表的东西没跟着涨,这事你多半亲历过。教育是 Campbell 定律的原产地,也是它证据最全的领域。事实链分三段,像一条压力从低到高的斜坡:高利害考试的分数可以在真实学力不变的情况下持续大涨(分数通胀,有跨考试对照的计量证据);压力足够大时,膨胀越过合法边界变成集体造假(亚特兰大,有刑事定罪档案);而同一套问责在低利害审计考试上也留下过真实增益(NCLB 的数学成绩)。同一群教师、同一套问责,换成低利害的尺子测出真实进步,换成高利害的尺子却测出通胀甚至造假——变的是尺子,不是人。三段合起来的结论是:应试化不是教育界道德滑坡的故事,而是把高利害绑在远端代理指标上的结构后果。分数与学力之间裂缝的宽度,取决于指标设计,不取决于教师的人品。
Campbell 定律的原产地
先看第一现场。你在 B02 读过 Campbell 定律:指标承载的社会决策压力越大,它越容易腐化、也越容易腐蚀它本要测量的过程。Campbell 1970 年代提出这个命题时(出版细节见来源),教育就是第一例证:Texarkana 绩效合同案(Stake 1971 记录)里,按学生成绩涨幅付费的承包商,直接教期末考题。钱挂在涨幅上,涨幅最便宜的来源就是题目本身。Campbell 关于考试的原话值得整段读:
"Achievement tests may well be valuable indicators of general school achievement under conditions of normal teaching aimed at general competence. But when test scores become the goal of the teaching process, they both lose their value as indicators of educational status and distort the educational process in undesirable ways."Campbell, 1976/1979
白话拆开:正常教学之下,考试是不错的指标;可一旦分数成了教学的目标,两层损失同时发生,指标失效(分数不再指示学力),过程腐蚀(教学本身被应试改造)。此后五十年的实证,就是这两句话的展开。机制标注:对抗型(K01 的标注体系,细讲在 B08),拉满的杠杆是利害绑定与可操纵通道。
分数通胀的计量学
分数通胀(score inflation)是测量学者 Koretz 的核心概念:高利害考试分数的涨幅,远超低利害审计考试所显示的真实学力增长。最干净的案例在肯塔基州:1992 至 1995 年,被问责瞄准的州考 KIRIS 分数大涨,同批学生考的 ACT(无人为其应试的大学入学考试)纹丝不动,数学差距约 0.7 个标准差,阅读约 0.4 个标准差(Koretz & Barron 1998,RAND 报告)。0.7 个标准差是什么概念?大约相当于把一个中游学生抬进前四分之一的涨幅,全是账面上的。更早还有「Lake Wobegon 效应」:Cannell 1987 年发现各州都宣称本州成绩高于全国平均,这在算术上不可能成立,说明通胀早已是全国现象。
Koretz 反复展示的那条曲线因此被称为锯齿:一套新考试上线,分数先跌回真实水平,随后逐年陡升;换下一套考试,再跌,再陡升。上升段测出的不是学力在增长,而是师生对这套特定题型的熟悉度在增长;每个下降沿都是一次天然审计,暴露出上一段爬升里通胀的部分。因此审计通道是这个领域的关键仪器:NAEP 这类无人为其应试的低利害考试,能把真实增益与通胀分开。机制标注:规则套利(针对题型的应试特化),不是造假;它完全合法,也正因此比作弊普遍得多。
教到及格线为止
问责制的计分方式决定了扭曲的形状。NCLB(美国 2002 年起的联邦教育问责法)以「达标人数」为核心口径:只算是否过线,线外多远都不再加分。于是教师的理性反应是把资源投向刚好卡在及格线附近的学生(bubble kids):Neal & Schanzenbach 2010 用芝加哥数据显示,中段学生的分数被抬高,最弱与最强的学生同时被忽视——这两头对指标毫无边际贡献,被放弃是算出来的,不是狠心。评分环节同样有反应性:纽约州 Regents 考试由本校教师评分,分数分布在及格线上方异常堆积,Dee 等人 2019 年估计约 40% 本应略低于及格线的成绩被人为抬到线上,也就是将近一半的险些不及格被评分者的笔救了回来。作弊的总量也有算法估计:Jacob & Levitt 2003 用异常分数跳变加可疑答案串的模式检测,估计芝加哥每年至少 4% 到 5% 的班级存在教师或管理者改卷,且比例随问责压力上升。三项证据合成一幅分布图:合法的应试特化是主体,评分宽纵是中间带,彻底造假是尾部;压力越大,尾部越厚。
亚特兰大:尾部的司法档案
亚特兰大公立学校改卷案,是这条尾部迄今最完整的档案。动因是 NCLB 的年度进步目标(AYP)与挂钩的奖金和工作保障,压力从学区总监层层下压。《亚特兰大宪法报》2009 年起用擦改分析(统计答题卡上异常密集的错改对涂改)质疑成绩暴涨;2011 年 7 月佐治亚州调查局报告认定 44 所学校存在作弊、约 178 名教育者涉案,手法包括考后集体涂改答题卡,乃至聚众办「擦改派对」。2013 年 3 月,大陪审团起诉 35 名教育者,罪名包括 RICO,一条本用于打击黑帮与有组织犯罪的法条;多数被告认罪,2015 年 4 月受审的 12 人中 11 人被裁定 RICO 罪成,部分初判最高约 20 年(后经量刑协商减轻)。学区总监 Beverly Hall 曾获全美年度总监,2015 年 3 月在审前病逝,未受审。用打击黑帮的法条起诉教师,说明司法系统认定这不是个人失足,而是一个有组织的造假网络。机制标注:直接造假。它与应试特化不是两种现象,而是同一条压力梯度的两端:奖金与去留挂在指标上有多紧,行为就滑向光谱的哪一段。
国家级的考场:PISA 冲击
把考场放大到国家尺度,机制不变。PISA 是 OECD 组织的跨国学生能力测试,相当于给国家排名的统考。2000 年首轮结果低于 OECD 平均,在德国引发占据头条数周的「PISA-Schock」,各州文教部长随即推出全国统一教育标准与全日制学校计划;日本的阅读排名从 2000 年第 8 跌到 2006 年第 15,舆论把账算在削减约三成课程内容的「宽松教育」头上,2008 与 2011 年的课纲修订增回课时,宽松教育实质终结。一张跨国排名,改写了两个教育大国的课程表:这就是反应性在国家尺度的力度。而上海 2009、2012 年两度夺冠的另一面是样本:因户籍壁垒,逾 12 万名 15 岁随迁子女不在被抽样的学校体系内,成绩被向上偏估(Loveless 的批评),2018 年改为四省市联合抽样后代表性再受质疑。机制标注:政策趋同叠加样本层面的选择效应;国家和学区一样,先改能改的口径。
反方:应试何时是学习
把教育问责讲成纯粹的 Campbell 灾难,同样是对证据不忠。Dee & Jacob 2011 用各州引入问责的时间差做识别,估计 NCLB 的因果效应:到 2007 年,四年级数学在 NAEP 上提高约 0.22 个标准差,且增益遍布全部五个数学子量表,而非集中于易应试题型;NAEP 是无人为其应试的审计考试,因此这更可能是真实学习增益。0.22 个标准差不算小,大致相当于几个月的额外学习,而且它出现在没人应试的尺子上,这是「问责真的教会了些什么」的最强证据。代价同样写在数据里:阅读两个年级均无效应,应试科目挤占其他课程。Koretz 与 Dee/Jacob 并不矛盾:高利害分数同时包含真实增益与通胀成分,审计考试能把两者分开。应试趋于等于学习的条件,正是 B14 良性指标的条件在教育上的投影:考的东西离想要的能力足够近(代理距离短),存在不可博弈的审计通道,利害强度不把人推过合法边界。
留一个问题:以涨幅代替达标人数的增长模型问责(value-added),理论上应削弱 bubble kids 效应,因为每个学生的边际进步都计分;但 Race to the Top 之后的实证并不充分。bubble 是被消除了,还是只是移动到了别处?
一句话带走:分数涨了说明不了学习变好,除非你还有第二把没人瞄准的尺子。
来源 / 延伸阅读
- Campbell, D. T. (1979). "Assessing the Impact of Planned Social Change." Evaluation and Program Planning 2(1):67–90。出版史考证:命题 1974 年在匈牙利 Visegrád 会议宣读,1976 年以西密歇根大学 Occasional Paper #8 流传,1979 年正式刊出,小节标题即「量化指标的腐蚀效应」。
- Koretz, D. & Barron, S. (1998). The Validity of Gains in Scores on the KIRIS. RAND MR-1014;Koretz (2008) Measuring Up;Koretz (2017) The Testing Charade。
- Jacob, B. & Levitt, S. (2003). "Rotten Apples." QJE 118(3):843–877。
- Neal, D. & Schanzenbach, D. W. (2010). "Left Behind by Design." Review of Economics and Statistics。
- Dee, T., Dobbie, W., Jacob, B. & Rockoff, J. (2019). "The Causes and Consequences of Test Score Manipulation." AEJ: Applied Economics。
- Dee, T. & Jacob, B. (2011). "The Impact of No Child Left Behind on Student Achievement." JPAM 30(3):418–446。
- 亚特兰大案时间线:GBI 调查报告(2011)、CNN(2013-03-29)、NYT(2015-04-01)。
- PISA 冲击与上海抽样争议:
research/04-cases-across-domains.md§2B(含 Loveless, Brookings 的批评)。 - 底稿:
research/03-goodhart-family.md§6.4、§9.1;research/deep/D3§4.2–4.3。