评测科学运动

有一场刚开始的运动：给评测本身做评测。AI 评测的病已经一样样摆开：污染、饱和、刷榜、藏拙。顺着病单往下走，自然的问题是谁在修，用什么修，修的人自己靠不靠得住。答案分三层：一批研究者正试着把「造基准」从手工业升级成一门有规范的科学；与此同时，最有影响力的裁判正在变成生意；而「裁判自己有没有利益」这个变量，整个领域直到最近才开始正眼看它。

运动的起点是一个测量学概念：建构效度（construct validity）。白话版：你的尺子量的，真是你想量的那个东西吗。体重秤量「健康」、词汇量测验量「智力」，都是拿可测的代理去替不可测的目标，中间的裂缝就是效度问题。Raji 等 2021 年把这个概念正式引入 AI 评测，指出 ImageNet、GLUE 这些被当作「通用能力」标尺的基准，其实是特定数据、特定指标、特定标注习惯的产物。这样的产物，天生只装得下当初那批具体选择，结构上就承载不了「通用」二字。把窄尺子当万能尺用，本身就是一次测量事故。此后，「这个基准量的到底是什么」第一次成了可以被正经追问的问题。

把批评变成体检报告的是 BetterBench。斯坦福的 Reuel 等 2024 年给「一个合格的基准该做到什么」列了 46 条最佳实践，覆盖从设计、实施、文档到退役的整个生命周期，然后拿它去给 24 个主流基准逐条打分。结果：质量差异巨大，多数基准既不报告统计显著性（分差是真差距还是抽样运气，不做检验就分不清），也不保证别人能复现自己的结果。而统计显著性检验和可复现性，正是实验科学最基本的两道门槛。诊断可以压成一句：eval 是实验，却缺乏实验科学的基本规范。整个行业拿着没有出厂检验的尺子，去量最贵的东西。

配套的文档提案顺着机器学习已有的传统而来：模型有 model card（说明书：能干什么、不能干什么、在哪会翻车），数据集有 datasheet，于是基准也该有一张 eval card：写明它想量什么构念、适用与不适用的范围、统计口径、已知缺陷、生命周期状态（还新鲜，还是已被刷到饱和）。让「这个分数能支撑什么结论」有一份随分数走的说明书。

建制化在 2024 到 2026 年密集展开。学界发表了纲领文章《Toward an Evaluation Science for Generative AI Systems》；Anthropic 一边发博客列举评测的实践困难，一边由 Evan Miller 写下《Adding Error Bars to Evals》，把误差棒（分数旁边表示不确定范围的那条小线）、聚类标准误这些统计学的一年级工具逐一搬进 eval，论文里有一句可以当整场运动的题词：一门实证科学的上限，由它的测量工具决定。Anthropic 还直接出资资助第三方评测。学术侧，Hardt 2026 年的《The Emerging Science of Machine Learning Benchmarks》干脆把基准本身当成研究对象。这些处方之间有同构：给分数加误差棒，与 B13 优化者诅咒的解药（对「挑出来的最高分」保持有纪律的怀疑、往回收缩）是同一剂药的两种写法。

运动的另一面是裁判的商业化，Y11 结尾埋的线在这里展开。LMArena 从伯克利的学术项目公司化：2025 年 5 月拿到 1 亿美元种子轮（估值约 6 亿美元，a16z 领投），2026 年 1 月 Series A 再融 1.5 亿，估值跳到 17 亿美元，同时推出细分排行榜与付费评测服务，排名正式成为产品。治理问题随之成形。style control 证明运营方有能力自我纠偏（把「被优化出来的风格」显式扣除，Y11 讲过）；但当运营方是一家靠榜单公信力变现的公司，纠偏的意愿能不能持续、会不会向大客户倾斜，没有外部审计可以证明。这不是指控谁动机不纯，是描述一个结构：当裁判的估值与被裁判者的表现绑在同一张资产负债表上，「裁判中立」就从默认假设降级成了待验证命题。Y14 里 FrontierMath 的资助争议，是同一结构的另一个切面。

顺着这个结构，可以给 C02 提一根新杠杆。C02 会把全课程收拢成一张打分表：七根杠杆（垄断度、利害绑定、粗暴度、发布节律、零和性、可绕行通道、被测者反身能力），逐项打分，预测一个测量系统会失真到什么程度。2025 到 2026 年的证据指向一根没被列入的候选：裁判的利益相关度。它问的是：打分机构的收入、估值或数据来源，是否依赖被打分者。LMArena 的独角兽化、FrontierMath 的出资方独家访问、厂商发布会上的基准精选（同一模型的分数随外围设置能漂移好几个百分点，选哪些基准放上模型卡本身就是表演），都落在这根杠杆上。它与前七根正交：一个垄断、高利害、实时更新的榜，裁判可以中立也可以不中立，前七根量不出这个差别。操作化的问法可以很朴素：裁判换一个不利于金主的结论，自己损失多少。损失越大，读数越该打折。

为什么这块地方现在是空的？造模型的回报直接、巨大、归自己；造评测的回报间接、缓慢、大部分归别人，一个好基准是公共品，谁都能用，谁都不必付钱维护。于是博弈度量的人永远多于修理度量的人。产业已经把话挑明：最难的不是造模型，是造评测。多家机构转向真实任务与专家设计的评测，Anthropic 为第三方评测出资，本质上是在给一件公共品补贴生产。对读到这里的你，空地就是机会：这个方向此刻缺的不是又一个刷分的模型，是把测量当回事的人。

留一个问题：评测科学能不能避免染上它自己诊断的病？46 条最佳实践一旦成为行业标准，就会出现对着清单优化的基准；eval card 一旦挂钩声誉，就会被写成营销文案。给裁判立规矩的人，自己也是一个会被 Goodhart 的裁判。这个递归在 G06（谁来审计审计者）正面处理。

一句话带走：评测本身也需要被评测；而看一个分数值不值得信，最快的一问是，打分的人靠什么吃饭。