制度层防御

技术手段修的是「尺子」本身；再往上一层，是「管尺子的规矩」。当藏题、配对、随机化这些技术手段一个个被绕过，最后一道防线是制度：谁来审计审计者、评测方能不能被被测方养着、排名有没有透明和申诉。制度防御有四种，它们是最后一层，也是最贵、最慢的一层。

你在 R13 见过，头部法学院集体退出 US News 两年后，排名照用公开数据强排、毫发无损，说明光靠「被测者不合作」根本停不住反应性。G02 又讲过把测量和判决解耦。当尺子本身怎么修都会被钻，能不能靠制度兜底？

制度防御的第一块，也是最要命的一块，是审计独立性：评测你的人，不能靠你养活。反例一抓一大把。有个抗污染的数学基准 FrontierMath，本该最可信，可后来发现它由一家 AI 公司出资。这家出资方，能看到绝大多数最难的题和答案；掌握着答案的它，转头拿这套题宣布了自家模型的成绩，而六位出题的数学家，事先都不知情。大学排名里也一样：QS 一边给大学排名，一边向同一批大学卖咨询和付费评级。有研究发现，进入主榜的 28 所俄罗斯大学里有 22 所八年间买了它约 285 万美元的服务——签约勤的比不签的，平均多升约 140 位。连 US News 都被点名，它一边被高校抵制，一边向同一批高校出售「本校 US News 排名第几」的付费标识赚钱。这些的共同点只有一个：评测方和被测方之间有钱的绑定，独立性就没了。

后果越硬，俘获越狠，世界银行的营商环境排名是最刺眼的例子。这榜直接左右各国的改革议程，印度总理曾公开要求本国排名升 100 位。正因后果重大，被排名方就有强烈动机去俘获评分本身。2017 年，中国官员反复施压。世行时任 CEO 亲自接管，指示团队去找「可调整」的数据点，最终在几处模糊地带做了改动，把中国从第 85 位抬回第 78 位。这一步，恰好赶上一场 130 亿美元的增资谈判——中国的股份，正要从 4.68% 升到 6.01%。丑闻曝光后，世行 2021 年干脆永久停刊，换了个叫 B-READY 的新报告、号称方法更透明。可换汤不换药，2025 年底香港被列进前 20，特区政府立刻公开说这评级「过时且不公」。这既印证了 R13 的判断，也点破一条主线：换一套更干净的方法，并不能消解反应性，只要后果重大，被排名方照样来争、来质疑、来施压。真正缺的是治理，不只是方法。

排名怎么治理，有三件配套的事。一是方法论透明：公开权重、公开算法，还要公开「换个同样合理的算法，名次会晃多大」，别把排名当不容质疑的黑箱。二是申诉机制：被评的一方要有渠道质疑、纠错，而不是只能吞下一个错数。三是多元榜单生态：别让一家独大。商学院就有五六家方法各异的榜并存，学校能挑对自己有利的那个讲故事，单一榜的支配力被彼此稀释，这正是 R01 里「多重排名反而恢复了裁量空间」的道理。

还有一条更软但很管用的路，是从业者自己立规矩。学术界有两份著名宣言，DORA 反对用期刊影响因子这种单一指标去评价个人，Leiden 宣言的头一条原则就是「定量评估应当支持、而不是取代定性的专家判断」。它们不是外部强加的监管，而是圈内人共同约定「我们不这么玩」，这种自律往往比等监管落地更快、也更贴合专业。

再往上才是监管。它有真牙齿，比如 FTC 2024 年出的新规全面禁止买卖虚假评论，违者每次最高罚 51,744 美元。但监管的位置注定靠后：它慢、它贵、它总是等乱象闹大了才立法，那条假评论新规磨了好多年才落地。所以监管是底线，不是首选。

四层叠起来，制度防御为什么最后、也最贵就清楚了。技术手段改的是代码和判据，快、可控；制度防御要改的是激励和权力关系，谁给谁钱、谁能质疑谁、谁为翻车负责，这些动起来慢、要多方协调、常常触动既得利益。它贵，可当技术手段全被绕过，就只剩它兜底。

判断一个评测体系制度上健不健康，问这几条：

• 独立性：评测方的钱从哪来？会不会被它评的对象供养？
• 透明度：权重和方法公开吗？换个同样合理的算法，名次会不会剧烈晃动？
• 申诉：被评的一方能不能质疑、能不能纠错？
• 生态：是一家独大，还是有多个口径互相制衡？

留一个问题：制度防御自己也逃不过 Goodhart。一个靠「治理评测毛病」立身的机构，它的饭碗，依赖着毛病一直存在。于是，它可能不知不觉，把问题养着（这就是 G02 提过的 Shirky 原则）。那么，谁来审计审计者？再设一层审计者的审计者，不过是把同一个问题往上推了一格。这层无限回退，目前没有干净的解。

一句话带走：尺子怎么修都能被钻，最后兜底的是「谁在拿尺子、谁给他发钱」这套规矩，而这一层最慢、最贵、也最难省。