所有考核者都会撞上一个处境:你公布评分规则的那一刻,被打分的人就开始照着规则改造自己。信用评分认「多开几张卡」,人们就去开卡而不是攒储蓄;简历筛选器认关键词,求职者就往简历里堆关键词。2016 年,Hardt、Megiddo、Papadimitriou 与 Wootters 把这个处境做成了一个正式研究领域,叫策略性分类(strategic classification)。它给出一条很硬的设计定理:想让考核激励真本事而不是表演,你必须先解决一个因果问题,而且没有捷径。
先解释框架。分类器就是一条自动决策规则:输入一个人的特征(收入、负债、开了几张卡),输出一个判定(放贷或拒绝)。策略性分类把它建模成一场先后手博弈(术语叫 Stackelberg 博弈):你先公开承诺规则,对方看清规则后,只要改造自己的成本低于「被分到好的一边」的收益,就动手改造。原论文证明:假装对面不会动的朴素分类器,在这种博弈下性能急剧退化;同时给出了预料到对方会动、并据此设防的稳健分类器。这是把 Goodhart 放进博弈论:被测者不再是静止的样本,是有策略的对手。
这与 B12 委托代理是同一个舞台的两幕:那里的问题是代理人会博弈合同条款,这里的问题是被打分者会博弈评分公式。厂商对 benchmark 的操作是它的直接实例:调「评测脚手架」(系统提示、答题模板、答案抽取方式这些不动模型本身的外围设置),私下测很多变体只发布最好的,针对题型做特化。同一个模型的分数,仅靠调外围就能漂移好几个百分点。评分标准公开得越细,可供表演的表面就越大。
模块第三步那条定理最关键,用白话再讲一遍。先分清两种「照着规则改变自己」:gaming 是只改信号、不改实质,比如临时刷流水让报表好看,还款能力没变;improvement 是真的变好,比如还清欠款。两者在数据表面上几乎一样,都表现为「特征变了,预测跟着变了」。差别在底层:improvement 改动了真正决定结果的东西,gaming 只改动了与结果相关、但不导致结果的替身。
Miller、Milli 与 Hardt 2020 年证明:想设计一个只激励 improvement 的评分规则,你必须知道哪些特征是「因」、哪些只是「相关」,而这在数学上等价于解一个不平凡的因果推断问题。因果推断,白话说就是回答「如果我动手改变这个量,结果会不会跟着变」,它出了名地比找相关难。这条定理的杀伤力在于:防博弈没有通用配方,不存在「加点防伪措施」就能解决的补丁;你对「什么导致什么」理解到哪一步,你的评分就只能防到哪一步。
推论直接落在特征选择上。把评分锚在因果特征上(真的完成了任务、真的还清了欠款),锚点本身就是那个真正决定结果的东西——信号在这里等于实质,没有单独可摆弄的表面。改造信号的唯一办法,因此就是改造实质本身,gaming 与 improvement 的成本由此合一。成本一旦合一,博弈就再没有更便宜的旁路,只能被迫变成改进。把评分锚在代理特征上(报表的样子、输出的格式、有没有喊「完成」),你就是在补贴表演。保密评分细则只是权宜:它降低对方的优化效率,不改变特征的因果地位,泄漏一次就归零。
公平的账也要记。Milli 等人算过:为了防 gaming 把门槛抬到博弈最优的位置,代价不会消失,只会转嫁给被分类的人,而且改造特征成本最高的群体(往往是资源最少的群体)承担最多。防博弈的收紧是累退的,像一种向下征收的税。评分设计者在「被骗」与「误伤」之间做的每一次权衡,都有分配后果。
回到 Y01:过拟合讲的是「你反复看数据,数据的噪声渗进模型」;策略性分类讲的是反方向,「数据反复看你,你的规则渗进数据」。两边合起来,测量者与被测者互相塑形,这正是黄支反复出现的双向循环在博弈论里的写法。
留一个问题:当后手的响应速度快过先手的规则更新速度,「先承诺、后响应」的博弈次序还剩多少约束力?被评测的模型如今能当场读完你的评分细则再作答,这已经不是 2016 年框架里那个要付出成本、慢慢改造自己的申请人了。
一句话带走:公布评分规则,人和模型都会照着规则改造自己;想让这种改造是真进步而不是表演,你必须知道哪些特征真正导致结果,而这没有捷径。
来源 / 延伸阅读
- Hardt, Megiddo, Papadimitriou & Wootters (2016). "Strategic Classification." arXiv:1506.06980(ITCS)。
- Miller, Milli & Hardt (2020). "Strategic Classification Is Causal Modeling in Disguise." arXiv:1910.10362(ICML,核心定理)。
- Milli et al. (2019). "The Social Cost of Strategic Classification." FAT*(累退警告);Shavit et al. (2020);Bechavod et al. (2021)。
- 有限理性 agent 的策略响应(2025 起,LLM 模拟):见
research/deep/D6§3「2024–2026 最新进展」。 - 深化见
research/13(Y10 简报)、research/05§六、research/deep/D6§3。