优化者诅咒

B08 的四型里有一型：被选中者的真实水平必然低于它的读数，回归型。它是全家族最反直觉的一条：不需要作弊者，不需要坏指标，甚至不需要任何人犯错。哪怕每一个估计都无偏（平均而言不高估也不低估），只要你做了「挑估计值最高的那个」这个动作，失望就已经写进了数学。它的名字叫优化者诅咒（optimizer's curse），2006 年由决策科学家 Smith 与 Winkler 给出干净的形式。你从三家外卖店的评分里挑最高的那家、从一轮面试里挑分数最高的候选人、从 N 个 checkpoint 里挑 eval 分最高的那个，每一次都在触发它。

Smith 与 Winkler 用一个三行就能写完的玩具模型把机制钉死（论文第 2.1 节）。设三个备选方案，真实价值全都是零，也就是根本不存在「更好的那个」；你对每个的估计无偏，误差服从标准正态分布。现在挑估计值最高的那个。三个标准正态的最大值，期望约等于 0.85——你选中的那个，正是把真实值 0 加上这份最大噪声，当成了估计值。于是你选中的方案平均会让你失望 0.85 个标准差：明明三个都一样，你却坚信自己挑到了宝。备选增加到 4 个，失望升到估计标准差的 103%；增加到 10 个，升到 154%。数字的含义直白：候选越多、测量噪声越大，选中者的水分越大，而这一切发生时没有任何人说谎。

机制一句话：取最大值这个操作，专门偏爱正向噪声大的候选。估计里运气成分越高的，越容易排到最前而被选中，所以「择优」本身就在系统性地捞取好运气。面试的例子最贴身：按面试分录取的状元，入职后普遍「不如预期」，不是面试骗了你，是你只见过他运气最好的那一面。它就是回归型 Goodhart 的另一个名字，与拍卖里的赢者诅咒是近亲：赢者诅咒是多人竞价，出价最高者往往是最高估标的的人；优化者诅咒是单人从多个选项里择优，两者共用同一套顺序统计量。现象本身被注意到得更早，金融学的 Brown 1974 年、组织学的 Harrison 与 March 1984 年（起名 postdecision surprise，决策后惊讶）都有记录，Smith 与 Winkler 的贡献是命名、形式化，并强调它波及一切从含噪估计中择优的决策，不限于竞标。他们开出的药方叫有纪律的怀疑（disciplined skepticism）：把估计当成含噪信号，与先验混合，对选中者的分数打折扣，候选越多、噪声越大，折扣越狠。这套操作的学名是贝叶斯收缩，精神很朴素：你不是在惩罚冠军，是在请它归还借来的运气。

优化者诅咒的地位特殊：它是独立于反应性的第二条 eval 退化通道。反应性需要被测者作出回应，选择偏差不需要，即便被测者完全诚实、行为纹丝不动，评委按分择优这个动作本身就制造虚高。方法论推论跟着来：去年榜首今年跌，不需要任何反应性来解释，纯回归就够。Kahneman 反复敲打的正是这类误读：表扬后表现下降、批评后表现上升，常被读成奖惩的因果效应，实为向均值回归；Harrison 1995 年把同一误读搬进组织场景，按当期高分挖来的明星下期照例回落，于是「明星一来就退步」被误判成管理失败。想主张「榜首回落是 Goodhart」，得先扣掉回归那部分。

机器学习里最熟悉的老朋友也是它的化身。过拟合正是回归型 Goodhart 的实例：训练集损失只是泛化误差的带噪代理，庞大的参数空间里，每一种模型配置就是一个候选。把训练损失压到极致，就是在这些候选里对代理指标取极值——这正是「挑估计值最高的那个」的翻版，取极值偏爱噪声大的候选这条机制照样成立。选出的模型里「恰好拟合了噪声」的成分越重，真实表现越差。你日常使用的那三件套（early stopping、正则化、留出验证集），本质上都是同一句话：别对一个带噪代理做无约束的强优化。同理，读任何排行榜时要默念：榜首模型的真实能力，期望上低于它的榜单分，因为登顶的功劳里有一部分属于「这次评测的噪声恰好帮了它」；名次越是从大量候选中挤出来的，这部分越大。

这套统计学在别的行当早有正式解毒剂，可以直接抄。统计学的 post-selection inference 一支证明：先用数据挑出最好的模型、再用同一批数据算它的置信区间，区间必然过窄（Berk 等 2013）；Gelman 与 Loken 的「岔路花园」指出，研究者哪怕没有主动刷显著性，只要分析路径是看着数据选的，显著性就已经虚高。量化金融的 deflated Sharpe ratio（Bailey 与 López de Prado 2014）专门校正「回测了 N 个策略、只报最好那个」的夸大，扣掉「你试了多少次」的运气成分。回测一百个策略只发布冠军，与训练一百个 checkpoint 只发布最高分，是同一枚硬币。

留一个问题：「榜首模型真实能力低于分数」这件事里，多少来自反应性（被评者回应测量），多少来自选择偏差（评者按分择优）？两条通道叠加，但目前没有任何框架能把它们分离并联合校正。D6 报告认为这是 eval 退化研究最缺的下一步。

一句话带走：冠军的分数里永远掺着运气，候选越多、噪声越大，掺得越多；聪明的做法不是不选，是选完打折。