终极留出集：现实

终极的那一招，也是最朴素的一招：把系统真的放到现实里去跑，用它在真实世界里干出来的结果打分。理由很简单，最防作弊的考场，是现实本身。榜单上的题可以被背、被刷、被藏，可现实里用户到底留没留下来、事儿到底成没成，这些结果没法提前伪造。代价是，现实这个考场给的反馈又慢又吵，慢和吵本身就是要付的价。

你在 G03 学过三招防作弊：藏题、只考发布后才出现的新题、定期换题，核心是让被考的一方没法提前知道要考什么。可那一课也泼过冷水：藏题买的是时间，不是免疫。现实是最彻底的一次「时间切分」。它连时间都不用买，因为还没发生的未来，物理上就进不了任何人的准备里。

先说清现实为什么是终极留出集。关键在一个词：不可自报。榜单成绩是厂商自己跑、自己报的，信号源在被测方手里。K04 的 LIBOR 就栽在这上头——一个靠银行自报利率算出来的基准，最后被自报者整体压低到不得不废止。现实结果恰恰相反，用户点没点、买没买、第二天回没回来，是发生在你和被测系统都控制不了的世界里的既成事实，谁也没法坐在桌前把它编出来。这正是诚实信号理论里的说法：造假防不防得住，分两种情况——一种靠造假不划算，代价太贵；另一种靠造假在结构上根本不可能。现实结果是后一种，最硬的那类信号，靠结构上做不了假，而不是靠贵。它也解释了一个反复出现的尴尬：不少研究指出，评测分数和真实使用价值在很大程度上是脱钩的。Llama 4 就是原型案例——它在一大堆既有基准上分数极高，用户上手却发现分数根本不反映好不好用。榜考的是「像不像会」，现实考的是「真的行不行」。

怎么把现实接进来，办法就是把系统放进生产环境，量它干出来的结果：做 A/B 实验（把用户随机分两组，一组用新系统一组用旧的，比真实行为的差别）、盯生产环境的结果指标、看用户的真实留存。但这里藏着一个 B10 讲过的老权衡，Baker 把度量分成两类。一类是输出型的，比如利润、真实留存这种最终结果，它扭曲小，因为很难对着它造假不改真东西，可它噪声大，被运气、季节、大环境搅得厉害。另一类是输入型的，比如点击数、停留时长这种过程动作，它噪声小、当天就能读，可它扭曲大，太容易冲量而和最终价值错位。没有免费午餐：你想要现实那份「不可自报」的诚实，就得连它的噪声一起收下。你嫌它慢，退回去用即时的过程代理，就把扭曲又请回了门。这也是为什么榜单和现实要一起看：榜单是低噪声高扭曲的那一端，读数当天就有、却容易和真实价值错位。现实是高噪声低扭曲的另一端，读数要等、却难造假。二者不是谁取代谁，是各占坐标轴的一头，你要的是在中间找平衡，而不是把宝全押在任何一端。

代价就两个字：慢和吵。慢，是延迟。真实留存、长期后果这些最值钱的信号，本质上要等，等用户用上一阵、等事情的后果沉淀出来，而榜单分数是即时的。你想用现实当判据，就得接受判决书要过很久才寄到，这段时间里你还得继续做决定。吵，是噪声。Baker 那条已经说了，越是接近最终结果的输出型指标，越被运气和大环境污染。更阴的是 B13 那条优化者诅咒：当你从一堆候选里挑现实分数最高的那个，分数里其实掺着运气，不全是真实水平。你因此会系统性地挑中「这次运气恰好偏好它」的那个，被挑中者的真实水平，期望上低于它这次的分。噪声不只是让读数抖，它还会在你「挑最好」的那一下，系统性地骗你。Deming 早就把这层说到底了，他数落纯靠可见数字管理是致命病之一，还专门点名「最重要的那些量，往往是不可知、不可测的」。现实考场最诚实，可它偏偏把最要紧的东西，写在最慢、最吵、最难读的那一栏里。

留一个问题：现实反馈又慢又吵，那在判决书寄到之前，我们只能靠榜单和过程代理这些「快而扭曲」的信号先撑着。有没有一个统一的算法，能把「现实的慢准信号」和「代理的快脏信号」按各自的延迟和噪声加权融合，让你既不用干等、又不至于被快信号带偏？这其实是问：怎么在「等真相」和「赶进度」之间做最优取舍。目前没有现成答案。

一句话带走：现实是唯一没法被自报造假的终极考场，代价是它的反馈又慢又吵，你换来了诚实，就得学会读潦草的字。