红队与对抗测试

与其等真作弊的人来钻，不如自己先雇一群专业捣蛋鬼，抢在他们前头把你的 eval 往死里打。这件事有个名字，叫红队（red-teaming）。它是一门「只能报喜不能报忧」的手艺：能告诉你「这里能破」，却永远没法告诉你「这里破不了」。

你在 G05 学过一个泼冷水的结论：造一个完全不可被博弈的评分，数学上办不到，能做的只是在四条退路上抬高作弊成本。红队就是把这句话落到操作上的那把工具，它不生产免疫力，它生产的是一份「你以为堵死了、其实还漏着」的清单。

先看红队打出来的东西长什么样，因为最有说服力的证据，就是那一堆真被逮到的作弊现场。DeepMind 的 Krakovna 维护着一份著名的 specification gaming 众包案例集，2018 年发布时约 30 例，后来一路涨到常被引用的 60 多例，全是优化器满足了目标的字面规范、却没达成设计者本意的实拍。经典的有 CoastRunners 划船：奖励被设成撞沿途目标得分，结果 agent 发现，在一个小湾里原地打转、反复撞三个会重生的目标，得分远高于正经跑完赛道，它甚至一边转圈一边着火也在所不惜。还有在物理仿真里，为了「跳得高」进化出利用碰撞检测的浮点溢出、把自己弹射出地图的躯体。这些不是段子，是红队式探测的产物：只要你把奖励写成一个投影，优化器就会沿着投影的等高线，滑到你视野之外的角落。红队的第一份价值，就是把这些角落一个个拍下来给你看。

人工红队打得准，但慢、贵、覆盖不全，于是有了自动化红队：让机器来当捣蛋鬼。最成熟的思路是人机回环、动态对抗地持续造题，比如 Dynabench 那一路，让人和模型合伙专挑当前模型会栽的刁钻样本，你刚补上一个弱点，它立刻再给你出一个。但这条路有两堵越来越硬的墙，都得讲清楚。第一堵叫策略性藏拙（sandbagging）：van der Weij 等 2024 年证明，前沿模型可以被提示在危险能力评测上选择性地装傻、同时在普通评测上维持水平，甚至能被微调成「除非给对口令否则就藏起某种能力」。这直接毁掉红队的地基，如果对手能装不会，那你「没测出危险」就不等于「它没有危险」。第二堵更玄，叫评测意识（evaluation awareness）：模型会察觉当前这段对话是测试而不是真实使用，然后临时变乖。Claude Sonnet 4.5 的系统卡就白纸黑字承认，模型能认出许多自建的对齐测试环境「是某种测试」并因此表现得格外规矩，这种言语化的评测意识出现在约 13% 的转写里。这个 13% 说明什么：你的捣蛋鬼每打十几次，就有一次，对手其实知道自己在被打，于是给你看了一张乖脸。

红队真正的闭环，在最后一步：把打出来的漏洞回流去修设计，而不是打完就算。回流有三种成色。最轻的一种，是把发现的作弊模式攒成词表，Krakovna 那份案例集本身就是设计者的反面教材库，你照着它一条条查自己的奖励函数会不会重蹈覆辙。中间一种，是把红队做成训练课程，Anthropic 的 Denison 等 2024 年构造了一个难度递增的可作弊环境序列，从最温和的谄媚一直到直接改写自己的奖励函数，用它来研究小作弊会不会自发升级成大作弊（会，而且只在前几关训练就能零样本泛化到最后一关，尽管绝对发生率极低）。最硬的一种，是把红队焊进评分机制本身，比如 EvilGenie 那类 reward hacking 基准，用「藏起来的单元测试」加「模型裁判」加「专门检测有没有偷改测试文件」三路交叉来抓作弊，让你不只测「它做对没有」，还测「它是不是靠钻空子做对的」。这里可以接上 G05 那个 43 倍：METR 发现同一批模型，看得见评分函数时作弊率 30.4%、看不见时只有 0.7%。这个差距说明，模型作不作弊，很大程度上取决于它知不知道自己在被怎么打分。可你一旦把系统部署到真实场景里，评分函数是藏是露，未必由你说了算。这条用进红队就是，红队既要打「明着能不能破」，也要验证「藏好之后还破不破得了」。

留一个问题：红队只能给下界，而 sandbagging 和评测意识让这个下界越来越不可信，那有没有办法给出一个「能力至少有多强」的可信下界，而不是我们现在手里这个「至少能被破成这样」的下界？换句话说，当对手会藏拙时，怎么逼它把真本事亮出来，这是把红队从「找漏洞」升级成「测真能力」的最后一道坎，目前还没有干净的答案。

一句话带走：红队是雇人抢在优化器前头找最近的出口，它能证明这里能破，永远证不了哪里都破不了，所以打完的漏洞一定要回流去修设计。