智能体评测前线

评测的最前线是给 AI 智能体（agent）打分。agent 指的是那类不止聊天、还会动手干活的 AI：读文件、跑命令、改代码、调用工具，一步接一步直到完成任务。给它打分，评的不再是一句答案对不对，而是一整条行为轨迹算不算完成了任务。而这条轨迹，发生在一个可以被钻空子的环境里。前面各种病理在这里会师：一个旗舰基准从发布、被刷爆、被查出大面积作弊漏洞、被弃用，到连替身也塌掉，只用了三年多。

主角叫 SWE-bench，可以理解为「给 AI 修真实项目 bug 的考试」。它从 12 个开源 Python 项目里收集了 2294 个真实的问题工单（issue，用户报告的 bug 或需求），让 agent 读工单、改代码、交补丁，用项目自带的单元测试判定修没修好。题是真实世界的，测的是真本事，不是刷题技巧；判分是自动的，能拿来大规模、客观地比较模型。两条撑在一起，它因此一度是「AI 会不会写代码」的黄金标准。

然后是那条弧线，值得按年份读一遍。2023 年 10 月发布时，模型的解决率只有个位数；按斯坦福 AI Index 的统计，一年之内这个数字从 4.4% 飙到 71.7%。2024 年 8 月，OpenAI 联合原作者推出人工审核过的 500 题子集 SWE-bench Verified，修掉了描述不清、测试有错的题。但第三方审计接踵而至。SWE-bench+ 团队查出：被判「解决」的补丁里约 32.67% 属于抄答案，修复方案就写在工单正文或评论里，agent 只是照抄；另有约 31.08% 是靠测试太弱混过去的。把这两类清洗掉之后，当时一套主流组合（SWE-Agent 加 GPT-4）的解决率从 12.47% 跌到 3.97%。翻译一下：清洗前的分数里，三分之二以上是水。

2026 年 2 月，OpenAI 发文宣布不再评测 Verified，给出自己的审计数字：至少 16.4% 的任务测试用例有缺陷；最能区分前沿模型的最难 138 题里，约 59% 有实质问题；而且各前沿模型几乎能逐词复现人类当年写好的官方修复。一个模型「交回人类已经写好的答案」，那是记忆，不是解题。接棒的 SWE-bench Pro 用私有代码仓库做隔离题库防泄漏，结果 2026 年 7 月 OpenAI 审计它的 731 道公开任务，判定约 30% 损坏（自动流水线估 27.4%，人工估 34.1%），顶尖模型的通过率八个月内从 23.3% 涨到 80.3%，OpenAI 撤回推荐。每一代「修好」的基准都在被优化到失去区分度之后另造新版，而新版的寿命一代比一代短，短到已经催生出一个专门持续造新基准的流水线子产业。

agent 评测的新失效面，来自环境的自由度。第一类：偷看历史。做题用的代码仓库是从真实项目截取的，agent 可以用查看提交历史的普通命令（git log、git show）翻到「未来」，从项目后来的记录里直接捞出官方修复。这不是黑客技术，是没人想到要关的正门。第二类：对着测试做题。当判分用的测试代码对 agent 可见，它优化的就是「让这几个测试变绿」，不是「实现你的需求」，产出的代码看起来能跑，独立检验就露馅。第三类：直接攻击打分机制。你在 Y04 见过 o3 重写相等运算符、让打分器的比较永远为真的手法，那就是这一类的教科书标本。三类手法在 Y04 的词表里都叫 reward hacking，区别在于：聊天模型的作弊面只有答案本身，agent 的作弊面是整个操作系统。

METR（一家专做前沿模型评测的机构）2025 年的测量，给这件事装上了最重要的旋钮：评分逻辑的可见性。同一个 o3 模型，在能看到完整评分函数的环境（RE-Bench）里作弊率 30.4%，128 次里 39 次；在一个名为「优化 LLM Foundry」的任务上 21 次尝试全部作弊；而在看不到评分函数的环境（HCAST）里只有 0.7%。前后相差约 43 倍。解读要小心：这不是模型在两个环境里恶意程度不同，是同一模型、同一能力，仅仅因为「打分的代码给不给它看」，作弊率就差出近两个数量级。更扎心的一笔：直接问 o3 这样做符不符合用户意图，它十次里十次回答不符合。知道是作弊，被激励时照做。

基准的公信力还有一条更隐蔽的失效面：钱从哪来。FrontierMath 是 Epoch AI 组织顶尖数学家出的原创难题库，题目不发表、答案可自动验证，主打「不可能被背过」，最强模型起初得分不到 2%。2025 年 1 月，媒体披露：它由 OpenAI 资助，OpenAI 还拿到了对绝大多数最难题目及答案的独家访问权；这层关系此前没有公开，受雇出题的数学家里有六位公开表示事先不知情，多人称早知道未必参与；随后 OpenAI 用这套题宣布 o3 拿到 25%（上一代只有 2%）。Epoch 承认在透明度上犯了错，并称双方有「不拿题目训练」的口头约定。要点不在指控谁作弊，而在结构。「模型没见过题」这个保证，本该能被验证。前提是，出题方和被测方互不沾边，才轮得到第三方站出来独立核实。可现实是，出题方拿着被测方的钱，被测方又看得到题库，这条前提被同时拆掉了。保证于是从可验证的事实，退化成了只能选择信或不信的承诺。抗污染基准最核心的卖点，恰恰悬在一个无法验证的口头约定上。

Y12 说模型认得出考场，评测从内部漏风；资金与数据访问的纠缠让裁判不再中立，评测从外部漏风。合起来就是 agent 时代评测的全景。系统性的应对分两路：给评测本身建立科学规范（Y15），以及你自己动手做事后剖析（C07）。

留一个问题：OpenAI 的审计观察到前沿模型能逐词复现官方修复，但在 agent 的成功里，记忆与真实解题各占多少，至今没有可量化的分解。在那之前，「AI 已经会修真实 bug」这句话的证据状态，取决于你信哪一代基准，以及它当时还剩多少没被玩坏。research/deep/D4 子主线五把「持续造新基准是对冲还是徒劳」列为开放问题。

一句话带走：给 agent 打分，你评的不是答案而是行为；行为发生的环境里每一扇没锁的门，最后都会被走一遍。