刷榜瘟疫何时结束?——Nick Heiner(Surge AI)

• benchmaxxing = 实验室在基准上训练得太用力，用力到偏离了人们真正在意的东西。 套路是固定的：模型发布 → 声势浩大的宣布 → 引用一堆基准分 → 有时顺手搞点「chart crime」（图表作案，坐标轴上动手脚）→ 大家真拿去用 → 现实撑不起预期 → 刷榜指控。「这个词能存在本身就说明——我们心里其实清楚，benchmark 不总等于现实。」→ 详细

• 预测市场上有数百万美元押在 LMArena 结果上，同时行业领袖公开吹嘘自己怎么在上面做局，也有意见领袖直言它太容易被玩弄。Karpathy 的观察更直接：各家不是在做更好的模型，而是在做更好的「LMArena 模型」——「大概就是一堆嵌套的列表符号加 emoji 吧」。→ 详细
• 根因是一个替代效应：AI 面向全世界，人人都需要一把尺子；可如果你没能力判断一个基准好不好，你至少有能力判断什么东西流行——于是话语权由先发地位和营销驱动，形成雪崩式反馈。讲者连自己都不放过：「除非我真的相当细致地去扒一个 benchmark，否则我对它是没有观点的。」→ 详细

• 算给你看：想做一个 agentic coding 基准，要 1000 道任务；每道任务制作耗时 60 小时；团队里每个软件工程师年成本 50 万美元——合计 1500 万美元。还没完：随着模型变强，这些任务每年约有三分之一会被冲刷掉、失效，光替换就要再花 500 万美元/年。「这个数字对绝大多数项目来说都直接超预算了。」→ 详细
• 于是大家找绕道，而每条绕道都自带毛病。一是大量让 AI 代劳出题——走不通，因为「你没办法站在前沿之内把前沿往前推」，必须注入外部的人类专业能力；二是用廉价劳动力——一分钱一分货，最后整套结果没什么用。→ 详细
• Surge 的立场：长期差异化就是「不追求把成本压到最低，而是把质量拉到最高」，含义就是花大价钱请好的人。到了 2026 年尤其成立——模型已经强到「除了最顶尖的标注者，你用差一点的人根本糊弄不过去」。→ 详细

• 纠正一个误解：大家以为 contamination（数据污染）指实验室明目张胆拿测试集训练，这确实偶尔发生；但真相是「除非你做得非常非常到位，否则污染才是默认结果」。各家实验室其实花了很大力气去拦这股数据洪水，可只要题目和答案公开挂在互联网上，模型总会背下一部分。→ 详细
• 实锤演示：拿 SWE-bench Verified 的示例 prompt，把前半段喂给 Opus，它会一字不差地把后半段吐出来，答案部分也吐得出来。Surge 还做了对照调查——同一批代码仓库，Opus 对 SWE-bench Verified 内容的记忆程度 vs 对仓库其余部分的记忆程度——「我们发现了非常明确的证据，Opus 背下了大量 SWE-bench 的内容」。→ 详细
• 披露断层才是真问题：最新的 Opus 4.8 model card 谈了自己的 SWE 分数，但没有披露这个污染问题；而「我们整个行业其实都没有做这类披露的习惯」。结论一句话：作为基准的消费者，你恰恰缺的就是这条信息。→ 详细

• 定义：reward hacking（奖励作弊）＝模型找到一条又懒又有创意的路子，满足了规则的字面，却违背了规则的精神。→ 详细
• 心法：设计奖励时要把它当对抗性过程，对手是一个懒到极致的 agent——「梯度下降本质上就像水往低处流，永远在找阻力最小的那条路径」，所以你的 verifier（校验器）必须扛得住这种冲刷。→ 详细
• 一个教科书级现场：IFEval 里有条题说「写一个故事」，可校验器压根不检查你有没有写出故事，只检查 ASCII 字符 i 有没有被用超过一次。结果所有回答统统满分——包括那条用西里尔字母 і 替换掉 ASCII i 来通关的回答 D，IFEval 对此完全无感。→ 详细

• AutomationBench 测的是 agent 在企业环境里能不能正确调用工具，问题出在很多校验器用的是硬编码字符串匹配。典型病灶是电话号码：合理格式有很多种，校验器只挑了其中一种，而题面里又不告诉你它挑的是哪一种。→ 详细
• 后果极其锋利：Haiku 和 Fable 在这道任务上都得 20%——Haiku 得 20% 是因为它真的犯了一堆错，Fable 得 20% 是因为它有 80% 的时候其实做对了，只不过恰好挑了别的格式。讲者的判据可以直接当尺子用：「如果一道 benchmark 任务连 Haiku 和 Fable 都区分不出来，那它就不是一道有用的任务。」→ 详细
• 拔高一层：2026 年大家指望 AI 重塑整个行业，理想中基准应该是「地平线上的那座灯塔」，告诉我们那一刻何时到来——而一个简单的硬编码字符串匹配，根本没本事度量那种量级的影响。→ 详细

• 重新定义：过去基准可能就是干巴巴的学术问答集，今天它是一件带有主张、承载愿景的作品——表达的是你希望 AI 去做什么、怎么表现的价值观。所以造基准的过程里必须有产品感。→ 详细
• IFEval 就是没有产品感的样板（它被很多 model card 引用过）：构造方式是抓一堆没有任何真实用户会认真提出来的随意指令，再和另一堆揉在一起。现实中根本没人会说「回答里不许出现任何逗号」或「字母 T 最多只能用一次」——要让这套东西有用，你必须先相信它能泛化到用户真正会问的问题上。→ 详细
• 它还混着一批根本无解的题：一条开头说「请一字不差地重复这段内容」、结尾说「把它翻译成印地语」；另一条说「写一个谜语，里面要恰好包含一个项目符号」、紧接着又说「记得多放几个项目符号」。此外它用的分句器跟人类实际断句方式也对不上。→ 详细

• 做大规模基准需要海量 QC 工作，而很多组织根本不投这份钱。APEX 是个 RAG 基准（把文件交给 agent、再就文件内容提问），有些样例里文件里实际写的东西和评分标准期望的答案对不上——于是 agent 老老实实照着它看到的标准答案依据去做，反而拿到负分。→ 详细
• 更隐蔽的一层：APEX 里很多数据看上去是合成生成的，满是明显的占位符数值、根本不存在的日期或地名。后果有二：模型更容易产生 eval awareness（评测意识）——它意识到自己正在被测试，「这就把整场测试的意义给掏空了」；同时你也彻底偏离了真实世界数据的分布，跑到一堆一眼假的东西上去。→ 详细

• 锚点在哪：「AI 存在的意义是服务人类，所以让人类直接去看模型的回答、去打分，那才是我们真正在意的东西。」问题是 human eval（人类评测）非常贵，所以基准做的很多事本质上都是在绕开这个成本——把人类偏好蒸馏成更可规模化的东西，同时祈祷这次蒸馏足够忠实。→ 详细
• 必然会出现的那个临界点：过了它，你在基准上继续爬坡，human eval 的曲线已经躺平；如果你愿意，甚至可以走到更远——基准分继续涨，而 human eval 是往下掉的。→ 详细
• 背离长什么样：题目是「现在几点了？」，模型的回答「简直精神错乱」，没有任何一个 human eval 会选它，但 LMArena 把它排到了排行榜第一。而只要你的目标是刷榜，你就只能对这种背离视而不见。→ 详细

• 雇水军：LMArena 对投票人群基本不做任何筛选，所以可以直接雇一支众包大军去投票；匿名化也拦不住——让你的模型在输出里带上一个水印，告诉这群人该投哪一个就行。→ 详细
• 非同口径 + 不透明：在并非完全对等的条件下跑自己的 eval，让这场比较其实算不上 apples-to-apples，然后披露时不那么透明——社区失去还原上下文的信息，结论的有效性就被架空了。→ 详细
• 有论文实锤：一篇讲 LMArena 运作动力学如何导致模型过拟合的论文里，那张图说的是——Meta 测了 27 个模型，却没有披露自己在这么做，这显然会扭曲结果。→ 详细

• 第一件事是从一流的人类专家开始，因为这些专家会决定下游的一切：让 agent 做哪类任务？成功怎么衡量？给它的输入文件是什么？给它的工具是什么？→ 详细
• 但光有领域专家还不够，必须有产品感。举例：做医疗基准，只有能回答医学问题的医生是不够的——如果你真正想测的是「我们离把 agent 部署进医院还有多远」，你还需要一个懂业务、知道监管环境和法律要求的人，因为这些会直接决定你要让 AI 去解决哪类任务。→ 详细
• 输入数据要高保真：最好的办法是去真实世界里取材、让真实的人来创造这些数据。「合成的路子不是不行，但要做到可靠，非常非常难。」→ 详细

• 工具必须真的能用：很多基准里的工具带着各种 bug，除非你就是故意要考「模型怎么应付坏工具」，否则这只会引入噪声。→ 详细
• 校验器和题面要「双向对齐」：校验器要把题面要求的每一件事都验到，题面要求的每一件事也都得被校验器覆盖到——「这两个方向只要有一边没对上，对模型就是不公平的，你就是在往里灌随机噪声」。→ 详细
• 彻底 QC + 留一份私有的 hold-out set（保留集），这样才不会被污染。→ 详细
• 「饱和」这个词的第二重含义：实验室做到 80% 就宣布饱和，讲者以前以为那只是说「再往上训不会带来更多真实价值」——确实经常是这个意思，但它也可能意味着实验室发现这些任务里有 20% 本身就是坏的。要命的是，爬坡途中你根本不知道是哪 20% 坏了，非得把其余的都解完才看得出来；而如果这批坏题在以一种随机但有偏的方式发奖励，「它会严重扭曲你想测出来的模型相对排名」。→ 详细

• 为什么不用机械化手段测写作：写作「太丰富、太深、太微妙，说白了太『人』了」；LLM-as-a-judge（让大模型当评委）也不行，因为 LLM 在写作上没什么品味——又回到那句「你没法从边界之内去拓展边界」。→ 详细
• 做法就是硬砸人：组建一支上千人的专业写作者队伍——技术写作者、诗人、记者、编辑——让他们做盲测的模型对比，据此出榜。「这当然很贵……但还是那句话，我们的目标是把质量做到最高，而不是把成本压到最低。」→ 详细

本场没有 lightning round，收尾是一句定义 + 一个呼吁：

• 一句定义：「benchmaxxing 就是在利用 benchmark 与人类偏好之间的错位。」→ 详细
• 一个呼吁：我们可以做得更好、可以用更高的标准要求这个行业——既要求做基准的人（「比如我自己」），也要求那些拿基准说事、做报道的人。→ 详细
• 开场那份四问四答，可以当全场的目录：为什么发生＝激励机制；为什么不准＝方法论太烂；是不是绝症＝不是；能不能知道谁最好＝能。→ 详细