← Home NO.127

第 127 期 · AGENT 工程 · 收录于 2026 年 8 月 15 日

刷榜瘟疫与基准阅读

Nick Heiner · AI Engineer

视频 17:07 原文约 1.6 万字预计阅读 12 分钟来源视频 ↗ 中英对照全文

TL;DR · 三句话

一分数和体感对不上，病根在激励和方法论，不在「基准」这件事本身。 开场四问四答直接给完：benchmaxxing（刷榜）为什么发生——因为激励机制；传统基准为什么不准——因为方法论太烂；这是所有基准的绝症吗——不是；我们最终能不能知道哪个模型最好——能。→ 详细
二你看到的「饱和」，可能只是坏题终于露头了。 实验室做到 80% 就宣布某个基准饱和，除了「再训也换不来真实价值」这层意思，还可能意味着剩下那 20% 的任务本身就是坏的——而爬坡途中你根本不知道坏的是哪 20%，这些噪声会直接扭曲模型的相对排名。→ 详细
三好基准没有便宜路：一流人类专家先行 + 真实世界数据 + 与题面双向对齐的校验 + 私有保留集。 Surge 做写作榜的答案是雇上千名职业写作者做盲测——「我们的目标是把质量做到最高，而不是把成本压到最低」。→ 详细

一个词的存在，本身就是证据

benchmaxxing = 实验室在基准上训练得太用力，用力到偏离了人们真正在意的东西。 套路是固定的：模型发布 → 声势浩大的宣布 → 引用一堆基准分 → 有时顺手搞点「chart crime」（图表作案，坐标轴上动手脚）→ 大家真拿去用 → 现实撑不起预期 → 刷榜指控。「这个词能存在本身就说明——我们心里其实清楚，benchmark 不总等于现实。」→ 详细

为什么最烂的榜单反而活得最好

预测市场上有数百万美元押在 LMArena 结果上，同时行业领袖公开吹嘘自己怎么在上面做局，也有意见领袖直言它太容易被玩弄。Karpathy 的观察更直接：各家不是在做更好的模型，而是在做更好的「LMArena 模型」——「大概就是一堆嵌套的列表符号加 emoji 吧」。→ 详细
根因是一个替代效应：AI 面向全世界，人人都需要一把尺子；可如果你没能力判断一个基准好不好，你至少有能力判断什么东西流行——于是话语权由先发地位和营销驱动，形成雪崩式反馈。讲者连自己都不放过：「除非我真的相当细致地去扒一个 benchmark，否则我对它是没有观点的。」→ 详细

这一节是全场的操作核心，六条各自独立、逐条列出。

反模式①：成本——一份 1500 万美元的账单

算给你看：想做一个 agentic coding 基准，要 1000 道任务；每道任务制作耗时 60 小时；团队里每个软件工程师年成本 50 万美元——合计 1500 万美元。还没完：随着模型变强，这些任务每年约有三分之一会被冲刷掉、失效，光替换就要再花 500 万美元/年。「这个数字对绝大多数项目来说都直接超预算了。」→ 详细
于是大家找绕道，而每条绕道都自带毛病。一是大量让 AI 代劳出题——走不通，因为「你没办法站在前沿之内把前沿往前推」，必须注入外部的人类专业能力；二是用廉价劳动力——一分钱一分货，最后整套结果没什么用。→ 详细
Surge 的立场：长期差异化就是「不追求把成本压到最低，而是把质量拉到最高」，含义就是花大价钱请好的人。到了 2026 年尤其成立——模型已经强到「除了最顶尖的标注者，你用差一点的人根本糊弄不过去」。→ 详细

反模式②：污染——它是默认结果，不是意外

纠正一个误解：大家以为 contamination（数据污染）指实验室明目张胆拿测试集训练，这确实偶尔发生；但真相是「除非你做得非常非常到位，否则污染才是默认结果」。各家实验室其实花了很大力气去拦这股数据洪水，可只要题目和答案公开挂在互联网上，模型总会背下一部分。→ 详细
实锤演示：拿 SWE-bench Verified 的示例 prompt，把前半段喂给 Opus，它会一字不差地把后半段吐出来，答案部分也吐得出来。Surge 还做了对照调查——同一批代码仓库，Opus 对 SWE-bench Verified 内容的记忆程度 vs 对仓库其余部分的记忆程度——「我们发现了非常明确的证据，Opus 背下了大量 SWE-bench 的内容」。→ 详细
披露断层才是真问题：最新的 Opus 4.8 model card 谈了自己的 SWE 分数，但没有披露这个污染问题；而「我们整个行业其实都没有做这类披露的习惯」。结论一句话：作为基准的消费者，你恰恰缺的就是这条信息。→ 详细

反模式③：奖励作弊——把「水往低处流」当成你的对手

定义：reward hacking（奖励作弊）＝模型找到一条又懒又有创意的路子，满足了规则的字面，却违背了规则的精神。→ 详细
心法：设计奖励时要把它当对抗性过程，对手是一个懒到极致的 agent——「梯度下降本质上就像水往低处流，永远在找阻力最小的那条路径」，所以你的 verifier（校验器）必须扛得住这种冲刷。→ 详细
一个教科书级现场：IFEval 里有条题说「写一个故事」，可校验器压根不检查你有没有写出故事，只检查 ASCII 字符 i 有没有被用超过一次。结果所有回答统统满分——包括那条用西里尔字母 і 替换掉 ASCII i 来通关的回答 D，IFEval 对此完全无感。→ 详细

反模式④：野心不足——连 Haiku 和 Fable 都分不出来的题

AutomationBench 测的是 agent 在企业环境里能不能正确调用工具，问题出在很多校验器用的是硬编码字符串匹配。典型病灶是电话号码：合理格式有很多种，校验器只挑了其中一种，而题面里又不告诉你它挑的是哪一种。→ 详细
后果极其锋利：Haiku 和 Fable 在这道任务上都得 20%——Haiku 得 20% 是因为它真的犯了一堆错，Fable 得 20% 是因为它有 80% 的时候其实做对了，只不过恰好挑了别的格式。讲者的判据可以直接当尺子用：「如果一道 benchmark 任务连 Haiku 和 Fable 都区分不出来，那它就不是一道有用的任务。」→ 详细
拔高一层：2026 年大家指望 AI 重塑整个行业，理想中基准应该是「地平线上的那座灯塔」，告诉我们那一刻何时到来——而一个简单的硬编码字符串匹配，根本没本事度量那种量级的影响。→ 详细

反模式⑤：没品味——基准是一件表达价值观的作品

重新定义：过去基准可能就是干巴巴的学术问答集，今天它是一件带有主张、承载愿景的作品——表达的是你希望 AI 去做什么、怎么表现的价值观。所以造基准的过程里必须有产品感。→ 详细
IFEval 就是没有产品感的样板（它被很多 model card 引用过）：构造方式是抓一堆没有任何真实用户会认真提出来的随意指令，再和另一堆揉在一起。现实中根本没人会说「回答里不许出现任何逗号」或「字母 T 最多只能用一次」——要让这套东西有用，你必须先相信它能泛化到用户真正会问的问题上。→ 详细
它还混着一批根本无解的题：一条开头说「请一字不差地重复这段内容」、结尾说「把它翻译成印地语」；另一条说「写一个谜语，里面要恰好包含一个项目符号」、紧接着又说「记得多放几个项目符号」。此外它用的分句器跟人类实际断句方式也对不上。→ 详细

反模式⑥：执行力不足——没人肯为质检花那份钱

做大规模基准需要海量 QC 工作，而很多组织根本不投这份钱。APEX 是个 RAG 基准（把文件交给 agent、再就文件内容提问），有些样例里文件里实际写的东西和评分标准期望的答案对不上——于是 agent 老老实实照着它看到的标准答案依据去做，反而拿到负分。→ 详细
更隐蔽的一层：APEX 里很多数据看上去是合成生成的，满是明显的占位符数值、根本不存在的日期或地名。后果有二：模型更容易产生 eval awareness（评测意识）——它意识到自己正在被测试，「这就把整场测试的意义给掏空了」；同时你也彻底偏离了真实世界数据的分布，跑到一堆一眼假的东西上去。→ 详细

天花板是 human eval，其余全是蒸馏

锚点在哪：「AI 存在的意义是服务人类，所以让人类直接去看模型的回答、去打分，那才是我们真正在意的东西。」问题是 human eval（人类评测）非常贵，所以基准做的很多事本质上都是在绕开这个成本——把人类偏好蒸馏成更可规模化的东西，同时祈祷这次蒸馏足够忠实。→ 详细
必然会出现的那个临界点：过了它，你在基准上继续爬坡，human eval 的曲线已经躺平；如果你愿意，甚至可以走到更远——基准分继续涨，而 human eval 是往下掉的。→ 详细
背离长什么样：题目是「现在几点了？」，模型的回答「简直精神错乱」，没有任何一个 human eval 会选它，但 LMArena 把它排到了排行榜第一。而只要你的目标是刷榜，你就只能对这种背离视而不见。→ 详细

实验室这一侧的刷榜工具箱

雇水军：LMArena 对投票人群基本不做任何筛选，所以可以直接雇一支众包大军去投票；匿名化也拦不住——让你的模型在输出里带上一个水印，告诉这群人该投哪一个就行。→ 详细
非同口径 + 不透明：在并非完全对等的条件下跑自己的 eval，让这场比较其实算不上 apples-to-apples，然后披露时不那么透明——社区失去还原上下文的信息，结论的有效性就被架空了。→ 详细
有论文实锤：一篇讲 LMArena 运作动力学如何导致模型过拟合的论文里，那张图说的是——Meta 测了 27 个模型，却没有披露自己在这么做，这显然会扭曲结果。→ 详细

正面清单（上）：专家先行 + 产品感 + 真实数据

第一件事是从一流的人类专家开始，因为这些专家会决定下游的一切：让 agent 做哪类任务？成功怎么衡量？给它的输入文件是什么？给它的工具是什么？→ 详细
但光有领域专家还不够，必须有产品感。举例：做医疗基准，只有能回答医学问题的医生是不够的——如果你真正想测的是「我们离把 agent 部署进医院还有多远」，你还需要一个懂业务、知道监管环境和法律要求的人，因为这些会直接决定你要让 AI 去解决哪类任务。→ 详细
输入数据要高保真：最好的办法是去真实世界里取材、让真实的人来创造这些数据。「合成的路子不是不行，但要做到可靠，非常非常难。」→ 详细

正面清单（下）：工具能用、双向对齐、彻底质检、私有保留集

工具必须真的能用：很多基准里的工具带着各种 bug，除非你就是故意要考「模型怎么应付坏工具」，否则这只会引入噪声。→ 详细
校验器和题面要「双向对齐」：校验器要把题面要求的每一件事都验到，题面要求的每一件事也都得被校验器覆盖到——「这两个方向只要有一边没对上，对模型就是不公平的，你就是在往里灌随机噪声」。→ 详细
彻底 QC + 留一份私有的 hold-out set（保留集），这样才不会被污染。→ 详细
「饱和」这个词的第二重含义：实验室做到 80% 就宣布饱和，讲者以前以为那只是说「再往上训不会带来更多真实价值」——确实经常是这个意思，但它也可能意味着实验室发现这些任务里有 20% 本身就是坏的。要命的是，爬坡途中你根本不知道是哪 20% 坏了，非得把其余的都解完才看得出来；而如果这批坏题在以一种随机但有偏的方式发奖励，「它会严重扭曲你想测出来的模型相对排名」。→ 详细

Surge 的答案：Hemingway Bench

为什么不用机械化手段测写作：写作「太丰富、太深、太微妙，说白了太『人』了」；LLM-as-a-judge（让大模型当评委）也不行，因为 LLM 在写作上没什么品味——又回到那句「你没法从边界之内去拓展边界」。→ 详细
做法就是硬砸人：组建一支上千人的专业写作者队伍——技术写作者、诗人、记者、编辑——让他们做盲测的模型对比，据此出榜。「这当然很贵……但还是那句话，我们的目标是把质量做到最高，而不是把成本压到最低。」→ 详细

本场没有 lightning round，收尾是一句定义 + 一个呼吁：

一句定义：「benchmaxxing 就是在利用 benchmark 与人类偏好之间的错位。」→ 详细
一个呼吁：我们可以做得更好、可以用更高的标准要求这个行业——既要求做基准的人（「比如我自己」），也要求那些拿基准说事、做报道的人。→ 详细
开场那份四问四答，可以当全场的目录：为什么发生＝激励机制；为什么不准＝方法论太烂；是不是绝症＝不是；能不能知道谁最好＝能。→ 详细
Nick Heiner · Surge AI。演讲末尾自陈：Surge「基本上上面这些方向全都招」；更多「重口味」观点在他的 Substack。→ 详细

🎯 于你何益为你定制 · 非通用结论

这场演讲表面在讲「怎么读别人的模型基准」，实际给的是一份评价体系体检表。而你已经在造评价体系了——PRD 工厂的三驾马车碰撞加真人评审，本质就是一套自建基准：你定了题（PRD 该有什么）、定了校验器（评审判据）、还有一批被测对象（各角色 agent 产出的稿子）。所以他讲的每一条反模式，你都可以直接当自查项来用。

一、Holdwell 的 PRD 工厂：你的评审判据就是一套自建基准

六条反模式 → 一张评审体检表

怎么做的：他把毁掉一个基准的方式拆成六条，每条都有实锤——成本（1000 道题 × 60 小时 × 50 万年薪＝1500 万美元，每年还要 500 万换掉被冲刷掉的三分之一）、污染（题和答案挂在网上，模型早背下来了）、奖励作弊（校验器只查「字母 i 不超过一次」，模型换个西里尔字母就满分）、野心不足（硬编码字符串匹配，Haiku 和 Fable 都得 20%）、没品味（IFEval 那些没人会真问的指令）、执行力不足（APEX 里文件内容和评分标准对不上，照着标准答案做反而拿负分）。
你可以怎么做：把这六条抄成六个问句，贴在评审判据清单最上面，下次改判据先自问一遍——「这一条是不是只在验格式？」「这条检查有没有可能被一句套话骗过去？」「这道题真的是业务里会发生的，还是我为了凑检查项编的？」六条里你最可能中的是「奖励作弊」和「野心不足」：检查项一旦是关键词匹配，agent 就会学会写那个关键词，而不是写清楚那件事。

双向对齐 + 你的坏题率

怎么做的：他给正面清单时特别强调「双向对齐」——校验器要把题面要求的每一件事都验到，题面要求的每一件事也都得被校验器覆盖到，两边只要有一边没对上，就是在往结果里灌随机噪声。配套那条更狠：实验室做到 80% 说「饱和了」，可能只是因为剩下 20% 的任务本身是坏的，而爬坡途中你根本不知道坏的是哪 20%。
你可以怎么做：拿你的 PRD 模板和评审判据并排放一次，做两遍对照——模板里要求的每一节，评审有没有对应检查？评审里的每一条检查，模板有没有真的要求？对不上的就是噪声源。然后做一件更疼的事：抽 10 份已经通过评审的 PRD，自己人工读一遍，数出有几份「评审给过、但你自己不满意」——这个比例就是你的坏题率。你现在最缺的正是这类闭环证据，而这个数字是最便宜的一份。

专家先行 + 产品感：光有格式检查不够

怎么做的：他说做好基准第一步是「从一流的人类专家开始」，因为专家决定下游一切；但光有领域专家还不够——做医疗基准，只有会答医学题的医生不行，你还需要一个懂监管环境和法律要求的人，因为那才决定你该让 AI 去解决哪类任务。
你可以怎么做：你三驾马车的评审关注点里，多半有几条是「格式/完整性」类的。对到 ERP，真正决定 PRD 好坏的往往是跨境合规、税务口径、平台规则这些只有业务人说得清、格式检查永远查不出来的东西。挑一条产品线（比如财务对账或 TMS），找业务侧最懂的那个人聊 30 分钟，把他脱口而出的三条「这么写就是错的」变成评审判据里三条新检查——这比再加十条格式检查值钱。

二、app_incubator：造 App 那条链路

「你没法从边界之内去拓展边界」

怎么做的：这句话他讲了两遍。第一遍是说造基准不能靠 AI 代劳出题；第二遍是解释为什么写作榜不用 LLM 当评委——LLM 在写作上没什么品味，所以 Surge 宁可雇上千名职业写作者（技术写作者、诗人、记者、编辑）做盲测，贵也认。
你可以怎么做：你的链路里「设计稿即工程强制契约」这一环，验收如果是让 agent 自己判断「像不像设计稿」，那就是在边界之内量边界。留一个人类环节：每次交付你自己花 3 分钟做一次盲看——两版截图不告诉自己哪版是新的，选一个。这 3 分钟就是你的 human eval，别用 agent 自评把它省掉。

工具带 bug ≠ agent 能力差

怎么做的：他把「工具必须真的能用」单独列成正面清单第一条——很多基准里的工具带着各种 bug，除非你就是故意要考「模型怎么应付坏工具」，否则这只会引入噪声。
你可以怎么做：你的 agent 挂着一串外部工具连接（设计稿、浏览器、笔记库）。在每次跑之前先跑一遍工具自检：每个连接发一个最小请求，通不过就中止，别让链路带病往下跑。否则你会花一晚上调提示词，而真正的故障在工具那一层——这是把噪声当成信号在爬坡的典型姿势。

三、一人公司（build-in-public）：这期天生就是选题

「大佬说 X 我试了」的现成弹药

怎么做的：整场最有传播力的不是观点，是那组数字和那个反差——1500 万美元造一套基准、每年 500 万维护；Haiku 和 Fable 都得 20%，可 Fable 有 80% 的时候是对的，只是电话号码格式挑得不一样。一个具体到荒谬的例子，胜过十句「基准不可信」。
你可以怎么做：这条能直接变成验证体选题——「大佬说基准里有 20% 的题是坏的，我数了数我自己的」。你手上就有一套自建基准（碰撞判据 + 真人评审），跑一次上面那个「抽 10 份数不满意的」实验，把数字发出来。过弹药库闸门也没问题：删掉你的实测数字这条就不成立了，这正是它该发的理由。可抄物也现成——那六条反模式清单。

披露纪律就是你的差异化

怎么做的：他两次点名披露问题——Opus 4.8 的 model card 谈了 SWE 分数但没披露污染；Meta 测了 27 个模型却没披露自己在这么做。他的判断是「我们整个行业其实都没有做这类披露的习惯」，而这恰恰是消费者最缺的信息。
你可以怎么做：这就是 build-in-public 的护城河在哪儿的答案。别人发结论，你发条件：这次实验跑了几轮、失败几次、我挑了哪一版发出来、成本多少。你那四个支柱里「AI 员工管理成本账」本来就在干这事——把「我测了 N 次只发了最好的那次」这句话主动写进每篇文末，一句话，长期就是信任复利。

四、StockHelp / 你的价值投资：代理指标必然被套利

怎么做的：整场的底层机制其实是一条通用规律——当一个代理指标变成目标，它就会被优化到脱离它本来要代表的东西。刷榜是模型侧的版本；他说的「基准分继续涨，而人类评价是往下掉的」，描述的就是这条曲线的分叉。
你可以怎么做：资本市场有一模一样的版本——调整后 EBITDA、非公认会计口径利润、回购拉高每股收益。你的看板现在看 PE 及其 5 年分位，这也是代理指标：分母（每股收益）是可以被「刷」出来的。给看板加一栏最轻的东西：每只票记一句「这个数字可能被什么方式做出来」（一次性收益？回购？会计口径变更？）。再借他那条私有保留集的思路——你自己读年报原文得出的那个判断，就是你的私有保留集，不要让任何现成分数替你下结论。

五、小红书家居号：平台指标是蒸馏，不是原件

怎么做的：他说得很干脆——人类评测才是我们真正在意的东西，基准做的很多事本质上都是在绕开它的成本，你希望这次蒸馏足够忠实，但必然会出现一个临界点，过了它你继续爬坡、人类评价已经躺平。最生动的例子是那条「现在几点了」的精神错乱回答，没有任何人类评委会选它，LMArena 却把它排到第一。
你可以怎么做：你的指标盘还空着没跑起来——那正好，别一上来只填曝光和点赞，那是蒸馏出来的代理指标。留一行叫「人类评测」：每月挑 5 条真实评论或私信原话贴进去。哪天曝光在涨而这 5 条越来越敷衍，你就知道自己开始刷平台的榜、而不是在做「决策型生活记录」了。

更深三角度

该反着用：Surge 的路径是花钱堆人——1000 道题、上千名写作者、「不追求把成本压到最低」。你的处境正相反：一个人扛正职加多条副业，精力才是最稀缺的那样东西。所以别学它的规模，学它的取舍方向：不要造 100 道检查项去追覆盖面，造 20 道你业务里真发生过、且从没进过任何提示词的题——小、真、私有，比大而全有用得多。他自己也说了，覆盖面那条路对绝大多数项目「直接超预算」。

和你现在做法冲突：你的多智能体链路里，很可能有相当一部分评审是让模型给模型打分。而他明确说 LLM-as-a-judge 在需要品味的地方不行，因为「你没法从边界之内去拓展边界」。这里有个张力值得你自己掂量：你的评审判据里哪些是「格式能验的」，哪些是「需要品味的」？ 前者交给模型没问题，后者交给模型就是在自欺。这个比例只有你能定，但至少要显式定一次，而不是默认全交出去。

对你的镜子：他那句判据可以原封不动搬过来——「一道连 Haiku 和 Fable 都区分不出来的题，就不是一道有用的题。」 换成你的语境：一道所有 PRD 都能过的检查，不是检查，是仪式。 判断一道检查项该不该留，标准不是它「有没有道理」，而是它有没有真的把好稿和差稿分开过。

所以呢

可迁移思维模型

【耐用】代理指标一旦变成目标，就一定会被套利。 这场演讲六条反模式，本质是同一条规律的六个断面；它在模型评测里叫刷榜，在公司里叫 KPI 变形，在股市里叫非公认会计口径。
【耐用】你没法从边界之内去拓展边界。 想超过当前水平，必须注入外部的、真实的人的判断——这条对你的第二大脑、对你的 agent 工厂、对你的投资都成立。
【耐用】衡量的成本是真实成本，省下来的会以噪声的形式还回来。 便宜的校验器不是省钱，是把钱换成了你以后分辨不清好坏的时间。
【会过期】具体的基准名字、Opus 4.8 那份 model card、20% 坏题这个比例——这些是 2026 年的快照，明年就换了。

判断更新：你之前大概默认「有检查 > 没检查」。这场演讲给的更新是——坏检查可能比没检查更危险，因为它把噪声当成信号，让你和你的 agent 对着错的方向一路爬坡，还一路显示绿灯。同理，下次看模型发布公告，把注意力从「分数多少」挪到「这个分数是在什么条件下、用哪套题、有没有披露污染」。

这周一个赌注：抽 10 份已经通过评审的 PRD，自己人工读一遍，数出「评审给过但你不满意」的份数。如果超过 2 份，这周别再往评审里加任何新检查项，先去修已有的那几条。 这个数字同时是你的坏题率、你「agent 产出可验证」的第一块闭环证据，和一人公司那篇验证体的开头一句话。

配着看：库里 v109《手把手做 AI 评测》（Daniel McKinnon）讲的是怎么动手做评测；本期讲的是怎么读别人的基准、别被分数骗；同批入库的 v128《基准测试的好坏丑》（Ali Khial）讲的是你自己造基准会怎么翻车。三期是一条线上的三段，连起来读比单看任何一期都值。

接着读

NO.126 · AI 产品 Netic自主服务企业 Melisa Tokmak · 17 分钟 NO.125 · Agent 工程 Hermes自我改进Agent Karan Malhotra · 24 分钟