手把手构建 AI 评测——Daniel McKinnon

• 两年前 Daniel 写过一篇文章，配了张梗图，标题就是「eval 是不是取代了 PRD」。他自己先承认这话有点故意刺激人——因为没有产品策略、没有明确的目标用户，产品就什么都不是；但话说回来，策略那部分往往一段话就写完了，有的产品甚至一句话就够。→ 详细
• 他要取代的是 PRD 里最占篇幅的那部分：功能怎么运作、在某某情况下会怎么表现、用户能从中获得什么价值。「我职业生涯里见过的绝大多数 PRD，篇幅主要都花在细节上。」可到了生成式 AI 这里这套写法被彻底颠覆——这类产品几乎什么都要能干，你很难描述清楚，总不能写一句「这玩意儿啥都能干」。→ 详细
• 替代方案是：把产品该做成什么样，用例子讲明白，而 eval 就是那组例子。用他的话说，「它其实就是给模型出的一道道知识问答题」，等于在告诉团队：模型要做好的事，大致就长这个样子。→ 详细
• 因果链他讲得很完整：模型在这些题上答得好 → 用户大概率会喜欢 → 那就上生产环境，再用线上 eval 看他们是不是真的喜欢。答得不好，只有三条路——换模型、改 harness（模型外面那层调度和工具的框架）、或者改产品。还有第四种可能是「你想做的事，用今天的模型根本做不出来」，而这件事早点靠离线 eval 发现，「总好过直接上线，然后收获一堆被激怒的用户」。→ 详细

• 离线 eval（offline eval，线下评测）＝一套事先准备好的问答题库，在产品开发过程中跑，当成真实用户流量的代理指标。他举菜谱网站的例子：想教用户做冰淇淋，就准备 100 条不同冰淇淋的 prompt，每条配一个正确（或者说得过去的）答案，外加一套判分方法。→ 详细
• 等离线分数够好了再上线，指望「离线那套题上的表现能反映线上真实用户的满意度」——他自己补了句「当然这事儿不是每次都成立，但思路就是这样」，并认为这仍是判断一个 GenAI 产品能不能让用户满意的最好办法。（RL environment 强化学习环境这类东西属于中间的灰色地带。）→ 详细

• 当年的 eval 特别简单，就是一问一答，他那篇博客覆盖的也只有这种。两年前的核心论调是「GenAI 本质上是搜索的替代品」——大家还记得 Google 股价暴跌那阵子，那时候的产品本质上就是问答型产品。这一切都发生在 Claude Code、agentic coding（智能体写代码）和 Claude Cowork 这类东西出现之前。→ 详细
• 他把 OpenAI 当年为 GPT-4 汇报的基准逐个列了出来：MMLU、HellaSwag、ARC、WinoGrande、HumanEval（「讽刺的是，它其实是一套自动化的 Python eval」）、DROP——全都是一问一答。他现场读了一道 MMLU 原题：已知一个物体的实际亮度和它在你所处位置的视亮度，在没有其他信息的情况下你可以估算出——A 相对你的速度、B 成分、C 大小、D 离你的距离。这些老题都还挂在 Hugging Face 上，可以当历史趣味翻。→ 详细 → 详细

• 第一步，先想清楚你要解的问题，而且不需要一开始就完美——问自己「你的用户可能会问的一组问题是什么」。他当年举的例子是：我的社交媒体网站上有一段视频，我希望能生成一份菜谱，让人一边看视频一边照着做出那道菜。→ 详细
• 第二步，挑出判「好不好」的那几个维度：格式对不对、配料有没有列全、文风写得对不对。→ 详细
• 第三步，给每个维度假设一套判定对错的办法——可以是自动打分，可以是另一个 LLM 当裁判（LLM-as-judge），也可以是人来判。「判正确性的方式有很多种。」→ 详细
• 第四步，凑大概 100 条落在这个分布里的 prompt。可以更少也可以更多，但「在 GenAI 这个世界里，这是一套 eval 的典型规模」。→ 详细
• 第五步，把这批题丢给模型跑一遍，看哪条难、哪条容易。→ 详细
• 第六步，凑出一套大概能得 50 分的题——因为你得留出提升空间。做一套特别简单、直接考 100 分的，工程团队就没法拿它去优化；做一套特别难、考 0 分的，你连「这事儿在今天的技术条件下到底可不可能做到」都不知道。→ 详细
• 第七步，把它交给团队照着往上提；分数够高了就发布给用户，看线上的实际表现是不是跟你在离线时的预期对得上。他说到这儿就收了：「基本就是这样。」→ 详细
• 换句话说，整套流程里没有一步是玄学，难度全部压在最前面两件事上——把题目对准你关心的领域，再把答案判分做出来。→ 详细

• 真正的原因是模型在 QA（问答）上基本已经饱和了。今天说一个模型好，想的已经不是它能不能答对一道偏难的高中物理题，而是它能在国际数学奥赛上拿金牌——「基本上除了极少数超级专才，普通人能问出来的问题，模型都能给个像样的回答」。→ 详细
• 而且 QA 也不再是最有用的应用了。当年那套叙事是 ChatGPT 会成为下一个伟大的消费级应用、Google 也跟着做了生成式搜索体验；但现在 GenAI 的头条主角已经不是 QA，是 agent（智能体）。→ 详细
• 从各家实验室怎么汇报进展就看得出来：两年前 OpenAI 是那五六个 eval，快进到 Anthropic 汇报 Opus 4.5，用的完全是另一批 benchmark，一点连续性都没有。一半原因是老题饱和（Opus 4.5 在上面基本接近满分），另一半是任务本身真的变了——名目全换成了 agentic coding、agentic terminal coding（智能体终端编程）、多学科推理、agentic computer use（智能体操作电脑）、knowledge work（智能体知识工作）、agentic 财务分析。→ 详细

• 模型的核心任务不再是「接住用户一个 prompt、回一个答案」，而是接住一个需要很多很多步才能完成的任务：有些步骤只是「想」（reasoning，推理），有些是调工具比如搜索，有些是更高级的工具调用。→ 详细
• 好消息是框架大体没变：还是得定义问题、还是得当个好 PM 清楚自己在解什么问题、还是得收集有代表性的 prompt。→ 详细
• 收 prompt 这一步他叫「金发姑娘原则」（Goldilocks，不多不少刚刚好）——题不能太难，也不能太简单，得留出提升空间。→ 详细
• 数字他给得很硬：一套好 eval 典型的起点成功率是 25% 到 50%，然后过个几个月就会爬到 100%，「那时候你就得把它扔了，再造一套更难的」。这意味着 eval 天生是消耗品，不是一次性资产。→ 详细

• 有条规律他讲得很透：模型在创意写作这类事上弱，是因为它难判分——人的偏好各不相同，不同用户喜欢的东西不一样；在数学和代码上强，是因为有明确的正确答案，沿着指标往上爬（hill climb）容易得多。→ 详细
• QA 类问题实在找不到更好的判分办法时，最差还能找人工标注员来评。到了 agentic 的活上就难多了：任务的时间跨度往往很长，最终产出是很多很多步累积出来的——「有些步骤是对的却导向了错误的结果，有些步骤本身就是错的」。→ 详细
• 所以从人力成本和「定义成功」两个角度，你都更需要一套能自动判分的东西——只有这样才跑得起足够多的 rollout（一次完整的任务执行轨迹），才做得了更多实验。→ 详细

• 开演示前他先打预防针：「指望 45 分钟里从零做出一套全新的 eval 是不现实的，这基本是个要花几周甚至几个月深度思考的活儿。」所以演示是半预制的，但每一步他还是走一遍。→ 详细
• 题目选的是临床基因组学：全基因组测序（whole genome sequencing）已经是 NICU（新生儿重症监护室）诊断里绝对的金标准，但解读一份结果极其耗人力，这就限制了这项救命技术的可及性。他想看看能不能把这部分人类专业经验蒸馏进模型——这也是他新创业公司要解的问题。→ 详细

• 他没有逐张过流程图，放出来只是让人感受这有多复杂：从测序仪出来的原始 reads（测序读段）开始，先做大量处理算出这位病人的基因组跟参考人类基因组差在哪，再做另一轮工作判断这些差异到底有没有意义。→ 详细
• 量级感他给得很具体：给他自己做测序，会得到约十亿条 reads、每条 150 个碱基对，全都躺在一个巨大的文本文件里；而他要把这一坨东西变成一句诊断结论——「这个基因可能是、也可能不是造成这位病人症状的原因」。→ 详细
• 然后是那句串起全场的话：「这也是为什么 Anthropic、OpenAI 这类公司在招投行的人、会计师、律师。 你看到他们那么多垂直行业团队在发招聘广告，就是这个原因：你必须吃透这个领域的问题。」→ 详细
• 他把话说死了：如果你在某个主题上没有背景，也没真正下功夫补过课，那你基本不可能给它做出好的 eval。→ 详细
• 顺带一个术语约定：在 agentic 场景里他说「模型」时，一般指的是模型 + harness（外面那层脚手架 / 执行框架），全场这两个词混着用。→ 详细

• 找 Goldilocks 那组题的第一步是先从简单的开始，确认模型真的做得了这件事。他挑了最简单的遗传病：囊性纤维化（cystic fibrosis，一种肺部疾病），遗传病因很早以前就搞清楚了，也有几个公认的致病基因。→ 详细 → 详细
• 他打开 ClinVar（NIH 美国国立卫生研究院维护的遗传病数据库）里那个最经典的突变，现场还吐槽了一句「它标着四星和三星，其实这里应该是四星四星才对」。→ 详细
• 表格就这么一列列搭起来：基因填 CFTR；变异（variant）——在 CFTR 的这条特定转录本上，这个位置少了一个碱基，结果是第 508 位的苯丙氨酸（phenylalanine）被删掉；表型（phenotype）填囊性纤维化。一张「问题—答案」表就成型了：问题＝表型 + 这位病人的基因组，答案＝这个变异。→ 详细 → 详细
• 他借这个变异的复杂程度再次回扣主论点：「这东西非常复杂、非常讲究细节……要做这类 eval，你必须真懂这个领域。」对比之下，Python 编程的 eval 现成的已经不少、质量也挺好——说「Python 编程已经被解决了」有点言过其实，但它确实是个被理解得非常透彻、刻画得非常清楚的问题。→ 详细

• 造题环节他直说：「你在构造这些 eval 的时候，会非常非常非常频繁地用生成式 AI 来帮你造。」现场用的是 Codex（「其实换成任何工具都行」），档位设成 5.3 Spark Low，因为演示需要快。→ 详细 → 详细
• 做法是拿他自己的基因组文件造一个合成版本，把目标变异塞进去，生成 dan_cf5.vcf.gz。他自己点破了这层套娃：「我们其实是在让 AI 帮我们造给 AI 用的 eval。」→ 详细
• 顺带科普了变异文件（VCF）长什么样：说白了就是个文本文件——一列染色体（人有 23 对，1 号最大）、一列位置（人的基因组约 30 亿个碱基）、然后是替换（参考人类基因组这个位置是 C，他这儿是 CA），后面跟一堆质量指标说明结果多可信；每个基因有两份拷贝，这条标着杂合（heterozygous）＝只有一份受影响。→ 详细 → 详细
• 演示中 Codex 跑得很慢，他一边等一边吐槽「说实话我也不知道它为什么这么慢，这明明是一行就能搞定的活」。他还解释了自己为什么不图省事：「我也纠结过，要不要直接写个 Python 程序一键把这些都替你干了？但转念一想，那对观众一点帮助都没有，因为他们自己动手构造的时候还是不知道该怎么弄。」→ 详细 → 详细
• 最终加进去的那行落在7 号染色体上，是个缺失：原本是 TCTT，现在只剩一个 T——经典 CF 突变，一个「假的囊性纤维化病人」就造好了。→ 详细 → 详细

• agent 可以是任何东西：他这里用 Codex，你也可以用 Claude Code、OpenCode、自己写的 harness；「现在连 ChatGPT 和 Claude 的网页版，背后用的也都是 agent」——不是模型进模型出，而是输入、推理、工具调用一整套。→ 详细 → 详细
• 同时跑的理由是：25%–50% 这个目标区间是相对于你打算用的工具而言的。拿顶配去做生物防御这类事，题就得出得非常非常难；如果因为基础设施或成本只能上很小的模型（比如 Haiku），题就得往简单里改。（字幕此处把某个顶配模型名识别成了「Mythos 5」，识别存疑。）→ 详细
• prompt 写得很朴素：「这里是一位患者的基因组，他的症状是……我们怀疑是囊性纤维化，请找出遗传学病因。」同一条 prompt 复制到三个 agent 上跑：GPT-5.3 Codex Spark Low、Haiku、ChatGPT 5.5 Extra High（不用 Pro，「太慢了」）。→ 详细

• Codex 那边思考一分钟就找到了 CFTR 上与该缺失一致的突变模式，答案正确。判分怎么做？「实际做法多半是再上一个 LLM」——让它拿评分卡（scorecard）里的标准答案，去跟模型这段回复做比对。→ 详细 → 详细
• 出乎他意料的是 Haiku 没做出来：它说「这个基因上跨了 48 个变异」——盯到了基因，却定位不到具体那一个，而且还幻觉出了一个「半合子大片段缺失」。→ 详细 → 详细
• 这个意外恰恰印证了「先从简单的开始」的价值：「幸亏我先跑了这一步——因为如果我要给 Haiku 做基准测试，这道题对它来说就是太难了，我还得再往简单里改。」往简单改的手段他给了三条：把要关注的基因组区域限定得更窄、多给点提示、让它更容易拿到外部信息。→ 详细
• 表格里就记一笔：Haiku 差，另外两个好。→ 详细

• 简单题跑通之后必须把天花板也立起来——难的那头模型到底行不行。理由很直接：「如果测试集已经完全饱和了，那这个 eval 还有什么意义？任务早就解决了。」→ 详细
• 他挑的难题来自去年一篇论文《解析先天性心脏病的双基因（digenic）架构》：先天性心脏病是婴儿一出生心脏就有问题，digenic 指它牵涉两个基因。单基因单变异的病（如囊性纤维化）很多机制已经完全搞清楚，而双基因遗传病是人们才刚开始研究的东西。→ 详细 → 详细
• 论文补充材料里有张表，列的是一批 proband（先证者，医学术语，指你正在评估的那个病人）和他们的双基因致病组合。他取的那位患者是 ACACB（het，杂合、只带一份该变异）+ MYOCD（同样是 het）——研究者发现正是这两者的组合导致了先天性心脏病。→ 详细 → 详细
• 难在哪：两个不同基因上的两个杂合变异共同导致同一种病。理论上论文已发表、agent 应该能上网搜到，但「现实没那么简单，它们并不完美，实际上需要大量的引导」——这正是为什么会有一批公司（包括他自己那家）被叫作 harness engineering 公司（给模型搭脚手架的公司）、垂直 AI 公司或 agentic AI 公司。→ 详细
• 还有句很能说明现状的话：这些变异的记法五花八门、你必须去适应，因为现阶段的 eval 大多落在非常技术、非常专精的领域——「毕竟没人会去给『冰淇淋口味』这种无聊的东西做 eval」。→ 详细

• Aakash 问了非确定性的问题：需不需要同一个模型多测几次，看是不是三次里有两次对？Daniel 说这本质是采样（sampling）问题，核心论点是「正确答案可能就存在模型权重里，只是它未必每次都能把它取出来」，所以做 eval 确实应该多试几次；RL 环境做的也是这件事——不断 rollout，直到拿到正确答案就给一个正向奖励。→ 详细 → 详细
• 但他给的现状判断是采样重要性比过去低了：「同一个 prompt 反复跑同一个模型，我没怎么见过答案会变。」不过仍建议你针对自己的场景去测一测。→ 详细 → 详细
• 他讲了个「当年采样是件大事」的故事：2023 年大家都觉得 Google 在 AI 竞赛里出局了，Google 发布 Gemini Ultra（他自己就参与过这个模型），约 6600 亿参数的稠密（dense）模型，当时训练过的最大稠密模型之一。成绩单争议极大：GPT-4 当时 MMLU 拿 86.4%、用的是 5-shot（采样五次挑最好的），而 Gemini Ultra 用的是 32-shot——「射门机会多得多」，他直接说「这有点像作弊」。他自己也补了句严谨的：那里的 shot 也可能指 few-shot 示例数而不是采样次数，但不影响道理——多采样几次，蒙对的概率自然就上去。这事今天已经不算大话题，各家实验室基本不再公布。→ 详细 → 详细

• GPT-5.3 Spark 最先跑完，完全答错：它找出 TBX1、MYH6、JAG1 一堆变异，「这些根本不是我们关心的基因，这些变异压根不相关，也没有高置信度的变异」。Haiku 同样完全跑偏——不意外，它连简单题都错了。→ 详细 → 详细
• 意外的是 ChatGPT 5.5 extra high 这次答对了：它把「先天性心脏缺陷」这个表型，转化成了对一篇非常具体的论文的检索，再从论文里把双基因组合提取出来——他评价这条推理轨迹「相当漂亮」。→ 详细
• 更有意思的是，这恰好推翻了他几分钟前刚下的判断。他自己当场承认：「这正好是个绝佳的例子——它在第二次采样时给出了不一样的结果，而且做对了，因为我之前试过一次。我们刚才不是还在聊采样嘛。」→ 详细
• 他此前的剧透是「这题地球上没有哪个模型能直接做对，除非配上一套非常非常强的 harness」（他正在做的就是这套强 harness）。既然 5.5 做对了，那结论就是：「如果我要专门给这个模型做基准测试，我就得再去找一道更难的题。」→ 详细 → 详细

• 第一，判断够不够格发：「如果你只得 50 分，够发布吗？大概率不够。」→ 详细
• 第二，拆开看强弱，给产品加护栏：往下看「我在哪些表型上表现更好」，然后「给产品加护栏（guard rails），只让它回答那些能拿到 80 分的问题类型」。他特别点名了这一步的归属——「这是个产品决策，是产品经理该做的决策」。→ 详细
• 第三，把所有困难题打包丢给研究团队，原话是：「兄弟们，这些你们没做出来，去把模型修好，或者把 harness 修好，让它以后能答对，这样我才能把带这些能力的产品发出去。」→ 详细

• Aakash 的总结一句话到位：「所以它就是一张表格而已。而这里真正关键的是领域上的专业知识（subject matter expertise），跟怎么写、格式如何都没关系。你今天没有给我们一个 eval 模板——不像我们以前会给大家一份 PRD 模板那样。真正驱动这一切的，是领域专业能力。」→ 详细
• Daniel 完全认同，并顺手给 eval 工具这条赛道下了个不留情面的定位：过去这些年一大堆公司都在做更好的 eval 工具，他不否认工具有存在必要、能改进的地方多得是，「但当你像刚才那样去构建 eval 时，它字面意义上就只是：prompt、回答，以及一套判断回答对不对的打分方式」。→ 详细

• 第一条建议是先找一个做过的人带你走一遍。他反复强调这事「看着简单，其实有陷阱」（deceptively simple），今天讲得这么简单是因为只有 45 分钟；「说实话我也不知道它为什么会这么复杂——我跟很多人聊过怎么做 eval，但它就是有一种偏『品味』、偏微妙的东西在里面」。→ 详细
• 第二条是把思考前移到第 0 天。他编了个例子：你在 Pinterest 做图像生成，要的不是那种一眼假的 AI 垃圾图（slop），而是真能取悦用户的图。那从第零天你就得想：成功长什么样？Pinterest 的用户有什么独特之处？他们想看到什么？→ 详细 → 详细
• 第三条是本期最可迁移的一句：你不能只在 PRD 里写一句「用户想要漂亮的厨房」就完事，你必须明确定义什么叫「漂亮的厨房」——而且不是用文字定义，是用示例（examples）定义，再配一套给这些示例打分的方法。 他说这是你着手做一个新 AI 功能时第一件该干的事。→ 详细
• Aakash 顺着补完了闭环：就像 Daniel 为了做基因组把自己的专业度硬拉起来一样，你也得去学、去找那些做过图像 eval 的人聊「这类图像的 LLM-as-judge（用大模型当裁判打分）是怎么搭的」——那些东西才真正成为你 eval 的基础。→ 详细

• 他在开场就把话说得很重：「从职业发展的角度看，PM 现在的处境其实挺难的。普通 PM 干的活无非三样：协调资源、鼓舞团队、做分析。但这几样，AI 做起来都不难。」→ 详细
• 结论也很硬：「以后每一个 PM 都会开始做 AI 功能。不懂这套东西，你根本没法继续当 PM。」→ 详细

• 他先加前提：那篇对比文章是两年半前写的，离开 Google 大概三年半了。「我在 Google 那会儿，Google 简直是家『死掉的公司』，股价跌到了 80 块左右，现在大概是三四百块。」他在 Meta 是「回锅」的（boomerang，离职后又回去），前后加起来待了七年，见过剑桥分析（Cambridge Analytica）那种低谷、Llama 3 惊艳众人的高峰、再到 Llama 4 让人失望的低谷。→ 详细
• 差别的根源：Meta 文化激进得多，源自 Zuckerberg 的创始人式领导——「他是最后一个还在亲自掌舵 FAANG 级别公司的创始人，手握绝对控制权，想干什么就干什么」（他补了句「好吧，除了 Elon 之外」）。双刃剑：好的时候是「这件事对我极其重要，公司所有资源都给你，放手去做」；坏的时候是一句「你们这帮人全都不行，去找新工作吧」，整个 Llama 团队基本就散了。→ 详细 → 详细
• 和本期主题扣得最紧的一句藏在这里：「我以前做过 Llama。Llama 出了问题，而我认为最核心的问题恰恰出在它是怎么被评估的。挺讽刺的吧。」（他补充「那几封邮件很关键，想了解那段故事的话，自己去 Google 一下」，并强调「那事跟我没关系」。）→ 详细
• 对两家的整体判断：Google 更讲共识驱动，「Google 的产品管理职能弱得多，至少我在的时候是这样」；外界一般说 Google 是工程驱动、Meta 更偏产品驱动。他个人更偏爱创始人信念极强、说了算的公司，对 Mark 有非常高的敬意（「我只见过他几次，但每次都是『哇，这人是真聪明』的感觉」），也承认这种模式会带来一堆问题。→ 详细

• 公司叫 Gamoff Labs（按字幕原样记，此处拼写识别存疑）。目标是让全基因组测序低门槛进到全世界每一家 NICU——「临床证据和经济性证据都压倒性地证明它有效，问题在于它实在太难、太贵」，所以现在只能在 Stanford、Boston Children's、CHOP（费城儿童医院）这些世界最顶尖的机构看到它在用；他希望它出现在「阿肯色州的乡下、印度的乡下、中国的乡下」。→ 详细
• 核心判断是解读基因组过程中大量的人工工作可以被 AI 增强，而且已经有产出：用自建系统「已经证明能识别出此前从未被发现过的变异」，还让一个家庭敢生孩子了——「他们以前不敢，因为不知道病因」。规模还很小，五周前才开始，刚融完 pre-seed 轮，正在招人，接下来要造一套罕见病和基因组医学的「操作系统」。技术上他认为这件事本质就是「打造最好的 agentic harness」。→ 详细 → 详细

本期没有固定的闪电问答环节，收尾集中在两点。

• Aakash 的观察：这条路已经成了模式。「我知道我的听众里有不少人想成为 Meta、Google 那样的 AI PM，而这往往就是之后的下一步。我们老说『别人家的草更绿』，但走到某个节点，我看到的那些 Meta、Google 的 AI PM 都跟 Daniel 一样——出去开自己的公司。」他强调有意思的地方在于，前面那段做 eval、啃 AI 的经历恰恰是在为这一步做准备——你能看到 Daniel 做 eval 的功夫和对 AI 的深度理解，现在全都用到了他自己的创业上。→ 详细
• Daniel 的临别一句： 「Meta、Google 以及其它所有大公司，在 AI 时代都必须重新发明自己。如果你在这些公司里面，看着这套经典的『消费级软件生产流水线』是怎么被改写的，会非常有意思。但如果你出来创业、自己做，你就能从零开始造未来。而有时候，那反而更容易。」→ 详细
• 他也顺带提了句招聘：新公司团队很小、正在招人，「如果你感兴趣，非常欢迎来找我聊」——字幕里没给出具体联系方式。→ 详细