专栏 · AI 时代的产品经理 › 第 110 期 · AI 产品 · 收录于 2026 年 8 月 15 日
为什么造 AI 的人也说不准下一步——Dianne Penn(Anthropic) DP
Dianne Penn · Lenny's Podcast
5.8万 观看
889 赞
1.5% 点赞率
58 评论
63万 频道订阅
数据截至 8 月 27 日
▶ 双人对谈 · 本期速读电台 00:00 / 58:30
1× TL;DR · 三句话
一 连造模型的人也说不准下一步会发生什么 ——能力是「不连续地跳」上来的(模型可能一夜之间从算不对 1+1 变成稳定算对),而没有 eval,你根本不知道这次跃迁已经发生了 。所以这行的核心功夫不是预测,是「适应力 + 第一性原理」:新信息一来,你敢不敢当场推翻原计划。→ 详细 二 「evals 就是新的 PRD」 ——PM 的活儿从「写文档描述要做什么」变成「读对话记录、把模糊抱怨拆成可复现的失败模式、写成能跑分的测试集交给研究团队」。最经典的例子:早期用户抱怨「Claude 不听指令」,深挖之后发现约 80% 其实是 JSON 格式写错了 。→ 详细 三 PRD 没死,但它退回到了它真正擅长的两件事 :让一大群人(工程、法务、安全)对齐同一份事实来源,以及在没有现成痛点的模糊机会上做愿景探索;而人脑接下来最值钱的东西是判断力 ——AI 能造的东西太多了,「到底该造哪一个」这题它替不了你。→ 详细 01
三年前的 Anthropic:五个产品工程师,整个 API 业务只有一个人
嘉宾 Dianne Penn 是 Anthropic 的第一位技术产品经理 ,2023 年加入时产品团队只有 5 个产品工程师,「整个 API 业务只有一个工程师,你敢信」。她从 Claude 2 一路参与到 Fable 的每代模型发布,也孵化过 Claude Code、MCP、Skills、Claude Design,以及 computer use、tool use、reasoning 这些底层能力。→ 详细
Lenny 回忆当时外界的普遍判断是「这帮人没戏了,OpenAI 领先太多」;而现在 Anthropic 的年化收入(ARR)据报道已到 500 亿美元量级——「以前公司上市才是这个体量」。→ 详细
早期公司一直在找自己的定位:技术是一块,但「这项技术怎么给用户、给社会创造价值」是另一块。起点和别人一样是个聊天助手 Claude.ai,然后才慢慢长出 tool use 这类东西。→ 详细
02
Golden Gate Claude:只触达两千人的「隐形拐点」
2024 年初 Anthropic 发了一篇可解释性研究:模型内部存在一些「特征(features)」,对应特定主题——比如「用要点列表写东西」「人物和地点」,其中反复出现、最有共鸣的一个是金门大桥 。把这个特征调高,Claude 就会对金门大桥着魔:你问它意面菜谱,它会顺口说「那个橙色跟金门大桥的国际橘一模一样」。→ 详细
团队在 24 小时内 把这个体验搬上 Claude.ai,工程、产品、设计、研究一起上,只在线了大概 24 小时,「说实话最后可能只触达了两千个人」。但 Dianne 说这是个隐形拐点——它第一次证明「我们真的能做出跟竞品不一样的产品体验,用属于自己的方式把研究成果展示出来,而且是创业公司那种速度」。→ 详细
整件事是彻底自下而上 的:工程师、设计师主动捐出自己的时间来做。她拿这个例子说明早期文化,并强调「文化和价值观从那时到现在基本没变」。→ 详细
03
Opus 3:不到 200 人、圣诞假在父母家连线训模型
第二个转折是训练和测试 Opus 3(2024 年 3 月初发布)。当时公司还不到 200 人,但所有人都清楚「我们需要、也想要做出一个前沿模型」,因为外界一直在问一个核心问题:别人凭什么要选 Claude? → 详细
她记得那年 12 月,自己和几位研究负责人各自回了父母家,视频里能看到每个人身后是儿时的房间,所有人都在拼命琢磨「我们到底要把模型训练成什么样?它现在的表现对不对?」。那段共同经历攒下的信任,让今天产品和研究之间的协作依然顺畅——「因为早期我们真的是一起在战壕里泡了那么久」。当年那批研究负责人,现在分别在带强化学习、模型人格(character)和对齐工作。→ 详细
04
押注 coding:一个「训练改动不大、差异化巨大」的判断
「2023 年我刚来的时候,没有人会把 Anthropic、Claude 和写代码放进同一句话里 。」当时 GPT-4 也有人拿来写代码,但那只是众多用例之一。→ 详细
Dianne 观察到的信号很具体:用户已经不只是拿模型做代码自动补全 ,而是在写成段成篇的长代码 。于是团队问:这是不是一个机会,值得把 Opus 3 往这个方向多训一点?→ 详细
结果是「从训练角度看这个改动其实相对不大,但它在早期帮我们做出了竞争差异化」 ——带来了第一批 Claude 死忠开发者,「因为我们提供了一种他们当时觉得根本不可能实现的价值」。这是全片最典型的一个「判断力 > 工作量」的案例:真正值钱的不是那次训练,是那次看信号的判断。→ 详细
05
Opus 4.5 × Claude Code:前沿模型和前沿产品互为条件
团队里常说一句话:「你得先有前沿的产品,才撑得起前沿的模型,才能让人真正感受到前沿模型的魔力。」 → 详细
Opus 4.5 的高光时刻是两件事共振的结果:模型的智能终于到了能让广泛用户「以 agent 的方式端到端把事情跑完」的程度,而 Claude Code 提供了那个载体。她的原话是:没有 Claude Code,Opus 4.5 不会有那个时刻;没有 Opus 4.5,Claude Code 的采用速度也到不了那个量级。 → 详细
06
能力是「跳」上来的:没有 eval,你不知道跃迁已经发生
大家熟悉的 scaling law 是那条平滑曲线:算力和数据越多,下一个 token 预测的损失(loss)越低,模型越聪明。但 Dianne 提醒,同一批论文里还有另一类图——涌现能力(emerging capabilities)是不连续地跳上去的 :模型可能从「1+1 都算不对」,一下子变成「稳定能算对」。→ 详细
这就带出全片最关键的一句因果:「如果你没有那个 eval、没有那套测试系统,这些跃迁可能已经发生了,而你并不知道。」 这既是产品机会问题,也正是安全问题变难的根源。Lenny 接得很好:「你可能已经造出了一个 AI 大脑,它能做的某些事情你自己都还没意识到——所以工作的一部分就是去发掘:我们在这件事上突然变得很强了,那能拿它干什么?」→ 详细
因此她给「身处指数曲线内部」的应对法是两条:一是适应力 ——「当新信息摆到你面前时,你是继续照原计划走,还是据此做出更好的决策」;二是第一性原理推演 ——问「那又怎样?这意味着什么?」,然后把本来预计几个月后才做的计划直接提前,因为模型现在真的能做到了。Cowork、Skills、Tag 就是这么冒出来的。→ 详细
她还点了一个组织层面的难处:有些团队会比其他团队更早、更强烈地感受到这条曲线 ,所以要有「那份耐心和体面,把不断变大的组织一起带上路」。→ 详细
07
「能力过剩」是当下最大的机会:不是模型不够强,是你还没挖
她用 PM 的话给这个现象起了名字:product overhang / user overhang(产品侧、用户侧的能力过剩) ——意思是模型已经具备的能力,远超今天产品用到的、用户知道怎么用的部分。「即便是在今天已有的 Opus 上、尤其像 Fable 这样的新模型上,还有很多东西是我们可以去挖的。」→ 详细
Lenny 引了 YC 的 Garry Tan 一个说法作为对照:「如果你现在就愿意一年在 token 上花十万美元,那你过的就是 2028 年的人才会过的生活」 ——因为到那时这些会变得非常便宜,人人都能这么干;而现在你有一个「提前住进未来」的超额收益窗口。→ 详细
Dianne 对「token maxing」的修正很关键:token 花销是输入,真正的产出是实验 。「如果我们把目标设在实验上,可能是对结果更好的一种表述方式,而达成这个结果的路径也可能不止一条。」——换句话说,别把「烧了多少 token」当 KPI,要把「跑了多少次有效实验」当 KPI。→ 详细
但她也承认硬条件:公司内部最有创造力的人、最会做原型的人,确实每一版新研究模型出来都花大量时间跟 Claude 待在一起 。「在技术变化这么快的时候,不上手碰这项技术,是很难想出一个完美战略的。」以及那句被剪进片头的话:「你打磨 token 得跟打磨像素一样上心。」 → 详细
08
公开做实验:发现新用例不是个人运动,是群体活动
Anthropic 内部有个从早期延续下来的习惯叫 working in public(公开地工作) 。产品界面还很少的时候,有一个 Slack 频道,几乎全公司的人都在里面测试 Claude 的早期版本——「大家当时不会管那叫『用例』,但你可能是在让它改一篇文章,或者让它帮你想怎么把这封邮件写得更得体」。→ 详细
关键机制在于接力变异 :一个人抛出一个想法,别人去试这个想法的各种变体,「大概十来次请求之后,就会冒出某个很神奇的东西,或者一个全新的用例」 。她由此下了个判断:「实验并不一定总是一项个人运动。」 我们其实可以更主动地把「群体性的发现」设计进实验流程里。→ 详细
内部至今仍在跑这个循环:某个特别好奇的人分享了一个新原型,一下子带动一大票人——「哦,原来现在用 Claude 还能这么玩」。→ 详细 Lenny 补充说这也是 Twitter 在这件事上格外有用的原因:看别人分享做出来的东西,会激发你自己的小想法。→ 详细
但她也划清了边界:大方向上「我们知道模型能写好文章、能做长文本写作」,可具体有哪些真实痛点它能解决、怎么做到用户真正用得起来的程度,这部分只能靠探索和实验 ——不是想出来的。→ 详细
09
Labs 怎么运作:只押「不连续的大赌注」,对方向固执、对做法松弛
Labs 的核心命题是识别并深挖那些「不连续的大赌注」——那些可能压根不在核心路线图上的东西 ——然后判断它到底成不成立,以及如果成立,它的 10 倍、100 倍、1000 倍形态长什么样。产出包括 Claude Code、Skills、Claude Design、MCP。→ 详细
当下能做的事太多了,所以他们今年的操作原则是:对主题、对方向持有非常坚定的观点,但对具体做成什么原型保持相对松的态度 。有时候一个判断当下跑不通,那就「等一到两代模型之后再回头看」。→ 详细
一个反直觉的价值主张:原型本身就能让你学到东西,哪怕它从没变成能发布的产品 。这也是 Labs 能替公司「提前看到拐角后面」的原因。→ 详细
组织上的三条经验:一是小组极小 ,「有些想法一开始就只有一个工程师在做」,因为「一个特别大的团队去追一个非常模糊的大想法,反而会因为人多而变慢」;二是招人专挑真正想做 0 到 1 的那种性格 ;三是接受砍掉赌注很难 ——「你其实是在以创始人的身份押一个赌注,而它暂时还没跑通」。→ 详细
10
PM 和研究员怎么对接:把「Claude 胡编」翻译成研究员能下手的东西
研究员的日常大致就是「提假设、找数据、调算法、跑训练、看结果、再迭代」,但 Dianne 补了一层:研究组织同时有一个更长期的愿景层 ——「公司刚成立那会儿,研究员就已经在讨论:怎么让 Claude 会用电脑?」她形容顶尖研究员身上有「一股很像创始人的劲头」。→ 详细
她团队的位置是深度嵌进这些循环里 ,尤其是对用户影响最大的方向:视觉、computer use、写代码、agent 写代码、tool use、test-time compute(推理时算力)。核心任务是「把用户反馈转译成研究员看得懂、也下得了手的东西」——这是这份工作里最大、也最难的一块 。→ 详细
最好的示范是那个「幻觉」的例子:用户在 Claude.ai 上留一句「Claude 胡编乱造 」,你要是直接跟研究员说「请把幻觉问题修一下」,根本没法落地 。所以团队会去调(用户授权的)完整对话轨迹,逐层分诊:它当时本该调用工具却没调 (→ tool use 的失败)?还是文档找对了但引用错了里面的事实 (→ 搜索与结果综合的失败)?还是 alignment 的问题?→ 详细
拆到这个颗粒度之后,再判断「这个问题够不够大」,再设计 eval 来衡量到底有没有改进 。她把这整件事概括成一个目标:缩短「发现问题」到「能动手改」之间的距离 。→ 详细
11
「evals 就是新的 PRD」:抠 token 要像抠像素
招 PM 的第一条标准是第一性原理思考 ——「不是把你在消费级产品或 B2B SaaS 里那套模式直接套过来,而是真的去想:在此时此刻、面对这群用户、用这项技术,用户价值到底是什么」。(顺带一个反直觉数据点:她团队的招聘流程三年没变过 。)→ 详细
她举的「什么才算真的第一性原理」的例子,就是这句团队口号:一般 PM 理解自己的日常是「写 PRD、写产品愿景文档」,但对研究向 PM 来说,推动用户价值的方式是找对用户反馈、做对 evals ——「evals 才是那份用户需求的具象化 」。第一性原理思考就是:先想清楚为了达成目标到底该做什么,而不是「我以前一直干这些事,所以我接着干」。 → 详细
起点仍然是理解用户痛点,但触达痛点的方式变了 :过去做用户访谈,挖得深会让用户带你走一遍操作流程、抠到像素级;现在——「你得像抠像素一样去抠 token」 。团队的日常动作是读对话 transcript,非常深入地看那些失败的 trajectory(轨迹) :这是幻觉?还是 Claude 过度自信?「失败的类型其实有很多细微差别。」→ 详细
搞清楚之后,你才能把痛点稳定地描述出来 ,而这个描述本身基本上就能变成一个新的 eval。接着还要检查这个 eval 是不是 on distribution(贴合真实分布) ——它既要覆盖真的会失败的情况,也要覆盖那些本来就不该失败的情况 (否则你会训出一个矫枉过正的模型)。→ 详细
最后是可度量:把它交回研究团队之后,「等 Opus 5.5 出来,这一块到底有没有变好?Claude 现在能不能在文档里定位到正确的地方、抽出正确的综合结论?」——你没法改进你衡量不了的东西 。她还强调这项技能正在外溢:「我也跟其他公司的 PM 聊过,我认为它正在更广泛地成为一项必备技能」,因为今天的产品都处在「模型 + harness(外壳/脚手架)+ 一组面向特定用户的上下文」的交叉点上 ,而且「这件事到今天仍然非常靠手感、非常依赖判断,所以你必须贴着细节」。→ 详细
12
那个 JSON 案例:80% 的「Claude 不听指令」其实是格式写错了
这套做法是 Anthropic 内部最早跑通的。早期的 Claude 不太会遵循特定 schema,比如按 JSON 格式输出 ——而这恰恰是今天 Claude 能当好一个 agent 的地基:「你如果输出不了指定格式,就不知道怎么访问 API、没法调用工具」。→ 详细
起点是 Claude 2 时代一条很虚的反馈:「Claude 不太会遵循指令」。她的追问方式值得逐字抄下来:「你说『Claude 不听指令』具体指什么?给我讲讲是在什么场景下发生的,到底是哪一段?你问了什么?Claude 又回了什么?」 ——细到这个颗粒度。→ 详细
结论令人意外:早期大家说的这类失败里,大概 80% 其实是 Claude 没写出正确的 JSON。 一个听上去像「模型智能不够」的抱怨,真相是一个格式问题。→ 详细
然后是极其朴素的落地动作:先攒 30 到 40 个 Claude 做错这件事的例子 ,这批例子本身就是 eval 集(一个 prompt + 一个 response,对照手里的标准答案 golden answer 跑不通就说明这个 eval 有价值——它能稳定复现痛点)。加进 eval 仓库后,每出一个新版本 Claude 都跑一遍 。「到今天基本永远是 100%,或者 99.9%,已经不再是痛点了。」→ 详细
Lenny 一句话点破这套工作流的本质:「这基本上就是 PM 版的测试驱动开发——先写测试。」 完整流程是:接住反馈 → 搞清楚他们真正想说什么 → 能不能复现 → 是不是稳定出现 → 是不是个大问题 → 标准化成研究员能直接消费的形式。→ 详细
13
PRD 死了吗?没有,但它退回到了两个它真正擅长的位置
Lenny 直接问「你们现在还写 PRD 吗」,Dianne 的回答是还写 ,只是用法变了 。当问题已经定义得很清楚时,「eval 这类东西几乎可以当成一种速记」——能用 eval 说清楚的,就别写文档 。→ 详细
第一个仍然非 PRD 不可的位置:让一大群人对齐。 PRD 是个很好的载体,「能让一大群人在『体验是什么、目标怎么定』这套事实来源上对齐」。所以每做一个模型他们其实都写 PRD ——但注意这份 PRD 不是给研究员看的 ,而是给不断扩张的产品面、工程团队,以及法务、安全这些 stakeholder 看的,作用是「让一大群人朝同一个方向划船」 。→ 详细
第二个位置:更模糊的问题和机会。 像 computer use 这种还没发布过的东西,「我们手上不一定有一堆现成的具体用户痛点」——这时 PRD 里「产品愿景」那部分 就有价值了:去探索「哪怕这项技术还没成熟到人人可用,你怎么让它先在某一小群人身上跑得很好」。→ 详细
这个结论是有交叉验证的:Lenny 说他前不久刚聊过 OpenAI 那边负责 Codex 应用的 Andrew,说法完全一致——PRD 没死,对特定的项目和想法依然很有用 。→ 详细
14
管理者必须自己动手:资深 PM 的 onboarding 和应届生一模一样
这是她全片态度最硬的一段,专门针对职业中期的人和坐在管理岗上的人 :「要想带好团队、带好做这项技术的 PM,你自己必须非常 hands-on,而且不只是花时间玩一玩,是真的用这项技术发过东西」 ——同样扎进细节里,跟你的 PM、你的工程师一起去抠 token。→ 详细
具体到制度上:她招进来的资深 PM,onboarding 计划跟一个刚入行的人完全一样 ——理解用户、读那些经用户授权的反馈、跟客户聊。理由很直白:「如果一个人自己没经历过从零把东西建起来,他不一定能认同、甚至不一定看得出来一个好的 AI 产品该长什么样。」 → 详细
她自己也照做:每次做模型都刻意留出时间,亲自认领一到两条工作流 ,目的是「保住我对模型的 theory of mind(对它怎么想事情的直觉)、保住我对模型在往哪走、进步有多快的手感——这样我才能帮团队做出更好的决策」。→ 详细
Lenny 把这条翻译得更狠:「不管你在公司层级里处于什么位置,如果你自己不动手建东西,你是撑不下去的。」 Dianne 补了另一半:你还得享受这件事 ——「不管什么级别,最成功的那批人,都是真心喜欢跟 AI 一起工作的人」,而且腾出的时间不只是做实验,是端到端亲手把东西发出去、拿到用户反馈 。→ 详细
15
怎么在这行里保住乐趣:结对 + 只深挖一两个
面对「我烦死了、被推着用 AI、变化太快我很累」这种状态,她的第一条建议还是那句:做实验不是个人运动 。她自己「差不多摸过每一个版本的研究模型、二十来个版本的正式 Claude」,但乐趣有一部分来自看别人也发现了新用法 。→ 详细
具体动作是结对 :找一个已经很兴奋的人,围绕一个你真正在意的用例一起搞,而不是自己一个人去找那个「完美用例」 ——「后者感觉像工作,而跟别人一起搞,很多时候感觉像快乐」。→ 详细
第二条是收窄 。她坦白:「外面新出的原型和产品实在太多了,我根本追不过来 ,所以我给自己的取舍是:挑一两个,自己往深里钻 。」两条路(结对、或找一件能立刻见到价值的事)的共同点都是「往深里走,而不是浮在表面、什么都碰一点」。→ 详细
Lenny 拿出了一个外部数据点印证:他和同事 Noam 做过一次读者调研,问大家怎么看当下 AI 带来的变化,最有意思的结论之一就是「幸福感来自在一两件事上深挖,而不是同时铺开一堆小事」 ——因为人真正高兴的时刻,是终于摸索出一条让 AI 切实改善生活的路子,「而不是手里攥着一堆半残的、勉强能跑的破玩意儿」。→ 详细
Dianne 把这件事重新定义成一个 PM 问题:关键是别让它变成「打个勾交差」 ,而是「对自己时间和精力做一次产品优先级排序」 ——如果目标是「带着乐趣去实验」,那你需要哪些输入条件?→ 详细
16
她自己怎么用 Claude:一个基于《关键对话》的管理教练 skill
她提出一个大多数人忽略的用法方向:AI 不只该用来提升产品的 IQ,也可以提升你的 EQ ——「拿它来把彼此之间的对话谈得更好、把管理者当得更好」。→ 详细
具体产物:她专门做了一个 skill ,把《关键对话》(Crucial Conversations)这本书的方法装进去,用来帮自己判断——「面对眼下这个情境,我切入的颗粒度对不对?」 Lenny 确认了做法之细节:不用把书喂给它,模型对这本书本来就足够熟,你只需要告诉它「我马上要跟某位同事进行一场很难的对话,给我一些建议」。→ 详细
她对效果的描述很克制、也因此可信:「几乎就像有一位私人化、个性化的教练」 ,而且「也有些时候我最后并没有采纳 Claude 的建议,但光是拿它来做头脑风暴、把思路先跑一遍,就已经很值了」 ——她会问它:我对对方反应的预判合理吗?怎么能更快聊到深处?怎么更快建立信任?怎么把话说得更直接?→ 详细
这个用法她现在会主动分享给团队里其他管理者:「怎么真正用 Claude 让自己成为一个更好的教练」——理由是「有时候你很难找到那个刚刚好的措辞,而模型手里有大把恰到好处、分寸得当的表达」。她另外还提到 Claude Tag 代表了一种新范式:让 agent 自己跑出去干活,再把成果带回来给你 。→ 详细
17
怎么不让 AI 接管你的思考:先有观点,再交出去
被问到「脑子退化/思维萎缩」的担忧时,她给的是一条按场景分流 的规则,而不是笼统的「少用 AI」。前提是她的自我认知:「对我个人来说,思考的过程和写作的过程是绑在一起的。」 所以她要守住的一条是:别让 Claude 把我全部的思考都接管过去。 → 详细
第一类(要保住判断力的事) :先自己形成一个观点,再拿着它去和 Claude 打磨 ,并且「确保从头到尾保住我自己的语感和语气」。Lenny 把这条提炼为:先想、先有 POV,再把 Claude 当陪练来推进和反驳。 → 详细
第二类(该整个交出去的事) :比如每月的 monthly business review(月度业务回顾) ——这种场合她「反而希望它是标准化的」,也做了对应的 skill。她的判断标准非常锋利:「月度业务回顾里,『写』这个动作的价值,相比『想』这个动作是不对称地低的」 ,那就该把「写」完全交给 Claude,自己退到审阅者和校验者的位置 。→ 详细
由此她给出全片最好用的一把尺子:判断该不该交给 AI,就看这件事上「把它交出去」是否存在价值的不对称 。顺着这条线,她还把「AI 味」这个老问题重新框了一遍:与其纠结「是不是 AI 写的」,更合适的视角是可验证性——「谁来验证、谁来签字背书,这件事变得比谁写的更要紧」 。→ 详细
18
一个只会附和你的 AI 是没用的:主动性 = 知道什么时候该反驳
「你最不想要的,就是一个只会顺着你说的 AI。」她把这件事和 Anthropic 的对齐/安全研究直接挂钩:「有时候让 Claude 来反驳我,反而让我变得更好……就像同事一样,当我的想法还没成型时,我希望有人能顶我一下。」 → 详细
一个很「套娃」的实例:她用 Opus 的一个研究版本,让模型自己去想「下一版 Claude 该怎么定价」 ,用它来检验团队的定价决策做没做对。她的落点是:AI 不该只是助手、只是执行者、只是被派活的对象,它还得能判断「现在做的这件事对不对」 。→ 详细
顺带一个对「主动性」的重新定义,很值得抄进任何一份 agent 设计文档:「所谓主动性,并不一定是把安排给你的事做完,而是知道什么时候该提出一个新想法。」 而这与「知道什么时候该反驳你」是深度绑定的,是模型人格特质里很核心的一块。→ 详细
她给「思考搭档」定的及格线也高得刺眼:「一天下来,因为和 Claude 一起工作过,你的想法应该变得更好了。这才是该追的核心目标,而不是把你的想法改进 10%。」 Lenny 接了一句时代注脚:以前创始人推团队是「想大 10 倍」,现在的问法变成了「这个想法的一千倍版本长什么样」。→ 详细
19
「假设 Claude 8 出来了」:把「更有野心」变成一道可回答的题
「把野心放大一点」现在是句烂大街的话,Lenny 吐槽说说起来容易、做起来太难——难就难在你到底能把事想多大 。Dianne 给的解法是把这句空话降维成一道具体的题 。→ 详细
那道题是:「假设 Claude 8 出来了,用户的行为会发生什么变化?那这对你今天该怎么搭这个产品意味着什么?它能不能兼容到那个未来的体验?」 她说这是自己做产品时反复问团队、也反复问自己的问题——因为技术跑得太快,你必须确保今天做的东西是「向前兼容」的 。→ 详细
配套的姿态是那条贯穿全片的原则:把这件事从头到尾想通一两遍,然后在「方向」上很固执,在「具体怎么做」上保持松弛。 「『有野心』这个词太宽泛了,所以我们试着用这种方式把它落到实处。」→ 详细
20
什么样的人在这条路上跑得出来(研究员画像)
最成功的那批研究员和研究负责人有三个共同点:极强的第一性原理思考 (面对问题能一层层推理下去)、对自己方向真的有热情且能把终局讲得很有野心 、以及贴近细节 ——「我们的首席科学家、负责 fine-tuning 和强化学习的几位,是真的会盯着训练跑得怎么样、evals 表现如何、底层数据长什么样」。品味(taste)就是这么练出来的。 → 详细
第四点是敢想大:「就像 Dario 说的,我们可以彻底改变软件工程……很多时候你的想法就得往星星上射。」→ 详细
21
AI 为什么还写不好?因为能力是「参差不齐」的,而写作刚排到队
Lenny 的困惑很在理:它明明叫大语言模型 ,怎么偏偏一读就知道是 AI 写的。Dianne 的解释是技术能力是 jagged edge(参差不齐的锯齿边) :曾经模型写作还行但不够 agentic,于是优先解决「怎么让它更 agentic、更会调对工具」;那块改善之后,其他方面就成了新的毛边 。→ 详细
也就是说,写不好不是天花板,是排期问题 ——「写作现在正处在这样一个节点:我们得真正把注意力和优先级放上去」,而这是她团队和研究侧眼下投入非常大的一个方向 ,语气和人格(tone and character)是有明确优先级的 。她预测等这块提上去,下一个问题就会变成「怎么让 Claude 更主动」。→ 详细
22
Fable Mythos 之后:模型越强,发布这件事越重
以前是「模型做好了就发布,大家好,人人可用」;Fable Mythos 走的完全是另一条路——被拦住、被大量审视,各方都要先确认它不会黑进自己的系统 。政策和出口管制那块她留给专门的同事,只谈产品侧。→ 详细
产品侧的结论是:前沿模型能力越强,安全防护、red teaming(红队演练)、测试和发布前流程也得跟着快速演进 。一个具体产物是兜底系统 ——用户即便撞上限制,仍然能从 Opus 4 拿到很好的回答;这套东西现在叫 model safeguards package(模型安全防护包) ,接下来几周几个月还会持续迭代。→ 详细
Lenny 点出一个耐人寻味的二阶效应 :最先进的模型只有少数公司碰得到,反而给各家实验室造出了一种「不公平优势」。Dianne 的回应是这并非他们所愿 ——「对于通用型的技术,我们并不希望出现那种局面,希望它更可及;这其实是我们现在最优先的事项之一 」。→ 详细
23
人脑接下来最值钱的地方:判断力、韧性、主动性
被问到「在走到 AGI 之前,人脑在哪儿最有价值」,她的第一个答案是判断力 。理由很硬:判断力是「大量微妙细节和经验的累积」,而这些系统经历过的事远不如人类多 ,所以「那种一点一点挣来的判断力,对产品负责人、乃至对所有人来说,都会继续极其关键」。→ 详细
她把这条判断力具体化成一句几乎可以刻在墙上的话:「AI 能造的东西太多了,那到底哪些是一家公司、或者一个实验室该造的?」 ——这里面很多都需要人的判断力、韧性和主动性 。这些「超出了通用能力的范畴,更像是到了那个层级的人身上的行为方式和性格」。→ 详细
第二块是领域专长 :软件工程「确实已经被 AI 彻底改造了」,但生物、生命科学这些领域「我们还只是站在指数曲线的脚下」 ——同一时刻不同行业在曲线上的位置差得很远。他们推出 Claude for Science 正是在往这些方向投。→ 详细
这条线和她前面「怎么不被 AI 接管思考」的回答是同一条:Lenny 总结得很准——先守住自己的观点和视角,再去问 AI ;串起来就是判断力 + 韧性 + 属于你自己的观点 。→ 详细
24
育儿:我们养的不是孩子,是未来的成年人
问到该鼓励孩子学什么,她的答案是「和你我从小被培养的其实是同一批特质」:对学习的好奇心、韧性,以及相信自己心里的那个声音——先把它养出来,然后相信它 。她有一个四岁和一个八岁的孩子,「责任在我身上,去帮他们把内心那个声音养起来」,哪怕表现出来是有主见、敢当着她的面站队 。→ 详细
她自己没解的那道题是:什么时候该让孩子开始接触 AI 。她在一次活动上听到一个家长的做法觉得很有意思——让孩子只用非常早期的模型,这样他们还是得自己费点劲,而不是一问就立刻拿到全部答案 (比如那种不太稳定的开源本地模型)。→ 详细
Lenny 补充说 Ben Mann 对同一问题的答案也是好奇心 ,另外 Ben 很推崇蒙台梭利(Montessori),这也是他自己家在做的方向。→ 详细
25
怎么在这个节奏里不被烧干:radical ownership、hive mind、低 ego
先看节奏有多离谱:2024 年一整年发了四个模型(系列),而今年光第二季度发的量就超过了那个数 。→ 详细
她给出的第一个答案还是那句母题:「这不是一项个人运动。」 团队里的氛围是 radical ownership(极度当责)+ 强协作 。她承认「有时候确实感觉像在打一项高强度竞技,因为你面对的都是极关键的决策,用户侧、训练侧不断有新信息进来,你必须很快给出建议和判断」——然后是那句要害:「没有人能靠自己长期这么扛下去。」 → 详细
这种互助有具体形状:发布前一晚,哪怕自己不是那个模型的 DRI(直接责任人),也会陪着熬夜帮 DRI 审博客文章、改稿子、想更好的 demo ——「知道该在什么时候给对方当那只多出来的手」。她们管这种深度同步叫进入 hive mind(蜂巢思维) 。→ 详细
她对「休假」的定义特别值得单拎出来:「重点不是你能休假、然后回来面对三倍的活儿,而是你休假的时候,能放心团队自己判断得出该做什么。」 (她六月刚休完假。)另外她提到个人层面的支撑:伴侣非常支持,「我做 AI 到今年是第六年了——先是 Amazon,然后是 Anthropic」。→ 详细
这套东西最终落回招人标准 :她要的「意念同步」不是每个细节都对齐,而是「第一性原理是什么?你的前提假设是什么?」这一层对齐 ——这样别人才能替你兜底,或者反过来推你的决定、把你的思考磨得更锋利。所以她招人时会明确地问:「这个人在乎的是自己的 ego、是把自己的组织做大,还是在乎给公司和团队的影响力做贡献?」——她倾向于选低 ego、以团队为导向的人 ,「这确实是可持续性里很大的一部分」。→ 详细
一个反向的时代注脚:Lenny 提到 Fiona 在近期一集里说,软件工程现在孤独多了 ——「我们现在是在跟 agent 一起工作,而不是跟别的人;团队变小了,每个人手里都带着一支 agent 舰队在不停对话」。这恰好反衬出身边真实的人有多重要。→ 详细
26
「模型都这么强了,还需要 PM 吗?」——她主动答了这道没被问的题
收尾时她主动说:「其实你没问我这个,但社区里一直有个疑问:模型都这么强了、工程师又这么主动上手,我们还需要 PM 吗? 」→ 详细
她的答案是需要更多 ,而且给出了新的岗位内核:「以用户为中心、愿意钻进细节去理解用户到底想完成什么、能把这些提炼成可执行的东西,并且愿意为此做那些不厌其烦的苦活」 ——这四件事才是产品人的内核(注意:不包含 「写文档」「排需求」这些形式)。→ 详细
她给的时代判断是:「我们现在正变得非常以技术层为驱动,而要让它真正产生影响,你必须钻得够深,必须有好奇心,必须极度亲力亲为。」 → 详细
Lenny 的收束几乎是这期的一句话总纲:「现在『做东西』变容易了,难的部分变成了——我们到底该做什么?我们已经做出来的这个东西对不对、好不好、值不值得继续押注?」 → 详细 Dianne 补最后一刀:「而且就是要钻进用户的细节里去。」 → 详细
她想让人带走的另外两点:一是工作方式要更新 ;二是保住乐趣 ——「如果你此刻觉得自己已经没有最初那种兴奋感了,那就去找那些还有这种感觉的人」,同时不断给自己的技能补充新血,比如用第一性原理去想清楚你到底在解决什么问题 。→ 详细
27
闪电问答 / 收尾 Q1 · 最常推荐给别人的两三本书?
《How to Raise an Adult》(如何养育成年人) ——偏个人生活的一本。作为妈妈,她常想「我到底想在孩子身上种下些什么」,而这本书最有帮助的一点是那个框架:我们要养的不是「孩子」,而是「未来的成年人」 ——顺着这句话就会去问:我们希望在孩子身上打磨、激发、培育的到底是哪些特质?→ 详细
《Incorruptible》(Eric Ries 著,她最近在 Audible 上听的) ——她说「怎么建一家伟大的公司」是个重要问题,但她本人最着迷的是「怎么让一支很棒的团队、一家很棒的公司一直走下去」 。她最喜欢书里那些「给文化设指标」 的例子:「如果你只测营收,那你就只会朝营收去;但如果你有一些更好的指标,那才是真正能守住你在意的那些价值观的办法。」 她正在想怎么把这套东西落到团队层面——「我们怎么才能把团队里那些反复聊到的规范、默契,更清楚地表达出来」。(Lenny 补充:Eric Ries 最近上过这档播客,这本书上了纽约时报畅销榜。)→ 详细
Q2 · 最近喜欢的电影或剧集?
《Fallout》(辐射,Amazon Prime) ——上个月休假时刷完的,改编自同名游戏。→ 详细 她的评价:「写得很机灵、很幽默,动作场面也特别足。强烈推荐。」 → 详细
Q3 · 最近发现的、特别喜欢的产品?
Claude Tag ——「作为一种产品体验非常有意思」,Anthropic 内部有好几个不同版本在跑,「我觉得它真的是个特别特别强的工具」。(Lenny 说他正在试着把它接进自己给付费订阅读者开的 Slack 社区,并在琢磨:如果不是在一家公司里、而是一群互不相识的人,这套东西还能不能跑得通。)→ 详细
Q4 · 常回想起的人生信条?
来自她爷爷(她头十年是爷爷奶奶带大的 ,父母当时是在美国读本科和硕士的移民学生):「不管你走多远,上面永远还有一层。」 (No matter how far you go, there's always another level.)她说这话听着挺狠,但很好地概括了爷爷的人生哲学;每当遇到全新的、前所未有的事情她就会想起它 ——「今年上半年这种时刻特别多」。落到感受上就是:永远还有下一座山,永远还有下一个机会。 → 详细
Q5 · 早年在 JP Morgan Chase 做高收益债券交易员(管过上亿美元规模的组合)留下了什么?
现实和电影不一样:「大部分交易员是坐在终端前面,更多是在电脑上做分析。」 但那个环境依然男性主导——她是交易台上唯一的女性,也是唯一一个有她那种背景的人 。→ 详细
她学到两件事:一是建立起真实的自我认知 ;二是那条到今天还在用的信条——「哪怕我是最资浅的那个、哪怕我看上去和别人不一样,最好的想法、以及对最好想法的笃定,才是最重要的,其他因素都不重要。」 → 详细
带进管理里就是:「我在团队里挺坦诚、也挺愿意示弱的。」 不管一个人级别多高、资历多深,只要有好想法她就帮他推进下去,也希望对方自己做到——把想法抛出来 → 真的对它有笃定 → 一路跟到底 → 把琐碎的脏活累活干完,让它落地 。→ 详细
28
联系方式
社交平台 :她自陈「在社交平台上没什么存在感」。想追她和她团队的工作,最好的渠道是 Anthropic 官方博客 ——新模型、新产品体验都发在那儿。→ 详细
怎么帮到她(一):给反馈。 她说这条是真的会到她手上——你在任何一个产品界面上点赞或点踩、或者把对模型的反馈告诉对接你的销售,最后都会传到她这里 ;「每一个研究模型,我都会相当深入地去看它的好评度和反馈」。所以:去压榨 Claude,告诉他们它在哪儿掉链子。 → 详细
怎么帮到她(二):推荐人。 团队在扩,Anthropic 研究团队这边在招 PM (走官网 careers 页投递)。她要的画像:真心热爱这项技术、有极强好奇心、习惯第一性原理思考、敢于质疑各种前提假设,同时带一点爱折腾、爱瞎鼓捣的黑客气质。 → 详细