专栏 · Agent 工程手艺 › 第 178 期 · 思维模型 · 收录于 2026 年 8 月 21 日
Rich Sutton 与 Khurram Javed:为什么 AI 模型会停止学习,以及如何让它重新开始
RS
Rich Sutton · Sequoia Capital
7.6万观看
1,175赞
1.5%点赞率
185评论
24.1万频道订阅
数据截至 8 月 27 日
TL;DR · 三句话
- 一Rich Sutton 的核心指控只有一个技术事实：今天的大语言模型在上线前做完预训练和后训练之后，权重就被冻住了——「它们的权重从来不变」，你跟它聊多久它都不再从经验里学；所以在他看来，怪的不是他，而是那些「声称一个完全不再学习的东西能有博士级的经验和专业水准」的人。→ 详细
- 二支撑这个指控的地基是「大世界假说」：世界远比任何 agent 都复杂得多（因为世界里还装着无数别的 agent），所以任何模型都只能是粗糙近似、注定要被现实打脸后重修——这也是他判定合成数据「纯粹是个大错误」的根子。→ 详细
- 三至于大厂为什么不转向：Khurram 的解释是整个行业卡在一个局部最小值里，换范式几乎不可能绕开「先变差、再变好」这一段，而大厂被自家产品死死绑住，走不了一条第一天就掉性能的路——这正是 Oak Labs 这家刚起步的小公司押注的缝隙。→ 详细
01
开场即立场：「不是我怪，是这个领域怪」
- 整场访谈的定调句是 Rich 的开场白：「有时候大家觉得我的观点很激进。他们提问一开口就说，我的想法怎么跟所有人都不一样。但我完全不这么看。在我看来，我才是在用最平常的方式思考，是其他人想得有点怪。」→ 详细
- 他给的理由很朴素：在 AI 这股疯劲儿出现之前，根本没人需要说 continual learning（持续学习）这个词——因为「不持续的学习」这个说法压根没意义。「所有学习本来就是持续的。我们一边行动一边学习，这才是正常的思路。不是我怪，是这个领域怪。是这个领域非要给它起个名字叫 continual learning。它就是学习而已。」→ 详细
- 主持人当场接了一句：「『不是我怪，是别人怪』，这句座右铭挺值得拿来过日子的」，还说这句得发条 X 帖子出去。→ 详细
02
押注强化学习的底色：2003 年，一个在等死的人决定去教书
- 被问到几十年前凭什么笃定要把整个职业生涯押在强化学习上，Rich 的回答是一句反问：「不然还能干什么呢？」他当时想搞明白「心智」到底是怎么回事，而学习和「拥有一个目标」都是心智的核心，「我不过是在自己一直以来的想法上继续加码而已」。→ 详细
- 那是 2003 年，AI 寒冬。更离奇的是他当时癌症晚期在等死，「都折腾好几年了」，又一次病情缓解之后还是没死成，于是想「行吧，我没死成，既然拖了这么久，那不如再去找份工作」——就这么去了 University of Alberta（阿尔伯塔大学）教书，然后他没死。→ 详细
- 至于为什么以为自己只剩几个月还在继续做研究，他搬出据说是富兰克林的那句话：「如果你想不通一个人为什么要做某件事，答案几乎总是两种之一——要么是习惯，要么是虚荣。」他自己的判断是习惯，「毕竟我当时是在等死」。→ 详细
03
挑学生这件事：「是 David Silver 挑的我」
- 被问到怎么在二三十年里挑出那批推动领域前进的学生（比如 AlphaGo 背后的 David Silver），Rich 的回答谦虚到近乎推翻问题：「我不觉得自己挑学生挑得有多好，有时候走运，有时候不走运……David——是 David Silver 挑的我。」→ 详细
- Khurram 自己的路径印证了这点：他硕士不是跟 Rich 读的，本来打算毕业就去业界；因为一个项目被 Rich 顺手拉进去合作，合作半年做出进展，把它变成博士论文选题「顺理成章」——「我从来没正式申请过，也从来没开口问过『你能不能当我的博士导师』。我们先是一起做事，然后觉得这可以做成一篇很不错的论文，之后我才去申请了博士。」→ 详细
04
《The Bitter Lesson》的 26 个词版本：要的是能随算力扩展的精妙算法
- 这篇文章的写作缘起不是对某个时刻的回应。2019 年动笔时，ImageNet 已过去十年、AlphaGo 已过去四年，但围绕大语言模型的 scaling（规模扩展）范式还没起飞。Rich 说这个想法「酝酿了很久」，至少一年前就写过几个版本、还专门做过讲座，而它的养分「至少有一半是来自我亲身经历过的符号主义 AI 那个年代」——那是一个大家拼命往系统里塞人类知识的年代。→ 详细
- 他自己在 X 上做过一版 26 个词的压缩：「别像 AI 历史上无数次那样，被人类知识带偏；相反，要专注于那些能随算力一起扩展的学习方法，比如 search（搜索）和 learning（学习）。」→ 详细
- 最容易被误读的一条他专门澄清了：「它并不是说你不需要精妙的算法——你需要精妙的算法，但你要的是那种能随算力一起扩展的精妙算法。」换句话说，bitter lesson 反的不是聪明，反的是那种「只有靠堆更多人类专家才能变好」的聪明。主持人说她如今开会时听得最多的一句话就是「这人 bitter lesson pilled 了没」（是不是被苦涩教训洗脑了），并直言这个词多半已经被各种曲解和滥用过了。→ 详细
- 主持人替他补了半句「而不是随数据一起扩展」，Rich 立刻纠正措辞：「是不能随『人类输入』一起扩展。」这个差别是全场后面所有争论的种子——数据本身不是敌人，「数据必须由人来产生和筛选」才是敌人。→ 详细
05
LLM 既是 bitter lesson 的正面例子，也是它的反面例子
- 主持人把最尖锐的问题直接递上来：LLM 到底符合还是违背 bitter lesson？Rich 甚至没等她问完就自己接过去了——「那大语言模型算怎么回事？」他的答案是：两边都是。→ 详细
- 正面那一半：「大语言模型让算力的规模扩展变得空前巨大，你可以把整个互联网一口吞下去，规模拉到非常大。所以它确实是靠『能扩展的方法』拿到了强得多的系统。」→ 详细
- 反面那一半就在同一段里：「但再往后走，它最终会被那批信息卡住。互联网是有限的，再想拿到更多样本很难。而世界很大，世界比我们存进互联网的所有东西加起来还要大得多。」在他的框架里，这恰好是那个反复上演的剧本——过度依赖人类知识，最终被人类知识拖住。→ 详细
- 值得注意的是他在访谈末尾专门回头做了澄清，不希望被读成「LLM 无用论」：「大语言模型是一项了不起的科学突破，是神经网络在娴熟运用语言这件事上的突破，完全出乎所有人的意料。」他难受的不是 LLM 强，而是「它偏偏非要假装自己就是 AI 的全部」（详见第二十一节）。→ 详细
06
合成数据「纯粹是个大错误」：谁来判断什么才是好数据
- 主持人的问题非常贴现实：各家基础模型实验室现在都在做 synthetic data generation（合成数据生成，即让模型自己造训练数据），想突破「现有人类互联网」这块化石燃料的天花板——这算不算一种能撬动算力的通用方法？Rich 一点余地没留：「不算，那纯粹是个大错误。」他甚至说这可能就是「下一个 bitter lesson」，而这个想法在 Alberta 已经流传了五到十年，后来由 Khurram 写成了一篇论文《The Big World Hypothesis》。→ 详细
- Khurram 给出的是可操作的反驳：「谁来判断哪些合成数据是好的、哪些是坏的？我完全可以写个程序吐出海量合成数据，但那些数据只会把模型训坏。就现状而言，做判断的是人。」主持人反问「不是我的 loss 曲线在判断吗」，Khurram 的回击很狠：「但如果 OpenAI、Anthropic 还有其他所有大实验室的工程师集体去度假了，谁来生成合成数据？」——判断标准本身来自人类专家，所以整条路是被人卡住的。→ 详细
- 他举的具体例子是一架靠回声定位飞行的无人机（像蝙蝠那样）：这件事该配什么样的合成数据？你得先雇领域专家去搞明白什么才是对的数据。「哪怕你生成的合成数据涵盖了 50 个不同的宇宙，只要人类没有先把这件事想明白，它就还是做不成这个任务。」——瓶颈不在数据量，在「那个领域专家得先存在」。→ 详细
- Rich 的反驳更本体论一点：生成合成数据的说到底就是「一个小程序」，那它造出来的注定是一个很小的世界。「对我来说重要的是你此刻脑子里在想什么。可你会说：那我为什么不弄点合成数据，来告诉我别人心里在想什么呢？不行，我们根本没办法为别人的心智造出合成数据。而别人的心智对我们来说恰恰是重要的。」他顺手举了个现场的例子：我今天跟你们聊投资，我当然在意你们脑子里怎么想——这种东西上哪儿去搞合成数据？「世界的复杂度是无限的，任何对它的模拟都只是显微镜下的一小点。」→ 详细
07
大世界假说：世界比任何 agent 都复杂得多，所以近似必然粗糙
- 定义的原话是：「所谓大世界假设（big world hypothesis），说白了就是：世界远比你的心智、比任何 agent（智能体）都要复杂得多得多。这一点显而易见，因为世界里还装着无数别的 agent。」→ 详细
- 由它推出来的链条是这一整场访谈真正的地基，值得完整走一遍：世界无限复杂 → 你根本做不出任何敢自称最优或完美的东西 → 你注定不完美、必须依赖近似（approximation）→ 而且这些近似的偏差会很大 → 所以你必须持续学习。Rich 的原话：「我们必须持续学习，是因为我们只会撞上这个庞大世界里某个特定的局部，我们得学出一个针对当下所处这块地方调校过的近似，而不是针对那些我们根本不在其中的其他部分。」→ 详细
- Khurram 把这个假说的另一半讲法给了出来：世界无限大，要学的东西无穷无尽，「你当然可以让人去造合成数据集，但永远还有更多东西要学。正因如此，如果你能直接从经验中学习、把人从循环里拿掉，你就能得到什么都能做的系统」。→ 详细
- 这个假说在访谈末尾还被用来回答一个终局问题：既然可学的东西有无穷多，单个系统就不可能全学完。Khurram 补了一刀很漂亮的论证——如果你有世界上最大的那两个系统，「显然它们没办法互相建模，因为它们复杂度是相当的」。所以永远会是多个系统，各自从自己的经验里学。→ 详细
08
自动驾驶用仿真训练，不正好证明合成数据管用吗
- 主持人拿最新一批自动驾驶公司反驳：它们大多主要在 sim（仿真环境）里训练，再做点后训练确保能在真实世界跑通，「而这条流水线一直挺有效」。→ 详细
- Khurram 的回击是把成本摊开：「为了搭起那套仿真环境，前前后后投进去了多少工程师？我们真的愿意接受这个前提吗——只有那些能先雇一大队工程师做出仿真的问题，才是值得解决的问题？」而且中间必然有很多轮「发现 sim-to-real（仿真到现实）差距大到不可接受、再回头修仿真」的迭代，修仿真的始终是人。→ 详细
- 但他并不否定仿真本身，只是要换个主语：「agent 可以从自己的经验中学出一个模型……一旦模型不对，它能靠持续学习把它修正回来。可如果仿真器是人做的，那这个模型只有在人发现哪里出了问题时才会被更新。」规划（planning）当然重要，但仿真器得是 agent 自己造的。Rich 补了句最短的：「而且等它真正上路开起来，照样会碰到意料之外的情况。」→ 详细
09
AlphaGo 之后：先验知识本不该跟学习为敌
- 主持人把 David Silver 的 AlphaGo / AlphaZero 拿出来当「剔除人类先验的一次胜利」，问他意不意外。Rich 说当然高兴、有被证明是对的感觉，但立刻把话往回收：「先验知识（prior knowledge）本身没什么错。我在《苦涩的教训》一开头就说了：先验知识和后天学到的知识之间，没有理由非得对立。」→ 详细
- 他把这件事类比成先天与后天（nature and nurture）：「先验就是你已经有的东西，你在这个基础上再往上学更多，它们本该是朋友。」只是实践中，那些对既有人类知识抱有感情的人最后总想让自己这边赢，于是拼命弱化甚至否定学习——所以他才被显得像个「只关心学习的人」。→ 详细
- 后面他还专门打断了两位主持人之间的辩论，理由就是这个：「你们俩现在越来越接近我说过绝对不该做的那件事了，就是去争论『先验知识重要，还是获取知识重要』……可这两件事不该互相打架。」→ 详细
10
「它们的权重从来不变」：为什么 in-context learning 不算学习
- 先看他想要的东西长什么样。被问到「能从经验中学习的机器长什么样」，Rich 说它可以是机器人，也可以完全活在互联网上——比如在互联网上给数据包做路由、而且随时间越做越好；或者就是你手机电脑上的智能助手，「它必须随时间变得更好，它得知道你到底想要什么」。→ 详细
- 接着主持人问现在流行的 LLM 助手算不算持续学习者，Rich 的第一反应是「你是认真的吗？」全场笑。主持人辩护说「它们有记忆啊，会记住关于我的事，在做某种 in-context learning（上下文内学习）」，Rich 只回了一句：「它们的权重从来不变。」→ 详细
- 追问「只有一小部分权重在变够不够」，Rich 把标准提得很高：「你想想，为了造出这些大语言模型，其中做了多少结构化的工作、生成了多少新概念——那全都是权重学习（weight learning）干出来的。而你想要的，是能继续做这件事，而不是只做这么一次就完了。」也就是说，他要的不是「记住用户偏好」这种级别的更新，而是「继续生成新概念、继续重组内部结构」这种级别。→ 详细
- 主持人试着把分歧收窄：「换个说法是不是可以这么讲：我们在模型上线之前做了太多 pre-training（预训练）和 post-training（后训练，即预训练完之后再用特定数据教它一轮），上线之后它们就不学了？」Rich 确认这就是唯一的、也是最大的分歧点：「对，那之后我们就不让它们再学了。」Khurram 补了技术上更精确的说法：「想做多少预训练都行，后训练也没问题。但等我真正开始用这个模型的时候，它就不再学习了。你可以给它更多 context（上下文），通过喂上下文来改变模型的 state（状态）。它在训练阶段已经学会了这件事：如果 state 变了，它就会拿这些去做下一步预测。但模型本身并没有在学习。」→ 详细
- 这一段里最有杀伤力的是 Rich 的反问：「怪的不是我，是你们这些人才怪——居然觉得这事能成立，居然声称一个完全不再学习的东西能有博士级的经验和专业水准。」→ 详细
11
Cursor 的 tab 补全算不算持续学习
- 主持人举 Cursor 的 tab 自动补全和 Composer 当反例——那些模型的权重确实在变，这不就是持续学习吗？Khurram 承认权重变了，但指出做法的形状不对：「据我了解，他们的做法是：很多人在用 tab 补全，他们把这些数据全都收集起来——来自成千上万、甚至上百万用户——然后拿这批 batch（批次）数据对策略做一次更新。这当然能跑通。」→ 详细
- 他给出的病灶是「你的学习被平均掉了」：「我想教这个模型一件很具体的事，我并不想跟另外十万人去争『该教模型什么』。我想教的是我自己那一份模型……别人贡献的那些共享知识，我其实并不在意。所以这种做法效率非常低。」→ 详细
12
失去本体感觉的人，靠盯着自己的脚重新学会走路
- 主持人提出一个很多人默认的心智模型：基础能力学进权重、对所有人共用，个性化靠 context 实现——这个模型是不是错的？Khurram 说 context 放在 state 里也行、两边都行，「但你终归得有能力去更新权重」。→ 详细
- 他的证据来自人类残障研究：我们靠 proprioception（本体感觉，即身体内部告诉你四肢处在什么位置的传感器）走路，有些人会彻底失去这个能力、于是完全不会走路了，「因为那是他们走路策略的根基，是刻进大脑里的东西」。但在接下来的两三年里，他们能靠盯着自己的脚、换成视觉反馈重新学会走路。→ 详细
- 他要的就是这种能力：「大脑的 plasticity（可塑性）强得惊人……一件事哪怕已经成立了二十年，一旦不再成立，它也能去更新、把旧的那一套扔掉。」→ 详细
13
没有任何动物是靠监督学习学会东西的
- Rich 的论据只有一句，但很难反驳：「没有任何动物是靠 supervised learning（监督学习，即给它标准答案让它照着学）学会东西的。因为没人给我们『肌肉该怎么抽动』的标准样例——而那才是我们的输出。」→ 详细
- 主持人抬杠「可上学不全都是监督学习吗」，Rich 分两层拆：第一，学校只占我们所学的极小一部分（学会看、学会走路、学会世界怎么运转都不在学校里）；第二，就算在学校里也没人教你肌肉该怎么动——「你说出答案 Paris，我听着你说，听到你的声音，然后我得自己做出另一套肌肉动作，把 Paris 这个答案发出来。这不是严格意义上的监督学习。」→ 详细
- 他还给学校降了一级：学校是个非常特殊的东西，几百年前人类都还没有它，「它不属于智能的本质。把它当成你理解学习的首要范例，其实是一种干扰」。Khurram 从反方向补了更犀利的一句：就算 Rich 手把手教发音也没用，「如果我把嘴、舌头、声带完全照 Rich 的方式去动，念出来的 Paris 肯定是另一个声音……Rich 不知道、谁都不知道我这具身体该怎么发出这个音——只有我自己知道」。→ 详细
14
莫拉维克悖论与松鼠：抽象不是人类专利
- Khurram 替主持人说了句公道话：「松鼠特别擅长从树上往下跳，但松鼠证明不了数学定理。而我要是想学会怎么证明一个数学定理，我就得去上学。」→ 详细
- Rich 顺势点出莫拉维克悖论（Moravec's paradox）：「那些我们觉得特别高深、特别能代表智能的事，计算机反而做得挺轻松；难的恰恰是那些日常动作——移动身体、带着注意力去看东西之类的。」→ 详细
- 但他不接受「抽象是人类专利」这个前提：松鼠「总有办法弄开你家的喂鸟器」，不管你设多少障碍都能找出新的跳法爬法，弹道也算得挺准；Khurram 补了一句「摔落时的缓冲，它们能实时做出正确的动作，把伤害避掉」。Rich 的结论是差别只在程度：「老想强调我们跟动物有什么不同，我觉得那有点自大，不如去看两边共通的地方……当然，社会和文化给了我们巨大的优势，语言也给了我们巨大的优势。」→ 详细
15
造火箭之前你只能想象：范式转移时刻缺的那项本事
- 现场另一位主持人替 Sonya 补了一刀，把分歧收到最锋利的地方：让人之所以为人的那些事——上太空、造火箭——不可能 100% 从经验里学，「因为在火箭发射之前，你得先在脑子里抽象地把它推演通……你根本不知道它会不会成，你只能去想象。那我们要怎么教一台机器去想象一件从来没出现过的东西？」→ 详细
- Rich 直接认同：「这一点我其实同意你。你必须能做规划，必须能想象。」→ 详细
- Khurram 把问题重新定位了一次：一千年前的人本质上是同一台机器，只是我们额外积累了一万年知识、而且可以靠上学快速拿到手。而范式转移（paradigm shift）发生的时候，「是一个人先积累了所有这些知识，然后从他自己的经验里构建出新的抽象，用这些抽象去做规划，进而发现新的知识。而『提出新抽象、学出模型并用模型规划』这项本事，恰恰是我们现在的系统里完全没有的」。→ 详细
- 那怎么造一台知道何时该换范式的机器？Rich 的答案很干脆：只能靠它自己的经验，「它没法依赖人类知识，因为我们的前提就是：人类看到的是一个范式，而我们想要一种不一样的看问题方式」。→ 详细
16
领域最大的空白：先学出模型，再用这个模型做规划
- Rich 点名了一项他认为整个领域还不具备的能力：「先学出一个模型，再用这个模型去做规划。」数学和 AlphaGo 之所以能做，是因为那些场景的模型是已知的——我们知道每一步棋怎么走，数学里知道算子是什么、知道 Lean（形式化定理证明工具）会把我们从一个知识状态带到下一个。「但如果模型得靠自己学出来……据我所知，我们这个领域里还没有『先学模型、再用模型规划』的先例。」→ 详细
- Khurram 加了限定：至少在「自己发现的抽象」这个意义上没有。确实有人在做「学一个模型，预测下一秒、下一毫秒会发生什么」，「但我们人的模型不是这么运作的，我们的模型要抽象得多」。→ 详细
17
Alberta Plan 十二步：第二步解锁其余一切
- 2022 年 Rich 提出的 AI 研究 Alberta 计划（Alberta Plan）是一份 12 点计划，目的是把手上笼统的大方向「拆成更小的块……把一个个具体的块结晶出来」。→ 详细
- 其中第二步 continual deep learning（持续深度学习）「几乎是最重要的，因为它能解锁后面所有的东西。如果你能做到 continual deep learning，你就能持续更新自己对世界的模型」。计划的后半程几乎全在讲怎么把抽象做对——他的措辞很讲究：不是「找到正确的抽象」，「因为没人说得清什么才是正确的抽象，那取决于你身处什么样的世界。你的 agent 必须自己学会适合它所处那个世界的抽象」。→ 详细
- 抽象到底从哪儿来？Khurram 的例子是顶尖运动员：你去问他们某个动作是怎么做出来的，他们会冒出一堆奇怪的小众术语，专指某个非常具体的东西，说「我会来这么一下」，还给它起了名字；有时候只是自己练、不用跟人交流，连名字都懒得起。「那这些抽象到底是怎么来的？某种意义上，这正是现在缺的关键一环，也是 Alberta 计划后半部分要回答的问题。」→ 详细
18
灾难性遗忘的药方：步长优化 + 生成与检验 + continual backprop
- 主持人问得很实在：卡住 continual deep learning 的到底是算法缺口，还是部署基础设施、数据隐私这类工程现实？因为「最朴素的、根据用户交互直接更新权重」今天就能做。Khurram：「绝对是算法上的缺口。」拿一个样本去更新整个模型，「你会发现模型里原有的所有知识都被负面影响了」——这就是 catastrophic forgetting（灾难性遗忘）。Cursor 用大 batch 绕开它，「但大多数场景没有这个条件，大多数场景你面对的是一条单一的数据流」。→ 详细
- Rich 的态度是这病能治，而且药方很具体。第一味：step size optimization（步长优化）——网络里每一个权重都要有自己独立的步长（step size，即每次更新走多大一步），有的走得快、有的走得慢，而这些步长本身还得靠 meta-learning（元学习，即「学习怎么学习」）学出来。「你网络里绝大部分权重的步长会非常小，这样当你在新样本上训练时，它们不会被破坏，变化只发生在该发生的地方。」→ 详细
- 第二味：generate and test（生成与检验），而且要在特征空间里做、不靠梯度。 理由是梯度太慢：「只有当你已经确定某个方向有用，你才往那儿挪一点。这注定很慢，也没法让你长出越来越复杂的结构、维持长期不断的学习。你需要有个东西，能直接抛出一批新单元，然后从那儿往下走。」→ 详细
- 落地形态是 continual backprop（持续反向传播），几年前发表在 Nature 上。 「它跟普通 backprop 几乎一模一样，只不过你还会不断地种下新的『种子』单元，这些单元用随机权重重新初始化。」对比很清楚：普通 backprop 只在最开始有随机权重，「随着训练推进，那些随机性、那份由随机性带来的多样性会被一点点耗光」；而 continual backprop 持续注入随机性，backprop 的运作本身就充当了 test（检验）那一半。Rich 说把这几件事拼得足够好，「你会得到新一代、性能远超今天的 continual deep learning。这就是我们希望在未来这两三年里做成的事」。→ 详细
- 关键的坏消息是：这套东西接不上现成模型。Khurram：「我不认为你能拿一个现成的模型，说『我从现在开始就用这些算法更新它』——因为这些算法是元学习『怎么学』的。」你得从头训一个新的 foundation model（基础模型），让它同时学两件事：学知识，也学「以后该怎么学新东西」。→ 详细
19
万亿参数跑 20 瓦：一笔摩尔定律的账
- 主持人把 Oak 愿景里最扎眼的一条摆上桌：一个万亿参数的模型，只跑 20 瓦功耗。（20 瓦这个数字不是随手挑的——它大致就是人脑的功率量级，这是这条愿景的潜台词。）→ 详细
- Khurram 老实承认用今天的技术做不到：「光是把一万亿参数存进内存，按现有的存储技术，耗电就不止 20 瓦。」但他们赌的是趋势：「技术一直在变好，算力越来越便宜、能效越来越高，那 5 到 10 年后会是什么局面？我觉得 5 到 10 年后，只要算法对路，我们完全可能进入一个这件事可行的世界。」→ 详细
- Rich 当场把这笔账折算成摩尔定律：5 到 10 年正好是两个数量级（每 18 个月翻一倍，10 年就是两个数量级）。所以要让这个说法今天就站得住脚，「今天你就应该能用 2000 瓦做到」——2000 瓦大约是一台家用电吹风的功率。而 Khurram 的回答比这还激进：「我觉得只要算法对，哪怕在今天我们也能比这更省。」→ 详细
- 主持人的追问很致命：「你觉得你们今天能用 2000 瓦做到？可是各家研究机构里那么多人，手上能用的功率远远不止这个数啊……如果真能更省，那为什么没人这么干？又不是说大家就是一心想把钱全烧光。」Rich 的回答是全场最锋利的一句：「有时候看起来他们还真就想烧钱……我觉得他们就是靠烧掉海量的电，来证明自己是真汉子。」→ 详细
- 主持人自己把这个问题拆成了两种可能，而这两种可能对产业的含义完全不同：「那到底是做不到，还是这个体系里浪费太多？有没有人其实已经知道怎么高效地做？」她顺着往下推的那句更值得记：同一个实验室里，真在琢磨效率的那几个人身边还有十倍于他们的人在做别的事，「所以十个人里有九个是在做无用功」。Khurram 没有否认这个描述——他接下来给出的解释（见下一节）是：不是浪费，是没人相信另一条路走得通。→ 详细
20
为什么大厂不走这条路：卡在局部最小值，新范式必然先变差
- Khurram 先给了一个心理层面的解释：「至少我去看各个研究团队，我压根没见到有人相信这件事是可能的。而如果你根本不信，你就不会去啃那些技术难题，也不会一个个把它们磨穿。」→ 详细
- 然后是结构层面的、也是全场最可迁移的一段判断：「我的理解是：我们卡在了一个局部最小值（local minimum，即你已经在一个小坑底了，想去更深的坑就必须先往上爬一段）里。所以如果要转向这类新算法，几乎不可能绕开『先变差、再变好』这一段。你刚开始探索这些新方向时，第一天不可能做出 state of the art（业界最好水平）的性能，因为它是另一套范式。但那条路走下去，能在能耗量级完全不同的前提下达到同样的性能。」→ 详细
- 大厂的困境不是看不见，是动不了：「那些大厂实验室已经被自家产品死死绑住了，他们根本没法去走一条『先变差』的路。」主持人替他把话补完——现在的范式让他们可以一路往上堆规模，而新范式意味着他们得押一注。→ 详细
- 还有一条时间成本：这些技术难题「我们已经想了很多年。我们也认识一些琢磨了很多年的人，跟他们聊下来会觉得这事确实可行，但前提是你得在这些难题上耗很长时间去想」。换句话说，这条路的门槛不是钱和卡，是有没有一批人愿意在同一组问题上想很多年。→ 详细
- 顺带一提，Khurram 并不认为他们的路线有多「激进」：2016 到 2018 年那阵子就有不少人相当深入地探索过这些想法，只是都在受限得多的设定里做（给定一个问题分布），「而我们想做的，是从单一的一条经验流里做……我觉得很多人探索过这个方向，但没有人在真正通用的设定下探索过——那种做出来的算法哪儿都能用的设定」。→ 详细
21
语言只占智能的 20%–25%：LLM 是了不起的突破，但不是全部
- 主持人抛出终局问题：如果 Oak 一切顺利，人类会变得无足轻重吗？Rich 完全不同意——「我觉得那个世界会变得很精彩，甚至更精彩、更有意思，对人类来说也是」——反倒把风险指向了别处：「你不得不替大语言模型捏把汗，它们可能是有风险的。」→ 详细
- 值得注意的是他给 LLM 留的时间窗并不短，措辞是「等这一天真的到来的时候……我相信它们还能风光一阵，而且它们已经风光过了，非常成功」。也就是说他的判断不是"LLM 马上要塌"，而是"LLM 这条曲线有一个他能指出位置的终点"——这两种说法在投资含义上完全不同，别混着读。→ 详细
- 但他紧接着做了很郑重的澄清，避免被读成唱衰：「大语言模型是一项了不起的科学突破，是神经网络在娴熟运用语言这件事上的突破，完全出乎所有人的意料。语言原本一直是符号方法（symbolic methods）最后守住的阵地，而大语言模型彻底改变了今天大家对这件事的看法。是的，这是个大突破。」→ 详细
- 他真正难受的是叙事被拉满：「让我难受的是：我们本可以就这么庆祝一下——我们在 AI 这个大问题的一个子集上取得了巨大进展，享受这份成果就够了。可它偏偏非要假装自己就是 AI 的全部。智能并不等于流畅、娴熟地使用语言，智能远不止这些。语言是重要的一部分，大概占智能的 20%，或者说四分之一，但还有更多东西在后面。」然后补了三个字：「我们还没做完呢。」→ 详细
22
Oak Labs 的终局：一套设计，很多个心智
- Rich 描述的成功状态：把这套架构实现出来，做到真正的持续学习，也能形成抽象、从而进行规划和推理——「某种意义上就是真正的智能」。至于到那时候会发生什么，「其实很难具体想象」。→ 详细
- 最有野心的那件事不是某项能力，而是「自我维护」。他要的是从极细微到极宏大一整个光谱的知识（小到肌肉动作，大到「怎么坐飞机从一座城市到另一座城市」），用统一的方式处理。他点破了一个很少被问的问题：「一个绕不开的大问题永远是：你有一个基于知识的系统，那是什么在保证里面的知识是对的？」LLM 的答案是：人做了大量后训练确认它是对的，然后把它冻结住——是「冻结」在保证正确。「但我们的心智完全不是这样，我们一直在改东西，可总有某种机制让它保持条理、保持自洽，跑偏了还能沉回一个好的状态，而不是一路飘进胡言乱语的世界。」最大的野心就是「造出一个自洽的心智，它能不断训练自己，并且始终保持连贯」。→ 详细
- 够得着吗？Rich：「我认为够得着。现在已经是 2026 年了，我们的计算机这么快……我觉得我们既有愿景，也有眉目。」→ 详细
- 是一个心智、一套权重通吃所有事吗？Rich 的回答是「是同一套设计」，然后会有很多个心智；同一个心智的不同版本因为经验不同会学到不同的东西。→ 详细
- 他还顺手推翻了「从互联网重训」这个默认动作：等有了智能机器人，「我们不会再搞那种烧掉天价、从整个互联网重新训练一遍的大工程，而是直接复制那个 agent，从那儿接着学」。→ 详细
23
招人：不快速做大，因为每个人都得看见我们看见的东西
- 他们在招，但打法刻意反常规。最初这支团队「大部分人选我们心里其实已经有数了——都是过去很长时间里一直在琢磨这些问题的人」。→ 详细
- 为什么不快速做大：「因为这是一个不同的范式。很快把团队做大是没有意义的，因为某种意义上，我们招的每一个人都得能看见我们看见的东西，而不是每个人都看得见。所以我们会从很小的规模起步，慢慢长到也许一小撮人，或者两三撮，然后再往下走。」Rich 和 Khurram 几乎同时说出了同一句话：「我们希望大家高度同频（super aligned）。」→ 详细