自动化AGI实验室

• 引子是 Jerry 的一条推：「取代 transformer 的第一步，是深刻体会它究竟把我们带出了多远。」他解释「体会」的意思是搞懂它擅长什么——如果你要解的不是它已经解好的问题，你就必须盯着它的弱点，而看清短板和看清长处几乎是同一件事。→ 详细
• 他的判断：我们已经掌握了两个算法——大规模 pre-training（预训练，把互联网知识压进模型）和大规模 reinforcement learning（强化学习，把想要的工作流烤进模型）。此刻通往更聪明系统的瓶颈就是架构本身，因为过去六年这趟车本质上是「往同样两种运算上不停堆参数」——MoE（混合专家）和 attention（注意力）。→ 详细
• 他认为整条赛道跑偏的地方：现在架构方向的工作几乎都在把 transformer 做得更便宜、更高效，「我很少看到有人在想怎么让 transformer 更强大、表达力更强」。→ 详细

• 最根本的张力一句话说完：模型是在实验室里训出来的，却被部署到真实世界里。→ 详细
• Jerry 的个人史：他从进 OpenAI 起就是 RL 最大化主义者，看着 LLM 从 GPT-3 扩到 GPT-4、RL 却做得极少，坚信「等我们真的把 RL 扩上去，一切就都解决了」。2024 年问他 AGI 哪年到，他会答 2025。后来 RL 真的扩上去了，他就在最中心的位置。→ 详细
• 结果：模型一代代变好、所有 benchmark 分数都在涨，真实世界任务却没跟着解决。他意识到问题出在评测口径——用来评估模型的 benchmark 跟用来训练模型的任务本来就是同一枚硬币的两面，而真实世界的分布「乱得多、浑得多」。更微妙的是，你去问任何训模型的人最头疼什么，答案是「我没有足够难的任务可以训」——可即便如此，真实世界分布依然没被覆盖全。→ 详细

• 由此推出的结论：我们需要能在 test time（推理/使用时）学习的模型——跟着用户学、在用户自己的数据上学、在他们真实的任务和真实世界的分布上学。这是这期所有论点的总闸门。→ 详细
• 推理时能学的只有两条路。第一条是 in-context learning（上下文内学习，就是把资料塞进对话窗口让模型现学）：好处是数据效率不错、也不会把旧本事忘掉，没有灾难性遗忘那个根本毛病；坏处是根本不可扩展，能塞的量就那么多。Jerry 给了一个非常具体的刻度：他用 Codex 大概 20 分钟就得做一次 compaction（上下文压缩）才能继续往下走——「如果我们能学的只有 20 分钟的量，那太少了」。→ 详细
• 第二条是 fine-tuning（微调，直接改模型权重）：可以试着持续微调，但会撞上 catastrophic forgetting（灾难性遗忘，学了新的把旧的忘了），数据效率还极低。他对这两条路的判断给得很硬：都不好解，也都不容易找到出路，「大家都试过。要是好解，早就被人解掉了」。→ 详细
• 所以他要的不是更好的调参或更长的窗口，而是一种能被 meta learn（元学习）出来、并且能在架构层面表达出来的算法——它要刻画「学习本身长什么样」，而且是能在长得多的时间尺度上起作用的那种学习。→ 详细
• 这条线到最后被他收成公司的存在理由，也是全场最不容含糊的一句：Core Automation 成立的目的就是造出能持续学习、能从部署中学习的模型；他们认定 transformer 天生做不了 continual learning，没有任何办法把 continual learning 装到 transformer 上，所以必须换架构。→ 详细

• 主持人问新架构会不会长得像 transformer。Jerry 的回答绕开技术：那件事「主要是经济学上的事」。技术上 LSTM 也是可以扩的，那篇 scaling law 论文里就有 LSTM 和 transformer 的对比，只是 transformer 的曲线更好看。→ 详细
• 他描述了一个平行世界：我们从没发明 transformer，一路扩 LSTM，也能得到一些模型——但训练贵得多、作为产品又没那么惊艳，最后可能根本没人愿意掏钱训那些巨型 LSTM，因为拿不回市场回报。→ 详细
• 于是他给 transformer 的最高评价是一句会计式的话：训练它的成本低于它带来的收入。他称之为机器学习的魔法，并特意强调「这件事本身并不是天经地义的」。→ 详细

• OpenAI 出现之前，研究界对 scaling 有很强抵触，觉得那不够科学；算法研究的价值观是「同样算力预算怎么拿到更好结果」。OpenAI 当年下的赌注是反过来的：不在乎算法越来越好，在乎算法更小、更可扩展，然后把越来越多算力倒进去。为此它被社区反复批评了很长时间。→ 详细
• Core Automation 的对应主张，是把同一个教训搬到今天：架构研究在太小的规模上做了太长时间。行业惯例是先在小数据集、小算力上试，证明了自己再往上扩；但做过 RL 的人都知道，RL 需要一个能力/算力基线才可能开始起作用。他的推论是：很可能有很多架构也需要一个算力基线，不给足就永远看不出它有没有用。→ 详细

• 主持人直接问了这个「有点冒犯」的问题：需要算力基线的活儿，不该是大 lab 干的吗？Jerry 说这是时机问题——最大、最成功的那几家正处在史上最激烈的市场厮杀里，所以不太有兴趣试别的路径。→ 详细
• 他把这笔账算得很直白：如果 transformer 是赚钱的，多投一分资源扩它就能赢下一个季度，你就很难把大量注意力放到「也许一两年后才更好、才可能重新定义领域」的事情上。他说他基本跟所有大 lab 都聊过，对 transformer 替代方案兴趣不大；而不是最大的那几家，则在拼尽全力复制最大的那几家——「你看上周的发布，所有人都在发 coding agent」。→ 详细
• Rohan 补上组织层面的机制解释，也是全场最锋利的一句商业判断：即使问这些 lab 里最顶尖的研究员，他们也会说「有道理，但多半进不了最优先那一档」，因为得先把下一轮的模型训出来——这些公司在抢发布周期，因为 token 是没有黏性的。在那种环境里，连六个月周期的长线研究都难做。→ 详细

• 他同意 Jerry 的悼词，并给了一个更工程的框架：架构问题本质是「我们怎么花掉算力」，transformer 只是花算力的一种（很高效的）方式。但今天行业的大量算力花在 inference（推理）阶段、花在一个个吐 token 上，所以他要找的是「把算力花得比现在这种 chain of thought 逐 token 生成好得多」的架构。→ 详细
• 病灶点名：computational depth（计算深度）太差。我们训的绝大多数 transformer 其实都很浅，最多也就 100 层左右；之所以叫 deep learning 就是因为想要更深的表征，可至今没人真正展示出能学到极深表征。→ 详细
• 现行的补救办法是 chain of thought（思维链）+ RL：每多吐一个 token 就多一条计算路径，从而绕开「层数 × 序列长度」的硬上限，这就是 inference time scaling（推理时扩展）。代价是必须吐更多 token、而且一次只能吐一个；行业往 speculative decoding（投机解码）上使劲，本质是给「我们选了个一次只能生成一个 token 的方案」打补丁。→ 详细
• 他说光是把「怎么把计算深度提上去」这个问题抛出来，就一下打开二十来个可改机制的方向；而历史上基础研究通常要五六年才落进工业界，靠的是组织层面认定「这件事重要，这就是我们要押的注」。他也提到行业花了两三年才把架构打磨成今天视为理所当然的样子（sparsity、MoE 以及怎么把它们训得够高效），当时对很多人一点都不显然。→ 详细
• 他还回忆了 transformer 自己的历史作为佐证：当年 Ashish、Noam 他们做出来时，在 Google 内部并不是什么大新闻，真正看懂的只有很少几个人（他自己那份 online distillation 是在同一场内部会议上报的）；原始工作聚焦在机器翻译这个真实问题上、打赢了 LSTM，但要到 GPT-2、GPT-3 才真正看出它有多强。→ 详细

• Rohan 的优化器史：2016 年在 Google 从 logistic regression 的优化做起，做过神经网络起飞前 Google 用的大规模线性求解器 Sibyl；后来 Vineet Gupta 跑到他工位上说「听说你写优化方法很在行」，白板上推了一通，那就成了 Shampoo。→ 详细
• 老板 Yonghui Wu 一路支持这件事到他 2024 年离职，但当时社区并不感兴趣，典型反驳是「用 Adam 不也挺好？把时间花在别的所有事上，就是别花在 optimization 上」。Shampoo 后来用在 Gemini 1.5 Flash 上，相对此前大约是 2 倍提升；SOAP 论文发出来之后才有一整套文献（Shampoo 洗发水、SOAP 肥皂，全是洗澡用品）。他对自己作品的评价很克制：Shampoo 做的事其实还很弱，没用上手里所有可用的信息。→ 详细
• 最值得抄走的那句判断：optimization 和架构是绑在一起的——更强的 optimizer 可以训动更难优化的模型并拿到更好效果，较弱的 optimizer 就只能配容易优化的模型；换句话说，你的优化算法决定了你会发现什么样的架构。例子：residual connection（残差连接）一直被视为训得动深网络的关键，但有人把它整个去掉、照样学出更深的表征，代价是需要一个更好的优化方法。他说这个方向全世界大概不到四个人真的关心。→ 详细

• Rohan 认为 RL 现在是「一个很容易拿下数量级提升的靶子」：反馈极少，却要解码出一整条很长的 chain of thought，才能把那么一点点信息喂回网络里。→ 详细
• 他说那一个数量级从哪来：把 pre-training 和 RL 合到一起端到端优化。现在 pre-training 的度量是压缩（看 perplexity 困惑度），每次算力按对数往上加、指标就再改进一个 epsilon；作为建立先验没问题，但这么看问题是错的——他举了个特别形象的例子：他训好一个模型交给 Jerry，Jerry 拿去做 RL，会把他辛苦做出来的那些 perplexity 指标全毁掉。要看的应该是端到端的最终结果。→ 详细
• 为什么大 lab 没这么干：两者本来就是完全不同的优化问题（RL 有 prior、做 rollout、方差高；pre-training 是大 batch、并行度和算力吞吐都大得多），朴素合并行不通，得再往下多想一层「为什么朴素合并不行」；再叠加发布周期的压力，就没人做了。→ 详细

• 主持人问 AI 会不会接近甚至超过生物学习效率。Rohan 的答案是：以现在的硬件看不太可能。人这套系统用 Geoff Hinton 的说法叫 mortal computation（可朽计算）——我们在长大的过程中长出自己的电路，学习算法和硬件是长在一起的，然后人死了这一切就都没了。神经网络正相反：硬件留着、权重留着，但学得极其低效，要靠很多份副本和很大的并行度才能灌进去一点点信息。除非我们把硬件做得更像人（也许更偏模拟电路，还得解决纠错和信息传递），否则会难得多。他的结论半开玩笑：「我们暂时还算安全。」→ 详细

• Jerry 的封顶论：pre-training 把人类全部知识连同知识之间的关系装进模型，RL 再把工作流烤进去，任何有训练数据的任务都能塞进去——天花板就在这儿。→ 详细
• 他给的思想实验很有说服力：如果 OpenAI 和 Anthropic 从今天起不再训新模型，就守着现在这个 transformer，几个月、一年、几年过去，这个模型会变得越来越没用。因为世界会出新事件、事件之间会有新关系，会出现新类型的任务、新的代码库、新的工具——而 transformer 的绝大部分价值来自一件事：有价值的东西必须出现在训练里。它有一点适应能力，但「不大、也不灵活」。→ 详细
• 由此暴露出这套体系的结构性依赖：只要有个懂它局限的人去调度它、写好 prompt，它能把任务做得很成功；模型失败的任务被加进训练数据、再训一遍就能做对——但这个循环必须由训练模型的那个实验室来跑。→ 详细

• Jerry 认为「经验的时代」一直都在：RL 当年解 backgammon（西洋双陆棋），后来解围棋、星际争霸、Dota，现在解编程，每次都归结为模型写出自己的经验、再从这些经验里学习。→ 详细
• 顺带扔出的一个判断值得单记：今天的 pre-training 在很大程度上其实是把别的模型蒸馏进新模型，因为互联网上大部分 token 现在都来自 AI。（pre-training 本身则是 behavioral cloning、是模仿、是对互联网数据的压缩。）→ 详细
• 他的分歧点：RL 不是从经验中学习的唯一方式，它只是一种数学表述，而且现在的用法很依赖并行 rollout 做方差缩减——人根本不是这么学的。他的比喻是全场最好记的一段：踢足球很像 RL（踢很多次、每次微调一点、看结果跟想要的差多少）；学数学完全是另一回事（读那些很难的概念，在脑子里往深里想，直到某个瞬间「咔」一下想通、把它们连起来）。两种都叫从经验中学习，形态天差地别；他相信未来几年会有算法层面的新做法出来。→ 详细

• 他们的使命之一是做「世界上最自动化的 lab」，但 Jerry 对自动化的定义是反直觉的：是给每个人最大程度的 agency，不是把人从回路里拿掉。他的比喻走了两条线——走路能走一段距离，有自行车远一点，有车就远得多；人类刚务农时用手种只能种一小块地，有机器就能种大得多的地。→ 详细
• 他说今天做研究的方式已经完全不同：单个研究员能做的事多得多，而真正变了的是迭代速度——你穿过一个个想法、为自己的想法拿到数据的速度。面对这个变化有两条路：在旧结构（团队、工作流、数据怎么收集）上修修补补，或者为它原生地重建一套流程、最大化赋能每个研究员。他们选后者，正在重建整个深度学习栈，逐个环节问「这一步能不能换个做法」。→ 详细
• 目标刻度给得很具体：哪怕一天只跑完一个这样的实验，相比过去的任何做法就已经是相当不错的迭代速度；也许有一天能一天跑十个，也许一天两百个——他说从物理定律的角度看，并没有什么根本原因说不行。→ 详细
• 团队形态本身就是这套主张的实验：几乎所有人都是围绕 agent 和自动化搭起来的，他们明说这是在试「一个尽量用小团队做尽量多事情的组织，到底能走多远」。Rohan 讲的是同一件事的组织版——把各路专家放在一起而不是分散在筒仓里，让所有人端到端看同一个问题，因为「一个理论上最优的架构对谁都没用」，你必须打通从研究萌芽到产品化、到把 kernel 写出来的整条链路。→ 详细

• OpenAI 的官方定义是「在有经济价值的工作上超越所有人类的系统」；Jerry 自己的定义更窄、也更可验证：一个能在完全没有人类参与的情况下自我改进的模型。他说这其实是前一个定义的子集，因为改进 AI 模型本来就是一份有经济价值的人类工作。→ 详细
• 他对现状的判断很冷静：把人从「和模型的协作回路」里拿掉，到目前为止出了名地难，他很难找出哪怕一个任务做到了这一点。真正非常成功的是「人 + LLM」的混合体，没有人的 LLM 就不行，完全不行。他 2024 到 2025 年初的观察结论是：现在这条路走不到那儿。→ 详细

• Rohan 给的六个月路线图：真正难、也最想自动化掉的是 kernel 生成——把「有一个能干掉架构瓶颈的酷点子」到「让它在 GPU 上跑出最高 TFLOPS」之间的时间压到最短。他们手上是 Blackwell 这类硬件，训练和推理都得在上面跑。（kernel = 直接跑在 GPU 上的底层计算代码，写得好不好差着数量级。）→ 详细
• 案例是他们和 GPU MODE 合办的 QR kernel 竞赛。QR 分解是很老的线性代数运算，做特征分解等很多事都要靠它，Shampoo 这条线的优化工作也要用。基线是直接拿 cuSOLVER 跑他们关心的那些 shape；一个人加上一个搜索循环，大概能做到 7 倍。→ 详细
• 真正的数字在后面：要拿到快 60 倍的方案，需要品味最顶尖的人（他说全世界大概只有三个），再在这些 coding agent 上砸进大约十万美元、跑四周。而今天的模型离这个结果差得很远——他点名说把这个问题丢给 Anthropic 的模型、丢给 Gemini，它们就是解不出来。他特意强调这还只是一个问题，里面大概也就三个算子（处理这个 panel、做这次矩阵乘、折回去，反复做）。→ 详细
• 为什么非要自己写 kernel：这里的 roof line 相当高，cuSOLVER 版和冠军版差 60 倍，「这完全是另一个量级的战场」，一下就打开一整片可用的新算法空间。而全世界有这套技能的人本来就没几个、还特别分散，这儿一个那儿一个——所以他说「要是模型本身就具备这种能力，那就太理想了」。这是他们做出更高效架构的内循环。→ 详细

• Rohan 讲了个很有人味的故事：2020 年他和一位同事想把 transformer 里的一部分参数换成额外的记忆，叫 n-gram memory，内部部署过小版本；但要真正做大需要硬件层面的改动，他跟 TPU 团队开了好几轮会，COVID 期间还说「马上就要成了」，结果始终没来。后来他在 Anthropic 用 TPU，等要离开时才刚摸到能做这件事的边。→ 详细
• 而在那之前半年，DeepSeek 发了他们那套 n-gram——本质是把「加更多记忆」这条路做得更好，从 scaling 上看你其实不需要 MoE，可以换成 n-gram embedding。他的反应：「这件事我惦记了五年，所以看到他们做出来，我真心替他们高兴。」→ 详细
• 同一个教训在 second-order methods（二阶方法） 上也上演过：kernel 就是那儿的瓶颈，而在 Google 能写那种底层 XLA / LLO 代码的大概只有两个人——Rasmus 和 Peter Hawkins——他们花了两年才做出来。→ 详细
• 他顺带给了一笔很实用的账，解释这类工作在大公司为什么难落地：在 Google 你不可能多花 10 倍算力只换 2 倍收益；最多花 20% 的预算换来 2 倍，大家才都开心——「你花出去的要少于你拿回来的」。→ 详细

• 主持人问「你们靠做实验试出更好的架构，那怎么知道自己已经找到了？」Jerry 说每一项成功的研究最后都会有那么一张图，图里有别的图上没有的东西——有一条线拐弯的方式不太一样，你一看就知道是它。但他强调那张图出现时其实已经相当晚了，大多数时候你早就知道自己在找什么。他半开玩笑地补了一句：「我这辈子最好的那些图，在真正跑出来之前，我都先在梦里见过。」→ 详细
• 更实用的那一半：深度学习系统非常精细，通常你得连着做对五件事，整个东西才会开始跑起来。所以「试一个不行、再试一个还不行」是常态，直到所有该到位的零件同时落位。→ 详细
• 他们给自己定的验收信号是拿自己每天的活当评测集：这些系统会不会一天比一天更擅长干 Core Automation 研究员的活？Rohan 把它讲成一个非常具体的测试——全队一起去度个假，看这一周 lab 自己能不能产出更好的东西。→ 详细

本期没有 lightning round，但中段有两个现场听众提问（是这场对话里信息密度最高的两段），外加一个很妙的收尾。

听众提问 1｜「你读过 Rich Sutton 和 David Silver 那篇《The Era of Experience》（经验的时代）吗？你有多认同、在哪些地方看法不同？」 Jerry 的回答分三层：① RL 不是新东西，「经验的时代」一直都在——从 backgammon 到围棋、星际、Dota，现在到编程；② 他对 pre-training 的补充判断是，今天的 pre-training 很大程度上是在把别的模型蒸馏进新模型，因为互联网上大部分 token 现在都来自 AI；③ 他的分歧点在于 RL 不是从经验中学习的唯一方式，它只是一种数学表述，而且现在的用法依赖并行 rollout 做方差缩减——人不是这么学的（踢足球 vs 学数学的那个比喻就出自这里）。→ 详细

听众提问 2｜「你的很多工作都围绕 optimization 和效率——我们要怎么才能做出计算效率和数据效率都高出几个数量级的学习算法？」（提问者自我介绍也叫 Rohan） Rohan Anil 的回答从「怎么度量」开始：现在的 pre-training 度量是压缩、看 perplexity，每次算力按对数往上加只换一个 epsilon 的改进——作为建立先验没问题，但这是错的看法，应该端到端看最终结果。他给的答案是把 pre-training 和 RL 合起来优化，那一个数量级会从这里来。随后他顺着这个问题讲完了整段 Shampoo 的来龙去脉（Sibyl → Vineet Gupta → 白板 → Gemini 1.5 Flash → SOAP），以及「你的优化算法决定了你会发现什么样的架构」这条判断。→ 详细

收尾：Rohan 说他们会全队一起去度假一周，看 lab 自己能不能产出更好的东西。主持人追问「那你们回来之后干什么？」，Jerry 接：「那就把假期再延长——延两倍、三倍、四倍，一直延到我们进入永久休假状态。」→ 详细

本期两位嘉宾没有留联系方式。相关线索：公司 Core Automation（旧金山，转写里被 ASR 多次误听成 Core Animation / Kernel Automation / Coral Lemonade）；引子是 Jerry Tworek 的一条推文；提到的公开活动是他们和 GPU MODE 合办的 QR kernel 竞赛。