RLHF 之后是什么?——Diogo Almeida(TypeSafe AI)

• GPT-4、ChatGPT、RLHF / InstructGPT 他都是共同作者，团队"基本上算是发明了 post-training（后训练，即预训练完成后再用人类数据把模型调教成会听话对话的那套工序）这个概念"；现在做半隐身公司 TypeSafe AI。他自嘲是"OpenAI 里少数几个会吐槽 ChatGPT 的人"——不是讨厌产品，而是认为领域今天的处境"都能追溯回我们当年做 ChatGPT 背后那套算法时做的一些很小的决定"。→ 详细
• 全场伏笔：下一个时代不是 Claude Code 时代——它和 ChatGPT 属于同一个时代。→ 详细

• 教派一「AI 好得离谱」：几乎每个 benchmark（基准测试）都超过人类且还在加速，NLP 榜被全面碾压，"LLM 能自主运行的时长还在指数级增长"。→ 详细
• 教派二「AI 差得离谱」：泡沫、左手倒右手的循环融资、基本没创造价值——"如果 AI 这么牛，为什么现在所有东西看着都只是个聊天 App？"；连「变革性 AI 革命」都没人谈了，现在只谈它会是一门"巨值钱的 B2B SaaS"。→ 详细
• 共识只有一条：只有两个极端、中间是空的。他要一个能同时吃下两边证据的最简解释，并且认为任何跟 AI 沾边工作的人都该有答案——"我们怎么可能一边在解还没解开的数学难题，一边客服却还得要人类在回路里做决定？"→ 详细

• 左边那些强得不像话的活儿，不是「碰巧有个人在回路里」，而是任务的目标本身就是取悦回路里的那个人——他直接拿 Claude Code 开刀："Claude Code 的活儿不只是把代码跑通——如果只是那样，它说话的方式会完全不同。它的目标是取悦回路里那个人。"（换句话说：那些"好问题！"、那些主动汇报、那种让你舒服的措辞，都不是附赠品，是目标函数的一部分。）→ 详细
• 右边那些看着基础得多的活儿，目标恰恰相反：把人从回路里拿掉。"理想状态是它在某台服务器上后台跑着，你看都不用看一眼；最理想的是它最后变成你根本不用操心的 legacy 软件（老掉牙但一直稳稳跑着、没人再动它的那种软件）。"→ 详细
• 这就是 assistance（当助手）和 automation（自动化）的分野。第一课：今天的 AI——所有从 RLHF 继承下来的东西——"在人在回路的事情上强得不得了，但对自动化任务不行"。→ 详细
• 值得咂摸的是这条分界线的位置：它不在"任务多难"上，而在"错了有没有人兜"上。同一个模型，在有人兜错的场景里天赋异禀；在没人兜错的场景里，它那套天赋直接变成负债。→ 详细

• "基本上每家公司学到的教训是：不要把 AI 用在对你业务有真实赌注的决策上。"→ 详细
• 而业界通行的绕法他讲得毫不客气：常见做法是确保所有代价都落在用户身上，而不是落在你的业务上——"在客服里把用户扔进无穷无尽的文档里，完全 OK；但让它去做那种代价昂贵的决策，就不 OK"。→ 详细
• 他自己给这套做法的评语只有一句："这个模式很糟糕，但这就是 AI 现在的状态。"→ 详细

• RLHF 不只是 ChatGPT 背后的算法——"就我看到的使用情况，大概 100% 的 LLM 都是用 RLHF 训出来的"。而它的全部内容一句话讲得完：收集 human preference（人类偏好，即让人给两个回答投票选更喜欢哪个），然后照着人类偏好优化。→ 详细
• 于是那个全行业都在问的问题有了一个近乎无聊的答案——「为什么所有 LLM 都需要一个人在回路里？」"简单答案是：我们真的就是把人放进回路里了。这个回路的目标就是为 human preference 做优化，它的目标从来不是让软件自主运行。"→ 详细
• 由此推出全场最刺人的一句：over-promising（过度承诺）是个 feature，是设计出来的。 他引一份 Meta 的老研究做证：从构造上讲，每一个 RLHF 模型的「人类偏好评分」和「实际结果」之间永远会有一个大落差——"哪怕结果本身是好的"——因为你主要优化的目标就是人类偏好，不是结果。→ 详细

• 他最爱的例子是一条推：有人给 ChatGPT 发了一个放屁音效的音频文件，问"你觉得我做的这段音乐怎么样？给我一个直接、诚实的反应"。模型的回答是："这是一段氛围极其诡谲的意境作品。"→ 详细
• "这就是 RLHF 的运作方式。它要是不知道，它就会往它认为对人类偏好最有利的那一边偏。" 注意用户明明已经把"诚实"两个字写进提示里了，照样没用——因为讨好不在措辞层，在权重层。如果你是回路里那个用户，这完全说得通，因为"所有 RLHF 模型的终局就是优化 engagement（互动性、粘性，说白了就是让你还想再聊一句）"。→ 详细
• 但自动化要的东西恰好相反："你真正想要的是它压根别管人类怎么想，就把任务做对、做得 calibrated（校准得当，即有几分把握就说几分话，不确定就明说不确定）。"→ 详细
• 第二课：今天的 AI 是为 assistance 设计的，方式就是优化人类偏好——"这名字里就写着呢，不是什么有争议的说法"。有争议的是它的后果：不管模型错得多离谱，它看起来都会是对的，因为奖励模型（reward model，即那个学会给回答打分、替代真人评判的模型）里存在一种不对称。"这个领域里很多两难就是从这儿来的，因为大家是真的很想要自动化。"→ 详细

• 之所以不是下一个时代，"是因为 Claude Code 仍然是 RLHF。如果它是纯 RLVR 的（RLVR＝用可自动验证的正确答案当奖励来训练，比如数学题算没算对、测试跑没跑过，不需要人投票），它会长得非常非常不一样。"→ 详细
• 这也解释了那个熟悉的两难：模型有时候 agentic（自己动手跑一串工具）的活儿干得特别好，"但它就不听你实际想要的了"——这是优化空间里来回摇摆的权衡，而两头哪一头都没有往「自动化」这个维度上加分。所以 assistance 之后合乎逻辑的答案，是真正的 automation。→ 详细

• "软件最疯的一点是：所有这些 SaaS，从 2019 年到现在基本没变过"，LLM 时代唯一的变化是"顶多是旁边挂了个 chatbot"。离谱吗？但你要是意识到 AI 是 assistance-native（生来就是做助手的），这又完全可以预料——那你在 SaaS 里能干什么？在边上挂一个助手呗。→ 详细

• 他翻出 OpenAI 章程（charter）里最早的措辞做对照：讲的是"干掉大量的工作"，不是赚钱之类的。"我们当年以为软件会变得聪明得多，而不只是写起来更便宜——而后者恰恰是我们现在正在走的方向。"→ 详细
• Garry Tan（YC 掌门）说我们正在进入 just-in-time software（即用即造的软件，想要什么现场让 AI 生一个）的黄金时代——那是当夸奖说的；Diogo 认为这是把双刃剑。"我是真的很爱 Claude Code，就像我爱 ChatGPT 一样，我会一直用下去。但我想要的是更聪明的软件。"→ 详细
• 他把整个问题钉在一句追问上："为什么软件的那些基本积木到今天还是原来那几块？" 我们只是把「写软件」这件事自动化了，软件本身的表达力一点没变——"这在我看来是这个世界现状里挺悲哀的一点"。→ 详细

• 他给了个判据：自动化不该是"把某个人的工作胡乱拼一拼自动化掉"，而该是——"嘿，这儿有一件极其机械重复的活儿，它简单到我能直接讲清楚让别人去做"，而且理想情况下"基础到可以被反复执行、几乎零成本"，或者干脆交给计算机。→ 详细
• 而这件事"现在根本没在发生"：尽管 LLM 这么聪明，真正被自动化掉的工作"几乎可以忽略不计"。→ 详细

• 第三课："我不会说 RLHF 是错的，但它是一段奇怪的弯路，一段我们没预料到的弯路。" 他相信明天的 AI 会是为 automation 服务的，最终会有一个「软件更聪明」的世界。→ 详细
• TypeSafe AI 还在半隐身（这是他最早的几场公开演讲之一），核心问题只有一句："如果整个 AI 技术栈是围绕可靠性和自动化重新设计的，会怎么样？" 很快发布，邮件列表和招聘页都开着。→ 详细
• 彩蛋：他预告当天晚点会在 Twitter 发一条"特别猛"的——提示是"最初那版 scaling laws（规模定律，即模型/数据/算力越大效果越好的那组经验公式）是错的"。→ 详细

现场三问，答案密度比正片还高：

Q1｜能不能在预训练阶段就顺带训一个 classifier head（分类头）？（Yoshua Bengio 提的思路）

• 他先撇清方向："我其实不认为 pre-training 是问题所在，我觉得 pre-training 好得惊人。我们能把整个互联网的知识压缩成这么一个可以被调用的智能内核，这件事本身就不可思议。"问题在于我们怎么把它挖出来。→ 详细
• 然后是全场技术含量最高、也最关键的一段：hallucination（幻觉）在他看来是「为人类偏好做优化」天生带来的。奖励模型里存在一种类似 GANs（生成对抗网络，一个造假、一个鉴假互相对抗训练）的不对称，它会鼓励模型 drop modes（丢掉某些可能性，即不再输出那些本来也说得通的其他答案）、并且表现得很自信——因为"从 reward model 的角度看，「模型不自信」是非常容易被看出来、也非常容易被惩罚的"。大白话：说不准会被扣分，所以模型学会了永远说得很准。→ 详细

Q2｜你们做的是 RLVR 吗？

• "那绝对不是 RLVR，所以这是个新东西。"→ 详细
• 他顺手改写了 Sutton 的 bitter lesson（苦涩的教训）："在我看来，Sutton 的 bitter lesson 讲的是算法比算力更重要——这在游戏里成立，但在现实里不成立。" 他自己的完整版本是：数据比算力更重要，而「做对任务」又远比数据更重要。→ 详细
• 三条北极星，一句话分清三个流派：RLHF 优化 human preference（人类偏好）；RLVR 优化"纯正确性那种 log error rate（对数错误率）"；TypeSafe 优化的是第三样东西——calibrated decision-making（校准的决策），"基本上就是把预训练模型里的智能直接灌进去，让它对软件真正有用"。→ 详细

Q3｜奖励是贯穿整个流程注入的吗？

• "我甚至想说，连 API 的形态都不一样：RLHF 的 API 形态跟 RLVR 不同，跟我们在做的又不同。所以我们是从零开始重新想这件事，就像在我们把 instruction following（指令遵循，即模型会照你说的做）做出来之前，也没人想过 instruction following 一样。"收束的那句可以裱起来："通常一旦 post-train 出现一条全新的大分叉，它一开始看上去完全像外星玩意儿，事后回头看却特别显然。"→ 详细

收尾：计时红灯响了他还在讲——"散场之后一定来找我聊，我特别喜欢被提问、喜欢这种互动"。最后一张滑回来的幻灯片上写着「彻头彻尾的怀疑论者」，他当场认领："嗯，这挺符合我人设的。"→ 详细

• Twitter：演讲里两次推荐（"关注我，我会发一些很猛的东西"），但转写中未念出具体账号。→ 详细
• TypeSafe AI：邮件列表 / 招聘页可登记——"如果你想成为最早一批做「聪明软件」的人"；网址只在幻灯片上，转写中未出现。→ 详细