代码智能体与AI循环时代

• 主持人 Sarah Guo 回忆，有一次走进办公室看到 Karpathy 整个人极度"锁定"（locked in），就问他在忙什么，他答："我就是得每天写 16 个小时的代码——其实'写代码'这个词都不太对了，对吧？但我每天得花 16 个小时把我的意图传达给我的 agent。让它显化出来（Manifest）。"他强调这背后是"能力上确实出现了一次飞跃（a jump in capability）"。→ 详细
• 他形容自己长期处在"AI 疯魔"（AI psychosis）状态："我感觉自己一直处在——其实现在也常常处在——那种 AI 疯魔的状态里，简直是无时无刻不在这个状态。"为什么会疯魔？因为"这东西是无限的，而且一切问题都归结为'是你自己技术不到位'（everything is a skill issue）"。psychosis 是他半自嘲的说法，指被一片未被探索的领域吸进去、停不下来、永远觉得自己还能再厉害一点的着魔状态。→ 详细
• 本期 No Priors 由 Sarah Guo、Elad Gil 主持，开场就给出完整话题地图：代码 agent、工程和 AI 研究的未来、怎样让更多人参与到研究中来、机器人领域正在发生什么、他对 agent 如何延伸到现实世界的预测，以及"在下一个时代教育会是什么样子"。Karpathy 给本轮 AI 进展定调是一句轻描淡写的"过去这几个月 AI 领域真是非常激动人心……是啊，可以这么说"。→ 详细

• 飞跃的确切时间点是 2025 年 12 月："大概在 12 月，某个东西彻底翻转了，我从原来 80/20（80% 自己写、20% 交给 agent）变成了 20/80，而且现在都不止 20/80 了，比那个比例还要悬殊得多。"翻转前的瓶颈是物理性的——"以前你是被自己的打字速度（typing speed）卡住的"。他称"我从 12 月开始基本上一行代码都没亲手敲过"是"一个极其巨大的变化"，而普通人意识不到它已发生、也意识不到多剧烈——实证是跟父母聊时对方的无感，以及"你随便找一个软件工程师……他构建软件的那套默认工作流（default workflow），基本上从 12 月开始就完全不一样了"。→ 详细

• 当被问"你现在的产能被什么限制住"，他把一切归到一句口头禅——skill issue（技术不到位）："很多事情即使做不成，在很大程度上你会觉得那是'技术不到位'的问题。不是说能力不在那儿，而是你还没找到把这些能力串起来（string it together）的办法。"他随手给了两个具体例子："比如我就是没在 agents 文件里给出足够好的指令"，或者"我没有放进一个足够好用的记忆工具（memory tool）"。→ 详细
• 这种"做不成怪自己"的心态反而"很赋能（empowering）也很上瘾（addictive）"，因为"你是可以变得更厉害的……你一旦变厉害就会有新的解锁（unlocks）"。他还坦白这种焦虑的社交维度："我看到推特上一大堆人在做各种各样的事情，听起来都像是很好的点子，我必须在最前沿，否则我会极其紧张。"主持人接话："如果连你都紧张，那我们这些人就更紧张了。"→ 详细

• 这套打法的标杆人物是 Peter Steinberg：他有一张著名的搞笑照片——坐在一个显示器前，上面平铺（tiling）排满了一堆 Codex agent。Karpathy 给出具体参数："只要你提示得当、用上高强度模式（high effort），它们每个大概要跑 20 分钟。"而且 Peter"同时 checkout 了好多个仓库，可能十个之类的（multiple, 10 repos checked out）……他就是在它们之间来回切换、给它们派活"。→ 详细
• 关键概念是用"宏操作"（macro action，可理解为以"一整块功能"为最小动作单位）来推进，而不再以单行代码为粒度："不再是'这是一行代码、这是一个新函数'，而是'这是一个新功能，交给 agent 一号'；'这是另一个不会和前面那个冲突的新功能，交给 agent 二号'。"分工的画面感很强："另一个 agent 在做某种调研，另一个 agent 在写代码，又有一个 agent 在为某个新的实现想方案。"他说目标是"努力让自己变得特别擅长这个，培养出一种肌肉记忆（muscle memory）"。→ 详细
• 主持人 Sarah Guo 用第一手见闻佐证这种工作形态有多颠覆：Conviction 合作的一个团队里"所有工程师都不再用手敲代码，每个人都戴着麦克风（microphoned），整天就对着自己的 agent 小声说话（whisper to their agents）"——"这是我见过最奇怪的工作场景。我本来觉得他们疯了，可现在我完全接受了，我心想，哦，原来这才是正确的方式。你只是走在了前面。"→ 详细

• 等 agent 完成时的本能反应就是"再多干点活"："每当我在等一个 agent 完成某件事的时候，显而易见该做的就是——那我可以多干点活，对吧？如果我能用更多的 token，那我就应该把任务并行起来。"他甚至给出一条很具体的操作纪律：要把订阅额度用满、理想情况下多个 agent 一起用，"比如你 Codex 的配额用光了，你就该切到 Claude 之类的"；"当我还有订阅额度剩下时我会紧张。那只意味着我没把我的 token 吞吐量拉满。"→ 详细
• 他用读博经历做类比，把这种焦虑的"前世今生"讲透了："其实我读博的时候就经历过类似的感觉。当你的 GPU 没在跑的时候你会紧张。你有 GPU 算力却没把可用的 flops（浮点运算能力）用满。但现在不是关于 flops 了，是关于 token。所以你的 token 吞吐量是多少？你能调动多大的 token 吞吐量（token throughput）？"→ 详细
• 他点出一个时代级的转折："过去至少有十年，在很多工程任务里人们并不觉得自己被算力卡住（compute bound），而现在整个行业都感受到了这一点。"而能力一跃升，瓶颈又再移一格——不再是访问算力的能力，"是我自己成了那个约束条件（I'm the binding constraint）。是啊，是'技术不到位'的问题。"→ 详细

• 被问"一年后达到精通（mastery）会是什么样"，他把时间尺度拉得很开——"一年后，或者两三年、五年、十年后"——核心判断是"每个人基本上都想往技术栈的上层走（going up the stack）"。重点已经不在和单个 agent 的单次会话（a single session），而是"多个 agent，它们如何协作、如何组成团队（teams）"，每个人都在努力搞清楚那会是什么样子。→ 详细

• Karpathy 口中反复出现的 "Claude / claw" 指"这样一个层（layer）：它把'持久性'（persistence）提升到了一个全新的水平"——"它是那种会一直循环下去的东西，不是你需要交互式地全程介入的东西。它有点像有自己的小沙盒（its own little sandbox）、自己的小空间，它会替你做事，哪怕你没在看也照样做。"这是它和普通 agent 会话最本质的区别：你不必坐在中间盯着。它还配有更复杂的记忆系统："Open Claude 的记忆系统我会说要比你默认得到的复杂得多——默认的无非就是上下文用完时做一次记忆压缩（memory compaction when your context runs out）。"→ 详细

• Karpathy 说 Open Claude（Peter Steinberg 的作品）"里面至少有五个真的很棒的点子"，感慨 Peter"在大概五个不同的方向上同时做出了创新并整合到一起"且本人"非常谦逊"。①人格：用 soul 文档"精心打造了一个相当有吸引力、相当有趣的人格"，"Claude 感觉像是个队友（teammate），会跟你一起兴奋"，反衬"Codex 就要干巴巴得多"。②sycophancy（奉承度）调得到位（最有意思的一条）："当 Claude 夸我的时候，我确实会觉得自己稍微配得上……我给它一个我自己都觉得没想透的点子，它并不会反应特别强烈……但当我自己觉得这真的是个好点子的时候，它确实会显得更愿意去奖励它一点。所以我有点感觉自己是在努力'挣得'它的夸奖（trying to earn its praise）"——好的奉承度不是逢人就夸，而是夸得有区分度、让夸奖重新变得值钱。③复杂的记忆系统；④连通所有自动化的单一 WhatsApp 入口（single WhatsApp portal）；⑤"他就是在拿这个玩得很开心"。→ 详细

• 一月份 Karpathy 经历过一段"Claude 疯魔"（claw psychosis）期，搭了一个专门照看家的 Claude 取名"Dobby 小精灵 Claude"（致敬《哈利·波特》里的家养小精灵）。起手只是一句模糊指令："我就是告诉它，我觉得我家里有 Sonos 设备，你能不能试着找一下？"于是 agent 对局域网做了 IP 扫描，找到 Sonos、发现根本没密码保护、直接登录、搜到 API 端点，"然后说'你想试试看吗？'……我说你能不能在书房放点音乐？它真的放了……这才三句提示而已（three prompts）"。灯也如法炮制："黑进去、搞清楚了整套系统、做出了 API、做出了一个 dashboard，让我能控制我家里所有的灯。"现在 Dobby 控制全家的灯、暖通空调（HVAC）、窗帘、泳池、温泉浴池（spa）和安防——最生动的是安防：朝外摄像头 + 一个 Quinn 模型做变化检测（change detection），有人靠近就"给我的 WhatsApp 发一条消息，附一张图片，说'嘿，刚有一辆 FedEx 卡车停过来了……你有新的邮件'"。交互方式就是日常对话，比如"Dobby，到睡觉时间了（sleepy time）"所有灯就全关。收益是把六个割裂的 app 收敛成一个自然语言入口："我以前要用六个 app，现在我再也不用这些 app 了。Dobby 用自然语言就能控制一切。"他还补一句自己"甚至都还没把这个范式完全推到位"。→ 详细

• 为什么 Dobby 这种形态打动人？因为它是"从人们觉得一个 AI 应该是什么样反推回来（working backwards）"的："人们脑子里想的那个'AI 是什么'，其实并不是 LLM 在原始意义上的样子。LLM 是个 token 生成器……但人们想的是这么一个有人格、有身份的东西（persona identity），他们可以跟它说事情，它会记住——它就是 WhatsApp 背后的一个实体（entity）。"他还提了一句被严重忽视的成本——"人类要付出努力去学新软件、学新 UI"。→ 详细
• 由此引出"软件过度生产（overproduction）"论："应用商店里那些用来操控智能家居设备的 app，从某种意义上说它们甚至根本就不该存在。难道不应该只有 API，然后让 agent 直接去用它们吗？"原因是单个 app 各管一摊、互不打通，而"LLM 真的可以驱动这些工具、调用所有正确的工具，做相当复杂的事情……agent 就是那个智能的胶水（the glue of the intelligence）"。亲身例子是跑步机："我的跑步机有个 app，我想记录一下我多久做一次有氧，但我不想登录某个网页 UI、走一整套流程。这一切都应该只是把 API 提供出来。"→ 详细
• 这意味着整个行业要重新洗牌："客户不再是人类了，而是代表人类行动的 agent（agents who are acting on behalf of humans），这种重构在某种意义上可能会是相当庞大的。"对"那普通人难道要去写代码吗"的反驳，他回应：现在确实还有写代码的成分，但"我刚才说的这类事情——这在一两年或者两三年内应该会变成免费的、不费力的（free, trivial, table stakes）。完全不涉及写代码。任何 AI，哪怕是开源模型，都能做到"。他还预演了终局形态：门槛一路降下来，最后软件就成了"替你临时生成、用完即弃的软件（ephemeral software）……Claude 有一台机器，它会把事情搞定，它只是把 UI 呈现给你，你就在那儿说说话"。→ 详细

• 先说边界感：他并没有把邮件、日历等权限交给 Claude——"我还是有点疑虑，而且它还很新、边边角角还很粗糙（rough around the edges）。所以我还不想给它对我整个数字生活的完全访问权限，这部分原因就是安全、隐私。"另一部分原因则是单纯被别的事分心。→ 详细
• auto research 的源头是他的一条推文："要想把现在已经可用的这些工具的价值榨到最大，你必须把你自己从瓶颈的位置上挪开（remove yourself as the bottleneck）。你不能一直在那儿等着去提示下一步。你得把自己挪到外面去（take yourself outside），把事情安排成它们完全自主。"他觉得大家点赞了这条推却"还没有把它的推论想透"，而 auto research 就是那个推论的具体落地。→ 详细
• 游戏的核心一句话就能概括——提高杠杆率（increase your leverage）："我只是偶尔放进去很少的几个 token，然后大量的事情就替我自动发生了。"对研究而言："我不想当那个在循环里的研究者（the researcher in loop）——盯着结果看。我那是在拖累系统。"所以要重构所有抽象，让自己"只需要安排一次然后按下'开始'（arrange it once and hit go）"。auto research 的接口因此极简："这是一个目标，这是一个指标，这是你能做和不能做的边界（boundaries of what you can and cannot do）。然后开跑。然后，是啊，它成功了（it worked）。"→ 详细

• 先解释他为什么执着于训练 GPT-2 这种"小事"——对他而言"训练 GPT 模型只是一个小框架、一个用来训练 LLM 的小游乐场（little playground）"，真正的母题是"递归式自我改进（recursive self-improvement），以及你究竟能在多大程度上真正做到让 LLM 去改进 LLM（LLMs improving LLMs）"——他点明"所有前沿实验室……大致上都在试图实现递归式自我改进"。他的小游乐场项目叫 data chat / nanochat。→ 详细
• 这个故事的分量在于他的资历——他先用一句自嘲铺垫了"挣来的自信"："我是个研究者，我做这个做了大概二十年了……'这个模型我已经训练过成千上万次了（thousands of times）'，我做过一大堆实验、做过超参调优……我把它调到了某个程度，我觉得它已经调得相当不错了。"然后转折来了："我让 auto research 跑了一个通宵（overnight），它回来给了我一些我自己没看到的调参。是啊，我确实忘了 value embedding 上的 weight decay（一种正则化手段），而且我的 Adam betas 调得不够充分，这些东西是会联合相互作用的（jointly interact）——所以你一旦调了一个东西，别的东西也可能得跟着改。"→ 详细
• 由此提炼出方法论："我不该成为瓶颈。我不该亲自去跑这些超参优化。我不该去盯着结果看。在这种情况下是有客观判据的（objective criteria）。所以你只需要把它安排好，让它能一直跑下去。"他强调这"只是一个单一的循环（a single loop）"，而"这些前沿实验室，他们有几万台 GPU 的集群（tens of thousands）"。再往上推的逻辑是 scaling law（规模律）："所有围绕前沿级智能的东西都是关于外推和 scaling law 的，所以你基本上是在更小的模型上做大量的探索，然后再试着往外推（extrapolate out）"——小模型上的实验能给"何时该扩大规模"提供方向感。→ 详细

• 他直言"最有意思的项目、也很可能是前沿实验室正在做的事情"，就是"在更小的模型上做实验，尽量把它做得越自主越好，把研究者从循环里移出去（remove researchers from the loop）"，甚至开玩笑说研究者"过度自信""其实根本就不该碰这些东西"——随即澄清"他们当然可以贡献想法，但不该亲自去执行"。→ 详细 具体组织结构设想：一个单一的想法队列（a single queue of ideas），由两个来源往里灌——"一个自动化的科学家（automated scientist），基于所有 arxiv 论文和 GitHub 仓库提出想法"，外加人类研究者也可贡献；然后"有一些 worker 从里面取出条目去尝试，凡是有效的就被放到 feature 分支（feature branch）上……时不时合并到 main 分支"。本质上就是"把人类从所有流程里移出去……把每秒 token 吞吐量做到很高"，代价是"一切都得重新洗牌（everything has to be reshuffled）"。→ 详细

• program.md 是 Karpathy"用来描述 auto researcher 应该怎么工作的一个很糙的尝试（crappy attempt）"——他用 markdown 直接写："先做这个再做那个，然后试试这几类想法，比如看看架构（look at architecture）、看看 optimizer（优化器）。"主持人插了一句点睛的话：program.md 本身就是一个循环（loop），Karpathy 答"没错"。→ 详细
• 由此推出一个很有冲击力的命题——研究组织即代码："本质上每一个研究组织都是由一个 program.md 来描述的。一个研究组织就是一组 markdown 文件，描述所有的角色以及整个系统是怎么连接起来的。"既然是代码就可以被调优，他举的例子很接地气——"也许他们早上少开几次站会，因为站会没用（fewer stand-ups, because they're useless）"；"一个组织可以非常敢于冒险，一个组织可以保守一些。一旦你有了代码，你就可以想象去调优这些代码。所以百分之百，这里面有一个'元层'（meta layer）。"→ 详细
• 他甚至有个"比赛点子"（contest idea）："让人们去写不同的 program.md，然后在同样的硬件上，看谁能拿到最大的提升。"再把这些数据喂回模型："你可以把那些数据全部拿过来，喂给模型，跟它说：写一个更好的 program.md（write a better program MD）。"他对结果几乎没有怀疑："我们肯定会得到更好的东西。不可能得不到吧，对吧？"→ 详细

• 他把这套东西比作剥洋葱、一层层往上叠："LLM 那部分现在已经被视为理所当然了；agent 那部分也是了；现在 Claude 那样的实体也是了；现在你可以同时跑好几个、给它们下指令、对这些指令做优化——这就有点太多了（a little too much）。"这正是 psychosis 的来源——"因为这东西是无限的，一切都是规模问题"。限定条件①（什么任务适合）：这套做法"极其适合任何有客观、容易评估的指标的事情"，完美例子是写 CUDA kernel（给 GPU 用的高性能代码）——"你有一段低效的代码，想要一段行为完全一样但快得多的高效代码，完美契合"；反过来是一句斩钉截铁的边界："如果你没法评估，你就没法对它做 auto research（if you can't evaluate then you can't auto research it）。"限定条件②（现状还不能完全放手）：整个东西仍"有点接缝处快撑爆的感觉，有裂缝（bursting at the seams, there's cracks）"，模型"还是有点毛糙"。这里诞生了全片最著名的形容："我同时感觉自己像是在跟一个极其聪明的、一辈子都在做系统编程的博士生说话，又像是在跟一个十岁小孩说话（a brilliant PhD student … and a 10-year-old）"——主持人补一句：在人类身上"你不会碰到那种组合"。→ 详细

• jaggedness（参差不齐，指能力在不同任务上忽高忽低）是本片的核心隐喻。"agent 的参差要多得多——有时候我让它实现某个功能，它返回来的东西完全是错的，然后我们就陷进了完全错误的循环里（loops that are totally wrong），我到现在还是经常被 agent 气得不行。"主持人接出一句很多人都有共鸣的吐槽："当我觉得 agent 在一个本该一眼看出是明显问题的事情上浪费了一大堆算力时，我会非常恼火。"→ 详细
• 根源在强化学习（RL）的奖励机制："这些模型本质上是通过强化学习训练出来的。实验室能在任何可验证的、或者有奖励信号的东西上改进模型——比如：你这个程序写对了吗？单元测试通过了吗？通过还是没通过。"而软性任务就吃力——他点名了两类："拿捏那种微妙之处——我心里到底想要的是什么、我的意图是什么"，以及"什么时候该问澄清性的问题（when to ask clarifying questions）"。他总结成一句二元的画面："你要么在轨道上，是超级智能那套电路的一部分（on rails, part of the super intelligence circuits）；要么你不在轨道上，跑出了可验证的领域，然后一切就突然变得漫无目的、东游西荡（meanders）。"→ 详细
• 笑话实测是最好笑也最锋利的证据。问 ChatGPT 讲笑话，"我确实觉得 ChatGPT 大概就那么三个笑话（three jokes）"。所有 LLM 最爱的那个，原文照录："科学家为什么不信任原子？因为原子能编造一切（because they make everything up）"——这是个双关，make up 既是"编造"也是"构成"万物。他的暴击点评："这是你三四年前会得到的那个笑话，今天你还是会得到同一个笑话。"→ 详细 反差由此拉满："你给它一个 agentic 的任务，它能连续干上好几个小时，为你移山倒海（move mountains）——可你一让它讲个笑话，它就讲一个五年前那种烂笑话。"为什么？"因为它在 RL 之外，在被改进的范围之外……它就是没被优化，卡在那儿了（not being optimized and stuck）。"→ 详细

• 这里直接挑战了一个流行假设。主持人转述："某些研究团队有一个前提：如果你在代码生成上更聪明、在这些可验证的领域里更聪明，那你应该在所有事情上都更厉害（better at everything）。而笑话这个情况说明，这种事根本就没发生。"→ 详细 Karpathy 同意存在"解耦（decoupling）"——有些东西可验证、有些不可，有些被实验室随喂进去的数据"随意地优化了"、有些没有；问到这种泛化是否正在发生，他很克制："我不认为那种事正在发生。也许我们能看到一点点迹象，但远没有到让人满意的程度（not a satisfying amount）。"→ 详细 他点出 jaggedness 在人类身上也有——"你可以数学非常好，但讲的笑话还是烂得要命"——只是人类的参差"要少得多"。由此戳破一个流行叙事："人们讲的故事是：随着模型越来越好，社会各领域的智能和能力我们都能免费得到（for free）。可实际发生的并不完全是这么回事——有一些盲点（blind spots），有些东西没被优化，而这一切全都团成一坨，挤在这些不透明的神经网络模型里（clustered up in opaque models）。"→ 详细

• 主持人提了个"有点大不敬（blasphemous）"的问题：既然 jaggedness 持续存在又全团在单一模型里，是否该把模型解绑（unbundle）成多个领域专家——而不只是用户从外部完全看不见的那种 MoE（专家混合，模型内部的分工机制）？因为"那个从外部看会让人很困惑：为什么它这件事这么强、那件事却不行？"Karpathy 先给现状判断："实验室在试图打造一个单一的、单一栽培式的模型（a single monoculture of a model），让它在所有这些不同领域里都任意地聪明，然后把这一切全塞进参数里。我们目前还没看到太多物种分化。"→ 详细
• 但他认为应当预期"更多物种分化"，并用生物学打了个很美的比方："动物界里存在的大脑极其多样，自然界有很多不同的生态位（niches），有些动物有过度发达的视觉皮层。"结论是"你不需要那种无所不知的神谕（an oracle that knows everything），你可以让它分化，然后把它放到一个特定任务上"——这样就能有"小得多的模型，它们仍然有那个认知内核（cognitive core）、仍然很能干，但专精之后在延迟（latency）或吞吐量上更高效"。真实苗头："比如你是个用 Lean（一种形式化数学证明语言）工作的数学家，我就见过有几个发布版本确实是把这个当作目标领域来做的。"→ 详细
• 阻碍主要有两层。其一是动机/经济："实验室在服务一个模型，他们其实并不知道终端用户会问什么，所以某种程度上必须在所有可能被问到的事情上做多任务处理"；只有当你"来找一家企业、针对你在意的某些具体问题做合作"，或出现"价值非常高、比较小众的应用"时，分化才划算（他还提到短期供给紧张 supply crunch"或许会催生更多物种分化"）。其二是科学还不成熟——"操控这些'大脑'的科学还没完全成熟"，他解释"操控"的意思是"在不丢失能力的前提下做微调（fine-tuning without losing capabilities）"：目前"还没有那些真正的原语，能让我们用除了 context window（上下文窗口）之外的方式去跟这些智能体打交道"，而 context window 好用又便宜；至于"持续学习（continual learning）""真正去碰权重（touch the weights）"则棘手得多，"因为你实际上是在从根本上改变整个模型，可能还改变它的智能"，而且分化"还得足够便宜（cheap enough）才值得"。→ 详细

• auto research 目前是单线程的，他直言"把它并行化才是有意思的部分"，但还没找到一个"简单得'咔哒'一下就成立（clicks as simply）"的方案，这是他"在不忙我那个 Claude 的时候，在业余时间一直在搞的东西"。最直接的做法（多个 auto researcher 通过公共系统交流）他觉得太平淡；他更感兴趣的是利用互联网上"一个不可信的工人池（an untrusted pool of workers）"。关键的非对称性在于："在 auto research 里你只是想找到那段能把模型训练到极低验证损失（very low validation loss）的代码。如果有人给你一个候选 commit，要验证那个 commit 好不好是很容易的……但他们可能会撒谎。"于是这套设计"看起来还真有点像区块链（looks a little bit like a blockchain）——这里是 commit，commit 可以一个叠一个往上建……工作量证明（proof of work）基本上就是做海量实验去找到那些奏效的 commit"，奖励"就只是上排行榜——现在压根没有任何金钱奖励（no monetary reward whatsoever）"。→ 详细
• 他把这类问题的共性讲透并连上前人：很多事情"想出来非常昂贵，但验证非常便宜（very expensive to come up with but very cheap to verify）"——"有人可能得试一万个点子（10,000 ideas），但你只需要检验那个东西是不是真的奏效"。这正是 SETI@home / Folding@home 的结构（"折叠蛋白质，找到一个低能量构型非常难，但有人找到了就完美，直接拿来轻松验证"）。安全是必须设防的一环——"如果随便什么人给你发来任意代码而你又要去运行它，那是非常可疑、非常危险的"，所以要让"不可信的工人池跟一个负责验证的可信工人池（trusted pool of workers）协作"。由此抛出大胆结论："互联网上一群 agent 组成的蜂群（a swarm of agents）可以协作来改进 LLM，甚至有可能把前沿实验室耍得团团转（run circles around frontier labs）。前沿实验室有海量可信算力，但地球大得多，有海量的不可信算力（the earth is much bigger）。"落到一个动人的应用："比如你在意某种特定类型的癌症（cancer），你不必只是给某个机构捐钱，你其实可以去买算力，加入那个项目的 auto research 蜂群。"主持人顺势点出："至少有一部分人，无论是硅谷、还是在中国零售店外排队的那些人，已经发现拥有个人算力的访问权又重新变得有意思了。"→ 详细

• 主持人提出一个设想：现在人人在意 dollar，但未来人人真正在意的会不会是 flop（算力）？会不会出现一个"翻转时刻（flipening）"——人们在意的那个东西发生切换？现实依据是"现在即便你有钱，也很难拿到算力，所以其实看起来 flop 几乎已经是主导性的了"。→ 详细 Karpathy 的回应留了余地："就是说——你掌控了多少 flop、多少算力，而不是你掌控了多少财富。我其实不认为这是真的，但拿来想一想还挺有意思的（I don't actually think that's true but it's kind of interesting to think about）。"→ 详细

• 他最近发布了一份就业数据可视化，自嘲"即便我只是把一些公开数据可视化了一下，可能也戳到了某些人的神经"。动机是给关于行业的"思路链条添柴加火"——人们都在琢磨"AI 对就业市场的冲击……这些会变成人们手里在用的工具吗？还是会变成把这些职业取代掉的工具？"数据来源是美国劳工统计局（Bureau of Labor Statistics）2024 年做的每个职业未来约十年的增长百分比预测（他顺口点了句方向——"我们需要大量的医疗护理人员"）。他给数据上色用的框架是比特 vs 原子的速度差：现在主要被开发的是"更偏数字化的 AI，有点像幽灵或精神体一样的存在（ghosts or spirit entities）……还没有什么物理的实体"；物理层面慢是因为"翻转比特、复制粘贴数字信息的能力，让一切都比加速物质快上一百万倍（a million times faster than accelerating matter）"。所以"数字空间里的某种东西会以光速推进（goes at the speed of light），而物理世界里发生的事情要慢得多"。→ 详细 这也解释了他为何特意标注"那些本质上在操纵数字信息的职业（在家就能做的工作）"——当下存在"能力悬置（overhang）"："现在有了 AI，就多出了第三种数字信息的操纵者（a third kind of manipulator），继计算机和人之后。"但他谨慎补充：变化"并不意味着这类岗位会变少或变多，因为这还涉及需求弹性"。→ 详细

• 给面对就业市场者的第一条建议就是"跟上"："这些工具极其新、极其强大，所以光是努力跟上它（trying to keep up with it），这就是第一件要做的事。"他指出两种常见误区——"很多人有点把它当回事不当回事地打发掉了（dismiss it），或者他们害怕它（afraid of it）"。框架上要把工作拆成任务："这些工作都是一捆一捆的任务的组合（bundles of tasks），其中有些任务可以快很多。"对长期他坦白不确定："这件事的长期未来是不确定的，挺难预测的，这应该是经济学家的活儿。"→ 详细
• 工程岗位需求为何仍在增长，他用需求弹性 + Jevons 悖论（杰文斯悖论：效率提升反而拉高总需求）解释："过去软件是稀缺的（scarce），我们对软件没有更多需求就是因为它稀缺、太贵了。一旦门槛降下来，你就会遇上杰文斯悖论——你对软件的需求实际上反而会上升。"经典例子是 ATM 与银行柜员："当年大家很担心 ATM 和电脑会把柜员取代掉。但实际发生的是，它们让经营一个银行网点的成本便宜了很多。于是就有了更多的银行网点，也就有了更多的柜员。"他对软件工程因此"谨慎乐观（cautiously optimistic）"——"对软件的需求似乎会极其庞大，而它刚刚变得便宜了很多"；理由是软件的可塑性："代码现在是临时的、可变的（ephemeral, can change and be modified）。所以数字空间里会出现大量活动，某种意义上把一切都重新接线（rewire everything）。"→ 详细

• 他把前沿实验室处境讲得很尖锐：OpenAI、Anthropic 等"雇了大概一千多名研究员（a thousand something researchers）"，而这些研究员"基本上就像是被美化了的自动化（glorified auto…）"，"他们正在主动地把自己自动化掉，而这恰恰就是他们所有人都在努力做的事"，于是会想"我也完蛋了（it's over for me, too）"。→ 详细 他亲历的一幕：在 OpenAI 转悠时对同事说——"如果我们成功了，我们就都失业了……这事就会变成我们其实是在给 Sam（Altman）、给董事会构建自动化（building automation for Sam or the board），然后我们全都失业。"→ 详细
• 回应"Noam 的问题"（"你为什么不干脆去前沿实验室、用大规模算力做 auto research"）时，他承认这是"有点带预设的问题（loaded question）"，并表明确实进出过实验室。他列出与实验室"绑定太深"的三个问题：①"你跟这些前沿实验室之间存在巨大的财务利益绑定（huge financial incentive）……这恰恰就是当初 OpenAI 创立时核心处那个难题，至今仍未解决（still not resolved）"；②言论不自由——"有些话你就是不能说，反过来有些话则是组织希望你去说的，你能感受到那种压力"；③没有真正的掌控权——"如果你是一个组织的雇员……你在房间里、在贡献想法，但你并不是真正掌控那个实体的人"。他自评在实验室之外"感觉自己跟人类的立场对得更齐一些（more aligned with humanity）"。但他也诚实承认硬币另一面——待在外面有"判断力漂移（judgment will drift）"的风险，"这些实验室是不透明的……如果你身处那个前沿实验室之外，你的判断力从根本上会开始漂移"。所以理想方案是"来回切换（going back and forth）"，他还评价"Noam 大概能在 OpenAI 做出极其出色的工作，但我也觉得他最有影响力的工作很可能就在 OpenAI 之外"。→ 详细

• 开源落后前沿的月数有一条清晰演进曲线："一开始是什么都没有（nothing），然后变成了 18 个月，现在也许差不多 8 个月、6 个月这个量级。"近期还有一个让很多人意外的现象——"人们近期还会继续发布一些模型，从能力角度看，它们比业界很多人预期的要更接近前沿（closer than much of the industry anticipated）"。→ 详细
• 他用操作系统打了个核心比方："闭源的 Windows 和 Mac OS，这些是大型软件项目，有点像 LLM 将来会变成的样子，然后还有 Linux。Linux 极其成功，运行在绝大多数计算机上——是不是有大概 60% 的比例跑在 Linux 上？"成立的原因是产业需求："产业里有一种需求，需要有一个共同的、开放的平台，让每个人用起来都觉得是安全的。"和操作系统唯一的大区别是钱——"这件事一切都很吃资本，里面有大量的资本支出（capex）"。→ 详细 预测层面是分层图景：绝大多数消费级用例开源已"相当不错"、"甚至能在本地运行（run locally）"；而前沿智能的需求会上移到"诺贝尔奖级别的工作（Nobel Prize kind of work）"（例子是"把 Linux 从 C 迁移到 Rust"）；而且前沿本身会持续向开源滴落——"今天我看来算前沿的、正在用的这些闭源东西，大概在今年晚些时候（later this year）就会变成开源的"。→ 详细
• 他对"闭源前沿 + 开源落后几个月"这个格局的总评是"误打误撞落到的好格局（by accident we're in an okay spot）"，"这种动态持续得越久，整个生态系统所处的位置可能就越健康，因为曲线下的面积会越来越大"。深层理由是他对中心化的警惕——"中心化在过去有着非常糟糕的历史记录"，他以东欧人身份点到"有很多挺糟糕的先例"。他还注意到一个反讽近况："即便在闭源这一边，最近反而更进一步中心化了，因为很多领跑者并不一定是真正的顶尖梯队。"价值观很明确："在机器学习里，集成（ensemble）总是比任何单个模型表现更好。所以我希望房间里有更多的人、更多前沿实验室，我不希望它变成两三个人关起门来做决定（two or three people behind closed doors）的局面。"→ 详细

• Karpathy 的机器人观由自动驾驶塑造——"我确实觉得自动驾驶是第一个机器人应用（self-driving is the first robotics application）"。历史教训很冷峻："大概十年前有非常多的创业公司，我感觉当中大多数从长期来看基本都没能挺过来（most of them didn't long-term make it）"，因为"机器人这件事太难了、太混乱了，需要巨额的资本投入和大量的信念（conviction）"。核心结论是那句重锤——"原子真的非常难，所以机器人会滞后于数字空间里将要发生的一切"，而数字空间会先出现大量"解绑（unhobbling）——基本上就是那些原本效率不高的东西，效率会一下子提升一百倍（a factor of a hundred）"，原因还是"比特要容易得多"。最有意思的是数字与物理之间的"接口（interface）"：纯数字的活迟早会做完——"我们之所以有海量数字化工作，是因为对'已经数字化的东西'的集体思考存在一个积压（overhang）……但你迟早会把所有论文读完（read all the papers），那时你必须走向真实宇宙，向它提问、做实验"。时间轨迹："现在我主要兴趣在数字，接下来是接口，再之后是物理层面的东西——它们的时机会到来，而当它们到来时会非常巨大。"（市场判断：论总可触达市场 TAM，"物理世界可能甚至比数字空间大得多，但它需要海量的工作"。）→ 详细

• 接口层的两端他定义得很清楚："'看见世界'的传感器（sensors），和'对世界做点什么'的执行器（actuators）。"读端门槛已不高——"'读'就是传感器、摄像头之类，已经有大量现成的硬件，只要你足够聪明，就能丰富智能体的能力"。→ 详细 两类真实案例：①材料科学——"我有个朋友 Liam，是 Periodic 的 CEO……他们想做材料科学领域的自动研究（auto research for materials science），在那个场景里，通向智能的'传感器'其实是相当昂贵的实验室设备"；②花钱买数据——"你花钱请人来生产训练数据，以程序化的方式（programmatically）"，他半开玩笑称之为"用来喂养 Borg（《星际迷航》里同化万物的集体意识）"。→ 详细 他"有点惊讶我们居然还没有足够多的信息市场（information markets）"："如果伊朗那档子事正在发生，怎么就没有一种机制，让'从德黑兰某处拍张照片或视频'值大概 10 美元呢？看它的会是那些试图押注博彩游戏、股市的智能体。"最后推荐了科幻小说《Daemon》（守护程序）——"那个智能最终几乎是在'操纵'整个人类（puppeteering humanity），人类有点像是它的执行器，但同时也是它的传感器"，并引出一个不安的宏大预测："整个社会会以某种方式集体地重新塑形，去服务于那台机器的需求……人类某种程度上会去服务那台机器的需求，而不一定是去服务彼此（serving the needs of that machine, not necessarily each other）。"→ 详细

• micro GPT 是他"持续了大概十年、二十年的执念（running obsession）"——不断简化、把 LLM 提炼到最本质（同系列还有 nano GPT、makemore、micrograd）。具体代码量拆解很惊人："micro GPT 只有约 200 行 Python，而且这还包括了注释——数据集就是一段文本，神经网络架构大概 50 行，做反向传播算梯度的 autograd 引擎大概 100 行，优化器 Adam 其实也就 10 行。"为什么能这么短？"训练神经网络需要海量的代码，但所有那些代码其实都是为了'效率'而产生的复杂性（complexity from efficiency）……如果你只关心算法本身，那算法其实就 200 行。"→ 详细
• 关键转变是教学对象从"人"变成"agent"。"大概一年多以前，如果我搞出了 micro GPT，我会很想去给大家讲解它……但我后来意识到，这其实没增加多少价值，因为它已经简单到只有 200 行了，任何人都可以让他们的智能体给他们解释。我现在不是在给人讲解了，我是在给智能体讲解（I'm explaining it to agents）。"agent 在这里扮演"路由器（router）"——"如果你能把它讲给智能体听，那智能体就可以用人类自己的语言、以无限的耐心、按照人类的能力水平把它讲给人听"。主持人补了一句金句："如果我不懂某个特定的函数，我可以让智能体用三种不同的方式给我讲，而这是我从你这儿得不到的（that's not something I'd get from you）。"→ 详细
• 由此推出教育被重塑、"人教人会终结（the end of teaching each other things）"。落到工程实践很具体："如果我有一个代码库，过去你会为将要使用它的其他人写文档，但现在你不该再那么做了。你不该再为人类写 HTML 文档，而应该为智能体写 markdown 文档（markdown documents for agents）。因为如果智能体懂了，它就能把库的各个部分都讲清楚。"他打算为 micro GPT 做一个"技能（skill）"——"技能就是一种指示智能体如何去教某样东西的方式……我可以把整个课程稍微编排成一个技能脚本"。他诚实地说还没完全到那一步："我还是觉得我大概能比智能体讲得稍微好一点，但模型进步得太快了，以至于在某种程度上，这是一场注定要输的仗（a losing battle）。"→ 详细
• 但人类并未完全出局，而是退守到"那几个比特"。他做过一个实验："我试过让一个智能体来写 micro GPT，我跟它说，试着把我的神经网络训练提炼到最简的形态，但它做不到（it can't do it）。micro GPT 算是我执念的终点，就是那 200 行……它没法再更简了。这就是我增加的价值（this is my value add）。"妙的是 agent 不会原创那个解、却完全能理解它："它只是想不出来这个解，但它完全能领会、能理解为什么要用某种特定方式去做。所以我的贡献大概就是这么几个比特（these few bits），但在那之后所有关于'教育'的事情，就已经不再是我的领域了。"→ 详细

本期为深度长谈，无独立的 lightning round 环节。Karpathy 的收尾金句几乎是一条可执行的职业策略，值得单独记下：

"智能体做不到的事，现在就是你的工作。智能体做得到的事，它们大概能比你做得更好，或者很快就会。所以你应该有策略地去想，到底该把时间花在什么上面（be strategic about what you're actually spending time on）。"→ 详细

主持人对此的回应也很有画面感——"我们很感激这几个比特（we appreciate the few bits）"，把 Karpathy 自己"贡献几个比特、其余交给 agent"的理念顺手用回了他身上。

视频中提到、值得延伸的具体资源：

• 书：《Daemon》（守护程序）—— 关于智能体"操纵"人类、人类同时是其传感器与执行器的科幻小说，被 Karpathy 拿来类比"社会重塑去服务机器需求"的未来。→ 详细
• Karpathy 的开源项目谱系：micrograd → makemore → nanoGPT → micro GPT（"把 LLM 提炼到本质"的二十年执念，micro GPT 约 200 行 Python：数据集=一段文本、架构≈50 行、autograd≈100 行、Adam≈10 行）。→ 详细
• 被点名的人/公司：Peter Steinberg（Open Claude 作者，一个显示器平铺 Codex agent 的标杆）、Liam（Periodic CEO，做材料科学 auto research）、Noam（即"Noam 的问题"的提出者，被 Karpathy 鼓励"做带 auto research 的独立研究员"）、Jensen（黄仁勋，被引用"我们所有人都只是变得更忙了"）。

• 节目：No Priors —— 主持人 Sarah Guo、Elad Gil；Twitter：@NoPriorsPod；可订阅 YouTube 频道看主持人出镜，或在 Apple Podcasts、Spotify 收听，每周一期；文字稿与邮件订阅见 no-priors.com。
• 嘉宾：Andrej Karpathy —— 参与联合创办 OpenAI、曾任 Tesla AI 主管；本期讨论的核心概念包括 auto research（自动研究）、program.md（把研究组织写成 markdown）、Dobby（家庭管家 Claude）、jaggedness（参差不齐）、unhobbling（解绑）、micro GPT。
• 视频原片：https://www.youtube.com/watch?v=kwSVtQ7dziU