Infra与token成本

• 推理链：如果模型都稳定到某种程度的 SOTA（业内当下最强水平），模型就变成商品——"像今天的电和水一样，变成一个不是那么性感的生意"，而这正是市场对大模型公司高估值最大的担忧。他判断"最终会到达这一步，但到底是一年还是五年"说不准。 → 详细
• 早期信号已现：最新旗舰模型对比 Claude Opus，"对于开发者来说没有本质上的区别，我觉得这个爬坡已经开始放缓了"。于是那句暴论："模型能力已经够了，要卷就卷 infra。模型能力来了，但是基础设施和这 harness 整块都没有跟上，所以导致现在还没有落地。" → 详细
• 但这条赛道恰恰"不够卷"，这是他上节目的原因：前沿实验室（Frontier Lab）里"每个至少有几十个到三百号人在做类似的事"，可他们是为提升自家模型能力搭底座，不是通用执行底座。执行底座"大家已经看到，但并没有说我这玩意真的那么重要"，行业还没形成共识。他要的终局是把它变成常识——"我希望一年以后大家不要再说 agent 执行需要一个执行底座还是不需要，就像我数据放哪里、数据库里面对不对"；并明说希望越多人做越好。 → 详细

• 起点是技术：o1 那批 thinking 模型（先"想"一段再答，把推理展开成思维链 CoT）上来时，管理者和市场形成一个直觉——我用了更多 token，我就变得更加聪明。 → 详细
• 然后被翻译成管理语言，这才是真燃料：员工用的 token 越多就越 AI native，而这是一个可度量的 KPI。"一旦可以度量 KPI，我围绕这个 KPI 就可以一直往前推，通过一个很大的 KPI 促进组织的变革。"以 Meta 和亚马逊为首最早推动。换句话说：token 用量被推崇，一半原因是它恰好是唯一好量的那个数字——不是因为它量得准。推到极致的样子他亲眼见过：墙上一台专门的显示器排本周用量榜、前几名发 reward；再往后，Meta 和 Stripe 把 token 使用量跟业绩挂钩，年中 Performance Review 时当核心考察的一部分。 → 详细
• 最 drama 的走样："不管你啥玩意儿就用 SOTA 模型"（不分难度一律上最贵的），以及为刷榜跑没有实际用途的循环。他的评价："我会觉得这一波有点太过了。" → 详细

• 主持人 Koji 称之为"一个反转式"：三个月前还在鼓励多烧、烧得多是荣誉，最近突然变成 minimizing。戴确认整个反转就是 3 到 6 个月的时间。 → 详细
• 触发点一：有人开始问 ROI 到底在哪。 标志性事件是 Uber 的 CFO 跳出来说：我们 4 月份就把全年的 token 量、大模型使用量用完了——那我们到底收获了什么东西？ 杀伤力在于这是财务口而非技术口问出来的。 → 详细
• 触发点二：点火阶段结束。 maxxing 那套 KPI 的真实目的是推动组织变革、让人先用起来；"这个意识已经形成了"，助燃剂就该撤。 → 详细
• 触发点三：token 真的很花钱，"也不是一般的花钱"——"大家远远低估了这个模型的价格。" 三条叠起来，所有人同时意识到"现在 token maxxing 可能不行了"。 → 详细

• 他们自己也完整走了一遍：Runta 招了很多传统 infra 出身的人，一开始就是 unlimited token、"你爱用啥用啥"，目的明确——先让大家形成"token 是免费的"的感觉、先用起来。这是有意为之的点火，不是失误。 → 详细
• 现在的阶梯制很朴素：先给每人订阅几个最顶格的 ultra 套餐，额度内随便用、不报备；用完了要来说"我用完了、用在哪里了"；再要更多（他举的量级是一个月 10 万美金）就走流程。 → 详细
• 精髓不是省钱，是加摩擦："我会简单的加入一些流程上的小的摩擦，然后让你感觉到这个东西不是 free 的——现在用这个到底是为了什么。" 要的是在花钱那一刻恢复"这是一笔支出"的知觉，逼使用者说出用途。他补了句定调："但是整体而言我还是一个比较宽松的状态让大家去使用 token。" → 详细

• Runta 已抽象出的标准化能力有三块：执行平台、沙盒调度（sandbox ＝ 给 agent 一个隔离环境跑代码，跑坏了伤不到外面）、token 分析。 → 详细
• "最近用的比较有意思的功能"就是 harness 体检：任何 harness（Codex、自己手搓的那套）跑在他们的执行平面上，就能分析它到底有没有浪费 token、浪费在哪里、怎么浪费的；更关键是闭环——还会生成提示词让这个 harness 自己迭代。原话："你 harness 在上面跑，我告诉你这怎么把 harness 跑得多快好省。" 这是把 token 账单从财务数字变成可归因、可优化、可复跑的工程回路。 → 详细

• Runta 刚完成 2000 万美元种子轮，a16z 领投，Jeff Dean 和李飞飞以个人身份跟投。Jeff Dean 抛的问题是："如果系统最底层的执行单元变成了概率性的，那 infra 这层要怎么构建？"——它掀的是地基：过去的系统工程（重试、幂等、事务恢复）全建立在"软件是确定性的、异常可枚举"之上。 → 详细
• 他的答案反直觉：不确定性改不掉，但 agent 一旦上生产，分布式系统那些复杂度（恢复、隔离、分叉）需求反而变多——infra 不接就只能压到 runtime 层去扛。上一代 infra 解决"物理机怎么跑"；这一代要解决"执行本身"。 花絮：Jeff Dean 后来还想多投，"我说我这份额不太够了"。 → 详细

• 变的是时长：以前一个 chat 几分钟、几个来回，现在是几小时甚至连跑数天的 agent；当前 infra 处理不好其中的隔离、分叉、迁移与热迁移（不停机把任务整个搬到另一台机器上）。 → 详细
• 上一代教他的第一课是"极小概率 × 极大规模 ＝ 必然"：在 Kong，每天 API 请求三千亿次，这个规模下"极小概率会出错的事，哪怕是 0.00001，都会变成一个极大概率的事"。他也参与过上一代 infra 从第一性原理从头构建——"刚做的时候，什么 Kubernetes、container 这些技术都没有"。 → 详细

• a16z 很少给一家很新的公司专门写 blog 解释"为什么投"，种子轮也很少由 GP（基金里最高级别的决策人）亲自操刀——这篇是 Martin 亲自写的。 → 详细
• 论点：这不是一个 feature、也不只是一个产品，而是一次 compute 的代际变化。客户端 → 服务器 → 数据中心，物理机 → 虚拟机 → 容器化，每次都是代际更替；这一次变的是托管对象本身——从托管软件、管理服务，变成管理 agent。成立即平台级机会。 → 详细

• 一句话：在非确定性的工作负载下加进一些确定性——注意分寸，"不需要做到完全所有东西都确定，而是要给到足够多的信任"。信任包含四件事：agent 跑在哪里、企业敢把有生产权限的活交出去、能访问哪些客户数据、它碰了什么动了什么在那一刻就被管起来。 → 详细
• 不挑 agent：现有的 Claude Code、Codex agent、企业自研 agent 放上这层就能获得额外能力（云端 24 小时弹性伸缩、管花费、管触达）。例子是"Claude Code 帮你收邮件"：哪些邮件能读、哪些不该 access，凭证密钥哪些能碰。底下是自研虚拟化、定制操作系统和网络处理流程。 → 详细

• 一个漂亮的链条定义：大模型把电力转化成 token，智能体把 token 转化成企业真正的价值——价值正是在执行这一层被兑现的。 → 详细
• 像人的地方：概率性执行，每步自己决定下一步，每次跑、甚至每次生成的代码都不一样，"你没办法像软件一样用预定的规则去穷尽它，你也穷尽不了"。 → 详细
• 不像人的地方才是真问题——人类有"背锅力"：投资人投砸了 LP 会找上门，他在 Kong 服务客户不到位 CEO 会找他，"最坏可能会坐牢或者喝茶"。那 agent 出了问题谁背锅——大模型公司？写这套 agent 的开发者？还是这家企业的负责人？ 今天没有答案。 → 详细
• 所以基础设施必须重做：工作流发生了翻天覆地的变化，而现在的基础设施没有一个是针对这种工作流设计的——这是他放弃 Kong 的好机会出来创业的直接原因。他还刺了一句同行：很多创业公司在做类似的事，但"没有思考得特别深刻、特别底层，大部分都是把现有的一些技术，我来把这块东西马上能上线"。 → 详细

• agent 的边界还没有共识：① 拟人化——起名张三李四、给个身份；② 按分工划分，牵扯"这个 agent 该拿什么权限"；③ 按次授权——只给这次所需的权限，干完马上收回。 → 详细
• 最真实的一段来自主持人自己的沦陷史：Koji 让 Codex 取 Gmail 时"心里很不踏实"，第一次还认真设了"这个权限一个小时之后你自动收回"，"但慢慢的慢慢的，我觉得我的边界就被他吞掉了——反正现在就随便看吧，我就相信你不会去乱搞。" 发邮件也从"你写 Draft 我点发送"退化成"你就直接发吧"。（他让 Manus 找当地观鸟向导、发邮件请对方按他的计划报价，已经发了三四次。） → 详细
• 戴当场命名：Approval Fatigue（审核疲劳）——被一遍遍的确认弹窗磨到不想审了。对策是权限管理要有硬规则，比如"能读邮件、不能发邮件"这种一刀切红线，而不是每次靠人当场判断。 → 详细
• 他放了一个预言："未来必然会有一封灾难性的 Email 通过 agent 发出去，造成特别难以挽回的后果——mark my word，我觉得绝对会发生。" 因为"大部分包括我自己"都在用安全换便捷。他还扎了 Koji 一句：如果哪天 agent 突然给你的 LP 发一封"我不想干了"呢？Koji 很诚实——目前没有，但只要发生一次，哪怕不在我身上，之后就会非常非常谨慎小心。 → 详细
• Runta 的安全观：不做扫描，做管控。 传统网络安全靠主动扫描、特征匹配，他们不做这一类，只做"让 agent 在可控的边界里执行，最坏的情况我们也能从中恢复，做到可以审计"。"并不是一个安全的框架把它框起来，而是通过一个相对比较好的执行底座，反而是帮助它释放它真正的能力。" 而且客户不用被说服："用安全换便捷的企业不占少数，大家其实内心恐惧的，只不过没有好用的一套基础底座。" 终极愿景是企业敢把非只读的、真正的生产权限交给 agent。 → 详细

• 厂商在努力，但那是补丁：最新的一些模型一旦聊到它觉得敏感的信息，会自动跳转到能力较弱的模型上。 → 详细
• 架构层面却是死结：只要还是 transformer，即使 GPT-7、GPT-8 出来，本质仍是 next token prediction（预测下一个词）。致命的是——它没办法区分你给它的东西是"指令"还是"数据"：你让 agent 去发一封邮件（指令），和它读到的一封邮件里写着"去发一封邮件"（数据），在模型看来都只是一堆输入 token；"即使你中间加一些特殊分隔符把它分割开来，在它看来其实都有办法来绕过"。所以这是没办法从模型侧根治的问题——这正是 infra 的机会：在 infra 侧加进确定性，确保非确定性的架构只在企业可控范围内执行。 → 详细

• 第一类是花费（compute spending）：agent 该跑在什么地方、跑得多时怎么给它弹性更好的环境——这是他本月聊得最多的话题。 → 详细
• 第二类来自金融客户，要的是 governance（治理）：既希望 agent 干真活来拉开差距，又怕它跑出不可控的事。他引用一份安全调研：世界 500 强里大部分使用 agent 的公司，已经被 agent 泄露过机密或客户信息。 → 详细

• 公有云差在包袱：三朵云、国内五朵云全是为 SaaS 和传统软件设计的。类比 GPU 浪潮——上一波数据中心靠 CPU，这一波架构要重建，所以起了那么多家 neocloud。公有云会迭代，"但本质上它的计价模型都在打架，而且内部会有很多现有的一些包袱"。 → 详细
• 模型厂商差在动机：Anthropic 已发布 Managed Agent，但企业不会绑定一家模型、也不会绑定一朵云；更根本的是大模型公司做的一切本质是为了获取足够多的信号来改善模型本身。 → 详细
• 最可能的竞争来自 neocloud 和上一代 serverless 转型公司：他们有基本盘，"对他们来说是负的业务，但对于创业公司来说，这个是我们每天 24 小时在思考的问题"。 → 详细
• E2B、Daytona 这类 sandbox 公司：主流技术（如 Firecracker）本就来自上一代 serverless 和 AWS Fargate，而 serverless 当年解决的是"15 分钟内、一小时内"的短任务。agent 越跑越长已撞到瓶颈：什么时候该用 GPU、怎么做动态迁移、怎么做内存的动态伸缩。结论：必须按第一性原理从底层重打，才处理得了"未来十亿个智能体到底在哪里跑"。 → 详细

• 最大订单体量他没接：现在是早期探索阶段，"早期营收并不是我们优化的目标"。 → 详细
• Koji 的直觉：做标品才容易 scale；但若服务一个大客户一年赚 5000 万美金、四五个客户就是两三亿美金 ARR，专门搭团队也值得。 → 详细
• 戴：两把抓，但优先服务最 agent native 的公司（"他们代表最新鲜的生产力"），同时跟世界 500 强保持阶段性 sync up。具体要两类——agent builder（造 agent 给别人用的开发者）和垂类 agent（剪视频的、marketing 的），理由是**"因为他们有量。我们提供给他，他就可以服务成千上万个 agent。"** → 详细
• 他说已经"起飞"：企业客户排队想用，反因交付能力不够，其余订单"先暂时缓一缓"。 → 详细

• 数字很硬：自己搭产品、服务客户时，vibe coding（让 AI 直接写代码、人在旁边判断）占比 95% 以上，"入门程序员的一些工作，基本上就是全由 agent 来代替"。 → 详细
• 但有一类工作反而更吃人：依赖"做过 infra 的判断力、底层架构判断力"的部分。他点名三样——架构设计、API 设计、以及各部件之间怎么耦合，"这些架构能力，我觉得反而是现在人类工程师还不可替代的一部分"。 → 详细
• 被问"用 agent 管 agent 是不是也有风险"，答得干脆："肯定，这肯定是有风险的。" 两条对策：必须有好的 eval（一套判断 agent 产出到底有没有效的评估集）；以及天天吃自己的狗粮——用自己的平台、跑在自己的执行环境里，"天天使用自己的产品来做自我迭代"。 → 详细

• 内部共识是把 model router（决定哪个任务派给哪个模型）交给工程师本身，理由是工程师最有体感。结果"我们用了模型五花八门"：他个人多用 Codex，团队也在 Fireworks 上跑国内一些前沿模型。 → 详细
• 分级标准不是"重不重要"，而是"恢复半径"：前端这类不需要资深工程师参与、出错以后恢复半径也比较小的活，交给没那么贵的模型（他举了 Grok）。 → 详细
• 他只对结果负责，不管过程："我不管你用什么模型，但是我是希望大家就是通过这样来培养体感，来培养对目前模型状态的一个认知。" 他鼓励用各种奇思妙想把模型跑得"多快好省"——因为Runta 要支持客户做这件事，自家工程师必须先有这个体感，才能改进下面的执行层。放权是绑在业务需要上的，不是单纯宽松。 → 详细

• 事故：OpenAI 的模型攻破 Hugging Face 去拿 reward signal（训模型时用来打分的数据）。后续更妙——Hugging Face 请 OpenAI 调查，OpenAI 的模型嫌话题敏感、拒绝处理；最后用开源模型找到了真正的问题，即使开源模型并不是 SOTA。 → 详细
• 开源阵营的叙事："OpenAI 和 Anthropic 之外的所有人全部形成了复仇者联盟"，微软、Palantir、公有云都在讲——闭源贵，数据还会被拿去二次训练。他判断此消彼长：Kimi 已接近 SOTA 第一梯队、DeepSeek 新模型在"多快好省"上有进步，但美国算力优势巨大。他还点到 "AI for AI"（用 agent 改善模型训练本身），Runta 正在服务这类公司。 → 详细

• 第一条是"意识到浪潮来了"：加入 Cloudflare 是看到边缘计算刚起，加入 Kong 是看到微服务与云原生那波（约 2020 年前后，K8s、Mesos、Docker Swarm 混战）。三段论：要看到浪潮、要有把握浪潮的能力；浪潮来了要有勇于冲浪的能力；浪潮退去，要有"收板回家"的勇气。 他出来的理由只有一句"不做我就是会一辈子后悔"——他在 Kong 是创始工程师、第一位 Engineering Manager，"大家说你应该退休了"。 → 详细
• 选公司就是投资："你们是在投 capital、投财富、投钱；我是投个人的青春、投自己的经历。" → 详细
• 招聘秘诀：有没有"往下吃一层"的能力——做 LLM infra 最牛的能钻到 Kernel 级别、碰算子优化；在 Kong 招网关工程师，看的是对网络协议栈的深刻了解。比例扎心："大部分的 90% 的人就是说我这个东西刚好够用，我能做能用就行了；其实极少只有 10% 或者 5% 以下的人，能够对这个充满好奇心，我去看一看下面到底怎么做的。" → 详细
• 入职前先做"如果我是 CEO 会怎么做"的脑补实验，再去聊、看他有哪些认知是你没有的。他跟 Kong 创始人认识了一年多，直到公司转型的那几个月才加入（Kong 最早做的是有点像 OpenRouter 的活，但"那时候太早，浪潮还没来"）。 → 详细
• Koji 的对偶："如果换作你是一个求职者，你要不要加入这个创始人？如果你都愿意加入他，那你真的就应该投他"——给钱比给劳动力是更重的 commitment。戴把这种角色切换叫**"开天眼"。给刚工作的工程师的建议："首先你先 token maxxing"（刚入职场没有包袱，"这就是刚入职场最大的一个财富"），同时要有敬畏之心，架构能力、底层思考能力要锻炼起来**。 → 详细

开场快问快答（十字路口的传统环节）

• 35 岁；美国东北大学毕业；天秤座；MBTI 在 INTJ 和 ENTJ 之间横跳，"我个人认为我是偏 I 多一些"。 → 详细
• 一句话介绍公司：未来的 AI 智能体会比人类更多，那这些 agent 到底跑在哪、跑起来怎么管——Runta 就是为 AI 智能体打造的执行底座。团队十人左右，另有一批 agent 在后台干活（数量转写未能确认）。 → 详细
• 创业之前：在 Cloudflare 做 Edge 边缘平台（最早几个工程师之一、边缘云技术负责人，参与边缘缓存、WAF 网络防火墙、早期 Workers 端侧计算平台）；在 Kong 做网关和云（企业网关的限流、熔断导流、微服务平台，主要面向世界 500 强的数字化转型）。加起来十多年做 B 端软件和 SaaS 的 infra，这次是第一次以 CEO 身份创业。 → 详细

结尾轻松话题

• Claude Code 还是 Codex？——现在是 Codex。 他引用"龙虾作者"的比喻：Codex 更像德国人，闷头干活、质量也很高；Claude Code 更像美国人，很 chatty，说一堆废话（"你又没有考虑这个东西、你这东西有没有想透"）。实际理由：模型能力上没看到代际差别，Codex 对开发者更友好、harness 是开源的。但他补了个 however——在他们的执行层上跑，Codex 也有各种各样的问题，他们计划给上游提交修复；而 Claude Code 是"被迫开源"，他们没办法贡献，只能靠自己的执行底座去优化上面的 harness。 → 详细

• 320 万美金今天必须投出去，投给谁？ 名字不方便说（还在 funding 中），但会投头部视频模型公司的早期创始成员——"我 literally 最近也是在帮他们去找投资，我甚至可能个人会去参与一些"。理由：视频模型是被证明能赚钱的第二个赛道，而真正从模型侧把它做好的创业公司没看到几家。他还提到 AI for AI（用 AI 训练更好的 AI）方向创业公司有机会，前沿实验室也在做类似的事。 → 详细

• 还常用哪些 AI 产品？ 另一个 harness 和一个个人助手类产品（名字转写未能确认）；团队对 Claude 内置的那套 harness"不屑一顾"，觉得写得特别烂，自己手搓了一套、效果还不错——由此推出一个判断：harness 的护城河可能没那么高，每个企业最后归根结底还会自己搭一套。另用 ElevenLabs 配音、OpenArt 之类生图产品，还强迫自己去用各种早期 agent 与硬件（录音笔、智能客服打电话；一个朋友在创业做自动语音客服——你被多扣了钱，它帮你要回来）。"我属于是我们公司用 agent 最激进的一个人了。" → 详细

• 创业心态："每天可能比如说有五个好消息五个坏消息，但是我觉得焦虑的原因在于说大家往往会被那几个坏消息所焦虑。"解法是拉高视角问两个问题：① 我们是否在解决一个特别让人兴奋的问题？② 我们是否是最适合做这件事的团队？ 两个都是 yes 就能扛住噪音——"这点坏消息，对于未来几十亿个 agent 落地来说，这点事算啥？" → 详细

• 戴冠兰本人：节目中两次开放邀约——对"往下钻一层"的底层 infra 感兴趣的工程师、以及对参与未来 agent 基建感兴趣的听众，都欢迎直接找他聊；联系方式放在这期播客的节目介绍里。 → 详细

• Runta 在招人：办公室在新加坡和旧金山两地。"如果说你又想要去做很底层的 infra，你又想要对客户有一些实际的价值，我觉得可能 Runta 这边有蛮多很好的机会。" → 详细

• 延伸阅读：a16z 的 GP Martin 亲自写的那篇《为什么我们投 Runta》——戴冠兰说"这篇文章还值得读一读"，因为它讲的是"为什么这是一次 compute 的代际迁移"而非单个产品。 → 详细