ESC
↑↓ 选择↵ 打开esc 关闭⌘K 唤起
← Home NO.144
第 144 期 · AGENT 工程 · 收录于 2026 年 8 月 15 日

模型路由的现状

AE
AI Engineer
视频 48:14 原文约 5.0 万字 预计阅读 24 分钟 来源视频 ↗ 中英对照全文
TL;DR · 三句话
  1. 便宜模型的总账更贵:拿 terminal bench(一类让模型在命令行环境里实际动手完成任务的评测)去跑,Opus 的分数大约好 3 倍,总成本却只有 Haiku 的十分之一——尽管 Haiku 每 token 便宜得多。原因是小模型一旦被推出自己的训练分布,就会疯狂调工具、陷进循环,轮次多到把单价差距吃干净还倒贴。→ 详细
  2. 于是「哪个模型 benchmark 高就把哪类任务派给它」的朴素路由被整个推翻:Cognition 说按任务类型路由「极其脆弱,任务越 agentic 就越脆」,因为一次会话中途任务会变性质(先问代码库怎么运作 → 再让它实现功能 → 再让它跑实测调 bug);正解是永远留一个前沿模型在场盯着、把执行派出去,他们靠这个把「Fable 级智能」的成本降了 40%。→ 详细
  3. 省钱的真正开关不在「换便宜模型」,在「别丢缓存」:Cognition 用一个持续保有上下文的 sidekick、而不是一堆用完即弃的 sub-agent,因为缓存 token 便宜 10 倍;而每做一次上下文压缩就等于吃一次缓存未命中,那批输入 token 立刻按 10 倍计价。→ 详细
01

谁在台上(以及一个关于发言人归属的说明)

  • Walden Yan:Cognition 联创,产品是 Devin(AI 软件工程师)。客户天天问他「模型的 ROI 怎么算?哪些任务值得用最贵的模型?」 → 详细
  • Alex Atallah:OpenRouter 的人,直接从机场赶来(迟到了还得借麦克风)。OpenRouter 是语言模型的 marketplace——把各家模型聚合起来转卖的中转市场。 → 详细
  • Carter:NVIDIA 的 developer tech engineer,问题意识很朴素——前沿模型(frontier model,各家最强最贵的那一档)越来越贵,个人开发者和小公司想按心里想的频率用最好的工具,成本上吃不消。 → 详细
  • 第四位(转写标为 Tuhin):做模型评测出身,既看准确率也看效率和成本,再拿这些认知去搭 router。 → 详细
  • 主持人本人也是 NVIDIA 的(开场即说「这也是我们在 NVIDIA 发布 Nemotron 的原因——数据集、权重、配方全部放出来」),所以台上其实是三个 NVIDIA 人 + Cognition + OpenRouter。 → 详细
  • ⚠️ 说明:转写的发言人标注有几处明显不可靠——收尾时明显在主持全场的那几轮被标成了「NVIDIA 代表」,另有整段只标「NVIDIA」没说是谁。所以下文只对 Walden YanAlex Atallah 点名(他们的发言里有大量「我们 Cognition/我们 OpenRouter」的自指可交叉验证),NVIDIA 方的观点一律写成「panel 上有人提出」。宁可不写名字,也不安错人。
02

全场最反直觉的一个数字:便宜模型的总账更贵

  • Alex 的原话:「你拿 terminal bench 去跑 Opus 和 Haiku,Opus 的表现大概好 3 倍,成本却只有 Haiku 的十分之一——尽管 Haiku 单 token 便宜得多。」 → 详细
  • 机制不是玄学:小模型一旦被推出自己的训练分布,就会「疯狂调工具、陷进各种离谱的循环里」。单 token 便宜,但完成一次任务要烧掉的轮次多到把差价吃干净还倒贴。 → 详细
  • 所以计价的分母得换:不是「每 token 多少钱」,而是「每成功完成一个任务多少钱」。Alex 自己在谈 Fusion 在写代码上还没优化时用的也正是这个口径——「也可能反倒是小模型效率更高,也就是每成功完成一个任务花的钱更少」。 → 详细
  • 一个可以当旁证的数据:Alex 说去看 OpenRouter 公开的排行榜,在分类任务上按消费金额排第一的模型是——Opus(全场笑)。分类是最典型「该给小模型干」的活,钱却流向了最贵的那个。 → 详细
03

in / out of distribution:这条线才决定便宜方案省不省钱

  • 术语:in distribution(分布内)=这类任务长得像它训练数据里见过的东西;out of distribution(分布外)=没见过。Alex 的判断是长期你想要模型自己知道「这在我的训练数据里」——分布内小模型很好用、能省不少钱;分布外,小模型反而把成本推高。 → 详细
  • 反过来的例子很具体:「这是人名还是机构名?」这类文本分类是极度 in domain 的活,「这种任务你不该丢给大模型,就该交给小模型,谁家都有这类落在自己 domain 里的活」。 → 详细
  • 所以判断 in domain / out of domain 是 OpenRouter Fusion 投入最大的一块工作,另一块是搞清楚不同类型的任务该怎么编排外层模型和内层模型。 → 详细
  • Alex 的长期判断:用小模型处理分布内的简单任务机会非常大,而且这类任务在总量里的占比会越来越高——相对于那些最有价值、要靠非常聪明的模型花掉大部分时间去啃的任务。 → 详细
04

Cognition Fusion:不是换便宜模型,是让贵模型只做规划、把执行派出去

  • 先澄清口径:主持人问「你们博客说比前沿模型表现还好」,Walden 特意纠正——不是说在 Fable 的水平之上又拉开一个身位,真正成立的说法是把「Fable 级智能」的成本降低了 40%→ 详细
  • 做法:让 Fable 继续负责规划和难的决策,把大量具体的活交给一个「实现模型」(implementation model)——可以是某个开源模型,也可以是更便宜的 mini 模型。 → 详细
  • 反直觉的第二层:正因为执行模型便宜,你反而可以让它「以比原来更深、更狠的力度去啃这个任务」——比如一口气派出三个 sub agent(子 agent,主 agent 临时派出去干一件事的分身)去把代码库摸一遍,「这可能比让 Fable 自己去看代码库还更全面」。于是「更省钱」和「更周全」同时成立。 → 详细
  • 底层哲学一句话:「越聪明的模型,越擅长把活派出去。」他们做 router 的理念是绝不把用户路由到一个更笨的模型上然后卡住——「接下来你还是得自己切回聪明的模型,那笔贵的成本照样得付」。 → 详细
  • 主持人补的预算视角:前沿模型每 token 是这个价、小模型便宜得多,那你就能在原来那份预算之内让小模型跑多得多的 token。 → 详细
05

为什么「按任务类型路由」很脆:一次会话中途,任务会变性质

  • 很多人看到「小模型在某些 benchmark 上比前沿模型还好」,第一反应是把那类任务直接路由给小模型。Walden:这种朴素做法「极其脆弱,而且你处理的任务越 agentic 就越脆」。 → 详细
  • 他给的画面是一条真实的开发者会话轨迹:先问「这个代码库是怎么运作的?」→ 再问「你能不能帮我实现几个功能?」→ 再问「你现在能不能把这个功能拿去跑个实测,把那些很深的 case 调通?」——任务的复杂度和类型一路在变,「而你并不希望自己被留在一个配不上当前任务的次等模型上」。 → 详细
  • 这也解释了大家为什么偏爱前沿模型:它们「就是通用地聪明,能在各种不同领域之间来回切换」,哪怕你在某些非常具体的任务上确实能榨出更好的表现。 → 详细
  • Cognition 的解法不是把路由做得更聪明,而是永远留一个主 frontier agent 在旁边看着——哪怕干活的不是它,它至少要一直盯着盘,能判断出「我派出去的那个 agent 现在已经超出它的能力范围了,我得把它换到别的地方去」。 → 详细
  • Walden 的总结句值得抄下来:「光是『系统里永远有 frontier 级智能在场』这个保证,就把这类系统的脆弱性降低了很多。」 → 详细
  • panel 上有人给了同一条纪律的另一种说法:routing 会随任务本身的演进而演进,所以更有用的看法是「把事情看成一个个子任务和 session,而不是一个个孤立的待解问题」,设计 router 的人必须理解这些不同复杂度的阶段,再决定是把活分给 sidekick 还是去借别的模型的专长。 → 详细
06

sidekick 而不是 sub-agent:真正的省钱开关是别把缓存丢了

  • 术语先摆平:KV cache(键值缓存)是模型把已经读过的那段上下文算好的中间结果存起来,下次同样的前缀不用重算——所以这部分 token 收费便宜得多。Walden 给的倍数是便宜 10 倍→ 详细
  • 因此 Cognition 明确说,做成「主 agent + 一堆 sub-agent」那种结构「其实会白白浪费很多」。他们不用 sub-agent,用的是 sidekick——一个持续保有运行中 context 的固定副手,主 agent 不用把之前的上下文再喂一遍,「那些内容都还在 KV cache 里」。而且主副位置可以来回换:想把聪明模型从旁边换到主位、或者反过来,「完全没问题」。 → 详细
  • 这条是对 Alex 观点的当场修正:Alex 说缓存红利来自主线那个负责编排的模型,Walden 说旁边那个 agent 同样能吃到缓存红利。 → 详细
  • Alex 那边的原始争论值得记下来:OpenRouter 内部最大的争论之一,就是负责编排(orchestration)的外层模型该用大模型还是小模型——「选择不同,结果差别非常大」,连价格影响都说不清,因为大模型当外层时可以靠自己的缓存做更多决策,而它缓存带来的省钱幅度常常比小模型夸张得多。 → 详细
  • Alex 的诚实边界:他们几周前发布的那批结果里,让聪明模型当外层 wrapper 效果最好——但那是 deep research 场景,「Fusion 在写代码这块还没怎么优化过」,换成别的任务「现在下结论还太早」。 → 详细
07

多模型系统很容易变得更贵:同一个文件被读三遍

  • Walden 的警告很直白:一旦你把多个模型放在一起跑,其实非常容易搞出一个反而更贵的系统——「就这一次文件读取,现在每个模型都要把这同一个文件读一遍,于是你被收了三倍的钱」。 → 详细
  • 他们花大量时间琢磨出的诀窍:默认情况下绝大部分 context 只流向一个模型(比如都给小模型);然后非常仔细地调「回传什么」——也许展示它读了哪些文件、把它在做什么的高层思路回传给主模型,甚至专门调教小模型「把 context 汇报回主模型」的能力。 → 详细
  • 而这套东西不必从零发明:context compaction(上下文压缩:工作记录太长了,就压成一份摘要再继续)在做真正长时间运行的 agent 时本来就得先解决,直接把压缩后的 context 交回主 agent 即可。 → 详细
  • 主持人替读者说出了那个隐忧:做 routing 等于在放大「浪费的、冗余的 token」,因为同一份东西你得在多个模型上各处理一遍。 → 详细
08

compaction 还是 routing:压缩一次就吃一次缓存未命中

  • panel 上有人提了个很实在的取舍:自托管时 context 越长成本越高(context 一深吞吐就掉),那与其换一个更便宜的模型,不如用 compaction 把吞吐拉回来——「一个是让要处理的 token 变少,一个是让 token 变便宜」。 → 详细
  • Walden 的反驳分两层。第一层是账:「你一做 compaction 就等于吃了一次 cache miss(缓存未命中)——那些 input token 你现在要付的钱,是不 compact 时的 10 倍。」所以光靠压缩解决不了成本和吞吐问题。 → 详细
  • 第二层是他们真正压缩的原因——不是省钱,是智能:「各家都在宣传自己有多离谱的 context window,动不动一百万 token。我基本不会建议这些模型用到 200K token 以上,能压在 100K 以内最好。到了某个点,智能就是断崖式往下掉。」然后补了句「抱歉了 Anthropic,如果你们在看的话」。 → 详细
  • 所以结论是条件式的:如果你反正都要吃一次缓存未命中(比如正要路由到另一个模型、想把窗口压到最小),那 compaction 就是个非常有用的工具。 → 详细
09

上下文的根本哲学:人的 context 比模型还短,靠文件系统兜底

  • Walden 的小实验:「作为人,我现在开始一个个报数字,你能记住几个才开始跟丢?其实非常少。某种意义上你可以说,你的 context window 比这些语言模型还短。」可你照样做得非常好——因为人的记忆本来就是高度有损的。 → 详细
  • 关键在于有无损的系统兜底:文件系统。你只需要记得「我之前读过某个文件」和它的关键部分,完整版本还好好躺在系统里。所以好 harness(外壳/脚手架,即包在模型外面那层工程:工具、提示、记忆、循环控制)的标准是——「harness 得具备找到它所需内容的一切条件,哪怕这些内容并不都摆在眼前」。 → 详细
  • 落到实操:sidekick 干完活告诉主模型「我找到的东西都在这儿」时,只给文件引用而不是把内容整个倒出来;而更大更聪明的模型在用工具和读东西上 token 效率反而更高——只看关键部分,或者判断「我跑一条命令就能确认是不是都弄对了」。 → 详细
  • panel 上有人提了另一条路:用 AST(抽象语法树,代码的结构化表示)这类表示来做上下文压缩——「compaction 本质上就是有损的」,而代码库天然带着可以一路带下去的结构,这更接近「近乎无损」的压缩,还能保留模型或 agent 的状态。 → 详细
  • Walden 顺手说了句不该被当作理所当然的观察:「更贵的模型反而造出一个整体更便宜的系统,这一点都不显然。」另一位补上 scaling laws 的一面:模型越大用 token 越高效,小模型越不高效。 → 详细
10

小模型怎么知道自己搞不定了:三种信号,都还没定论

  • 先说坏消息:Walden 说他们花了大量时间在「怎么让小模型擅长自己检测」上,但「不幸的是,很多情况下你确实需要大模型来做这个判断」。 → 详细
  • 信号一(他们博客里没写的便宜做法):你本来就得按某个节奏刷新缓存(默认存活约 5 分钟),既然反正要刷,「只要问法得当,你基本上就能白拿一次 frontier model 的调用」——就在那时问一句:「你看一眼小模型现在在干嘛,它是不是钻进某个死胡同了、需不需要帮忙?」 → 详细
  • 信号二(Alex 提的):小模型开始狂吐 token 是不是该切大模型的最好时机?他怀疑这本身就是后面一连串智能问题的根因——「你希望大模型去生成大块的 token,小模型只生成小块的」。Walden 老实说还没试过,而且这事微妙:有些小模型 token 效率确实差,但它们又是拿自己的 trace 训出来的,可能又抵消掉了,「都得非常讲经验数据地去测」。(顺带确认:小模型确实会用掉更多 token。) → 详细
  • 信号三(panel 上有人提的):幻觉探针(hallucination probe,直接作用在模型内部状态上的小分类器),给出「它现在有多倾向于产生幻觉」的评分,相当于一个「模型在自己的思考里迷失到什么程度」的代理指标。原理是缓存说到底就是 prefill 阶段算出来的一堆向量,可以在这些向量上训分类器去推测模型状态。 → 详细
11

模型能力是参差的:benchmark 高不等于哪儿都强

  • panel 上有人(转写标为 Tuhin,做模型评测那位)提出 jagged capabilities(参差的能力):「写代码」不是一个单一领域——光数据可视化里就有 scikit-learn、matplotlib 等等,强弱取决于每个模型的训练语料里进了什么。所以「模型 A 在某个 coding benchmark 上分数更高,不代表它在所有任务上都更强」。 → 详细
  • 机制:模型 post-training(后训练,即预训练之后针对具体用法的调教)时会被不同 teacher 调教、在不同子任务上微调,所以分析各模型在不同子任务上的失败情况时,那些互相错开的强项会明显显现——把系统编排成去吃这个套利空间,「这部分收益基本上是白捡的」。数字:在 LLM router bench 上用这些方法「准确率甚至能提高最多 10%」,取决于模型池和具体任务。 → 详细
  • 一句可以直接拿走的话:「模型各有各的强项,而不是『有一个模型能通吃一切』。」 → 详细
12

OpenRouter 的路由生意:auto router 两年没人用,被一个心跳机制引爆

  • auto router 差不多两年前就上线,刚推出时基本没有真实用量——大家还是想指定具体模型;他们当时把它当一个「发现」入口,让你知道哪个模型可能适合你的 prompt。 → 详细
  • 转折点是今年 1 月 OpenClaw 起来:它大概每 10 分钟往你选定的模型发一次心跳,纯粹为了确认客户端还活着——你要是把 Opus 设成默认模型,「光这个心跳流程就会烧掉大量 token」。Alex 的定性:这是头一回出现「一个非常流行的应用,内部却有两种完全不同的智能需求」,加上开源模型也进步到了把市场切成这两块说得通的程度。 → 详细
  • 现在的产品线:Pareto Code(在你设定的阈值下给编程任务上帕累托最优的模型,阈值可调)、Fusion(编排多个模型给出融合结果)。目标是两头都要:给开发者好的原语去玩高级编排(sub-agent、advisor 工具那类),同时给普通用户一个「设一个 slug 就行、所有 harness 都能用」的简单选项。 → 详细
13

marketplace 的位置限制:看不见别人的缓存,但能替你算「要不要丢掉它」

  • Alex 很坦白:OpenRouter 是模型的 marketplace,「除非模型是我们自己在跑(这种情况很少),否则我们看不到模型内部的 KV cache」,所以 KV cache 层面的优化他们做不了。 → 详细
  • 他们能做的是:为这条 prompt 找最合适的模型或模型组合;一旦看到缓存命中,就把这段缓存的有效期用满,并把命中省下的钱原封不动让给下游客户。 → 详细
  • 一个还没开放的能力很有意思:判断「现在换模型的收益明显很大,但你的 cache 还没用完,还剩 2 分钟」——为此丢掉剩下的缓存值不值,然后让用户自己调节对这种行为的容忍度。「这块我们已经做了一点,但还没开放给客户。」 → 详细
  • 提问方关心的是 KV cache aware 的路由(按缓存在哪儿来决定往哪儿发请求)在生产环境里到底有没有真实需求。 → 详细
14

NVIDIA 这边的解法:可伸缩的权重、拿训练配方判断分布、Dynamo 的前缀缓存

  • Flex Run:先有一个主模型,蒸馏(distill,把大模型能力压进小模型)成若干更小尺寸的版本,再根据手头任务切换由哪个模型来做 decoding;单个模型产物内部也能只激活某一类能力、某一部分权重。 → 详细
  • 一个只有开放模型才有的优势:只要拿得到训练配方,就能判断一个问题对这个模型有多「新」——即直接判断在不在分布内;有训练记录还能看出蒸馏时各 teacher 模型和产物之间的差距,因为「你虽然喂了各个领域的数据,但并不保证模型对这些数据的吸收在各处是均匀的」。 → 详细
  • 主持人接的一句正好落在 NVIDIA 的位置上:基础模型本来就是针对将来要跑的 harness 做 post-training 的,「如果 harness 里会包含大量 routing,那这部分自然也该进到 post-training 里去」。→ 详细
  • 另外顺带推荐了 Dynamo,说里面做了很多 prefix cache(前缀缓存,命中「开头那一大段没变」的部分)优化。 → 详细
15

自托管 vs API:5 分钟的缓存不是物理定律,是运营决定

  • 为什么缓存会过期:让 KV cache 保持热是要付成本的,「GPU 里能常驻的 cache 数量是有限的」,一段缓存没被反复用到就会被换出去、基本等于丢了——「所以 inference 服务商才会跟你收这笔钱」。 → 详细
  • 但那个 5 分钟窗口「更像是一个运营层面的决定,而不是什么科学结论或者底层的物理定律」。自己部署就能「想留多久留多久,完全按你自己的业务逻辑来」。 → 详细
  • 更本质的一笔账:用服务商时,他们是「把所有人的用法摊平之后再给你一个价格」,优化的是所谓「通用场景」。比方说你的负载平均是 32K 缓存、1K 输入、1K 输出,而别人是 64K 加 1K、1K——你自托管就能只针对自己的场景做优化,「花的钱大概率会少很多」。 → 详细
  • 这条在 Cognition 的历史里有实证:2024 年他们刚做第一批 agent 时还没有 cached token 这回事,「你哪怕发的是同样的 10 万个 token,也得按全价付」——别人不做 agent 的一个原因就是太贵。他们能把 Devin 做出来的关键之一,是直接从服务商那里买算力、不按 token 计费而是为底层算力付钱。Walden 现在想要的下一个东西:能落到 S3 之类存储、保留时间长得多的缓存。 → 详细
16

本地 vs 云:路由的第三类用例是隐私和「已经买下的算力」

  • panel 上有人把路由的用例摊开成三类:拿到更好的答案;答案差不多时省钱;以及今天还没聊到、但对现场观众最相关的第三类——什么时候该在本地跑,什么时候才真的需要前沿模型→ 详细
  • 隐私那条给了具体流程:本地模型先检测 prompt 里有没有敏感信息,有就在设备上处理,甚至先把这部分信息脱敏,再把更复杂的负载拿到云上去跑。 → 详细
  • 成本那条的算法很朴素:「我买了台 DGX Spark,我知道自己肯定没跑到 100% 利用率」——本地只付进来的那点电费,而云上的 token 是按全价付的,所以要想办法把这块算力用足。 → 详细
  • 收尾时还补了一条边缘硬件特有的理由:本地推理时如果显存占用已经很高,你要提的就是算力利用率——做法之一是同时起多个 agent 协同工作。也就是说「协同」不只是云端负载的最优解,恰恰是压榨边缘硬件性能的方式。 → 详细
17

下一步是把编排训进模型:RL 训协作者、协同设计、prompt 怎么迭代

  • Walden 提的下一个台阶:「不是把现成的模型拿来编排一下,而是能不能让你的模型和编排系统协同设计。」用 RL(强化学习)把一个模型训到端到端完成任务的文献已经很多,但怎么训一个擅长协作的模型?他们两种设置都试了——把在训的模型当编排者(决定什么活派给谁),以及当执行者(那个 sidekick,看它执行别人指令执行得怎么样)。 → 详细
  • prompt 不可迁移是现实问题:不同模型行为差别很大,切架构 prompt 就得改。Alex 把它变成了一件产品资产——一家 agent 公司的价值「就在于你们摸索出来的那些跨行业的『死循环』场景,以及从里面脱身的最佳办法」,这些全体现在 prompt 上:advisor 模型(他管它叫「聪明朋友」)怎么被调用、subtask agent 怎么被调起来。好在任何人或 agent 都能翻 trace、改 prompt、实时看到准确率变化。 → 详细
  • Walden 想做但还没做的一件事(他自己说算剧透):不拿数据集调优,而是拿真实使用信号调优——用户主动升级/降级模型、系统发现最初路由错了要换,都是有用的信号流。他们想进入一种「自动研究」状态:持续收集「当时实际路由到了哪个、本该路由到哪个」,不断迭代直到贴合真实生产数据。 → 详细
  • 对自动 prompt 调优框架(转写里提到 GEPA 这类)他不看好:与其做偏底层偏机械的调优,不如直接告诉一个聪明模型「这是当时做出的决策,这是当时的 context,你来分析为什么走偏了」,甚至笨到直接问「你为什么选了这个而不是那个」、让它引出相关 prompt 片段,再让 Devin 改 prompt、把测试当回归跑一遍确认结果真的变了。「这套系统当然重得多,但我对这种系统的智能程度信任得多。」 → 详细
18

收尾争论:router 会是一个产品,还是变成底层管道?

  • 收尾问题:router 最终是独立产品还是底层管道的一部分?是模型自己变得擅长把任务路由给别的模型,还是 harness 知道自己在跨多个模型工作? → 详细
  • Walden:已经在发生了。Cognition 在训练自己的模型成为好的协作者,而新一代前沿模型(Fable 系列、GPT-5.5 和 5.6)「本身就天然更会协作、更擅长把任务委派出去」。 → 详细
  • 中间派:不会出现「一个特别出色的 harness,背后却没有一个特别出色的模型」,反过来也一样;系统会变成既看整体也看组件的东西,而且不会只由模型构成。 → 详细
  • 「必然有控制层」派:应用跑在模型这种非确定性系统之上,处在信任度非常低的环境里;哪怕站在模型自己的角度,它也不知道其他每一个模型的行为特性,所以仲裁只能落在编排这一层。历史先例是 Web 刚起来时的流量路由——「所有这类路由控制权,随着时间推移都逐渐集中化了」。 → 详细
  • Alex 的两面:未来也许真会出现一个大模型说「任何任务我都能做得比 Haiku 好、价格还更低,那我凭什么要把活派给 Haiku?」但缓存这类因素永远在(比如另一个模型的缓存里已经存着正确的 context),而且编排模型天然掌握更多 context、模型之间必须对齐。所以他「基本想象不出一个『我们没法让模型之间很好协作』的世界」。 → 详细
  • 主持人对这波浪潮的定性:model routing 现在「天时地利全占了」——一方面把问题拆开本来就该写出更好、bug 更少的代码;另一方面 agent 改掉了工作负载的形态,从「我问一句它答一句」到「先推理再回来」再到心跳式常驻,「如果我的 agent 跑在最优状态,那基本每秒都在生成 token」。 → 详细
  • 全场对自身阶段的判断一致:非常早期。Walden 甚至希望一年后回头看 Devin Fusion 的这些技术「已经很老古董了」;Alex 说之前关于 model fusion 的研究「大多不够细,有时候结论也没那么乐观」,最近才开始变乐观。 → 详细

(本期无闪电问答环节。收尾只有一个开放问题「router 会是产品还是管道」及四位的回答,已完整写在主题第十八节。)

(本期无。台上提到的产品:Cognition Devin / Devin Fusion、OpenRouter(auto router、Pareto Code、Fusion)、NVIDIA Nemotron / Flex Run / Dynamo。)

🎯 于你何益 为你定制 · 非通用结论

先说结论:本期强相关。 不是因为它讲 AI,而是因为整场圆桌在算的那笔账,跟你「一人公司」那根「AI 员工管理成本账」的支柱是同一笔账;而它关于「怎么给多 agent 链路派活」的结论,直接顶到了 app_incubator 和 Holdwell 那条多角色流水线的设计上。


一、onehuman_company(一人公司 build-in-public)· 对准「AI 员工管理成本账」

① 「便宜模型总账更贵」是一条现成的验证体选题

  • 怎么做的:OpenRouter 的 Alex 在台上抛的数字是——拿 terminal bench 跑 Opus 和 Haiku,Opus 分数大约好 3 倍,总成本却只有 Haiku 的十分之一,尽管 Haiku 每 token 便宜得多。机制不玄:小模型一旦被推出自己见过的训练分布,就会反复调工具、陷进离谱的循环,轮次多到把单价差距吃干净还倒贴。他还甩了个旁证:OpenRouter 公开排行榜上,分类任务按消费金额排第一的模型是 Opus——最该给小模型干的活,钱却流向了最贵的那个。
  • 你可以怎么做:这条几乎是为你那根支柱写的——标题都现成:「我给我的 AI 员工降薪,结果账单涨了」。但别只转述数字,那过不了你自己的弹药库闸门(删掉你的判断和实测还成立的内容不发)。要实测:在 drizzle tech 一条真实链路上(比如造 App 链路里某个固定环节)锁死同一个任务,跑 A/B——A 全程用贵模型,B 把执行步换成便宜模型,两边只记两个数:完成一次任务的总花费总耗时/总轮次。哪怕只翻一次车,你就有了一篇带自己数据的验证体,而不是又一条转述。

② 真正的省钱开关不是「换便宜的」,是「别丢缓存」

  • 怎么做的:Cognition 把「Fable 级智能」的成本降了 40%,办法不是把用户降级到便宜模型,而是让贵模型继续做规划和难决策、把执行派给便宜的实现模型。而在实现上他们刻意不用「主 agent + 一堆用完即弃的 sub-agent」,改用一个不解散、持续保有上下文的 sidekick——因为缓存 token 便宜 10 倍,每开一个新 sub-agent 重新灌上下文,等于把这 10 倍折扣扔掉。Walden 还点了多模型最常见的翻车方式:「就这一次文件读取,现在每个模型都要把这同一个文件读一遍,于是你被收了三倍的钱。」
  • 你可以怎么做:给你的成本账加一个此前多半没记的科目——重复灌上下文的钱。下次盘 AI 员工账单时,数一下「同一份需求文档 / 同一段代码,在一次任务里被几个 agent 分别读了几遍」。这个数字本身就是内容:一人公司的读者最认「我以为我在省钱,其实我在为同一份文件付三遍钱」这种账,而且它可抄——每个用多 agent 的人回去都能数一遍自己的。

③ 一次上下文压缩 = 那批输入 token 按 10 倍计价

  • 怎么做的:Walden 的账是:compaction(工作记录太长时压成摘要再继续)一做,就等于吃一次缓存未命中,那批输入 token 现在要付的钱是不压缩时的 10 倍。所以他们做压缩的主要原因根本不是省钱,是智能——各家宣传百万 token 上下文,他「基本不会建议这些模型用到 200K token 以上,能压在 100K 以内最好」,因为到某个点智能会断崖式下跌。
  • 你可以怎么做:你那几条长链路(PRD 工厂、造 App 链路、第二大脑处理长文)里每一次「太长了,压一下」都是一次真金白银的重新计费。把压缩时机从「长了就压」改成「反正要换模型/换阶段时顺手压」,成本立刻不一样。这也是一条能写的短篇:「AI 的记性不是越大越好」——配上你自己链路里超过某个长度后质量明显掉下去的观察,正好是「大佬说 X 我试了」的形状。

④ 看不见的常驻消耗才是账单杀手

  • 怎么做的:Alex 讲了 OpenRouter auto router 被引爆的原因——某个非常流行的应用每 10 分钟往你选定的模型发一次心跳,纯粹为了确认客户端还活着;如果你把 Opus 设成默认模型,光这个心跳就烧掉大量 token。一个应用内部同时存在两种完全不同的智能需求,这才是路由真正的起点。
  • 你可以怎么做:翻一遍你那套 9+1 Agent 里所有「常驻 / 轮询 / 守护」类动作(定时巡检、内容雷达、每日简报),看有没有哪个在拿贵模型干纯打卡级的活。这类「体检」选题对一人公司读者可抄性极高:列出你的 AI 员工里谁在拿高薪打卡,附一张改前改后的账单对比。

二、app_incubator + Codex Holdwell ERP work(多角色 agent 流水线)· 工程纪律

① 派活要按「会话走到哪儿了」,不按「这是什么类型的任务」

  • 怎么做的:这是 Cognition 最硬的一条结论——按任务类型做初步路由「极其脆弱,而且你处理的任务越 agentic 就越脆」。他给的画面是一条真实会话轨迹:先问代码库怎么运作 → 再让它实现功能 → 再让它跑实测调深层 bug。复杂度和类型一路在变,「你并不希望自己被留在一个配不上当前任务的次等模型上」。panel 上另一位换了个更好记的说法:要「把事情看成一个个子任务和 session,而不是一个个孤立的待解问题」。
  • 你可以怎么做:如果你的多角色链路是「按角色 / 按环节各配一个模型」定死的,这条正好说清它脆在哪。改法不必大动:在阶段推进的那几个交接点上加一次「当前任务性质变了吗」的判断,让模型档位跟着阶段走而不是跟着角色走。最省事的落点就是那几个跨阶段的交接处——那也正是你现在最容易掉链子的地方。

② 「永远留一个聪明的在场」比再加一道流程闸门便宜

  • 怎么做的:Cognition 的解法不是把路由算法做得更聪明,而是永远留一个前沿 agent 在旁边盯着——哪怕干活的不是它,它也要能判断「我派出去的那个已经超出能力范围了」。Walden 的原话:光是这个保证,「就把这类系统的脆弱性降低了很多」。更妙的是成本技巧:反正每隔几分钟要刷新一次缓存,那次刷新就能顺带白拿一次前沿模型的调用——问它一句「小模型是不是钻死胡同了、需不需要帮忙」。
  • 你可以怎么做:你 PRD 工厂那边一直悬着「碰撞协议的纪律到底守没守住」的问题。这条给的思路是:与其再加一道流程闸门(那道闸门的真实成本是你的注意力),不如加一个常驻观察者——一个贵模型的旁观角色,只做一件事:定期看一眼当前 agent 的产出,判断它有没有走偏、该不该升档。用「反正要换阶段 / 反正要刷缓存」的时机去触发它,边际成本极低,而且它管的是所有角色,不用每个环节各加一遍。

③ sidekick 而不是一堆 sub-agent

  • 怎么做的:Cognition 明确说「主 agent + 一堆 sub-agent」的结构「会白白浪费很多」,因为每个 sub-agent 都要重新接收上下文;他们改用一个持续保有上下文的固定副手,而且主副位置可以来回换。同时 OpenRouter 内部对「外层编排模型该大还是该小」至今没有定论——他们只在 deep research 场景验证过「聪明模型当外层」最好,写代码场景明确说还没优化,「也可能反倒是小模型每完成一个任务更省钱」。
  • 你可以怎么做:把你链路里那些「开一个、用完扔」的临时 agent 挑出来,看哪几个其实是同一条上下文的延续——那几个合并成一个不解散的副手。同时记住 Alex 的诚实:外层该大该小在你的场景里必须自己测,别照抄别人 deep research 的结论直接套到写代码上。

④ 交接只给引用和高层思路,别把全量 trace 倒过去

  • 怎么做的:Walden 说他们花大量时间调的就是「回传什么」:默认绝大部分上下文只流向一个模型,回传给主模型的是「它读了哪些文件」和「它在做什么的高层思路」,甚至专门调教小模型汇报的能力。落到实操就是 sidekick 说「我找到的东西都在这儿」时只给文件引用,不把内容整个倒出来;而更聪明的模型读东西反而更省 token——只看关键部分,或者「跑一条命令就能确认是不是都弄对了」。
  • 你可以怎么做:这条直接对到你那个「跨线对齐」的痛点。对齐不必先建成完整数据模型——先规定交接协议:agent 之间交接时只允许传「文件路径 + 三行高层结论 + 需要对方决定的那一件事」,原文一律留在文件系统里让对方自己去取。这同时掐住了漂移:所有人指向同一批文件,而不是各自带一份被压缩过、已经开始漂移的副本。

⑤ 用真实使用信号迭代路由,而不是拿数据集调

  • 怎么做的:Walden 剧透了他们想做但还没做的事:不拿数据集调优,而是收集真实信号——用户自己主动升级 / 降级模型、系统发现最初路由错了要换。把「当时路由到了哪个、本该路由到哪个」持续记下来,在内部搭系统全捕获,不断迭代直到贴合真实生产数据。
  • 你可以怎么做:这正好补你「agent 产出可观测/可验证」的缺口,而且成本极低:在链路里加一行日志,只记三件事——这一步派给了谁、我有没有中途手动接管或升档、最后有没有返工。攒一个月,你既有了路由调优的依据,也第一次有了「这条流水线到底有没有用」的可量化证据,不用再靠印象汇报。

⑥ prompt 怎么迭代:让聪明模型解释走偏,再当回归测试跑一遍

  • 怎么做的:对自动化 prompt 调优框架 Walden 不看好,他更信一套「重得多但更聪明」的办法:把当时的决策和上下文交给一个聪明模型,问「为什么走偏了」,甚至笨到直接问「你为什么选了这个而不是那个」、让它引出是哪句 prompt 导致的,然后让 Devin 去改 prompt,再把这个 case 当回归测试跑一遍确认结果真的变了。Alex 补的半句同样重要:prompt 就是创业公司做产品这个过程的一部分,好在它特别容易观测——任何人或 agent 都能翻 trace、改 prompt、实时看准确率变化。
  • 你可以怎么做:你有一批 skill 和 agent 定义在跑,如果迭代方式还是「人肉觉得不好就改两句」,换成这套三步:留住失败那次的完整 trace → 让一个贵模型出具「为什么走偏 + 是哪句 prompt 导致的」→ 改完把这个 case 存成回归用例。三次之后你就有了一个属于自己的失败案例库——这本身也是「一人公司」最好的内容原料,因为别人手上没有。

三、Personal Thinking(第二大脑)

有损压缩 + 无损兜底:你的报告结构已经踩对了,可以更自觉地用

  • 怎么做的:Walden 那段关于上下文的哲学是全场最耐嚼的:人一次能记住的数字少得可怜,「某种意义上你可以说,你的 context window 比这些语言模型还短」,可你照样做得很好——因为你有文件系统这种无损系统兜底。所以好系统的标准不是「什么都带在身上」,而是「具备找到它所需内容的一切条件,哪怕这些内容并不都摆在眼前」。panel 上还有人提出用代码的结构化表示做「近乎无损」的压缩,因为纯摘要式压缩本质是有损的。
  • 你可以怎么做:你的总结报告 + 每条 [→ 详细] 锚点,正好就是「有损摘要 + 无损原文」这个结构——但你现在多半只把它当阅读便利。把它当检索契约来用:以后写摘要时的自检不再是「我有没有把重要的都写进来」(这是不可能达成的目标),而是「任何一条结论,读者或未来的 agent 能不能在 30 秒内回到原文那一句」。这条也是你摄入 SOP 信噪比问题的正解:宁可摘得更短,但每条都可回溯。

四、StockHelp / 你的价值投资视角(一条,只是分析框架)

  • 怎么做的:全场收尾的问题是「router 最终是一个独立产品,还是变成底层管道的一部分?」panel 上有人用 Web 的历史给了判断:当年 Web 起来时也有基于流量的路由,「所有这类路由控制权,随着时间推移都逐渐集中化了」,理由是应用跑在非确定性系统之上、信任度很低,仲裁只能落在编排这一层。Alex 给了反面情形:也许会出现一个大模型说「任何任务我都做得更好还更便宜,我凭什么把活派给别人」。
  • 你可以怎么做:这是一个可以直接加进你选股清单的问题模板——「一个新出现的中间层,最终会长成有护城河的产品,还是被上下游吸收成管道?」判据这场圆桌也给了:如果它的价值来自「知道每个模型的真实行为、握有真实使用信号、掌握缓存位置」,那它像产品;如果只是转发,那它像管道。同一把尺子可以量你 watchlist 里任何一家做「中间层」生意的公司。(这是分析框架,不是任何买卖建议。)

更深三角度

该反着用:台上三家都是资源充足的团队,他们搭复杂编排是为了把每 token 的钱压下来。你的稀缺资源不是钱,是精力和注意力——照抄「三层编排 + 自训协作模型」对你是反向浪费。正确读法是:只取那条最贵的教训(别让便宜模型硬扛分布外的活 + 留一个聪明的在场),跳过所有需要长期维护的编排基建。Walden 自己都说,他希望一年后回头看 Devin Fusion 的这些技术「已经很老古董了」——追一条正在剧烈变化的曲线,不是一个人公司该下的注;等它沉淀成别人的默认能力再接手,成本低得多。

和你现在做法冲突:你的多 agent 体系是按角色分工的(PRD 工厂的三驾马车、造 App 的 9+1 个 Agent,各司其职)。这场圆桌的核心结论——路由要按会话阶段而不是任务标签——跟「角色即分工」是有张力的:真实工作流里,同一个角色在不同阶段需要的智能档位能差好几档,而不同角色在同一阶段的需求可能完全一样。另一处张力更直接:如果你现在的交接方式是把上一个 agent 的完整产物塞给下一个,那「同一个文件被收三遍钱」和「压缩一次按 10 倍计价」就是你账单上一直没被解释的那部分。这两条我不替你下结论,但它们值得你在下次改链路前先测一次。

对你的镜子:全场没有一个人在争论「哪个模型更强」,他们争的是每完成一件事花多少钱。把分母从「每 token」换成「每件事」,结论就整个翻过来了。你自己的时间也是同一道题:手动干、用弱工具反复试,单价最低(不花钱),但「完成一件事」的总成本最高。你那条「判断力 > 努力」的操作系统,其实就是这场圆桌用美元重讲了一遍。


所以呢

  • 可迁移思维模型【耐用】:① 换分母——任何成本比较都要问「每完成一个任务多少钱」,而不是「每单位多少钱」;② 分布内 / 分布外才是决定「能不能上便宜方案」的那条线,而不是任务难不难;③ 永远留一个聪明的在场——用一个低成本的常驻观察者,换系统脆弱性的大幅下降;④ 有损压缩必须配无损兜底,好系统的标准是「能找到」而不是「全带着」。
  • 【会过期】:40%、缓存便宜 10 倍、5 分钟缓存窗口、200K/100K 的上下文建议、terminal bench 上的 3 倍 / 十分之一——这些数字和 sidekick 这种具体形态,按讲者自己的预期一年内就会被换掉。记结论的结构,别记数字。
  • 判断更新:你此前多半默认「便宜的活派便宜模型」是省钱的默认动作。本期之后该改成:先问这活在不在它的分布内——分布内就大胆用小的(分类、抽取这类活会越来越多),分布外就别省,省下的单价会以轮次的形式加倍还回来。
  • 这周一个赌注:挑 drizzle tech 里你最常跑的一条链路,做一次同任务双跑(全程贵模型 vs 关键步降级),只记两个数:完成一次的总花费总耗时。一周内出结果——赢了是一个工程决定,输了是「一人公司」的一篇带自己数据的验证体存稿。两头都不亏。
接着读