⌕ ESC
↑↓ 选择↵ 打开esc 关闭⌘K 唤起
← 主页 NO.187
专栏 · Agent 工程手艺 ›
第 187 期 · AGENT 工程 · 收录于 2026 年 8 月 21 日

持续学习:AI agent 如何越用越好——Arjun Karanam(Trajectory)

AK
Arjun Karanam · Sequoia Capital
Agent 工程AI 产品
视频 21:54 原文约 2.2 万字 预计阅读 24 分钟 来源视频 ↗ 中英对照全文
原平台热度 YouTube ↗
3.1万观看
315赞
1.0%点赞率
13评论
24.1万频道订阅
数据截至 8 月 27 日
TL;DR · 三句话
  1. 一模型每周都在变强,但只在 IQ 这一条轴上变强——「你跟它们对话的时候,总感觉它今天是上班第一天」。Arjun 的类比是:把 Terence Tao(当代最顶尖的数学家之一)扔进一家会计事务所,第一天他多半不是那儿最好的会计,可给他几年、甚至几天就会非常好——真正被低估的是与智力正交的那条「经验」轴,Trajectory 这家公司要填的就是这道 experience gap(经验鸿沟)。→ 详细
  2. 二经验其实早就在产生了,只是被扔掉了:此刻正有海量 token 被各家 agent 生成出来、人基于这些结果去行动,然后整批丢弃。把这批信号捞回来、变成 reward 和 spec 去更新系统,agent 才可能「每被用一次就强一点」,产品也才从「买来就定死」变成 systems that compound with use(随使用而复利的系统)。→ 详细
  3. 三他借《阿拉丁》的「四个愿望」给整个 agent 生态开了一张准入清单——trace 整棵树(含 sub agent)、eval 从真实流量里抽且在真实 harness 里打分、harness 从「防 agent 干蠢事」改成「摆好积木放手让它跑」、开始习惯在 open weights 上跑——过了这道水平线,continual learning 的指数效应才真正开始。→ 详细
01

世界观:模型只在 IQ 这一条轴上变强,可你每次跟它说话它都像"上班第一天"

  • 他先摆立场,而且承认这不是什么惊人观点:「我们正活在人类历史上一个不可思议的时代。几乎每周都有新模型出来,一个把上一个甩在身后。模型越来越强,这没法否认。」——但紧接着是转折:它们变强只是在一个轴上,那就是 IQ。→ 详细
  • 这一句是整场演讲的种子:「模型越来越聪明,可你跟它们对话的时候,总感觉它今天是上班第一天。」注意这里描述的不是能力不足,而是记忆与经验的清零——你昨天教过它的、上周它自己踩过的坑,今天全部归零重来。IQ 再高也补不上这个洞。→ 详细
  • 今天的 agent 长什么样,他给了三个形容词加一句判词:「今天的 agent 依然慢、贵、容易出错,而且你把它部署上去之后,随着时间推移它基本不会变得更好。」——最后半句才是问题所在:软件行业默认「上线即定型」,但人不是这样工作的。→ 详细
02

Terence Tao 到会计事务所的第一天:经验是那条被低估的正交轴

  • 类比的完整来龙去脉是这样的:他先说,「你口袋里揣着一个 Terence Tao,那当然很棒」——意思是今天的前沿模型确实相当于把一位天才装进了你手机。然后他把这个天才放到一个具体岗位上:「但 Terence Tao 到一家会计事务所上班的第一天,多半不会是那儿最好的会计。」→ 详细
  • 关键的第二拍在时间尺度上:「可给他几年——说实话可能只要几天——他大概就会做得非常好了。」这半句是整个类比的支点:它同时承认了两件事——智力确实能极快地转化成能力,但那个转化必须发生在岗位上、必须靠真实经验来喂。你不能跳过这几天。→ 详细
  • 由此引出公司的核心概念:「所以除了 IQ,还有一条正交的轴叫『经验』,我们认为它跟 IQ 配合起来的重要性被大大低估了。这就是我们说的 experience gap(经验鸿沟),也是我们这家公司想去填平的东西。」正交(orthogonal)在这里是数学上的说法,意思是这两条轴互不替代——沿 IQ 轴走得再远,也不会自动在经验轴上前进一步。→ 详细
  • 他还给了一条方法论上的自辩:人也正是靠经验变强的,而「按 AI 圈的老传统——人类如果是这么干的,那多半是个不错的心智模型可以拿来借鉴」。这是在为整条技术路线找先验:不是因为算法可行才做,是因为人类学习的形状本来就长这样。→ 详细
03

经验早就在产生了,只是被整批扔掉:那些没人回收的 token

  • 他问了一个很朴素的问题:经验从哪儿来?答案是——它已经在那儿了。「几亿这个数字都不够形容,此刻正有海量的 token(模型处理文字的最小单位,可以粗略理解成"字")被这些 agent 生成出来。」这批东西的规模不是要去创造的,是每天已经在白白流走的。→ 详细
  • 最扎心的一句是它们的去向:「你可能扫一眼,可能压根不看,然后它们就被扔掉了。但这些都是它们实实在在干的活儿,人们还基于这些结果去行动,然后就这么被丢掉了。」——注意"人们还基于这些结果去行动"这半句:它意味着这些输出已经通过了人的验收,这是最贵的一种标注,却没人存下来。→ 详细
  • 公司的立场就架在这上面:同场讲者 Gabe 提到过 Trajectory「有观点、不中立」的定位,Arjun 自己把这个立场说白了——「这是信号,我们应该从中学习。」整家公司做的事,本质上是给这条每天在流走的信号装一套回收管道。→ 详细
04

learning agent 的两个好处:一个立刻兑现,一个才是真正想要的

  • 立刻兑现的那个:「最直接的,是让你拿到更快、更好、更便宜的模型」——把大模型上学到的东西沉淀成你自己的小模型,三项指标一起改善。→ 详细
  • 真正想要的那个:「更让人兴奋的是,它把你带向一个目标——系统会随使用而复利增长(systems that compound with use)。」复利这个词用得很准:不是线性变好,是每一次使用都在给下一次垫高起点。→ 详细
05

第一层 traceability:先把交互抓下来,否则后面全是空谈

  • 起点是 traceability(可追溯性,即把 agent 每一步干了什么完整记录下来的能力)——他明确说这跟前一场 Harrison 讲的能接上:「我们得先把这些交互抓下来,把那些被丢掉的经验捕获住,这是第一步。」→ 详细
06

第二层 model spec:从交互里抽 reward,从 trace 里抽"你到底想要什么"

  • model spec 是他们的第二块拼图:「你需要有办法定义『我到底想让我的 agent 做什么』,然后让 agent 照着这个去学。」没有这份定义,你就算收集了一堆交互,也没有一把尺子告诉模型哪次算干得好。→ 详细
  • 他们的研究方向是让这份 spec 自己长出来:「怎么从用户交互里抽出 reward(奖励信号,即告诉模型『这次做对了/做错了』的那个分数),怎么从 trace(轨迹,即 agent 一次完整运行的逐步回放)里抽出你到底想让 agent 做什么的精确 spec。」——方向是反的:不是人先写好规格再让 agent 遵守,而是从人实际怎么用、怎么纠正里,把规格倒推出来。→ 详细
  • 他补了一句公司形态上的自我定位:「产品上做一个让 continual learning 成为可能的平台,但底下每一层我们都在做前沿研究」——每一块拼图背后都还是未解问题。→ 详细
07

最实用的一条判据:「这家公司已经退市了」不该训进模型,该进 harness 的 context

  • 有了 spec 之后,学到的东西往哪儿放?他说有两个落点。第一个是模型本身:「我们在做 SDPO 这类算法的研究,用 RL(强化学习,靠给对错反馈让模型自己摸索出更好的做法)把这些完整的长 trace 吃进去,随时间把模型变好。」注意"长 trace"三个字——难点在于 agent 一次任务可能几十步,奖励却只在末尾出现,中间每一步该记功还是记过很难分。→ 详细
  • 第二个落点是 harness(外壳/脚手架,即包在模型外面那层工程:工具、提示词、流程编排、上下文注入等)。他给的分流例子极其具体,也是全场最可以直接拿走的一条判据:「如果它是一条事实,比如『这家公司已经退市了』,你多半不想把这个知识训进模型里,它更像是应该提供给 harness 的 context(上下文,即每次运行时临时喂给模型的资料)。」→ 详细
  • 这条判据背后的道理值得多说一句:训进模型的东西改起来极贵、还会污染其他能力;而事实是会变的(今天退市明天可能重新上市),会变的东西就该放在随时可换的那一层。反过来,"怎么把这件事做好"这种技能类的知识,才值得压进权重里。 这就是他后面在问答里展开的"事实 vs 技能"分流的雏形。→ 详细
  • 整个产品闭环他串了一遍:真实交互 → 你想让 agent 在哪些地方变好的 spec → 更好的模型 → 更好的 harness → 立刻部署 → 继续跑起来产生新的真实交互。这是一个咬住自己尾巴的环,跑得越久圈数越多。→ 详细
08

《阿拉丁》的四个愿望:过了这道水平线,指数效应才开始

  • 他用了一个很讨巧的框架来讲后半场:「假设我是《阿拉丁》里出来的,我有四个愿望,那我会许什么愿来让整个 agent 生态变好。」(他自己也吐槽了:「按惯例我应该只有三个愿望,但咱们就假设我有四个。」)→ 详细
  • 框架背后有个门槛概念:「今天我们有 agent,中间隔着这么一道 gap,agent 得先到某条水平线,过了那条线我们才能真正看到 continual learning 的指数级效应。」——换句话说,这四个愿望不是锦上添花的最佳实践,是准入条件。四类分别对应:traceability、eval、harness、模型。→ 详细
  • 他也先共情了一句:「如果你搭过 agent,你肯定知道每一个环节都有一堆会出错的地方,而且每一个都还是没解决的问题。」→ 详细
09

愿望一 · traceability:整棵树都要留,包括 sub agent;点赞点踩噪音大到没用

  • 第一个小愿望是把树留全:「把整棵树都 trace 下来,包括 sub agent(子智能体,即主 agent 派出去干一小段活的下级 agent)。很多公司只 trace 主流程发生了什么,但把 tool call(工具调用,agent 去查资料/写数据库等动作)和 sub agent 全扔了,这就导致你很难从整件事里学到东西。」——只留主干等于只留结论,把推导过程全丢了,而要学的恰恰是推导过程。→ 详细
  • 第二个小愿望他明说是这块最重要的:「你的产品设计本身就要围绕『怎么既捕获这些交互数据,又能引导出恰当分量的反馈』来做,这样你才捕得到。」注意这不是给数据工程师的要求,这是给产品经理的要求——反馈能不能收上来,取决于界面怎么设计,不取决于日志怎么打。→ 详细
  • 然后他把最直觉的那个方案枪毙了:「我觉得第一层的想法是『行,加个点赞点踩,把它记下来』。理论上听着很美,但它噪音大得离谱。如果你用过任何编程 agent,你就知道你基本上是 agent 干啥你都点接受。」——这是个所有做 AI 产品的人都该记住的坑:用户的"同意"是廉价的,因为同意的成本低于检查的成本。→ 详细
10

真正的金矿是"纠正性行为":五个 commit 之后那句"完蛋,得回滚"

  • 他把点赞点踩为什么失效讲到了底:「然后要等到五个 commit 之后你才反应过来:完蛋,这把什么都搞坏了,我得回滚。」——问题不在用户懒,在于判断对错所需的时间,远长于给出评分所需的时间。当下那个赞是在信息不足时给的,所以它是噪音。→ 详细
  • 所以有效信号换了个地方:「真正有价值的是那些纠正性行为——编辑、撤销、重试,这些既要从用户那儿引导出来,也要被捕获下来。」这三个动作的共同点是:它们发生在用户已经付出了检查成本之后,所以每一次都是带真金白银判断的标注,而且完全免费、不打扰任何人。→ 详细
  • "引导出来(elicit)"这个词值得单独拎出来:他反复用它,意思是产品要主动创造让人做出纠正动作的机会,而不是被动等着人来评分。一个能一键回滚、能局部编辑、能重试的界面,本身就是一台标注机器;一个只有"接受/拒绝"两个按钮的界面,什么都收不到。→ 详细
11

愿望二 · eval:产品环境、评测环境、训练环境应该是同一个东西

  • 他给的心智模型极简:「你用户用的那个产品、你做 eval(evaluations,对 agent 输出好坏的自动化打分)的环境、你做训练的环境,三者要尽可能接近。理想世界里它们就是同一个东西,中间没有任何差别。」——三个环境每差一点,你评出来的分就离用户的真实体验远一点。→ 详细
  • 由此推出 eval 该从哪来:「eval 应该是从真实流量里抽出来的——人们现在实际怎么用你的产品,以及他们在能力边界上提的那些当下还做不到的需求,这些都特别有用。」后半句是个反直觉的宝藏:你的产品做不到的那些请求,不是失败日志,是下一版的路线图。→ 详细
  • 第二点是一个硬骨头:「让每个任务都能 rollout(重放/回放,即把用户做过的那一整趟重新跑一遍)。这是个挺大的基础设施挑战,但核心想法是:用户做过一件事,我能不能把他做过的这件事重放一遍?」没有重放能力,你就没法在改动之后验证"这次是不是比上次好"。→ 详细
  • 第三点跟第一点扣在一起:「要在真实的 harness 里打分,不要另做一个 harness 的变体,就用生产环境里大家真正在用的那个 harness 来评。」——一旦评测跑在一个"为了好评测而简化过"的外壳里,分数就成了自我安慰。→ 详细
12

愿望三 · harness:你的脚手架多半是为一年半前的模型搭的,现在该"放手让 agent 跑"

  • 这一段是全场对做 agent 工程的人最有杀伤力的一条:「我觉得这里能用的心智模型是:很多产品的 harness 是围绕一年到一年半前的模型搭的,那时候 harness 的主要职责是防止 agent 干蠢事。在 agent 会随机崩掉、输出格式乱套的年代,这么做非常对。但现在我们已经明确进入了『放手让 agent 去跑(let the agents cook)』的时代。」→ 详细
  • 注意他的措辞有多克制也有多锋利:他没说那些脚手架当初是错的——「这么做非常对」——他说的是它们的前提条件已经过期了。这是两种完全不同的批评:前者让人辩解,后者让人去查日期。任何一层防呆设计,都该标注它是为哪一版模型的哪种毛病写的。→ 详细
  • 他给出的替代范式是"从规定流程改为提供积木":「搭 harness 不该是去规定必须走哪些固定流程,而是想清楚你的产品有哪些 primitive(原语,可以理解成最小的能力积木——搜索工具也好,私有信息也好),然后把 agent 看成是在编排这些 primitive,放手让它去编排。」→ 详细
  • 这条为什么跟 continual learning 强相关:固定流程等于把人的经验硬编码进外壳,模型永远学不到它——因为那部分决策根本没轮到模型做。只有让 agent 自己去编排,它的选择才会留在 trace 里,才有东西可学、可改进。流程写得越死,可学习的表面积越小。→ 详细
13

harness 的另两条:agent 接口对齐用户界面 + tool 返回别只回一句"done"

  • 第一条他说这也是他们自己产品的做法:「让 agent 的接口尽可能贴近用户界面。理想情况下,我在你 UI 上能做的每一件事,你的 agent 都能通过 tool call 做到。我觉得那样的世界会让训练和 continual learning 容易太多了。」——道理是:只有当人和 agent 走同一套动作集,人的操作记录才能直接当成 agent 的示范数据;两边接口不对齐,人的经验就翻译不过去。→ 详细
  • 第二条他自称"比较小",但其实杀伤力不小:「让 tool 的返回足够有信息量。」他描述了那个常见毛病——「我们经常看到的是,这个 tool call 返回的就是一句『done』『finished』。理论上听着挺好,可从 agent 的视角看,这简直一头雾水。」→ 详细
  • 后果他讲得很直接:「如果你想拿这个去训练、去学,那压根没有信号可学。你根本不知道实际写进去了什么,也不知道实际读到了什么。」——一句"done"看起来省事,实际上是把这一步从可学习的历史里删掉了。写工具返回值的时候,你的读者不是运维,是三个月后要拿这条记录去训练的那个自己。→ 详细
14

愿望四 · 模型:open weights 是"拥有权重"的钥匙,但门后还有五十件事

  • 「我真希望事情简单到『换个 open weight(开放权重模型,即参数公开、可以自己下载来跑和继续训练的模型)』就行,但如果你试过,你多半发现后面还有另外五十件事要考虑:从安全到合规,再到各种权限配置。」→ 详细
  • 他的建议是先把肌肉练上:「开始习惯在 open weights 上跑吧,因为那才是打开『拥有自己的权重』这扇门的钥匙,然后你才能在上面持续改进。」——闭源 API 你调得再好,也没法把经验沉淀成自己的资产。→ 详细
  • 另一条是接同场讲者 Gabe 的:model router(模型路由器,即按任务难度自动决定这一步该派哪个模型上)「很可能会扮演相当重要的角色,把智能路由到任务真正需要的那种能力上」,所以「多拿 router 做实验」也是他许下的愿望之一。→ 详细
15

落地时的现实:先做一次四块审计,同时研究"你什么都没有"该怎么办

  • 「我们跟公司合作时,第一件事往往是把这几块做一次盘点(audit),看看现状在哪儿。大多数情况下,要做到这个程度还有很多活要干。」他还开玩笑:「要是哪天我们走进一家公司,发现这些他们都已经搭好了,那就是我的梦想了。」→ 详细
  • 他们的研究刻意建立在"指望不上"的前提上:「假设一家公司完全没有 eval,我们怎么绕过去?假设 traceability 根本没开,我们怎么从现有的那点信号里学?」——这是很清醒的产品判断:如果你的方案只对已经做对了一切的公司有效,那它没有市场。→ 详细
16

产品与信念:"拥有自己的智能"不该是花钱请咨询公司做掉的东西

  • 这是他们最核心的信念,也是产品形态的由来:「『拥有自己的智能』这件事,不应该是那种你花钱请咨询公司帮你做掉的东西,它应该是你自己长出来的专业能力,因为它对你的产品太重要了。」——所以他们做的是产品和 beta,不是驻场服务。→ 详细
  • 产品截图现场演示了几样东西:法律 AI 公司 Harvey 的场景、Gabe 提到过的那个 lab benchmark(实验室基准测试集),导入都很方便;他还顺口漏了一句「哦,那是我的邮箱」,以及提到本来说好晚点才给 Nico 看,「所以这算提前剧透」。→ 详细
  • 他们对界面最自豪的地方是把旋钮藏起来了:「如果你做过 post-training(后训练,即在一个已经练好的通用模型上再针对你的场景继续训练)你就知道,有五千万个地方会出问题,五千万个旋钮要调,全靠所谓的『研究员直觉』(注册商标,随便你怎么理解)。」他们的做法是把研究员的整套经验沉淀下来,用一个 agent 在后台替你调掉绝大部分旋钮,只暴露你真正需要知道的那几个。→ 详细
  • 他给了一个很具体的操作量数字:训练、看表现、评测、对比、判断是不是比原来的模型好、部署——「真正要你投入的操作量,不算等模型训完的时间,大概也就 15 分钟。」结尾落在公司的一句话目标上:「让每一家公司都拥有自己的经验层(experience layer)。」→ 详细
17

团队与客户:三个最好的朋友 + 两位坐在台下的前沿客户

  • 团队三人:Arjun Karanam 本人(此前在 Apple,做过隐私相关的问题);Ronak(联合创始人,当天也在现场,此前在 Windsurf,训练过 SWE-1 编程模型);Michael(此前在 DeepMind 做机器人)。他说最好玩的第一是使命本身,「第二好玩的是,我能跟我两个最好的朋友一起做这件事」。→ 详细
  • 客户构成他强调了一句:「我们在和最前沿的客户合作,其中两位今天也在现场,就是那些真正在把 agent 在生产环境里的能力边界往前推的人。」——对这类研究型创业公司来说,客户名单本身就是研发环境。→ 详细
  • 主持人开场时给的定位是:Trajectory 两位联合创始人「在做一堆很有意思的研究,围绕的是我认为当下最热的话题之一——continual learning」。→ 详细
18

现场问答(四问)

演讲后半程是现场 Q&A,四个问题一个比一个具体,答案含金量不低于正片。

19

问题一 · 模型权重、harness、工具、应用层,这几个"可训练对象"你们怎么排优先级?

  • 他先讲了这个领域的现状:「有句挺好玩的话:你去问六个研究员什么是 continual learning,大概会得到七个答案。」有人会特别较真地说「它必须像人一样,只有权重在实时地、一次性地更新才算」。→ 详细
  • 他们的答案是:别排优先级,因为这个问题本身就该被抽象掉。「你产品所依赖的那个智能是一个系统,这个系统有很多组件,真正的 continual learning 是能在整个系统层面做优化的东西——根据你要学的这条信息,判断系统的哪个部分该被更新。」→ 详细
  • 他用的类比是存储:「今天我们已经不会去想这份数据该存在内存的哪儿、硬盘的哪儿了,那一层已经被抽象掉了,系统会按最合理的方式安排。我们看待模型、harness、context 也该是同一回事。」→ 详细
  • 最后落在一句判断上:「现在这样,在几乎没有先验的情况下,让人去决定该更新什么、依据什么更新,感觉就是不对的。这是个可以被解决的科学问题,那我们就把它解掉,然后把它抽象走。」→ 详细
20

问题二 · 今天好几位讲者都说别拿客户数据训练,那 differential privacy 你们怎么解?

  • 提问者把矛盾点说得很清楚:continual learning 很大一部分就是从真实交互里学,可大多数应用层公司跟客户之间都签了专门的数据使用协议,这让直接拿客户数据训练几乎不可能。这里的 differential privacy(差分隐私,一种让数据用得上、但反推不出具体某个人信息的技术) 是这类问题的通称。→ 详细
  • 他先亮了自己的资历:「完全同意,这是个极其重要的问题。其实我来做这件事之前在 Apple,我们当时也在这个问题上花了不少功夫。」→ 详细
  • 具体做法是"学分布,不学数据",分三步:① 从客户数据里采样出分布(也就是只提取统计层面的形状,不带走具体内容);② 自己合成生成一批数据;③ 用类似密码学的那套思路去比对两边的分布,判断合成出来的这批数据是不是落在真实分布上。「但全程都没有直接拿客户数据做训练。」→ 详细
  • 他说这块「有很多有意思的工作,而且非常核心」,跟现有客户已经在做尝试来绕过这个限制。→ 详细
21

问题三(Sid,来自 Finch)· episodic memory 算不算 continual learning?用户纠正了 agent,该怎么更新它的行为?

  • 提问原话很具体:「我觉得 episodic memory(情景记忆,即记住"上次那件事是怎么处理的"这种一次性经历)在 continual learning 里多少也起了作用。比如用户在我们平台上做了个动作,纠正了 agent 之前的做法,我们可能就想据此更新 agent 的行为。Trajectory 在产品层面对这件事有没有比较明确的主张?」Arjun 当场把问题复述给现场:「不同类型的反馈,会怎么影响模型最终学到的东西?」→ 详细
  • 第一种切法:按"信号里含不含正确答案"分两类。
    • 只知道"出错了"的:「比如有人对着 agent 一顿喷,说『你太烂了』,但后面没有任何补充;或者只点了个踩;或者干脆退出会话不玩了。这些情况下你知道出了问题,但不知道对的应该长什么样。」
    • 带着正确答案的:「agent 重试了一遍,最后拿到了正确的解;或者你直接纠正它,告诉它正确的应该是什么。」
    • 两者处理方式完全不同:「后一种情况里,我们对该给这个输出打多少 reward 非常有把握;前一种我们只知道要惩罚这个行为,但说不出正确答案是什么。」→ 详细
  • 第二种切法:按"这条信息对谁成立"分层级。
    • 全局成立的 → 训进模型:「比如调某个工具时 tool call 反复失败——这多半对所有人都适用,这种就该训进模型里,让模型把这个工具用得更熟。」
    • 单个用户的偏好 → 交给 context:「但如果某个用户说『我永远不想用 sub agent,求你千万别用』——这个大概率就不该训进模型,交给 context 处理就行。」→ 详细
    • 他特别兴奋的是这个层级还能再细分:「这正是 Harvey 刚才讲的那类东西:它很可能是落在每个组织的层面上,甚至再细一层,落在每个客户的层面上。」→ 详细
22

问题四 · 什么形状的问题才真需要 continual learning?什么时候静态模型 + 往 context 里塞资料就够了?

  • 提问者把今天全场的另一条主线接了过来:产品里有些环节你愿意多做实验、用更便宜的方案、多用开源;另一些地方站在前沿、用闭源模型更划算。那延伸到 continual learning——什么时候它是真的关键,什么时候一个静态训练好的模型加上 harness 注入 context 就已经够用了?→ 详细
  • 他的第一层答案:「大部分任务其实都适合上 continual learning,但我最兴奋的是那些正好处在能力边界(frontier)上的任务。」→ 详细
  • 他给了一个关于用户期待的心智模型,这段是全场最有洞察的一块:「人们向模型、向产品提要求时,是按自己以为这产品能做到什么来提的。偶尔他们会往产品做不到的边界上试一下,然后看到它失败、或者做错了,就缩回去了——『哦,还是不够好,这事儿用不了它』。」——用户的期待值是被失败经验校准的,而且校准之后很久不会再试第二次。→ 详细
  • 他拿自己用 Cursor 举了例:「两年前我会想到把今天丢给 Cursor(AI 编程工具)的那些离谱 query 打进去吗?绝对不会,那时我的预期比现在低得多。但随着模型越来越好,我慢慢就那么用了,心想『行,好像可以干越来越大的事了』。」→ 详细
  • 最后是新旧两条路径的对比,也是他给 continual learning 的最终定义:以前是「模型整体在变强,我们再有针对性地往某些方向推」;而在客户那儿看到的新链路是——「用户提了个要求,模型勉强能做,然后在训练过程中它把这件事学会了,于是用户现在能做成一件他以前做不成的事。这条链路才是 continual learning 真正让人兴奋的地方——根据用户试过但没成的那些事,实实在在地把可能性的边界往外推。」→ 详细
23

收尾

  • 主持人:「太棒了。谢谢你,Arjun。时间差不多到了,非常感谢你今天来讲这些,真的很精彩。」全场掌声。→ 详细
接着读