新原语AI原生软件

• Kwindla Hultman Kramer，Daily 公司（实时音视频 + AI 的开发者基础设施），Pipecat 背后的团队——今天使用最广泛的 voice agent（语音智能体）开发框架，开源、不绑厂商，AWS、Nvidia、Anthropic 和成千上万公司在用。→ 详细
• 他讲两件事：现在在造什么样的 agent、接下来想造什么——并且全部放进数字计算大约 80 年的历史里讲。整场的方法论就藏在这个动作里：用历史给「我们现在处在曲线的哪一段」定位。→ 详细

*▲ 图注：他的起点：Vannevar Bush，1945 年《As We May Think》。在文档扫描、OCR、语音转文字、超文本、搜索引擎、头戴相机、语音界面全都还不存在的时候，这一篇文章把它们一次写全了。*

• 作者 Vannevar Bush 是工程师、学者兼公职人员，对模拟计算机、摄影、无线电、雷达都有极深理解。这篇文章预言了：屏幕上的文档显示、文档扫描和 OCR、speech-to-text 和 text-to-speech、编程语言、hypertext（超文本，即文档里能点开跳到另一份文档的链接——网页的底层机制）、搜索引擎、数据网络，还有类似 GoPro 的相机、一个「诡异地接近 Amazon Kindle 商店」的构想，以及语音界面和脑机接口。→ 详细
• 这段历史扛的论证：Bush 写下它时，这些东西一件都不存在，他却把清单列全了。讲者由此把今天接上：「我们正站在一个新时代的开端，智能时代的开端。」——既然 1945 年那个位置能看清七十年，我们现在也该试着往前看，而不是只盯着手里的 agent。→ 详细

• 这周整个 AI engineering 圈的重点，是给 AI agent 搭出一整套完整、自洽的软件栈。讲者不是自己下判断，而是直接放了 Satya Nadella 几周前在 No Priors 和 Latent Space 两档播客联合录制那期里的原话当证据。→ 详细
• Nadella 的核心说法：你需要一套 harness（外壳/骨架，即把「模型、数据、工具」三样东西定义清楚、并让它们之间跑起一个循环的那层工程）。微软要保证自己做的每一个产品——GitHub Copilot、Security Copilot、一个转写含糊没听清名字的产品线（原文作 "M dash"），甚至面向科学发现的产品——全都是带工具访问能力的多模态 harness。→ 详细
• 这段里有两个可以直接抄走的工程约束：一是对工具做渐进式披露（progressive disclosure of tools，即不要一次把所有工具塞进上下文，按需一层层露出来），理由很实在——「这样才够省 token」；二是往里面喂非常丰富的 context。→ 详细
• 讲者把这一整片叫做 agent++：多模型 harness、嵌进每一个软件里的 copilot、组织层面的 harness。他还画了一条连线：去年 AI Engineer World's Fair 上谈的 loop、tool call、context engineering（上下文工程，即精心决定每次调用往模型里放哪些信息），一路连到今年这些刚冒头的想法。问题就此提出：怎么从 agent 走到 agent++，再走到 agent 之后的下一样东西？→ 详细

• 上一次「软件怎么写、写来干什么」发生这个量级的剧变，是万维网早期——而讲者是亲历者。1995 年他还是个刚入行的程序员，手写 HTML、用 C 写 web server、用 C 写索引和搜索软件、用 Perl 写网页的创作工具和管理系统。这些细节不是炫耀，是在证明「我当年真的把全部精力压在这个东西上」。→ 详细
• 全场的枢纽句：「1995 年我对 HTML 的兴奋，跟今天对 agent 一模一样。」 这一句把「今天的兴奋」变成了一个可以被历史检验的样本——三十年前有过一次一模一样的兴奋，我们已经知道它的结局了。→ 详细
• 检验结果是双面的：「网页今天还在，依然重要、依然有用。但今天我们谈 web 应用、谈原生移动应用，远比谈网页要多。」 换句话说，网页没有死，但它降级成了原语——一块别人拿去搭更大东西的基础零件，而不是那个时代最终的产物。→ 详细
• 推论：「就像我们从网页一路走到成熟的 Web 和原生移动应用一样，我们显然也会走出一条路，通向 agent 和 agent++ 之后那种真正 AI 原生的新软件。」 后面他给了更锋利的一句定义——那种新软件之于 agent，就像今天的互联网之于 1995 年的网页。→ 详细

*▲ 图注：他的时间线骨架：**1950s 起，「把人的意图映射到计算」*这条主线一级一级往上跳，中间每一代造出来的东西（交互式系统、个人计算机…）事后看都只是原语，不是终点。

• Bush 画的时间线：算盘（既是极好用的日常计算工具，也是催生数位制、「零」这类概念的重要理论工具）→ 他 1945 年手上那种最先进的机电式键盘计算机器 → 他断言即将发生一次同等量级的飞跃，跃向**「算术机器」（arithmetical machine）** → 他还在文章里直接设计了一台设备：memex。→ 详细
• 讲者改的版本（我们比 Bush 多看了 80 年）：算盘 → 存储程序计算机 → 40 年后的个人电脑 → 再 40 年后的今天，AI agent 时代。它扛的论证是：跃迁一级一级发生，大约每 40 年一级。→ 详细
• 中间那几十年造的全是原语：1950 年代——把人的意图更有效地传给机器（第一批编程语言、第一批编译器；理论功课是把数学形式化的优雅跟更接近自然语言的东西结合）；1960 年代——让机器可交互、能跟人双向对话，同期诞生图形化编程（Ivan Sutherland 的 Sketchpad）；1970 年代——设计能撑住更大数据量、更强算力底座的新抽象：关系型数据库、声明式语言、Smalltalk 与面向对象编程。→ 详细
• 这些铺出了 1980 年代的个人电脑：Macintosh 1984 年、Windows 1.0 1985 年发售，微软的使命宣言是「让每张办公桌上、每个家庭里都有一台电脑」——而微软真的兑现了。→ 详细

▲ 图注：他插播科幻片段不是调剂：Star Trek 这类作品定义了几代人对「跟机器说话」的期待——他的说法是「想法是有力量的」，愿景本身会把技术拽过去。

• 这段历史扛的论证：60 年代几乎没人真正碰得到计算机，但它成了大众想象里的重要角色——「『计算机』这个想法真的打动了人——而想法是有力量的（ideas matter）。」 这就是他一路放影视片段的理由：银幕上先成形的东西，塑造了后来真被造出来的东西。→ 详细
• 《Star Trek》那段：舰长口述「舰长日志补录」，电脑答「已计算并记录，亲爱的」；舰长纠正「不许这么称呼我」，电脑改口「已计算，亲爱的」——一台会顶嘴、有个性的语音计算机，60 年代就被想出来了。讲者还特别喜欢背景里穿孔卡片读卡机的声音：「这样你就知道计算机确实在干活」（60 年代版的「处理中」提示音）。→ 详细
• 这一集之后第二年，Kubrick 改编 Arthur C. Clarke 的《2001: A Space Odyssey》，里面是 HAL 9000——远比 Star Trek 反乌托邦得多的想象。两条传统从这里分岔（憨憨的乐观未来主义 vs 反乌托邦），后面讲 Minority Report 和 Iron Man 时还要再用一次。→ 详细

▲ 图注：「1985 年的一张电子表格」：左边是电子表格出现之前的样子，右边是 VisiCalc 跑在个人电脑上。他用这一页论证两件事——新技术把专家能力平民化，以及「会造成大规模失业」在这个案例里没有发生。

• 个人电脑之所以真的进了每张桌子，是因为它带来实实在在、看得见摸得着的好处。代表就是 VisiCalc——第一个电子表格程序，一种全新的计算抽象：数值计算、二维、可交互。→ 详细
• 它耐久到什么程度？「在座大多数人今天多半还在经常用它的直系后代」——Google Sheets、Microsoft Excel。讲者用两张图并排作对比：「这是 1957 年的『电子表格』，这是 1985 年的电子表格。」→ 详细
• 第一层论证：变革性新技术真正干的事，是把一件原本需要一大批专门的人、专门的知识才能做的事，变成人人都能上手的能力。→ 详细
• 第二层论证（他明确点名的反驳）：「我觉得，VisiCalc 可能正是对『AI 会带来大规模失业』这种担忧的一个反例。」理由非常具体——VisiCalc 并没有让会计失业，反而让多得多的、类似会计的工作变得可行，还催生出一整类全新的工作：在「一屏的计算量」还得靠一屋子人来做的年代，那些工作我们根本想象不出来。→ 详细

• 设问的方式很讲究：假如 1985 年我们就坐在 Moscone Center（也就是这场演讲的会场），而当时最先进的界面就是 Macintosh System 2 和 Windows 1.0，我们会怎么预测 10 年、20 年、30 年、40 年后？——那个年代还真留下了一份答案。→ 详细
• 那份答案是 Apple 在 1987 年做的概念视频 Knowledge Navigator，讲者把它和《As We May Think》并列，称作人机交互史上另一份著名文献。他只放了中间大约 20 秒——助理报三条留言：危地马拉的研究生团队报平安、一个叫 Robert Jordan 的学生申请学期论文再延期一次、母亲提醒父亲的惊喜生日派对在下周日。他两次强调这支视频值得专门找出来完整看一遍。→ 详细
• 他从整支视频里点出的清单（这就是「愿景能定 40 年方向」的证据）：可折叠平板、触摸屏界面、一个个性极强的对话式语音助手、对全球信息和个人信息的双重访问、实时视频生成、实时计算机视觉、无缝的视频通话集成、把复杂任务委派出去自动执行，还有我们今天可能会叫做 continual learning（持续学习，即系统在用的过程中不断记住并适应你，而不是每次从零开始）的东西。→ 详细
• 关键的因果判断——两份历史文献不是并列，是有高下的：Knowledge Navigator 明显深受《As We May Think》影响，但它「按 40 年的技术进展做了更新」，并且**「以 Vannevar Bush 的 memex 做不到、甚至可能根本做不到的方式，预示了我们现在所处的这个 AI agent 时代」**。Memex 预示的是信息的组织与检索；Knowledge Navigator 预示的是「一个有人格的、会替你办事的助理」。→ 详细
• 它还是全场的时间线支点：「Knowledge Navigator 这段视频把我们的时间线相当漂亮地劈成了两半。」（1945→1987，1987→今天。）→ 详细

• 90 年代的主题是网络：先局域网和拨号，然后互联网和 Web。讲者的后见之明：Web 最重要的一点是它从一开始就是多模态的——比起 80 年代的图形界面，Web 更早预见到「文本、音频、视频和数据不是要用不同程序分开处理的不同东西，它们本来就该在一起」。→ 详细
• 他还把 Web 直接接回上一节（这就是他先讲 1987 再讲 90 年代的原因）：「Web 是一次尝试——对很多参与建设 Web 的人来说是一次自觉的尝试——要把 Knowledge Navigator 那段视频变成现实。」→ 详细

• 头十年的活儿是让计算移动起来、持续联网，把多模态联网计算机塞进口袋。跟 60 年代一样，银幕上又爆发了一波未来主义想象——原因是能随身带的计算机、无处不在的摄像头，加上「像素上的那种摩尔定律」让屏幕极其便宜，于是**「一堆我们差一点点就能造出来的东西，在做这些机器的人脑子里逐渐成了形。」**→ 详细
• 关键因果：那年代最有名的好莱坞计算机界面都出自 John Underkoffler，为《Minority Report》（2002）和《Iron Man》设计。《少数派报告》那套手势界面在银幕上是当特效做的，但它基于 John 在 MIT Media Lab 的博士研究——「从某种意义上说，那是真实存在的技术」。→ 详细
• 两部片子正好对应前面那两条传统：《少数派报告》是 Spielberg 走「美国版 Kubrick」的反乌托邦路线，《钢铁侠》彻底站在 Star Trek 的乐观未来主义里（Jarvis 一开口就在打趣托尼「终于能在视频里看到您穿着衣服」）——但银幕上的 UI 有共同元素，属于同一个时代。→ 详细
• 讲者自己下的注（这条对本期的落点很重要）：2006 年他和 John 一起创办公司，要把《少数派报告》那套界面做成真正的商业产品；他放的 demo 视频是 2012 年的，那时已经做了 6 年。而「造一台多模态、多设备、多屏幕、多人协作、无处不在联网的计算机」这个漫长项目——他的原话——「15 年后仍然是我在做的事」。中间产品形态换过好几轮，注没变。→ 详细

*▲ 图注：时间线走到当下：1980s 网络 → 1990s 电脑进了口袋 → 2000s 云 → 2010s「YOU ARE HERE（你在这里）」。他的结论是：那些老愿景之所以现在能造，是因为前面每一层原语都铺好了。*

• 2010 年代把云建了起来，为后来扩大 AI 训练和 inference（推理，即模型实际跑起来回答问题的那一步）规模所需的基础设施、数据中心和数据容量打下地基。压缩版脉络：计算器 → 计算机 → 个人电脑 → 全球规模的云计算机。→ 详细
• 所有历史线索在这里收口：「而现在，我们真的有能力把 memex、《钢铁侠》里的 Jarvis，以及 1987 年那支视频里的 Knowledge Navigator 造出来了，是真能跑起来的完整东西。」→ 详细
• 他的方法论落点紧跟其后：「而在造这些东西的过程中，我们才会搞清楚下一步该造什么。」 不是先想清楚再造，是靠造来发现——这句解释了他为什么花整场讲历史，却始终不给下一代软件下定义。→ 详细

• 几周前 Tavus 团队发布了一支重新演绎的 Knowledge Navigator 视频，这一次完全建立在真实、现成可用的技术之上。讲者同样只放 20 秒，同样说值得完整看。→ 详细
• 那 20 秒的质感：助理开口是「晚上好，Hassaan。你今天这件千鸟格外套我太喜欢了。有什么需要我帮忙的吗？还是先看看明天的日程？」——被要求看日程后，它主动做了取舍：「时间不早了，我说个简版：明天上午非常满。9 点有投资人会议，然后是一场接一场的一对一和内部会议，一直排到 1 点。」（注意它先评论穿着、再按时间点主动压缩信息——这正是 1987 年那支视频里「个性极强的助手」那一条。）→ 详细
• 讲者的判断：完整的 4 分钟视频是一镜到底、全部真实。看的时候会同时有两种感觉——一方面很像 1987 年那支，熟悉，只不过这回建立在真实技术上；另一方面又像是某种全新的东西。这个「既熟悉又全新」的双重感受，就是他说「时间线在这里闭环」的证据。→ 详细

▲ 图注：他自己在造的那块试验田 Gradient Bang 的画面——用来验证「agent 之后的 AI 原生软件」到底长什么样。

• 收尾项目是他和几个朋友一起做的一款大型多人在线游戏 Gradient Bang。做它的动机不是做游戏——原话是「把它当成一块画布，认真去想 AI 原生软件到底能是什么样」。→ 详细
• 构造前提有两个硬指标：从底层开始就把 LLM 当作每一次交互的核心；游戏里的每一刻都有几百个 inference 调用在跑。他强调「哪怕就在一年前，这样的东西我们也造不出来」——这是他判断「现在正是造下一代软件的时间窗」的直接依据。→ 详细
• demo 的旁白把整体定位成实时 agent 编排（real-time agent orchestration），然后逐个点名了五个 AI sub agent（子智能体）模式——这是全场最接近「新原语清单」的一段：
  1. 异步非阻塞的上下文压缩（asynchronous non-blocking context compression，即在不卡住玩家的前提下、后台把变长的对话历史压短）。演示画面是玩家随口说「记一笔备忘：我们要把 Heliotrope 从这世上彻底抹掉」，系统只答「已记录」。→ 详细
  2. 共享上下文的长时运行 sub agent（多个 agent 长期在后台跑、彼此看得见同一份上下文）。演示台词：「Eagle 正在跑五条贸易循环，Hawk 和 Raptor 各自在跑五条探索循环。你的舰队很忙。」→ 详细
  3. 渐进式技能加载（progressive skills loading——和前面 Nadella 说的「对工具做渐进式披露」是同一个思路，只是换到技能这一层）。→ 详细
  4. 动态生成用户界面（dynamic user interface generation）：玩家说「把我的任务历史调出来」，界面就长出来；说「呃，把地图收起来」，它就收起来——界面不是预先画好的，是随口令生成的。→ 详细
  5. 对话式语音（conversational voice）：玩家能自然地跟系统争论——「不，我不想换购。我就是想把它卖了换现金，谢谢。」系统回「恐怕不行，银河系不允许你没有飞船、只靠搭便车。」→ 详细

本期是单人演讲，没有闪电问答环节（本期无）。收尾段有两条信息值得留：

• 他讲超时了，并主动交代**「这版新讲稿的第一稿有整整一个小时」**——也就是说这 21 分钟是压到不能再压的版本，「还有一大堆东西我特别想跟大家聊」。→ 详细
• 全场的落点原话：「我很期待去做 agent——agent 太棒了——但同样期待去做下一个、再下一个新东西。」 注意他没有否定 agent，他否定的是「把 agent 当终点」。→ 详细

他没报具体账号或邮箱，只说「如果你对这些感兴趣，来找我」——大会展区有 Daily 的展位，「我在网上各个平台也都能找到」。→ 详细

演讲里点名、可自行查找的四样东西：Pipecat（他团队的开源 voice agent 框架）、Gradient Bang（收尾演示的 AI 原生多人游戏），以及他两次说「值得专门找出来完整看一遍」的 1987 年 Apple 的 Knowledge Navigator 概念视频和 Tavus 重制的那支 4 分钟版本。→ 详细