drizzle digest
⌕ ESC
↑↓ 选择↵ 打开esc 关闭⌘K 唤起
← 主页 NO.79
专栏 · Agent 工程手艺 ›
第 79 期 · AGENT 工程 · 收录于 2026 年 8 月 16 日

如何构建会检查自己工作的 AI agent——Jared Zoneraich

JZ
Jared Zoneraich · Peter Yang
Agent 工程
视频 47:14 原文约 4.5 万字 预计阅读 18 分钟 来源视频 ↗ 中英对照全文
原平台热度 YouTube ↗
6,434观看
114赞
1.8%点赞率
3评论
10.6万频道订阅
数据截至 8 月 27 日
双人对谈 · 本期速读电台 00:00 / 18:50
TL;DR · 三句话
  1. 一构建 agent 别「逆着重力」：假设模型会持续变强，今天那些让模型听话的 prompt hack（就像当年手写 chain of thought）会越来越不重要、绝不是护城河——「让模型自己发挥（let the model cook），别硬把它往某个方向推」，真正的新关键是 tool engineering（给对工具）。→ 详细
  2. 二别卡在 eval 和完美规划上：done is better than perfect——agent 做到 80% 可能只要一小时，最后一公里才要一年；一些最强团队甚至没有 eval 集就直接上生产，正确姿势是先跑起来、再让 agent 给自己建 eval 当「自查工具」自主迭代。→ 详细
  3. 三未来是云端 multi-agent 编排：一个主 Devin 指挥 10 个各带独立 VM 的子 Devin「写代码→运行→截图→自己检查」，本月起由 Devin/程序启动的 Devin 已多于人类手动启动——工程师只带品味和高层决策，「agent 不应该被工程师卡住瓶颈」。→ 详细
01

开局心法：别「逆着重力」构建，今天的 hack 明天就贬值 ⭐益项

  • Jared 先把「构建 agent」拆成两类：面向用户的 agent（用户直接交互的聊天机器人等）和自己用的 agent（他最近聊过很多 DevOps 团队在给自己团队做内部 agent 提效）——两者有相似也有不同。→ 详细
  • 最大的错误：忘了模型在进步。你的构建路线图要和模型实验室的路线图对齐，「不要逆着重力（fighting gravity）构建」。他举的证据是历史：LLM 才三四年，当年大家用特定 prompt 手写 chain of thought（思维链，即让模型先推理再作答的提示技巧）来获得推理能力，现在这能力已内置进模型；今天让模型好好遵循指令还需要很多 hack，但「规划路线图时要假设这些 hack 会越来越不重要，它们不会成为你公司的护城河」。→ 详细
  • 行业已经从巨大的 DAG（有向无环图式编排：节点连节点、prompt 连 prompt）走出来了——虽然他调侃「就在昨天」随着 Anthropic 在做的动态 workflow，这种做法可能又有点回潮。但高层原则不变：「让模型自己发挥（let the model cook），别硬把它往某个方向推。这会让你的日子好过很多，省下开发时间，模型越好你需要的脚手架越少——何况它们现在已经相当不错了。」→ 详细
  • 具体判断启发式：如果你今天觉得「必须写极其具体的 prompt 指令才行」（think ultra hard、第一步第二步第三步），别把它当护城河。他前几天做项目，在当下最好的模型上只给一句「这个登录流程有个奇怪的 bug」，模型就自己把问题找出来了——「一年前做不到，六八个月前大概也做不到」。如果整个公司依赖那个「你需要先推理、再这样那样」的花哨 prompt，模型迟早追上来。→ 详细
02

Tool engineering 是新关键，prompt 和 skill 只是「小抄」 ⭐益项

  • 「我甚至觉得 tool engineering（工具工程）会成为新的关键——搞清楚该给模型哪些工具，然后相信模型自己会想明白、会去尝试。」在这种模式下，prompt 和 skill 的定位降级为一张「什么场景用什么工具」的小抄（cheat sheet）；除此之外模型自己会把各种办法都试一遍。→ 详细
  • 对应到起步姿势（Peter 总结、Jared 认可）：从一个 prompt + 一组工具开始迭代，给原则而不是极其明确的步骤指令；一切 case by case，但心智模型是「越具体的指令越是临时拐杖」。→ 详细
03

护城河之辩：一切都是 prompt 和 skill，护城河也可以是「跑得快」

  • Peter 发问：除了专有数据，agent 公司到底什么可防御？很多 AI wrapper（套壳）公司「就是 prompt 加 skill」。Jared 反转：「一切都是 prompt 和 skill，所有东西归根结底都是——也许你只是在 prompt 人类。」→ 详细
  • 没人说 Cognition 是套壳，因为差异化很清楚：一是 harness 本身（harness=包住模型的执行框架/驾驭壳）真的很好，二是 go-to-market 打法 + FDE（forward deployed engineering，前置部署工程：把工程师嵌到客户那边一起干活）。→ 详细
  • 他对护城河问题本身不太感兴趣：「只要你做出真正有意思的酷东西，优秀创业者自然能想出办法。护城河也可以就是持续发布、快速行动、对所有最新模型快速反应。」→ 详细
04

真实市场还没被 AI「点醒」：演示魔法 + 帮客户消真实工单

  • Twitter 上的人活在未来（新模型新技术即用），但世界上一大片人还在用 Copilot、用 Tab 补全写代码——「真不是开玩笑」。真正的市场不是 AI 原生 builder，而是 Accenture 这类完全摸不着头脑的公司。→ 详细
  • agent 能力爆发太快，其他行业的人正常要好几年才会被点醒；解法是当面演示——他上一家创业公司在 coding agent 刚兴起时，和每个工程师坐下来「看我用 Claude Code」；「不亲眼看到，没人会相信这些东西已经这么强」。顺带：有些东西（如安全）企业界反而比创业圈做得好。→ 详细
  • Cognition 的 FDE 模式独特在：不只做 AI 科普，而是「一起坐下来用 agent 解决你手头的真实问题」——过程中真的在帮客户消掉看板上的工单，这才让人信服。→ 详细
05

上线哲学：别过度设计第一个 agent，最强团队甚至无 eval 直接上生产 ⭐益项

  • Peter 的观察：公司做 agent 总是过度复杂化——想先建 orchestrator、建特别复杂的 eval，「可你连真实客户都还没见过」。Jared 用「AI 走火入魔（AI psychosis）」段子接住：有人花一个月搭「个人 Claude Code 库存管理系统」，里面 13 个 agent 各干各的。「追求完美永远是『做完』的敌人，很多时候少即是多，你不需要一大堆脚手架就能把 MVP 发出去。」→ 详细
  • 常见失败模式：卡在 eval 上。团队来自确定性代码的世界，觉得「旧世界里每样东西都要有测试，agent 也得这样」——「坦白说你做不到。信不信由你，一些最强的团队就是没有 eval 集直接上生产。」另一面：AI 用户理解这是概率性技术，对真正新颖的产品其实更宽容。→ 详细
  • 节奏账：「done is better than perfect（完成胜过完美），别卡在规划上直接动手。你会惊讶做到 80% 有多容易——可能一小时；最后一公里才是难的，那可能要花一年。但很多人因为想把 100% 全规划好，反而连 80% 都到不了。」→ 详细
  • 最后 10% 是人的差异化：Peter 说他做所有 AI 的事，最后 10% 一定亲自看 AI 产出——「这就是差异化，不然就是把 AI slop（AI 垃圾产出）撒得到处都是」；Jared 补充：最后一公里本质是人的手艺和品味（craft & taste），而「精修花的时间反而多得多」。→ 详细
06

案例拆解：让 agent 给自己建 eval、自查自迭代（OpenClaw 风格助理） ⭐益项

  • Jared 正在做一个「OpenClaw 风格」的个人助理（有「心跳（heartbeat）」、会主动通知你，也能聊天，未发布）。搭 harness 过程中他几乎没在 eval 上花时间——让 Devin 帮他建 eval，让 Devin 自己看 eval 结果、自己迭代；而他本人亲手调校的部分刻意留到最后：等脚手架都搭好、回复已经相当不错，「到想让它真正好的时候」才做收尾精修。→ 详细
  • 建的是什么 eval？他只对 Devin 说：「给数据召回、工具使用、回复长度各做一批示例」——本质是一套 sanity check / smoke test（冒烟测试，即快速验证基本功能没坏的粗筛测试；他调侃 smoke test 是 GPT-5.5 最爱用的词）。→ 详细
  • 关键设计：这些 eval 「纯粹作为一个工具」存在，供 Devin 用来检查自己的工作、自主迭代，看它能自己走多远。机制很朴素：几个程序化 endpoint 产出一个 markdown 文件，Devin 读这个 markdown、对比新旧输出、自己做判断——自我验证不需要花哨框架，一个可机读的产物 + 一个会读它的 agent 就够了。→ 详细
07

Devin 差异化之一：主攻「不能崩」的严谨软件工程，agent 验证自己的代码

  • Cognition 的主业不是炫技而是「怎么写出严谨的真软件、怎么改进软件工程生命周期」——大量投入在测试、经过验证的代码、agent 如何验证自己的代码、computer use 上。所以在华尔街银行和财富 100 强企业有很大吸引力：「他们的代码不能崩，他们做的不是 vibe coding，是真正的编码。」→ 详细
08

Devin 差异化之二三：云端异步 + 团队 multiplayer 生态

  • 工作分两种：同步（坐在工位做单一任务流，来回互动）与异步（同时推 8 件事，轮流管各个 agent）。Devin 从第一天就是云端 agent，「云端 agent 范式就是未来，它就是更快」。→ 详细
  • 它是 multiplayer 工具——agent 多人协作 + 人类多人协作：为整个团队保存宏/知识/skill，你的 Devin 能和别人的 Devin 交互；生态上 Devin Desktop、Devin CLI、Devin 云端互通。「说实话，大家用 Devin 最多的入口是 Slack 和各种自动化。」→ 详细
09

临界点：agent 启动 agent 已多于人类启动，「人不该再是瓶颈」 ⭐益项

  • 第三个差异点也是一个时代信号：「这个月已经发生了一个大转折——由其他 Devin 或程序自动启动的 Devin，比人类手动启动的还多」。例如每次 Datadog（监控告警平台）告警响起可以直接接给 Devin，或在 Slack 里自动回复客户。→ 详细
  • 类比：自动驾驶起步期大家不让 GPU 闲着，因为闲着就是亏钱；同理「我作为开发者去睡觉了，也想让我的 agent 继续干活」——「我不想让人类再成为瓶颈了。这整个异步云端生态就是这样合到一起的。」→ 详细
  • 与开场论点闭环：「不是要取代编程，而是要创造优质软件的富足（abundance of good software）、把一个工程师放大很多倍——工程师带来品味和高层决策，其余一切交给 agent，且 agent 不应被工程师卡住瓶颈。」→ 详细
10

Token 账怎么算：ROI max，不是 token max

  • 「按 API 付费还划算吗？（Uber 在给工程师花费设上限）」Jared：划算，两个原因——① 普通 token 价格大概率随时间下降，这块成本在贬值；② 更重要的（也是说服他加入 Cognition 的一点）：只要 agent 在带来 ROI、解决真实问题，多花 token 就值；「但如果 agent 在干蠢事，那就不值」。Peter 抓住关键词：「好」的工程——生成一堆垃圾 app 不算合理使用 token。→ 详细
  • 激励对齐：Cognition 作为独立于模型实验室的 harness，「营收不跟下一代 GPT 绑定」，没有动机让用户多花钱——「我们的目标不是让你 token max，而是让你 ROI max」；钱花在真正的工程工作上「十次里十次都值」。→ 详细
  • 配套动作：自研 SWE 系列模型（专为软件工程设计、更快更便宜）；产品里没有模型选择器——工程团队花大量时间做 eval，把任务自动路由到最合适的模型；正在开发「云端简单任务交给更轻量模型」省的是用户的钱；本地 agent 则可自选模型。→ 详细
11

主战场是 brownfield「苦力活」，不是光鲜的新项目

  • Devin 作为 harness 在 brownfield（存量项目）上大放异彩：最大客户都在做大规模代码迁移、补测试覆盖率——开发者眼里的「苦力活（grunt work）」，又难又无聊却卡着整个团队。→ 详细
  • 触目数字：「这个国家有多少大公司，几千名员工里真正懂自家代码库的只有大概十个人」——因为代码在 COBOL 里、跑在大型机上，必须现代化。真正的工程工作多数不是 0→1 新功能，而是在复杂烂摊子上改进现有产品。→ 详细
12

Demo 拆解：主 Devin 指挥 10 个子 Devin 的 fanout 编排 ⭐益项

  • 演示项目：Mac 快速预览（Quick Look）默认不支持 Markdown，他让 Devin 做了个小工具补上。每个 Devin session 就是一个云端 agent，自带真实浏览器；他最爱的 test app 功能：Devin 拉起 VM 后实际跑集成测试——进入测试模式、在落地页上到处点、确保所有链接能用。「这是跑在云端的 agent harness：自带浏览器、一台完整的电脑、完整的 computer use。」→ 详细
  • 云端最直白的好处：「你可以合上笔记本电脑」（本地跑 agent 不敢合盖已成梗）。更妙的是 fanout：一句「起 10 个子 Devin session，每个各自做一版落地页重设计」就能并发开工；「每个子 Devin 都是独立的 VM：有自己的电脑、自己的 computer use、有显示器、能测试自己的代码」，主 agent 能拉取子 Devin 进展、给它们发消息（他现场演示发「确保每个子 Devin 都回一张截图」，主 Devin 就像人一样以他的用户名逐个 prompt 子 agent）。→ 详细
  • 规模与人机分工实例:他做过同时跑 30 个 Devin 的项目（本地电脑根本扛不住）；可以从手机、从 Slack 一条消息拉起。某创业公司 CTO 告诉他:他们大部分工作是通勤路上把一堆 Devin 任务派出去，到公司再拉仓库点一点确认——有时干脆只看 Devin 录的测试视频就直接 push（人只做抽查级审核，看哪些值得细看）。Jared 自己还有混合模式:本地 agent 拉起云端 agent、交接 session、再拉回来盯着，想同步干活随时切入。→ 详细
  • fanout 的两大理由（以大迁移为例：COBOL 迁出、JS→TS、React Native→Swift）：① 并行，快得多；② 拆分让每个 agent 的 context window 保持很小、专注点明确、可针对自己那块做测试——「agent 在专注只干一件具体的事时表现好得多，说实话人也一样」。子 Devin 不用 worktree，各自 VM 里拉代码、开新分支、提新 PR；模型训练团队会一次拉起一百个 Devin 排查问题。→ 详细
  • 落回验证哲学：「我们在意 agent 写出可验证的代码，其中一环就是把任务拆成可验证、可测试的小块。这 10 个 agent 不是写完代码一交了事——它们写代码、运行、截图、自己检查结果，真的是全能队友。」而且这是内置核心功能，不需要复杂 skill/prompt 才能这样工作——「这就是行业的走向，算是 coding agent 的进阶用法」。→ 详细
13

团队知识层：环境记忆、Ask/plan 模式、DeepWiki 自动文档

  • 配套功能全家桶（目标都是团队内共享知识）：knowledge、playbooks、宏、skills——「简短版回答：我全都在用」；Devin 做得最好的一点是记住怎么搭环境，做过一次就存下来，下次快多了。→ 详细
  • Ask 功能：预索引仓库（现场用 OpenClaw 仓库演示），可直接提问、做 plan mode、让它写计划再交给真正的 Devin session 执行。→ 详细
  • automations 板块把 Devin 接进其他工作流、不被人卡住；DeepWiki 自动为仓库生成文档（演示：让 Devin 在旧金山帮他找公寓的小仓库也自动写了流程文档）——「很多大公司的仓库压根没文档，这是立竿见影的收益」。→ 详细
14

竞争格局：coding agent 是幂律头部问题，市场比想象的大

  • 他加入 Cognition 的判断：「当下只有一个真正重要的问题——打造 coding agent，所有 lab 都在做。我们把自己定位成 agent lab。造出顶级 coding agent 就是幂律头部，基本上其他所有问题都是它的下游」——这也是竞争激烈的原因。同时他很看好 agent 做非技术工作（自己也大量在用）。→ 详细
  • 更怀疑的品类：Lovable/Wix 这类「只面向新手、只做 1.0 版项目」的产品。未来会分叉：硬核工程 vs「玩票式工程」——朋友（创业者）发明的词叫 short form software（短内容软件）：只用一次或几次、不构成传统生意的软件，是完全不同的范式，目前还没人真正为它构建产品。→ 详细
  • 「二等产物」论（内部也有争论）：代码会变成二阶产物，人将与更高层的东西交互；PowerPoint 同理（「我现在所有幻灯片都用 agent 做」）；视频剪辑的点击拖拽也会被替代。→ 详细
15

激进未来观：木头桌子、一个按钮加语音，管理 agent 舰队

  • 「人类会回到只有一张木头桌子的世界。鼠标过时了，键盘也过时了，我只要一个按钮加一个 Wispr Flow（语音输入）。」如果你的工作是整天管理一支 agent 舰队，就不需要人体工学键鼠那套；他自己打字越来越少、跟 agent 说话越来越多。设计与美学仍然重要，可能还需要某种显示器——甚至设想「直接打印出来在纸上看」。→ 详细
  • Peter 对照梗：OpenClaw 的 Peter Steinberger 摆了六块显示器——但管理者本就不会一直盯着六个下属的屏幕，「给方向，然后指望他们把活干好」；Peter 想回归《广告狂人》式无屏木桌。→ 详细
16

Agent 优先的产品与品牌：一切皆 API endpoint

  • Peter 的纠结：API/MCP 全接给 agent 后他不再访问应用网站，「SaaS 老板正在失去客户关系——产品该怎么设计成 agent 优先而非人类优先？」Jared：「一切都可以归结为一次 API 调用。没有理由 agent 不能盖房子：买地、办规划、买建材、雇人、指挥、拍照验收——每步都是 agent 调一个 API。我能想象 agent 自主盖房、建镇、经营公司。」还认真点赞了 Rent a Human（租个人类）：「毫无反讽、完全认真地觉得那是个特别好的主意。」→ 详细
  • 品牌何在？「品牌到底是什么？也许以后品牌是做给 agent 看的——用 markdown 写出来、想办法说服 agent、做 AEO（面向 AI 引擎的优化）。」他坦承「我没有一个好答案，但这真是个好问题」。→ 详细
17

闪电问答 / 收尾

本期没有固定的 lightning round；收尾以两个「尖锐话题」代替——激进未来观（木头桌子 / 无键鼠，见主题 15）和 agent 优先的产品与品牌（一切皆 API endpoint，见主题 16）。最后 Peter 以「那我这就去开几个 agent 跑起来了」收场。→ 详细

18

联系方式

  • Jared Zoneraich：X（Twitter）@imjaredz。→ 详细
  • Devin：devin.ai；公司 Cognition：cognition.ai（可注册免费试用）。Jared：「用的过程中有任何问题随时来找我，我一直很乐意帮想构建 agent 的人。」→ 详细
接着读
NO.78 · 产品 让一位 PM 打败 30 个工程团队的 Claude 配置 Jyothi Nookula · 26 分钟 NO.77 · 产品 AI 时代里品味、人的真实性与判断力的崛起——Adam Mosseri(Instagram 负责人) Adam Mosseri · 24 分钟