让一位 PM 打败 30 个工程团队的 Claude 配置

• 来龙去脉：hackathon 开始前几天，Anthropic 刚发布了一篇讲 harness（把模型包起来的代码脚手架）与长时运行 agent 的博客，里面提到「对抗性 agent」（adversarial agents）——先构建一个 agent，再在另一个 agent 里配置「对你公司最重要的能力」，让后者专门去攻击、测试前者；不完全是 eval（标准化评测）那种形式，更像围绕你想验证的能力做定向轰炸。 → 详细
• 执行过程只有一天：Jyothi 打开 Claude Code，「用不同的配置反复折腾了差不多一整天」，就跑起来一个和设想一模一样的对抗性 agent 评估器；她甚至把它指向公司代码、接进一段真实生产环境运行的代码——就是这个东西让她和团队从 30 个工程团队中拿下 hackathon 大奖。 → 详细
• 这也是全片的承诺：Aakash 说这期要把还「停留在 ChatGPT 阶段」的 PM 从 0 带到 80——「用 20% 的时间讲透你需要掌握的那 80%」，请回 Jyothi 是因为观众反馈她「结构化的表达对新手极其友好」。 → 详细

• Jyothi 的框架自下而上共五层：L1 模型（Haiku/Sonnet/Opus，智能与成本档位不同）→ L2 界面 surface（claude.ai 网页、桌面 app、手机、Chrome 插件——「它们不是同一个产品套不同 UI，能力完全不同」，搞清什么场景用哪个入口本身就是让效率提升 10 倍的核心 PM 技能）→ L3 知识库（project、skill、记忆、自定义指令）→ L4 集成层（MCP 把 Claude 连到 Slack/Google Drive/Jira/Salesforce/内部数据库/本地文件；skill 决定拿到数据后怎么处理）→ L5 agent 与编排（Claude Code、Cowork）。 → 详细
• 点睛判断：L3 知识库是「大多数 PM 投入最不足的一层」，却正是让 Claude 从泛泛聊天机器人变成真正懂你上下文的那一层——这也是后面 chief of staff 大戏的伏笔。 → 详细

• Haiku = 速度机器：最快最省钱，适合「要量不要深度」——批量生成变体、文档分流、快速分类、打标签。Sonnet = 90% 工作的主力，质量成本比最好：写 PRD、综合用户研究、竞品分析、干系人简报、roadmap 全靠它。Opus = 高风险高复杂推理：复杂权衡分析、综合互相矛盾的研究、需要推演二阶三阶影响的长线规划。 → 详细
• 实战坑：Opus 比 Sonnet 更容易陷入「幻觉式卡死」——在某个推理决策点上打转、困在局部最优里出不来，只能关掉对话开新的才能拽出来；这时她反而退回 Sonnet。Aakash 总结：从 Sonnet 起步，深度不够再开 Opus。 → 详细

• 分工一句话版：claude.ai 网页 = 替代 Google 的问答搜索，但摸不到本地文件；桌面 app = Cowork 与定时任务的家；手机 = 任务跑起来后出门散步、随时瞄一眼哪个需要处理；Chrome 插件 = computer use（让 AI 像人一样点网页），适合投广告前的竞品调研、以及爬 LinkedIn 这类 agent 平时够不着的数据。 → 详细
• 隐藏用法：拿 Chrome 插件给自己的产品做「agent 用户测试」——指令它「像真实用户一样去找到并查看这个商品」，看它在哪卡壳、哪些地方让人困惑，顺带测出你的产品对 AI agent 的可读性。 → 详细
• Claude Code 她放在 IDE 里用（Cursor 或 VS Code），演示选 VS Code 扩展，因为「对新手是最不让人发怵的方式」；Cursor 也好，但功能太多容易吓退新人。 → 详细
• （插播广告）Aakash 展示 Hyper Agent（Airtable 团队做的独立产品）搭播客嘉宾准备 agent，指向 Airtable CEO Howie Liu 做示例；前 10,000 名订阅者送 $1,000 额度。 → 详细

• 门槛与机制：Cowork 在桌面 app 里，需 Pro 会员（约 $20/月）；她排了四个定时任务：chief of staff 晨报（每天 9 点）、end of day 收尾（每天 17 点）、daily standup 站会简报、chief of staff。注意：任务只在笔记本开机时运行，错过了会在下次开机时补问补跑。 → 详细
• 晨报指令拆解（可直接抄的模板）：「你是我的 chief of staff，生成今天的晨报」；数据源连 Google Calendar、Gmail、Google Drive、Jira（在 customize → connectors 点加号授权即可，还可连 Canva/Figma/Notion/Slack）；步骤：拉今天全部日程（标题/时间/参会人/描述/附件），对有外部参会者或重要的会去 Drive 搜相关文档「读到能搞清议程为止」，搜 Gmail 线程，拉需要关注的 Jira 项；输出：今天最该聚焦的三件事 + 日历 + 收件箱待办 + Jira 待办。 → 详细
• 护栏规则是精髓：全文 <400 词（「大清早我可不想读一本茶几画册」）；只给事实、别打鸡血（Claude 爱说"好消息！"）；绝不允许凭空编造 deadline 或行动项；狠狠过滤；事少的日子写三行就打住。用 Markdown 写指令让 Claude 更好读。 → 详细
• end of day 的巧思在「对账」：先读早上的晨报（= 今天原计划），再拉实际发生了什么（哪些会开了/取消了），输出「什么交付了、什么延期了、什么新冒出来的」+ 明天预览——计划 vs 实际的闭环。站会简报则连 Atlassian 抓当前 sprint：过去 24h 移到 Done 的、进行中、被阻塞、新增、sprint 健康度，<250 词，还能一句话让它渲染成 dashboard。 → 详细
• 还能嵌套：看到「24 小时无进展」的 issue，可再搭一层自动化让 Claude 去 Slack 上 ping assignee 要进展。「它帮你把杂活挡掉，让你专注解决真正的客户问题。」 → 详细
• 时间之外的触发器：客服工单进来 → 自动生成 Jira ticket → 激活 Claude Code 实现并提 PR，「于是就有一个等着你 review 的 PR 了」。 → 详细

• 与 Relay、Lindy、Gumloop、Make.com、n8n 的本质区别：以前要一个框一个框拼、想清楚节点怎么连，「一个环节挂了整条流程全挂」；现在只需自然语言下指令，还能把它转成 skill——不用考虑架构、连线和条件判断，「去年还要花钱买的东西，现在直接在 Claude 里搭出来」。 → 详细
• 背后原因（Aakash 问「为什么去年 12 月起这些系统突然好用了」）：LLM 推理、记忆、工具调用等底层全面升级，新关键词是 harness engineering。 → 详细

• skill 是给 Claude 的 playbook（操作手册）。她的示范是「客户访谈综合分析」skill：里面写清「什么时候用」+ 分步 checklist——先盘点输入材料，然后「带引用地提取观察」（必须附出处，幻觉更少）、用受访者原话、这个阶段先不解读、把「行为观察」和「口头说的偏好」分开。 → 详细
• 为什么 skill 比把工具全塞进上下文强：以前 40 个工具全部加载进上下文，「你还什么都没问，模型可用的记忆就所剩无几」；skill 是渐进式披露（progressive disclosure）——默认只加载名称+描述约 50 个词，模型编排时扫一遍列表、判断某个 skill 有用了，才加载下一层指令。第三个优势：skill 不只是一个 markdown 文件，可以链接更多文件、其他 skill、甚至可执行的函数。 → 详细
• 分步懒加载的实例：她的访谈 skill 里，第 2 步才挂 evidence_rules.md（筛选标准、模糊情况怎么处理），第 3 步聚类时才挂 JTBD 框架（jobs to be done，「用户雇你的产品来完成什么任务」的分析框架），一路到第 8 步组装输出时才加载 output_template.md——每层指令只在被走到时进内存。 → 详细
• Aakash 补充：今年 2 月起 skill 支持多文件，「如果你还没用多文件、主文件也没控制在 500 行以内，真的亏大了」。 → 详细

• 研究表明：AI 生成的 skill 文件效果不如人写的。她的解读不是「别用 AI」，而是：可以让 Claude 起草，但必须灌入你的领域知识——模板要什么样、结构怎么组织，跟 Claude 反复改到贴合你的需求，「而不是自动生成一份就直接拿去用」。 → 详细
• 更新节奏看三个参数：①你所在领域变化多频繁；②这个任务用得多勤；③当前输出质量有没有「漂移」——「以前挺好的，现在不如从前了」就是该回去改 skill 的信号；参考频率每季度一次。 → 详细
• PM 最值得沉淀的 skill 清单：backlog 分诊（一定要给上下文）、写 PRD、客户访谈综合、客服工单→Jira 转化（这个用触发器驱动而非定时，因为工单不定时到来）。 → 详细
• skill 与定时自动化的关系：定时自动化服务有固定节奏的场景（如「每周三见 manager → 周五晚跑一个自动化，把这周所有会议梳理成下次要跟 manager 聊的清单」）；skill 数量会比自动化多，自动化会引用 skill。 → 详细

• 痛点定义：前面那些自动化只是「连上数据源去干活」，但它不了解你身边的人、你和人的关系，「没有那张知识图谱」。她想要一个真正扎根在自己知识库里的 chief of staff（幕僚长）：帮她驾驭战略、执行、人、办公室政治。 → 详细
• 设计过程本身就是示范：她在 Claude Code 的 plan mode 里用自然语言说需求（「我是 Senior Director，agent 要从我的 Granola 会议转写里学习，摄入战略文档/组织架构图/PRD/邮件，随时间沉淀关于人、人际动态、话题、公司背景的知识库」），Claude 写出完整的架构设计 MD 文件——再把这份文档交回给 Claude Code 实现。转写工具用 Zoom/Teams 都行，写明即可。 → 详细
• 两个真实故事说明它有多神：①一次会后 Google Meet 转写进来，chief of staff 主动说「你应该把这个人发展成盟友，因为他擅长 X，而 X 正是你想切入的方向」；②她要传达一件事给某人，它提醒「这件事极其敏感，你有没有想过要先知会某某某几个人？」——「因为它理解我的组织、知道谁在做什么、了解每个人的性格，就像身边随时有一位幕僚长」。 → 详细
• 规模效应：PM 极其跨职能，「一周要读 50 份文档」，全部喂进去它读完自动入库。 → 详细

• 按文档类型定制提取规则：战略/规划文档提取目标、优先级、指标、时间线；组织架构图、PRD、邮件各有各的提取维度；还有组织动态、观察日志、公司战略模板、会议转写提取模板——每种类型都规定了输出格式。 → 详细
• KB 目录结构：context KB 下分 people（人）/ topics（话题）/ meetings（会议）/ documents(文档) / company（公司），加上「我自己的 context」——优先级、OKR、偏好、笔记、疑问，以及它提炼的 insights（政治格局、长期观察到的模式）；还能加滚动 to-do，让幕僚长帮你维护待办。 → 详细
• 人物画像字段最见功力：做事方式、沟通风格、开会时的表现、什么招管用什么不管用、在乎什么、动机、跟我的关系——并随时间持续评估关系质量：坚定盟友 / 友好 / 中立 / 谨慎 / 有摩擦 五档。 → 详细
• agent 的 system prompt：「你可以访问我的 context KB，任务是帮我快速上手：给出有上下文依据的战略建议、帮我准备会议、在人际和政治上给教练式指导、帮我想清决策、把文档和会议之间的线索串起来、让我聚焦优先事项」；风格要求里专门写了「政治问题不要粉饰」。 → 详细

• 实现方案：让 Claude Code「把 KB 搭出来，并放到一个 MCP server 后面」——为 KB 的读写构建 MCP server，这样 Claude Desktop 的普通对话就能直接读写知识库（而不只是 Claude Code 会话）；跑完后产物是 context KB 完整目录 + server.py，激活只需 Cmd+Q 重启桌面 app，新对话里从斜杠菜单插入 system prompt（或建一个 project 贴进 project instructions）。 → 详细
• 为什么放本地而不是云：在公司工作，「你不希望这么私密的数据存在某个云端」；哪天离职，笔记本反正交还公司，「你走的时候手上不带任何数据」。也可以放 Obsidian / Notion，改一下 system prompt 即可。 → 详细
• 日常用法（KB 大了之后）：根本不翻 MD 文件，直接问 Claude Desktop「明天要和经理一对一，我该知道什么」，它挖出全部上下文——包括「你经理是个不喜欢废话的人，直奔主题、别铺垫」这种跨对话捕捉的行为模式。Aakash 感叹：「我们做过很多 Claude 教程，还没人真正展示过这个。」她说：「这是我的生产力加速器，它会告诉我那些我自己会忘掉的细节和微妙之处。」 → 详细
• 现场演示的第一份访谈就出洞察：把一份用户访谈 log 进 KB 后，它标出「AI coach 属于你负责的 Lumen 业务线，是这次访谈里最弱的部分；用户 Maya 两次从它那里弹开——『我只想要一个是或否的回答』——这是一个干净的 agent UX 信号，值得随更多访谈进来持续盯」。权限第一次会问、选「始终允许」后就顺畅了。 → 详细

• 进 KB 的三大数据源：①会议转写（最优先——会太多、数据量大，还有人的肢体语言、什么时候 pushback 这类丰富上下文）；②关键文档（自己写的战略文档说一句「推进 KB」即可）；③ Slack 讨论串——会议转写之外信息最丰富的地方。 → 详细
• 更新是全自动的：每次有会议转写进来就写 KB；实现方式是 Cowork 自动化——「每当 Google Meet 转写邮件落进收件箱，就自动 log 进 KB」；邮件极多的公司甚至可以「每封邮件都 log 进 KB」——Aakash 说「那你可要烧不少 token」，她答：「会，但那时你会拥有一个极其丰富、能把所有碎片串联起来的知识库。」 → 详细
• projects 怎么用：像文件夹一样组织——你 PM 三条业务线就建三个 project，各放各的上下文做 project instructions。 → 详细

• MCP 分两种：远程 MCP（Gmail、Slack 等云服务）和本地 MCP（你的 KB 就是一个）。PM 该连的清单：Gmail、日历、Slack、会议转写（Granola/Google Meet/Zoom）、CRM、数据看板、Jira、Amplitude（分析）、Radar（可观测性）——她在公司甚至接过 NVIDIA BioNeMo 模型做药物预测，「唯一限制你的是想象力」。 → 详细
• 但「这不代表要来一场 MCP 疯狂采购」：从你真正要解决的场景连起；新手先照本期把 Cowork 初级自动化做一遍，再搭 chief of staff——之后可以直接问它「我还该连什么」，它会答「会议里反复提到这些系统而你还没有权限」。 → 详细

• 入口是 claude.ai/design（research preview，未集成进主界面）。功能：原型（分 wireframe 线框 / high fidelity 高保真）、slide deck（可附演讲者备注）、动画模板；design system——上传 Figma 文件 / GitHub 链接 / 品牌素材，让所有产出都长在你的品牌规范里。 → 详细
• 实例：把 LinkedIn 帖子原文丢进去说「做配图」，它按她的产品 Next Gen Product Manager 的品牌配色生成了八张卡片的 carousel（轮播图）；改稿有可视化编辑器——圈选某处说「用橙色高亮」只改那一处、留评论（像 Figma、但 AI 会真的执行修改）、甚至画一笔说「改成逆时针」。 → 详细
• 「我以前是 Gamma 忠实用户，现在什么都用 Claude Design」——更耗 token，但不用手搓幻灯片、且产出遵循品牌规范。名场面：跟 CEO 开会前一小时才把内容丢给它，出来的 deck「完全不像几分钟前赶出来的，倒像花了好几个小时精心做的」。 → 详细
• 原型的取舍：快糙猛验证可以用 Design，但她本人更爱用 Claude Code 直接起一个能点能操作的真 app，「那样拿到的反馈质量高得多」；Design 更适合：汇报用户访谈反馈的 deck、给市场团队的素材、给销售/客户团队的培训 playbook。 → 详细

• 思想源头是 GAN（生成对抗网络，LLM 之前生成式 AI 的起点）：一个生成器负责生成、一个判别器判断真假，「优化闭环是生成器要好到判别器分不清真假」。她把同样的架构搬到 agent 评估上。 → 详细
• 搭建过程全程只有自然语言：新建空文件夹 → 新会话输入「我们来构建一个 adversarial evaluator」→ Claude Code 反问三个产品问题：怎么调用被测 agent（选 Claude + system prompt）、对抗方和评估器用什么模型（默认）、结果怎么呈现（CLI+JSON vs Streamlit web UI——她借机上了一课：给开发者用就选终端，给「我妈」用才需要 web UI，选项取决于用户是谁）。 → 详细
• 产物与闭环设计：它生成了 red teamer（红队攻击方）、agent.py、evaluator（可填评分 rubric）；她的设想是「只要我一构建 agent，就自动触发对抗 agent 跑到底：对抗方的反馈回传给生成方，直到通过标准」。配置：先只迭代 system prompt（最容易）、及格线 = 所有维度平均分 >8、最多 5 轮。 → 详细
• 实测两轮：第一次 smoke test，对抗方生成三个攻击、平均分 9.13，第一轮就通过并产出「强化后的 system prompt」；于是让它故意造一个弱客服 bot 再跑——第 1 轮 8.52 分（在格式冲突类攻击上败下阵）→ 反馈回生成方改 prompt → 第 2 轮 9 分 → 第 3 轮 9.08 分过阈值，每一轮都自动改进 system prompt 直到拿到「通过」标记。 → 详细
• 收尾金句：「你不只是在构建一个 agent，你还在构建另一个 evaluator，用你和你的用户在意的方式去攻破它——这个循环可以一直持续到 agent 足够强。一个古老的技术，被用到了 agent 评估上。」 → 详细

• 「写代码已经变得太容易了，构建本身很简单」——更需要的是戴上产品帽子：问题在哪、摩擦点最大的地方在哪，「痛点和问题优先」的产品第一性原则在 AI 时代依然要坚持。 → 详细
• 秘诀两条：①系统本身怎么搭；②你让它测什么——配置参数里的领域知识：哪些点重要、哪些边界情况、哪些使用场景。「现在做东西容易了，taste（品味）才是我们真正要修炼的。」（这句也呼应开头：AI builder 时代「Making and building is easy now. Taste is what is important.」） → 详细
• 顺带的小技巧：Claude Code 里 shift+tab 在四种模式间切换——plan mode（只规划不写码）/ auto / ask before edit / edit automatically；她做设计文档时全程 plan mode「只聊不写码」，准备好了才切自动执行。消息可以排队（queue），但缺点是它可能反过来有问题要问你、或实现成你不想要的样子。 → 详细

• 新角色 AI builder / member of technical staff（技术团队成员）出现，Anthropic 和 OpenAI 都采用了——工程师、PM、设计师的界限在变淡，都在合并；人员配比从「1 个 PM 配 8 个工程师」变成「2 个 PM 配 1 个工程师」：工程侧把关系统扩展与加固，PM 借 Claude Code 自己处理 PR 问题、自己消化用户反馈。 → 详细
• 转型路线图：「习惯动手构建，把 Claude Code 和整个 Claude 生态用熟，把想法做出来、发出去——现在这个时代，作品本身比什么都有说服力」；讲出来你遇到什么挑战、怎么解决、为何选这条路、结果如何。很多公司已把 Cursor / Claude Code 现场做原型放进面试环节。 → 详细

• 她刚经历一轮资深 AI PM 求职，面试构成：product sense（AI 时代反而更关键——怎么切入、怎么界定范围、选哪个问题攻）、产品数据分析、行为面，外加两类新轮次：① AI 实战轮——把 product sense 环节你提的想法当场用 Cursor/IDE 写出来，考察「是 AI 给什么就照单全收，还是会追问这个边界情况呢、换个场景呢——你怎么引导和驾驭 AI 到你想要的地方」；② 技术轮——考 AI 基础术语，不是考工程系统设计，而是「作为 PM 你是否理解这些概念对你的产品意味着什么」，因为你要能跟机器学习研究员对话。「真正强的 AI 产品经理，其实是 PM 基本功特别扎实的人。」 → 详细
• 备考心法：「别做项目，把项目做成产品」——在身边找烦到你想亲手解决的问题，做出来给真实用户用、收真实反馈、做优先级取舍，「这会给你非常大的底气，因为你不是花一小时搭个东西就号称项目」。AI 知识则看风格：自律就自学（newsletter、YouTube），要结构就上 5 周 cohort 课程（她在 NextGen Product Manager 开了一门）。 → 详细

• Claude vs OpenAI（传言 Codex 写代码可能超过 Opus）vs Gemini？她的回答：「当月最火」一直在换，与其追着下一个爆款跑，回到第一性原理——我的目标是提高生产力，而我的系统、连接、hooks 和 harness 都已经搭在这里了。 → 详细
• harness 的正式定义：以前只讲 orchestration（agent 跨工具调度）；现在，「给你的 agent / LLM 这个编排大脑提供恰当的能力——memory、evaluator、各种可交互的系统——来增强体验和产出质量，就是 harness engineering」；模型越强、上下文窗口越大，harness 越重要。 → 详细

• Jyothi 反问 Aakash 见过什么有意思的用法，他描述了一条完整流水线：support 工单和 bug 进来 → PM agent 分诊理解 → PM agent 判断该做什么、甚至自己做用户调研并产出可用原型 → 工程团队搭的 coding agent 写功能 → 数据团队的 agent 配好埋点遥测 → 工程师做 PR review 后真正上线 → analytics agent 自动分析效果——整个产品开发生命周期搭进 Claude，形成自动化改进循环，尤其适合 support 类简单前端改动。「这大概是我最近见过最震撼的东西。」 → 详细
• Jyothi 总结：「到这个阶段已经不只是写文档、做分析了，而是真正用『动手构建』把闭环闭上了。」 → 详细

本期没有 lightning round，收尾要点：

• Aakash 重申承诺兑现：「我们带你从 0 到 80；剩下的 80 到 100 你可以自己花 10 个小时去学——我们今天花了不到两小时——这就靠你自己了。」 → 详细
• 行动号召：视频描述里有 GitHub repo（含 Jyothi 分享的全部资料，chief of staff 设计文档等）——去 fork、把这些 skill 用起来、去赢下你的 hackathon。 → 详细

• Jyothi Nookula：LinkedIn（赢 hackathon 的动态与 MCP 科普帖都发在这里）；她在 NextGen Product Manager 开设 AI PM / agentic AI 的 5 周 cohort 课程。 → 详细
• 本期资料 GitHub repo：视频描述区（chief of staff 架构文档、提取 prompt、模板等全套）。 → 详细
• Aakash 的工具包：bundle.aakashg.com（年费订阅送 Mobbin、Arize、Relay.app、Dovetail、Linear、Magic Patterns、Deep Sky、Reforge、Build、Descript、Speechify 等付费版一年）。 → 详细