购物 Agent 不该只是搜索框套壳,要能接住模糊意图——Nidhi Kaushik Vyas(Google DeepMind)

Nidhi Kaushik Vyas · AI Engineer

Agent 工程 AI 产品产品

视频 21:07 原文约 2.1 万字预计阅读 13 分钟来源视频 ↗ 中英对照全文

TL;DR · 三句话

一今天的购物 agent 大多是「搜索框套壳」，默认用户意图清晰、手握关键词；Google DeepMind 产品人 Nidhi 主张把系统设计成「随时准备好接住 vibes」，走「发现（沉淀带置信度的工作状态、找意图缺口）→ 研究（多模态引导 + 后台比较权衡）→ 自适应回复」三段循环。→ 详细
二最值得抄的一招是「不一次问完」：每轮只挑一个在当下信息增益最大的问题（客厅示例先问房间宽度，因为商品放不进去一切白搭），主观偏好改用视觉偏好板加悬停、点击等微信号去问，回复形态（摘要、对比表、灵感图）也由 agent 按问题类型来挑。→ 详细
三贯穿全程的是「给整个闭环打分」：每一步都配 autorater——事实保留、置信度校准、反事实敏感度、过度追问、用户模拟器测轮次效率、数据保真、用户可行动性——而且评分器「一开始非常简单」，要跟着系统一起长。→ 详细

问题出在哪：今天的 agent 大多是「搜索框套壳」，接不住用户说不清的 vibe

讲者 Nidhi Kaushik Vyas 是 Google DeepMind 的产品人。本场讲「多模态协作式 agent」：专门对付模糊意图——用户还没找到合适的关键词、说不清自己要什么——的时候，agent 怎么靠高自主执行、主动引导用户说出偏好、大量手把手带领把人带到目标上。框架以购物为例，因为有几个模式「在电商里看得最清楚」，但她说同样适用于金融、教育等其他消费类场景。→ 详细
她的诊断：现在很多 agent「更像是给搜索框套了一层壳」——默认用户意图明确、手里有对的关键词、早就知道要找什么。可现实中存在一道很宽的表达鸿沟（articulation gap，心里想要的和嘴上说得出的之间的落差）：用户进来时意图很少是成形的，更多时候「心里只有一种模糊的感觉，或者说一种 vibe」。→ 详细
所以 agent 得扛起带路的重活：先和用户一起弄清偏好、甚至主动把偏好引出来 → 再给用户展示「有哪些东西可以买」的各种可能 → 最后才走向符合他心中约束的推荐。整场讲的就是这样一个从「非常非常模糊的意图」一路走到达成目标的飞轮。→ 详细

购物循环的三段骨架：发现 → 研究 → 自适应回复

发现阶段：agent 调取手上关于这位用户的一切上下文（过去的对话、query 里明说的、个人上下文、用户给的参考资料），据此定一个「协作策略」——还得从用户那里引出哪些信息，意图才能成形。→ 详细
研究阶段分两步：先摸清引导用户说出偏好的最佳方式——纯文字常常不行，因为用户自己都不知道要什么，于是改用视觉参考、视觉灵感板来「和用户说同一种语言」；再转到后台替用户干脏活累活，做比较、权衡、汇总，带回一组合适的备选。→ 详细
回复阶段：很多系统就栽在这一步——「只会甩出一大段满是文字的回复」。agent 该按用户心里的问题换形态（要点列表？对比表格？视觉看板？），练出更聪明的「呈现能力」。→ 详细

发现阶段第一步：把上下文沉淀成一份「工作状态」——硬约束、软约束、置信度、实时变量

这一步 agent 要「记住真正要紧的东西」：综合过去的对话、用户给的参考图片或链接、个人上下文，构建一份工作状态（working state，agent 随身带着的「这位用户目前已知情况」结构化小抄）。她在示例代码里用的 query 是「用户想在一定预算内改造自家客厅」：工作状态里有会话历史、用户上下文，以及从 query 里提取出的硬约束（说死了、不能违反的条件）。→ 详细
「到了软约束这块，事情就开始变得有意思了」：用户说不清要什么，就甩一张灵感图或一个特别喜欢的布局设计，意思是「这个更对我的胃口」。agent 得主动从参考图里提炼显著信号，搭一个揣摩用户真实想法的心智模型——示例里它判断出某一类风格可能更适合这位用户——同时给出一个置信度分数，标明自己从这些多模态输入（图片、链接这类非纯文字输入）里读出这些信息有多大把握。→ 详细
最后要认清哪些变量必须几乎实时地拉取，因为它们直接影响结果怎么呈现——典型是库存：「如果你返回给用户的是过时信息，那就等于白搭。」这类需实时刷新的变量同样写进工作状态。→ 详细

工作状态怎么验：autorater 的三把尺——事实保留、置信度校准、反事实敏感度

他们给这份工作状态搭了 autorater（自动评分器：用模型自动给 agent 的中间产物打分，不靠人一条条看），量三件事。第一把尺是事实全保留：「上下文里提到过的任何内容，都要在工作状态里得到准确体现」——用户说过的话在交接进工作状态时一条都不能丢。→ 详细
第二把尺是置信度校准（calibration，大白话：agent 自称有几成把握，实际就该大约有几成是对的）要落在一定误差范围内。理由是 agent 必须能「有把握地」从输入里提取信号——光给个分数不够，分数本身得靠得住。→ 详细
第三把尺最巧：反事实敏感度（counterfactual sensitivity）。做法是故意翻转 query 里的某些部分，检查两件事——query 变了，agent 提取出的相应底层约束有没有跟着变；与改动无关的约束有没有保持不变。她特意强调「我们希望从两个方向来衡量这种敏感度」：大白话讲，该变的没变，说明 agent 对这个条件不敏感；不该变的乱变，说明它把无关信息也搅了进去。这把尺测的不是某一次「答没答对」，而是「改一处、看连锁反应合不合理」，更能区分 agent 是真读懂了还是碰巧对上。→ 详细

发现阶段第二步：找出「意图缺口」，只问下一个信息增益最大的问题

知道自己对用户已经掌握了什么之后，agent 还要弄清「还需要再了解用户什么」——她管这一步叫发现意图缺口（intent gap，已知信息离「能给出好答案」还差的那一截）。→ 详细
核心判断是反直觉的：给出最佳答案之前往往有一大堆未知变量，但「agent 并不需要一上来就把所有未知变量都搞清楚」——也就是不要甩给用户一张问卷。客厅示例里，agent 列出的未知项是房间宽度，以及在推荐之前先把对风格判断的置信度提上去。→ 详细
然后制定协作策略：把所有可能的下一步动作摆出来比较，找出「应该优先处理的那个未知变量，让它在那个时间点带来最大的信息增益」（information gain，大白话：问完这一个问题，对「用户到底要什么」的不确定性减少得最多）。示例里她认为先问房间宽度最好，理由有两层：一是「如果 agent 推荐的商品根本放不进这个房间，那又是白搭」，相当于一票否决的门槛；二是这个变量「会实质性地改变对话的走向」。→ 详细
所以这一步的产出不只是「下一问问什么」，还要讲清「为什么这是最该问的问题」——排序理由本身是交付物的一部分。→ 详细

协作策略怎么验：卡点要找全、过度追问要标红、问题要有效用

第一，agent 要能识别出所有卡点（blockers）——那些不先得到回答、就给不出有意义回复的问题，一个都不能漏。→ 详细
第二，拿回答的过程要最优：「我们不希望 agent 老在循环里打转，没完没了地反复追问，所以过度追问绝对是我们会标记出来的问题。」和第一条放在一起看，这是一对要同时守住的张力：卡点要问全，但一句都不能多问。→ 详细
第三，问题效用（question utility）：问法是否最优、这个问题是否真的有助于从用户那里引出正确的偏好。她补了一句「诸如此类，还有很多」——评分维度不止这三条，只是挑了代表性的讲。→ 详细

研究阶段：先把约束临时映射到商品本体，再给主观偏好换上「视觉偏好板」

示例接着往下走：用户答完房间宽度，agent 去问下一个约束——风格偏好。第一件事是在「约束本身」和知识库里的商品目录与本体（ontology，大白话：商品世界的分类体系和概念关系图）之间搭一座临时桥梁。理由很实际：「当你开始检索商品时，你需要有办法把这些约束映射回你的知识库。」这个映射几乎实时发生，已知的约束和 agent 正在探索的约束都要映射。→ 详细
第二件事是判断：针对这个约束，用什么方式拿到用户的回答最好。风格属于偏主观的约束，agent 判断文字式引导不是最好的办法，于是决定用某种视觉偏好板来问。→ 详细
选项长什么样也要算：综合已有约束、过去的对话和刚搭好的「约束→商品本体」映射来决定。示例里 agent 挑出「几种和用户所给参考图最相近的风格」作为起点，借此和用户形成共同语言。→ 详细
摆出选项后，agent 还会观察用户反应的微信号——比如有没有在某个方向上悬停或点击——据此更新自己的置信度模型，提升对「用户风格偏好」这个判断的把握。换句话说，引导不只靠用户开口答，用户的行为本身也在回答。→ 详细

引导环节怎么验：用户模拟器、轮次效率、形式选择准确率

发现隐藏偏好的效率：通常用一个用户模拟器（user simulator，用模型扮演一个事先设定好偏好的假用户），先给它设定一些约束，再看 agent 能多高效地把这些约束引导出来——偏好是预先埋好的，挖没挖到、挖得快不快一目了然。→ 详细
轮次效率：用户要经过多少轮，才能把隐藏偏好全部挖出来。她点名要避免两种循环：一种是「同样的问题反反复复问了一遍又一遍」，另一种是老问「拿不到推进对话所需最佳信息的问题」。→ 详细
形式选择准确率：看 agent 有没有「用对的形式问对的问题」。容易说清楚的问题，文字引导就够了；如果问题模糊、用户明显有表达鸿沟，最好的办法是「给出一些视觉锚点，让用户说说哪个更对他们的胃口」。→ 详细

回复阶段：让模型按问题类型决定回复「长什么样」——摘要、对比表还是灵感图

走到这一步，agent 已摸清用户要什么：示例里它掌握了风格偏好、预算，以及展示商品时哪些元数据（商品的属性信息）值得露出来；最后一步是「借助模型的智能」判断怎么把回复呈现给用户最好。→ 详细
她给了三种对应：想了解某个商品的政策或评价信息 → 给摘要或要点列表；想比较两款商品 → 给「权衡表或对比表，按用户在意的各个维度逐项对比」；像示例那样在找风格灵感、想看怎么重新布置房间 → 给视觉参考和商品灵感图，摊开有哪些选项和可能性。（「回复形态随意图变」这条线，可对照 ep174 聊天框不是终极界面、ep136 agentic 界面演化，以及同批 ep215 Gus Iwanaga 的意图驱动 UX。）→ 详细

回复怎么验：格式对不对、信息埋没埋、数据真不真、用户敢不敢下一步

格式准确性：回复格式要对这个 query 最合适，让用户准确找到要找的东西；而且「用户要找的信息不应该被埋在回复里，而应该让用户一眼就能看到」，他才能顺势进入意图旅程的下一站——买下商品。→ 详细
数据保真度：确保模型没有产生幻觉，信息准确，并且以正确的格式、完整地体现在整个回复里。→ 详细
用户可行动性（user actionability）：回复的形式要让用户「非常有把握，并且下定决心采取下一步行动」——购物场景里就是下单。也就是说，衡量回复好坏的终点不是「说得全不全」，而是「看完敢不敢动手」。→ 详细

四条收束：接住 vibes、边展示边提问、塑造答案、给整个闭环打分

一，把产品设计成「随时准备好接住 vibes」：用户会带着模糊意图来，不会有一个定义清晰的目标，所以系统必须能处理「不干净、不规整的查询」。→ 详细
二，边展示边提问（show and ask），别总靠纯文字引导：「视觉素材和对比确实能快得多地揭示出偏好」，让 agent 和用户讲共同的语言。→ 详细
三，塑造答案（shape the answer）：呈现形式要最便于用户找到正确的信息。她的原话是「你怎么组织模型回复的结构，本身也是智能很重要的一部分」——排版不是最后的装修活，而是算进智能里的。→ 详细
四，给整个闭环打分（grade the loop）：流程的每一步都配好合适的 autorater。她坦白说，开发这些 autorater「几乎就像是一个不断演进的系统」——「一开始非常简单」，随着系统演进，autorater 也要跟着逐步长大。也就是说，评分器可以从简单版起步，和产品一起长，而不是一次设计到位。→ 详细

闪电问答 / 收尾

本期为大会演讲，无闪电问答；以下是讲完后的现场观众提问。

Q1｜商家那一侧的本体该怎么构建，才能对 agent 和商家双方都公平？（提问没录进字幕，由讲者复述）

在「商家想卖什么」这件事上，他们大量借助商家的领域专长。回到前面那座「用户约束 ↔ agent 理解」的桥：她说正是这个环节，「期待有大量智能从商家那一侧流入」——由商家的本体来描述某个约束该怎么映射到商家拥有的元数据上（她当场把「agent 拥有的」更正为「商家拥有的」）。所以他们和商家有大量合作；另外还有他们「最近推出的 UCP 那一套」，能让所有商家也开始和 agent 讲共同的语言（片中没展开 UCP 的全称）。→ 详细
随后（中间疑似有一句追问没录进字幕）她补充：目前的重点是让所有这些信息都回流到 agent、由 agent 来做决策，因为要搭的是「一个横跨所有不同商家的横向通用层」，也要让用户在他们的应用里获得无缝体验。所以「回复用什么格式完全属于 agent 智能的一部分，不是由商家来决定的」。→ 详细

Q2｜如果你的用户不再是人，而是一个 agent，会发生什么？

她说这块还处在早期搭建阶段，「我肯定会预期由类似 MCP 这样的东西来充当两者之间的接口」（MCP：让 AI 调用外部工具和数据的通用接口协议）；但也坦言，他们还没发展到有别的 agent 来和他们的 agent 交互的阶段。→ 详细
更有料的是用户研究结论：用户其实很喜欢亲自参与挑选、甚至探索各种可能性。在漏斗上层（做发现、找灵感），用户更愿意直接和系统互动，而不是交给自己的 agent；agent 通常介入在旅程下游——用户只想在不同商家之间做比较、议价或比价的时候。→ 详细
之后她表示还有问题可以到场外再聊，演讲结束。→ 详细

联系方式

片中未提供。

接着读

NO.215 · Agent 工程静态界面的终结:构建意图驱动的 UX 架构——Gus Iwanaga(commercetools) Gus Iwanaga · 15 分钟 NO.214 · AI 产品 Palantir 的本体层证明了其护城河,被 AI 颠覆的可能性低——UBS 分析师 Karl Keirstead UBS Keirstead · 5 分钟