给心理健康 AI 教练做评测驱动开发——SonderMind

• SonderMind 是一家心理健康服务公司，把有需要的人和全美的治疗师、精神科医生匹配起来，已服务超过 100 万人，合作方包括 Headspace、Aetna、Anthem；只盯可及性和疗效，"让人更快好起来"就是北极星。→ 详细
• 动机：心理健康支持是今天 AI 最主要的使用场景之一，但通用 LLM 并不是为心理健康照护设计的，这已经酿成过极其惨痛的事件。需求侧的数字印证了缺口——美国心理学会（APA）近期调查发现，77% 的心理学家表示自己的来访者正在以某种形式用 AI 获取心理健康支持。→ 详细

• 一个有临床依据的 AI 教练：对话式、也支持语音，帮用户梳理生活、追踪目标，7×24 在线，还能带着做有循证依据的"着陆练习（grounding，把注意力拉回当下的一类小练习）"。定位克制——服务还没准备好走进咨询室、或正处在两次咨询之间的人；当真人才是正确的下一步时，它充当一扇"前门"，把人引导进 SonderMind 的治疗师网络。→ 详细

说明：讲者口播里用的词是"输入 guardrail（护栏）/ Sonder Core / 输出 guardrail + evaluator（评估器）"，全片没有出现 Supervisor / Executor / Evaluator 或 Ethics Engine 这些名字。功能上它就是一套"入口判官—执行者—出口评估者"的分工，下面按讲者的原词讲。

• 两片护栏把核心夹在中间：输入护栏检查用户刚发进来的消息，判断在 Sonder Core 回应之前要不要介入；输出护栏看 AI 的回复以及整段对话的走向——是整段，不只是当前这一句——一旦临床安全上有风险就介入、把对话拉回正轨。→ 详细
• 完整架构图里还有 Sonder Core 自身的记忆与个性化模块，以及分析和告警平台（出岔子第一时间知道）。Akele 给这张图下的判语是："每一个架构决策，都是以安全为首要目标做出的。"→ 详细
• 设计前提是"为未知做设计"：它就是一个空白输入框，人们想放什么都可以，而心理健康本身是"一片极其辽阔又崎岖的地带"。输入不可穷举，所以模块化是刚需——改核心不用碰安全逻辑，改安全逻辑也不用动核心，才能一边持续迭代 Sonder Core、一边一点不牺牲用户安全。→ 详细

• 第二条硬经验：把护栏做成独立的 LLM-as-judge（让另一个大模型专门当裁判）调用，而不是把安全规则写进主 prompt。这样更难被绕过——更难被 prompt 工程手段攻破、更难越狱，也更难靠一轮一轮对话慢慢带偏。代价是延迟和成本（每轮多出独立的模型调用），取舍理由是"这个场景的敏感程度，值得把这些环节单独拆出来做"。→ 详细
• 模块化的第二个红利才是这整场演讲的枢纽：评估变得直接、好做。独立部件才能单独喂用例、单独打分、单独回归；反过来，Dave 后面点名的反模式就是"把一条安全规则埋在一大段啰嗦的 prompt 里，结果变得很难单独拎出来做测试"——测不了，就谈不上信任。→ 详细
• 而信任正是目的本身。Akele 反复用同一句话定义它："在我们需要它们发挥作用的时候，它们真的会按预期发挥作用。"→ 详细

• 大多数通用 LLM 过于保守——Akele 当场让"误触发过护栏"的观众举手，举了一大片。但这里的人是在脆弱的时刻来的：不恰当地把护栏甩到对方脸上，"感觉常常就像被当面摔上一扇门"，会让人更孤立、更觉得求助反而更难。所以指标不是触发率，是触发的正确率。→ 详细
• 三个有代表性的合成用例把"准"落成三档处置：① 危险正在发生、用户相信自己此刻不安全 → 推出本地求助资源并主动退出对话（她此刻需要的是真人和一个安全的地方）；② 困扰来自过去的事、不在急性危机中 → 推出资源，但只要用户愿意就继续陪着聊；③ 只是关系上的困扰、无任何不安全迹象 → 用户根本察觉不到护栏存在，消息直接透传给 Core。→ 详细
• 这三档的分界线不是工程师拍的，是和临床团队一起校准出来的——在"用户安全在临床上究竟意味着什么"这件事上，细微差别极其重要。→ 详细

• Dave Revere 的开场比喻：当爹之后他掌握了一项没写进简历的硬核技能——翻译"我没事"。一种是真的还好、只是不想说话；另一种是确实有事、而且得往下深挖。"字面并不等于真正的信息"，这就是他要讲的工程问题。→ 详细
• 他抛给全场的题目，是一位临床医生根据真实来访经验提供的场景：一句用日常动作（收拾箱子）间接试探"自己不在了会是什么样"的话。字面上完全可能只是有人准备搬家，但临床医生一读就知道是风险信号。三条常见解法都接不住——用正则表达式穷举自伤相关词、把 prompt 写得极啰嗦并把安全规则埋进大段文字、或直接挂一个通用内容审核 API：它们抓的都是"词"，而这里的信号"不是某一个词，而是言外之意，是上下文，是那句句子底下的句子"。这位医生"比我们更早地了解，我们的系统将会遇到什么样的人"。→ 详细
• 全片的转折句也在这一段："一道简单的 eval 关卡并不能让系统变安全，但一个学习闭环可以。"→ 详细

• 第一步 trace（把对话完整追踪记录下来）：这类对话被完整捕捉，"把那一刻捕捉住"，好让临床医生进去标注、写下这种情况下本应该发生什么。Dave 把关键动作说得很直白：在这种临床边缘案例里，"判断'什么才叫正确'的不是我们的系统，而是一位持证的专业人士"。→ 详细
• 第二步：标注队列 + 一份很小的评分量表（rubric）。字段不多，但每个都在干重活——「期望观察」＝这条 eval 的断言（到底要断言什么才算通过）；「轮次索引」让工程师能把对话重放到护栏本应触发的那一刻，精确到第几轮该响，而不是笼统说"这段对话不对"；「备注」帮工程师判断这个场景该归到哪一类。→ 详细
• 第三步：一个标注提取脚本——自动做分诊，把所有被标记的 trace 生成一份报告供团队讨论；同一个脚本还把这些标注转成结构化（typed）eval（对话输入、期望结果、期望观察、分类元数据），统一规范进团队的 eval schema。人写下的是判断，机器拿到的是可执行的用例。→ 详细
• 第四步：提交进 CI——"临床医生的专业判断就活在了 CI 流水线里"，此后每一次 prompt 改动、每一次更换模型、每一次护栏调整，都必须拿去跟临床医生教的标准跑一遍评分。收益的量级 Dave 说得很清楚：真正的胜利不在于那一句被修好了，而在于整个自伤类别的表现都被抬高了一个台阶——一条标注升级的是一整类判断，不是一个 case。→ 详细

• 闭环建起来之后，Dave 立刻抛出下一个工程难题：如果真要做"以人为中心节点"的系统，就不能只意味着触发得更多。他用自己的生活举例——儿子快搬出去住了，天天念叨着收拾箱子——"我可不希望有一套学会了惊慌的系统。慌张这件事，我自己来就够了。"玩笑背后是硬道理：过度校准会挡住真正需要照护的人拿到照护。→ 详细
• 围绕校准，他们做了三个设计选择。其一，"什么算好"由临床团队定义——原话是"凭感觉（vibes）在这里不算数，持证专家做出的、可问责的专业判断才算"。关键词是"可问责"：判卷权有明确归属，出了偏差知道去问谁、改哪张量表。→ 详细
• 其二，打过标签的场景问的都是能判真假的具体问题，而不是"这条回复好不好"：预期的观察项有没有被触发？触发的类别对不对？时机是不是落在对话里正确的那个点上？输出端的 evaluator 有没有认出问题的类型？其三，这些场景直接变成 eval、成为发版的准入门槛——不是"上线前跑一次看看"，是过不了就不发。→ 详细
• 观众问答里还有更硬的一手佐证：他们第一天就不得不把前沿模型内置的护栏关掉——"因为通用 LLM 是过度校准的……我们一跑自己的数据集，它就会把所有东西全都过滤掉"，这才是他们从零自建整套护栏的直接原因。→ 详细

• 设计哲学很反直觉：并不追求把 benchmark（基准测试）刷到满分，因为刷分反而会让注意力"从这些 benchmark 本该保护的那个人身上飘走"，何况有些边界情况本身就真的存在歧义。替代的靶子是从真实数据里的真实失败模式出发造 benchmark——"误报（false positive）重要，漏报（false negative）重要，类别重要，时机也重要"。配套是对建造者的问责："我们不能只是嘴上承诺安全"，安全系统必须被自己的领域专家评审和测试过。→ 详细

• 结语把整件事拉回人的尺度：这是他们所知最严谨的方式，去做一件其实非常古老的事——在一个人最低谷时陪着他，让他知道自己并不孤单；"这就是我希望我儿子将来能用上的那种 AI"。致谢里特别点名了临床医生 Caroline Collie，也谢了台下正在把"让安全来定义能力"做进系统里的人。→ 详细

本片末尾有现场问答。提问的是一位同样在做医疗健康领域 AI 陪伴产品的开发者，一口气问了两题，都很实操。

Q1：你们背后用什么模型驱动？更要命的是——Anthropic、OpenAI 在 API 背后、在模型训练里就内置了它们自己的护栏，用户说的内容哪怕过了我自己那层护栏，模型本身还是可能拒答。你们是怎么绕开的？ → 详细

• Akele 的回答：他们基本上第一天就不得不把模型内置的护栏关掉——"因为通用 LLM 是过度校准的，所以我们才自己造了一套 guardrail"。原因就是提问者说的那个现象："我们一跑自己的数据集，它就会把所有东西全都过滤掉。"（注：她没有点名具体用了哪家模型，这一半的问题实际没答。）→ 详细

Q2：误报和漏报之间你们怎么取舍？宁可多误报少漏报，还是反过来？ → 详细

• Akele 的回答：过度校准其实是一种出于善意的选择——前沿模型厂商是这样，他们自己这边也是。他们要做的是把那个余量（margin）明显收窄、让判断更准确；但方向上确实仍然偏向过度校准这一侧。（跟正文立场自洽：追求"更准"，但准不了时仍选更保守那一边。）→ 详细

主持人叫停时台下还举着一片手，问答只放出了这一位。→ 详细

两位讲者没有在台上留个人联系方式（邮箱 / 社交账号都没给）。片中只提到两个触点：

• 最后一页幻灯片上的二维码，指向他们开源的护栏数据集（200 个输入端场景 + 100 个输出端场景），并邀请用过的人反馈想法。→ 详细
• 两人演讲后留在现场答疑（"Akele 和我待会儿都在场，欢迎来找我们提问"）。→ 详细
• 讲者：Akele Reed、Dave Revere，均供职于 SonderMind；片中特别致谢的临床医生是 Caroline Collie。→ 详细