终结 AI 垃圾——Thais Castello Branco(Taste Labs)

• 讲者 Thais Castello Branco 是 Taste Labs 创始人，公司几周前才从 stealth（隐身开发状态）出来，使命一句话：怎么终结 AI slop（AI 批量生产出来的、一眼假的低质内容）。她的判断是 AI 在写代码、做数学上已经相当强，但在设计、创意写作、人格、情商这些事上"还差得远"，而要啃这些领域，得换一套跟客观领域不一样的打法。→ 详细
• 两条业务线：一条跟前沿实验室（frontier lab）合作，帮他们给模型做 eval 和 benchmark（评测与跑分）、找出模型在哪儿崩，并判断每类问题该用哪种方法修——哪些该做成 RL 环境（强化学习环境，即给模型一个能反复试错并被自动打分的场子），哪些该当成 post-training（后训练）的数据问题；另一条跟 agent、应用层公司合作，处理那些"本就不该在基础模型层解决"的问题，用 context（上下文）和理解用户意图来解。她赌的世界是：几十亿个不是专家的人开始做创作，所以"读懂用户想要什么"跟"把模型做强"同等重要。→ 详细

• 这是全场最锋利的一次翻转。我们习惯说"模型很擅长写代码，因为我们把它训得很擅长写代码"，她说不对——这其实是代码本身的属性：代码可以拆解、可以验证、可以执行，所以在这些领域上训练模型才容易得多。换成设计或写作呢？"你怎么拆解它？怎么验证它？怎么判断它到底好不好？"难的从来不是模型，是这件事从没被拆开过。→ 详细
• 由此引出两个根本难点。第一，能力跟着可度量性走（capability follows measurability）——所以只要把"可度量"这个问题解决掉哪怕一部分，就等于啃下了这些领域里很大一块。第二，向均值坍缩：在主观领域里，均值并不等于最优（第 8 节展开）。→ 详细

• 她的破题方式是把问题反问回去：你说的好，是对哪类人好？对哪种 taste（品味）好？在哪种场景下好？ 同一页 slide，"如果你是一家创业公司，可能好得不得了；但如果你是一家金融机构，就完全不合适"。所以第一条性质是：好是依赖 context 的。→ 详细
• 第二条性质是别的领域没有的：它会随时间变化。今天算好的跟五年前不一样、也跟五年后不一样；而代码和数学"在时间上要稳定得多"。这句的实际含义是：任何一套"什么算好"的标准都有保质期，必须能被重新校准。→ 详细

• 她把话题落到一个所有人都遇过的场景：你在公司里用过 coding agent，多半已经上线过一个内部 dashboard 或者一个内部落地页，然后你会琢磨——这玩意儿到底是 slop，还是真的做得不错？ 她说你手上其实有件秘密武器，就是你们公司的设计师们为定义品牌所投入的那全部工作：什么时候算好、为什么选这几种颜色的搭配、这套字体排版、这套间距、这种质感——这些都已经被人一条条想清楚、写下来过了。→ 详细
• 关键的一句转折："做点很棒的东西出来"非常难，但"做点符合品牌调性（on brand）的东西"就好定义多了——因为品牌是可以被拆解的东西。这一步不是修辞游戏，是把一个无法判定的目标，换成一个可以判定的目标。→ 详细

• 具体怎么拆：她拿 Reduct 的品牌当例子（"因为我挺喜欢他们的网站"），把它拆成颜色、字体排版、动效、动画、质感五块。"突然之间，你就有了一堆非常明确、成文的东西，可以拿来逐条对照验证。"对照之下，笼统地去验证"这东西是不是 on brand"——她建议你自己试试让一个 LLM 当 judge（裁判）去判——是相当难的。差别不在模型，在你有没有把"好"拆成具体元素。→ 详细
• 这套拆解本身，就成了 ground truth（基准真相 / 判卷答案）。她给出的完整任务形状是：先给一个 agent 派活——做一个全新的页面，要贴合 Reduct 的品牌，但内容完全是净新的、跟原来不一样；然后是最容易做错的那一步——你要拿这套拆解表给它打分，而不是拿它跟原件对比打分。理由很实在：它可能会想出全新的方式来使用这些元素，"这些用法依然成立，只是跟原件不一样"。判"像不像原件"会把创新判成错误；判"合不合标准"才判得对。→ 详细
• 顺带两个警告。其一，LLM as a judge 未必总是最好的办法——"我们知道那里有大量的 reward hacking（钻奖励函数的空子），也知道那里存在一些挺有意思的幻觉模式"。其二，整个问题里最难的部分是任务设计本身："怎么把一个看上去很模糊的东西，变成真的能拿去做 RL 的东西"——不是模型难，不是算力难，是把题出对最难。→ 详细

• 她把设计这类问题看成一条条谱系：一端是视觉对齐、字体排版这类靠近客观、能程序化验证的元素；沿着这条谱往上走，是风格契合度、创造力——"你怎么去判断和度量'创造力'？那就难多了"。→ 详细
• 于是这变成一个路由问题（routing problem）：怎么理解这个庞大又模糊的问题，把它拆成更小的组件，然后针对每一个组件找出最合适的解法——有的组件该做成 RL 环境，有的该做成数据问题，有的老实交给人判。别用同一种方法去判所有元素，这才是这条谱系真正的用处；而最有价值的活儿，恰恰落在两端之间的中段。→ 详细

• 她自己划的重点，原话是"如果今天你只带走一条，就带走这一条"：一件事越接近可验证、尤其是可以程序化验证，就越适合用 RL 来做；反过来，越依赖 context、越受那个时间因素影响、越取决于偏好上的差异，就越往"需要人类判断"那一端偏。→ 详细
• 她最喜欢的比喻是「把事情往验证那一侧拽」：品牌一致性这件事本身很难判，交给人判大概比交给 LLM 裁判或某种确定性方法靠谱得多；但通过把它成文化、搞清楚哪些部分真正重要、再把这些部分变成可观察、可度量的东西，你就能把它往验证这个领域里拽一截。这不是二选一，是主动挪动边界——原本必须靠人拍脑袋的东西，被你拽进了能自动判的范围。→ 详细
• 但她同时把话说死：在真正主观的那一端，"人类判断的水准仍然远高于任何 LLM as a judge"。拽是手段，不是幻想全自动。→ 详细

• 机制说得很清楚：模型本质上在预测"下一个最可能出现的结果"，并且默认那个最可能的结果就是理想的结果。→ 详细
• 对数学和代码，这成立——你问 2 加 2 等于几，那个"平均答案"同时就是正确答案、最优答案。但对写作和设计，最可能 ≠ 最优。她的原话："很多伟大和创造力其实发生在分布的两端，它不是最可能出现的那个结果。恰恰是当你主动打破规则、主动跳出模式的时候，你才能做出既有主观性又真正出彩的东西。" 我们觉得被 slop 包围的那种感觉，根源正是这种向均值坍缩，以及由此带来的重复感。→ 详细
• 所以真正要解的是 mode collapse（模式坍缩）：怎么从均值里跳出来，"但跳得是有意为之的"。注意这里问题的性质变了——一旦谈"有意为之地偏离"，问题就转移到了不那么容易验证的东西上，那些更多是人类偏好和判断的问题，可能用数据来解会比用环境来解更合适。→ 详细
• 他们撑开分布的实际做法：跟一个设计师社区合作，一千多位专家，各自擅长不同的媒介、不同的风格；在拆解问题的时候刻意去把分布撑开，就是为了不掉进 mode collapse。→ 详细

• 过去的偏好数据（preference data，让人在两个结果之间选哪个更好、拿来训模型的数据）为什么会失效？因为"你是从一大堆人那里收上来的，却没搞清楚他们是谁、喜欢什么、为什么喜欢、什么时候喜欢"——不把这个问题相应地拆开，最后拿到的就是一堆互相打架的偏好，然后又坍缩回均值。→ 详细
• 她的立场很硬：现实世界里本来就有人更喜欢这种风格而不是那种，"这不代表其中哪一种是错的，也不代表最好的答案就是这两个人喜好的平均值"——世界是多偏好（multi-preference）的，要做的是把匹配做对，不是取平均。取平均在多偏好世界里是最差的选择，它同时得罪所有人。→ 详细
• 解法是为一个人建立类似「偏好向量」的东西，并把它挂到偏好数据上，这样训练时就能有意识地容纳偏好的多元性，而不是让这些数据变成噪音。同一份分歧数据，有了归属就是信号，没有归属就是噪音。→ 详细

• 她坦白说这类领域的数据"很难说清到底什么才算好"，所以策略是只死盯可控的部分。第一个抓手是 problem decomposition（问题拆解）：怎么让数据真实反映现实世界里的分布？怎么保证在不同的类别上都选到真正的专家？她强调这些"完全在你的掌控之内——你能看到这些专家是谁，你可以把筛选标准定得非常严，你可以把问题拆开来"，而且"对最后实验结果好不好帮助极大"。→ 详细
• 第二个抓手是流程与路由：你怎么判断该把哪个问题路由到哪个解法上（接第 6 节那条谱系）。→ 详细
• 第三个抓手是 QA（质量检查），她给了两条很具体的判据。其一是「具体程度」：当你让一个专家判断某样东西好还是不好、让他给出背后的推理，甚至围绕他怎么评判一件作品建立一整套观察体系时，"他语言的具体程度、描述得有多精确，直接决定了这份数据的质量"。含糊的好评等于没有数据。→ 详细
• 其二是把点评绑定到具体组件——这条最实操。一位专家评判一个 landing page，"他可能就写一段话把它描述一下"，但模型其实很难把代码的某一块和视觉上的效果真正对应起来。所以"如果你能找到一种办法，把专家的这段点评精确绑定到那个代码组件上，你的数据一下子就噪声小得多、也清晰得多了"。同样一句点评，挂在整页上是噪音，挂在具体那一块上是信号。→ 详细

• 她特意点出人工 QA"在这里挺棘手的，因为它有两面"。一面好办：比如你在收集一堆关于 slide 设计的偏好数据，人工 QA 可以判断这算不算高质量数据、符不符合规范——这类事情多数人都能达成一致。→ 详细
• 另一面才是关键：当你要的是专家共识、让第二位专家去看他同不同意最初那位设计师的投票时，分歧就会冒出来。她给的判别法非常干净——看他们分歧在什么上。如果分歧的是对齐这类"相当客观"的事，"专家在这上面还有分歧就有点奇怪了"，这说明数据本身有缺陷；但如果他们分歧的是风格、是审美，"那这就未必是坏数据，反而是好数据，它恰恰说明人的偏好本来就有分野"。→ 详细
• 所以人工 QA 的设计目标是双份的：既能在基本功层面把关，又能有意识地用好共识这件事——不是把分歧一律消灭，而是先判断这条分歧属于哪一类。→ 详细

本场是纯演讲，没有闪电问答，也没有现场提问环节。收尾她给了两件事：

一、为什么这么执着于"能控的部分"

• 跟各家 lab 打交道时情况复杂得多，"我们往往拿不到那个反馈闭环，不知道到底是什么造成了什么结果"——正因为拿不到因果，所以只能死盯自己这一侧能完整衡量的东西，也就是数据质量。这不是保守，是在反馈信号断掉的地方，选择在你还能量的地方用力。→ 详细

二、今天的核心信息：主观领域，质量优先于数量

• 她的原话："尤其是在这些主观领域，我主张质量优先于数量。" 做高质量数据"很贵，也很难，需要你对某个具体领域有非常深的理解"；但由那些在这个领域里 taste 极高——"你想怎么叫都行"——的人做出来的高质量数据，效果远远好过堆一大堆嘈杂的、混乱的数据，那些数据"往往做得并不用心，也没有我们刚才讲的那些问题拆解"。→ 详细

三、还有一半没讲

• 本场只覆盖模型训练侧；她说明第二天在 design track 还有一场，会讲他们在 agent 一侧的做法（也就是开场提到的 context、用户意图那条线）。想要完整版的人得看那一场。→ 详细

台上没有留邮箱、社交账号，也没有出现二维码。片中可循的线索只有三条：

• 讲者 Thais Castello Branco，Taste Labs 创始人；公司几周前刚从 stealth 模式出来，做的是主观领域的数据与基础设施层。→ 详细
• 片中唯一点名的品牌案例是 Reduct（她拿它的网站做拆解示范，理由是"我挺喜欢他们的网站"）。→ 详细
• 她提到自己第二天在 design track 还有一场分享，讲 agent 侧——想接着往下听的，线索在那里。→ 详细