专栏 · AI 投资与产业观察 › 第 223 期 · AI 产品 · 收录于 2026 年 9 月 15 日
生成视频上,人类偏好并不是可靠的风向标——Dumitru Erhan、Shane Gu、Nicole Brichtova(Google DeepMind)
TL;DR · 三句话
- 一发布与路线:Google DeepMind 本周放出 Nano Banana 家族最快最便宜的 Nano Banana 2 Lite(约 3 秒出图),和首次对开发者开放的 Gemini Omni Flash 视频 API(定价同 Veo 3.1 Fast);三位嘉宾判断专精模型短期仍会并存、五年后大概并进一个输入输出全模态的 Gemini,而 Shane 眼里视频模型的真正定位不是生成好看视频,而是和语言互补、做出 AGI 必需却还缺着的那块时空基础模型。→ 详细
- 二评测的教训:人工 eval 里人类大多更喜欢 AI 重新生成的视频,只因为它更锐利、更 HDR——「它并不是更真实」;模型还悄悄往每只手上加婚戒、团队开发时没发现(Shane 怀疑是大量偏好数据带出的 reward hacking),所以 Dumitru 说人类偏好「并不是一个特别可靠的风向标」,DeepMind 最后靠几千样本的人工 eval、十来个人并排比较、审美老练和天天拿模型干活的重度用户来把关。→ 详细
- 三数据与 FDE:光靠公开数据能做的有上限,很有用却很难拿的是人们实际做任务时的「一整条任务轨迹」,Google Cloud 与 DeepMind 也在加码 FDE(前线部署工程师)——Shane 说「FDE 不是销售」,而是把客户反馈一路传回建模的通道,主持人则主张让 FDE 兼做 eval。→ 详细
01
本周两项发布:Nano Banana 2 Lite 与 Gemini Omni Flash API
- 三位嘉宾:主持人(大会方,片中未报名字)介绍——Dumitru Erhan 做视频模型(被调侃为 Google 旧金山「头号办公室网红」);Shane Gu 做 Omni 的 thinking 和 Gemini 的 RL(强化学习:让模型按奖励信号反复试错来变强);Nicole Brichtova 负责 Nano Banana 等其余生成式媒体模型,以及本周的全部发布。→ 详细
- Nano Banana 2 Lite:Nicole 说这是家族里最快、最便宜的图像模型,比初代 Nano Banana 还强,生成和编辑都能接替初代,质量「非常接近那些主线大模型的前沿水准」;约 3 秒的延迟解锁了快速构思和迭代,部分输出已能直接当上生产的成品用。→ 详细
- Gemini Omni Flash API:I/O 上预告、这次终于上线,是 Omni 第一次向开发者开放 API,主打视频生成和视频编辑,定价与 Veo 3.1 Fast 相同——「希望让大家用非常划算的价格,拿到非常非常好的质量」。→ 详细
- fofr:Omni 首发时和 Logan(今天没来)录的那期播客里,视频被加进树懒、Ramen 等各种东西(Nicole 分到一只猫,「大概是所有动物里最无聊的」),全出自团队里的 fofr;主持人说早想在自家视频上这么玩,就差一个能自动化的 API。圆桌上称想知道「这东西到底能干什么」,fofr 是头号必关注的人。→ 详细
- fofr 是谁:以前在 Replicate(模型托管与运行平台)待过,匿名;主持人两年来一直想请他来 AIE(AI Engineer 大会)演讲都没请成——他来过现场,但不想上台。→ 详细
02
Omni 的主力用例:任意输入出视频、自然语言改视频、拍照翻译说明书
- 任意输入 → 视频:Nicole 说可以拿一组图当故事板、一段音轨当角色声音的参考,直接出视频,用于短片制作,也已接进 YouTube Shorts 帮创作者做内容;将来还会放出视频以外的输出模态。→ 详细
- 自然语言改视频:加东西、删东西,比如给太吵的海边度假视频降噪——以前没工具、或不知道该找什么工具,你根本不会去弄。→ 详细
- 已看到的用法:营销广告活动素材、教育素材(朝「按你的知识水平和偏好风格定制」的教育迈一步);第一方产品里「显然看不到所有用法」,所以期待开发者在 API 里探索。→ 详细
- Dumitru 的家用案例:父母来看他,在 Amazon 上给他们买的小玩意说明书只有英文,他拍照让模型「翻译成罗马尼亚语,其他一切保持原样」,出图一模一样、翻译「大体完美」;他说 Omni 的文字渲染「是另一个级别的」,翻译、国际化、给视频重新配音都用得上。→ 详细
03
视频 agent 还是单一模型:Shane 为什么说语言是最好的「条件」
- 问题的来由:主持人引述 xAI 视频团队(Grok 视频)的 Ethan:下一个趋势是「视频 agent」而不是单一模型——等于放弃「一次生成就把所有事搞定」。→ 详细
- 语言约等于世界的因果信息:Shane 说图像、视频生成的起步,本就始于语言模型能给出详细的 caption(画面的文字描述,Stable Diffusion、DALL·E 2 时期)。他的假设:机器学习难在伪相关(有预测力的特征未必是原因),解法要么是覆盖因果图上每种干预的多样数据,要么以因果信息为条件——「以语言为条件,某种程度上就相当于以这个世界的因果信息为条件」,所以泛化好。→ 详细
- 视频模型是时空信息的基础模型:约 8 个月前团队发了《Video Models are Zero-Shot Learners and Reasoners》(视频模型是零样本学习者与推理者),Nano Banana 团队跟进了 Vision Banana 论文——经典视觉任务能零样本搞定(不专门训练就会做)、视觉智力题基本能解、机器人方向看到很好的物理直觉,关键是把视觉推理和文本推理串起来。→ 详细
- 统一还是编排:Shane「估计最终所有东西都会并进单一模型」,但眼下用 Gemini 的视频、图像理解以 agent 方式搭配 Omni,已经能做很多事,团队在大量探索。→ 详细
04
最终会不会全部并进 Omni:五年后大概会,六个月内不会
- Dumitru:看你往未来看多远:工程、研究、产品都有权衡——Nano Banana 2 Lite 服务的是细分需求,未必能和「能生成 4K、30 秒视频」的模型装进同一个 checkpoint(同一份模型权重)。「五年后它们会不会都是同一个模型?大概会。但六个月后,我们大概率还是会有多个不同的模型各司其职。」→ 详细
- Nicole:命名就在暗示方向:叫 Gemini Omni,就是暗示 Gemini 会输入输出全模态,Omni 接下来很可能也生成、编辑图片;但专精模型满足的是「当下的某种需求,而这种需求一年后可能就不存在了」,会继续做。同一轮还抛出一个没答案的研究问题:模态之间有多少迁移(学会 A 能不能帮着学会 B)——图像与视频显然有,音画一起学有价值,编程与视频之间多数人不信、可能纯属浪费,3D 这类不明显的交叉值得探索。→ 详细
05
中间表示之争:caption、代码、二进制,还是「只要英语就够了」
- 主持人的困惑:靠 captioning 引导生成「感觉效率非常低」,很多视频本来就是代码生成的(ffmpeg、matplotlib、3Blue1Brown 用的 Manim),代码会不会才是最优表示?甚至干脆输出 0 和 1?→ 详细
- Shane:代码在探索,但语言吃得到预训练的红利:Gemini 团队「肯定在探索用代码来做表示」。但他把问题类比成「chain of thought(思维链:模型先写推理步骤再作答)为什么非得用自然语言」:当下有效的配方是大规模预训练学到智能,用 RL 去提取「依然极其耗费算力」,把推理绑在自然语言上才能直接调用预训练的智能——文本和多模态的很多进展,都靠「文本是一种极好的表示」推动。(他四年前写过《Large Language Models are Zero-Shot Reasoners》。)→ 详细
- Nicole 的更简单版本:「文本就是我们交流的方式」——做人要直接打交道的产品,默认用文本很自然。→ 详细
- 反方:Shane 说 RL 至上主义者认为 CoT「不过就是额外的计算而已」;圆桌上有人笑问是不是 David Silver,主持人接话说他们「刚离开,出去自立门户了」。→ 详细
06
「现在什么都是世界模型」:定义之乱,与视频模型的真实定位
- 定义太泛就没用了:主持人说本届 World's Fair 的策划主题之一就是世界模型,但这个词没有清晰定义;圆桌上有人接一句「现在什么都是世界模型了」。→ 详细
- Shane 的定义:推荐看 Jitendra Malik(UC Berkeley 元老级计算机视觉教授)和 Schmidhuber 1990 年前后的定义;他自己的最简版是世界模型「就是 model-based RL 里的那个 model」(能预测"做了某个动作后世界会怎样"、再拿来规划的模型)。→ 详细
- 不是只靠语言:主持人说语言这根「细管道」终究是有损压缩,Shane 当场纠正「不不不」——他们说的是视频模型和语言结合,「单靠语言是不够的」。很多人以为 Veo、Omni 就是生成好看视频的,但它是「一个目前还缺失的基础模型」,要做出能与人类匹敌、而不只是聊天型的 AGI,它必不可少。→ 详细
07
做视觉的人为什么都转去做生成:理解是生成的台阶,视频模型在走语言模型的老路
- 是不是把「图生文」反过来就行:主持人这么问(那其实就是扩散过程)。Dumitru 说他早年做的目标检测、识别更简单,生成是歧义大得多的逆映射(从「猫」到一张猫的图片),而视觉产出的合成标签又喂给生成,形成循环;Nicole 说理解越好生成越好,她共事过很多从图像理解转生成、再转视频的人,有人接「这完全是自举式的」。→ 详细
- Shane 的路径:建议从理解、识别(本质是判别器,判断真假好坏的模型)入手,通往生成的桥梁是强化学习;他从 GAN、MNIST 生成起步,转 RL 与机器人,约六年前带过机器人灵巧操作的登月项目,四年前认定「符号层面的 AGI 会比物理 AGI 加速得快得多」而转做语言模型;建议研究者多去接触各社区最顶尖的人怎么想问题。→ 详细
- 视频模型在走语言模型的老路:语言模型从写故事的 demo(GPT-2、LSTM 时代)→ 指令微调后能聊天 → 幻觉多、做不了推理 → 预训练和推理后训练够好,test-time scaling(推理时多花算力换效果)和 RL 才起飞;Shane 预计视频模型也会这样一路走到可靠的世界模型。Dumitru 补充:多媒体还没把理解和生成统一,两者「是同一枚硬币的两面」,但「我不是说我们就应该这么做」。→ 详细
08
Veo 3 为什么坚持音画一次生成
- 机器眼里音视频差别不大:主持人提到三年前用扩散模型做音频的 Riffusion,问音频是否和视频一样难;Dumitru 说技术差别相对次要。→ 详细
- 一个因果过程,就该一次生成:Dumitru 说 Veo 3 是第一个真正「一次性把所有东西都生成出来」的音视频联合模型(此前有的是底层东拼西凑)——背后只有一个因果生成过程,「有某个东西生成了"你在说话"这件事」,嘴唇必须和音频同步;以前先出像素、再硬拼口型「效果非常差」。Veo 3 之后大家的反应是:「你的模型居然没有音频?这说不过去啊。」→ 详细
09
语言描述不了的感官:音色、肤色、酒味,与「录音棚音质」这个破绽
- Shane:感官信息难以言表:TTS(文字转语音)之外,音乐、语气、音高都难描述,味觉、嗅觉、肤色也一样——他认为这些和生存本能绑在一起(肤色细微差异关乎「这人会不会杀了我」),感官敏感到语言跟不上;一位专业品酒师说自己借用约会时形容伴侣的词来形容酒。→ 详细
- Nicole 与 Dumitru:Nicole 说视觉审美同样难以言表,这正是他们投入世界模型、感知与生成的原因;Dumitru 说 Omni 在音频上的短板看着都是更多、更好的数据能解决的,未必撞上了进化层面的限制;主持人点评这其实是 captioning 的局限。→ 详细
- 参考素材补语言之短:Shane 调侃「你只需要 sref」(Midjourney 的风格参考码);Nicole 说描述说话方式要用韵律(prosody)、disfluency(言语不流畅)这类多数人不懂的词,语言模型没关注过的地方,缺口会在生成那一侧暴露。→ 详细
- 「录音棚音质」是破绽:主持人(自己做播客)说 AI 视频的破绽之一是录音棚音质,因为训练数据都是棚里录的,而「我离你更远,声音就该更轻、更散」——大房间、车里、电话里的听感各不相同,他拿这点说服质疑世界模型的人。Shane 接着说:caption 不够细,以语言为条件的生成就会「多峰」(同一段描述对应很多种结果),按 VAE(变分自编码器)的老思路应把随机性装进潜在表征,所以 caption 的信息量要足。→ 详细
10
面部表情、皮肤质感与眼神:AI 内容还没跨过的那道鸿沟
- Nicole:光看表情就能认出 AI:很多 AI 内容光看人物的面部表情就能认出来(「我们也尽量不去助长它」),还有皮肤质感这类「让东西在现实里看起来真实」的细节。她能从对方点头的样子、微表情的变化读出反应,而模型「这道鸿沟还没完全跨过去」——已经比一年前好太多,但在人类超级敏感的地方还有大得多的提升空间。图像大概已经到了:她看到的很多图片跟现实毫无二致,分不出是不是生成的。→ 详细
- Shane:取决于看的人有多敏感:他在日本出生长大,说日本人极其敏感(所以才有那样的建筑和食物)。他聊过的一位漫画家对生成式 AI 挺反感,点出的就是「眼神」——视线稍微偏一点点,就让人觉得瘆人、不自然,「看起来太假了」。→ 详细
11
「人类大多更喜欢 AI 生成的」:为什么人类偏好是会骗人的优化目标
- 实验怎么做的:Nicole 刚说完图像已真假难辨,圆桌上有人接「比现实还好」,Dumitru 笑说至少「比我度假时自己拍的照片还好」,然后讲了团队前阵子做的一个「很好玩的实验」:能不能生成比真实视频还好的视频?做法是拿一段真实视频的描述(caption)复用,用 Omni 生成对应版本,再做一次人工 eval(evaluation,让人来比较打分)。结果「人类大多更喜欢 AI 生成的」。→ 详细
- 「我不是说这是个好结果」:圆桌上有人说那是 RL 过程在起作用,Dumitru 说怎么解释都行、不一定是 RL,关键在于「我们优化的方式可能在某种程度上触发了人脑里的某种东西」——拿一段随机 YouTube 视频和它的生成版并排比,生成版就是看着更好:画面更锐利、更 HDR(高动态范围,亮处暗处细节都更饱满)、肤色更好看。但他连着强调:「它并不是更真实」;「仔细看、深入去看的话,它们其实并不会更有用」;「它不一定能解决你的问题,但它就是看起来更好」。→ 详细
- 结论金句:Dumitru 把这件事收成一句——「在"该优化什么"这件事上,人类偏好并不是一个特别可靠的风向标。如果你只是去问大家"你喜不喜欢这个",你得到的不一定是你真正想要的。」 换句话说:拿「用户说喜欢」当目标去优化,模型会学会讨好感官,而不是学会把事做对。→ 详细
- 「Instagram 滤镜」效应:Nicole 附和——在街上随便找 10 个人投票,他们大概会更喜欢那种过度平滑、饱和度很高的画面,圆桌上有人一语道破:「那叫 Instagram 滤镜。」这就逼出一个产品问题:用户什么都不指定时,你的默认审美长什么样?她的应对思路是持续加强指令遵循,让想要不同结果的人能通过语言、或者通过参考图拿到——「因为语言有时候局限太大了」;模型一直在进步,但还有很多工作要做。→ 详细
12
prompt engineering 不该消失:敏感度才是你握在手里的控制权
- Shane 四年前的判断:当时有场「prompt engineering 会不会消失」的争论,一些很有分量的人说会,他说不应该——把你想要什么讲清楚,「是你把控制权交给 AI 的时候唯一能控制输出的办法」,而让你能做好 prompt 的,恰恰就是那种敏感度。所以哪怕现在 AI 能做很多 autoprompting(自动替你写 prompt)、能生成够用的东西,也「永远别满足于 AI 生成的内容,要一直打磨你的敏感度,一直针对那些差别继续写 prompt」。→ 详细
- Nicole:普通人的眼睛 vs 几十年的手艺:她把自己归为「普通人那双没受过训练的眼睛」(有些审美感觉、做得够久、有自己的偏好),而漫画家那种可能花几十年打磨手艺的人——做设计、做建筑都一样——专业水平是另一个层级,能看到普通人看不到的东西。→ 详细
13
默认审美谁来定:Nano Banana Pro 的信息图太挤,Omni 发布前一起调过饱和度
- 给全世界定默认值:主持人问 Nicole,作为产品总监给全世界定默认审美有没有压力,圆桌上有人补「默认值总归得存在」;Nicole 先说没想过,随即改口「其实我们确实想过」。→ 详细
- 信息图翻车:Nano Banana Pro 刚出来时,生成的信息图一下子爆发(有人说 NeurIPS 论文好多都配了,还调侃拿水印检测跑跑看有多少——Nicole 说可以但没做过)。她说看着「挺痛苦的」,默认审美「太杂乱了」,模型像「一个有点急于表现的学生」,知道的全塞进一张图;有人插科打诨说日文信息图的密度还得再乘以五,「因为日本就是这种风格」。→ 详细
- Omni 上一起定过配色:Dumitru 说 Omni 最后调优阶段,他们一起讨论过更柔和还是更饱和(有人说「我们那时候饱和度很高」),还打趣 Nicole「只是有 PTSD 所以忘了」——她当时深度参与了定配色。→ 详细
- 该不该交给艺术总监:Nicole 承认定默认审美的最后就是模型团队自己,「我们是做这件事的最佳人选吗?」还是该找真正有创意视角、更像艺术总监的人合作——他们一直在反复权衡。→ 详细
14
模型悄悄给每只手戴上婚戒:为什么重度用户是 eval 的最后一道网
- Trusted testers(受信测试者计划):主持人说自己就在 Google 的 trusted testers 里,「组织得特别好,每周都有电话会」。Nicole 说这块很多是 Logan 的团队在做,这批人给了大量反馈,团队很认真对待。→ 详细
- 内部挑刺的人看得出团队自己看不出的退化:Nicole 说 Google 内部还有很多像 fofr 这样的人,每次发布新 checkpoint 都给大量反馈,而且常常是团队「自己看不出来的东西」。典型场景:团队觉得「这个优化看起来还行」,结果对方回来就问:「你们干了什么?你们把我的草地全毁了」——因为细节全糊了。也就是说,一次看似无害的优化会在团队没盯着的维度上悄悄退化,天天拿模型干活的人才撞得上。→ 详细
- 婚戒事件:圆桌上 DeepMind 这边有人透露(「这事现在也不算什么大秘密了」):fofr 刚发现他们的模型老爱往手上加戒指、而且是婚戒;有人说自己之前完全没注意到,是 fofr 发出来之后才想「怎么每只手上都有婚戒?这也太奇怪了」。最要紧的是这句:「这种东西我们在开发的时候未必会注意到。」 做模型的人没发现,是天天试模型的人发现的。→ 详细
- 看着像 reward hacking:有人立刻说「听起来就是很常见的 reward hacking」(奖励投机:模型钻评分信号的空子,学会讨好打分而不是把事做对);DeepMind 这边有人追问是不是 RL 带来的副作用。Shane 答:说不准,但「你们确实用了大量基于偏好的数据,模型就可能偏好上那种虚假相关——reward hacking 会以各种奇奇怪怪的方式冒出来」。→ 详细
15
视频到底怎么评:能 OCR 的交给机器,审美靠人,十来个人关在屋里并排看
- 问题的来由:主持人说大会有 eval 专场,Character.AI 和 YouTube 会讲他们怎么评估视频——你们怎么评?圆桌上有人笑答「除了靠 fofr 之外」;主持人说「不是每家都有个 fofr」,总得有更量化的办法。有人答:靠提升 Gemini 来提升视频评估是一条路,「只是其实非常难」。→ 详细
- 哪些能自动评,哪些不能:Nicole 说让 autorater(自动评分器,通常用另一个模型来打分)去评视频非常难,尤其是审美。相对客观的是图像里的信息图、文字渲染——能用 OCR(光学字符识别)把字识别出来比对,而且标准是硬的:「渲染出来的文字哪怕错一个字母,这张素材你就根本没法用」,所以这类更容易自动评分。其余的,「我们确实非常依赖人去看,所以我们做大量人工 eval」。→ 详细
- 能力越多、eval 越多,最后靠并排看:每次出新模型都想往里塞更多能力,要跑的 eval 就更多(「每次 Shane 都在那"嗯……"」)。等碰到两个水平很接近的模型,「我们就真的是靠把输出并排摆着看来做决定」——她待过那种会议室,十来个人盯着并排的视频互相问:你更喜欢这个,还是更喜欢那个?→ 详细
- 视频编辑为什么最难评:Dumitru 说能力加得越多越复杂,哪怕只加一项,像视频编辑(再加上带音频的编辑)这种几乎 AGI-complete(难到约等于要先解决通用智能)的能力,评估复杂度就极高——自由形式的编辑「你想做什么都行」。圆桌上有人说编辑是生成式媒体里最难的问题,他说不确定是不是最难,但肯定排得上号;「我们可没有什么"加一只树懒"的 eval」——有人接「那现在该有了」,他说是该有了,但这类东西「真的没那么容易追踪」。(主持人插话:自己在剪辑上花了很多钱,他的剪辑师听到这话会很开心。)→ 详细
- 不止几百个样本:Nicole 列出的几层:主持人惊讶于测模型的全部能力面居然还靠「几百这个量级」。Nicole 纠正说人工 eval 是在几千个样本上做的,而且还有别的层:线上实验(live experiments,在真实使用里做对照),能在大得多的规模上拿到细微差异的信号;autorater——在 LLM 上已经是定义得很清楚的领域,在媒体模型上「还新得多」;再就是人的判断,尤其依赖两类人:审美特别老练的人,和每天在工作流里用这些模型的人。理由是:「你完全可能有一个模型,在某一部分人工 eval 上表现很好,结果却把某个人的工作流彻底搞崩了。」 所以才做抢先体验计划,在更大范围发布之前把反馈吸收进去。→ 详细
16
Shane 的「暴论」:人工评估终要被摊销,识别 AI 视频本身就是顶级智能任务
- 所有人工活都该被摊销:Nicole 说从表情看得出 Shane 有暴论要讲(「每次我们聊到这个他都这样」)。Shane 的立场是:「所有人工的那类工作,都应该逐步被摊销掉」(amortize:把一次次的人工判断沉淀进模型,以后不再需要人来做),「我们应该始终努力去摊销人工标注」。→ 详细
- 识别 AI 视频,比审美更深一层:他觉得视频理解、尤其是识别 AI 生成的内容,是个极其有意思的视觉任务。一部分是审美、视觉质量;但有些是语义上说不通——比如拿电影里的经典场景重新构建,生成到某处,语义信息前后不一致了,AI 能不能检测出来?他自己评 AI 视频时会觉得「我可真聪明」,说明 AI 在这方面还落后、应该花大力气——视频理解「远不只是纯粹的审美或偏好问题」,是极其重要的智能任务。→ 详细
17
DeepMind 要什么数据:专业拍摄素材、具身数据,以及很难拿到的真实任务轨迹
- 主持人替想合作的人发问:很多人手握视频、游戏、真实世界视频、图片数据和标注员,都想来找他们——到底要什么?他建议公开一份「只要你真能做到 A、B、C,我们就感兴趣」的清单,省得从噪音里筛信号。DeepMind 这边有人说这问题「有点敏感」、会透露项目方向,只肯说「总的来说是高质量数据」,另有人补了一句「具身数据」。→ 详细
- Dumitru:机器人合作 + 专业素材:他们公开宣布过机器人方面的合作,GDM(Google DeepMind)有机器人团队,一直对这类数据感兴趣;至于 Omni 本身,要的是高质量数据——「不一定是随便什么 YouTube 视频,而是更专业的拍摄素材」。→ 详细
- Nicole:很有用却很难拿的,是真实任务的完整轨迹:对 agent 类工作来说,更好回答的是「大家实际想完成的任务到底是什么」——这类数据「挺难凭空造出来」,自己做、找供应商做都一样。她举营销活动为例:从一张新产品照片开始 → 做成一支视频广告 → 再变成一堆适配各平台广告格式的素材——「一路上你经历的这一整条任务轨迹」非常有用,却很难拿到:Google 并不总有合适的第一方产品入口让大家真在上面做这些事,供应商也没有这样的产品入口,「这类信息很多都存在于人们实际做这些任务的地方」。她直接喊话:「如果有谁把这个问题搞定了,欢迎来找我们。」→ 详细
- 玩笑里的真话:圆桌上有人接「每一条 chain of thought、每一个念头」「说不定还有中国实验室在用的那些数据」;主持人说播客主、市场部的人都乐意当数据——「干脆往我头上装个 BCI(脑机接口),看着我做事」——大量工作是「大路货」、应该能被建模,好莱坞那种手艺活另说。Nicole 补「我们也要高质量的」,有人总结「你们是两头都要」。→ 详细
18
手艺与暗知识:「99% 的信息都藏在人的脑子里」
- 主持人加开数据质量专场:想教育市场、研究员、工程师和创始人怎么把 AI 的标准往上拉——很多时候就是「别那么做了,改成这么做」,能听进去多少他也说不好。→ 详细
- Nicole:手艺藏在流程里:营销活动不是五分钟做出来的,要反复迭代,选这个不选那个,可能只因为「眼神的方向对了」——「我们没有一个人是市场总监,模型也不知道这些」。→ 详细
- Shane:99% 的信息藏在人脑子里:他老说「99% 的信息都藏在人的脑子里,只能通过主动对话、跟人交朋友才能挖出来」。互联网上的大多只是产出;起点、灵感、激发一篇论文的那些对话——这些「轨迹」都在人脑里,创意领域也有大量暗知识(dark knowledge:没写下来、只活在行家经验里的知识)。→ 详细
- Nicole:LLM 写的东西为什么打动不了人:小说打动你,靠的是你对故事或人物的个人联结;而大部分 LLM 写的东西「会掉进一些默认套路里,语言开始变得很雷同」,一读就知道「这没什么意思,因为我代入不进去」——这又是一种人类的专业能力。→ 详细
19
FDE 不是销售:Google 为什么加码前线部署,以及它该把什么带回实验室
- Google 在加码 FDE:Shane 说「最近有件好事」:Google Cloud 和 Google DeepMind 开始在面向产品工程的 FDE(Forward Deployed Engineer,前线部署工程师:派驻到客户身边、贴着客户真实业务把模型用起来的工程师)上投入多得多了;他还看到一些面向创意、生成式媒体方向的招聘。理由很直白:「光靠大量公开数据能做的事是有上限的」,真正跟这些人合作,才能做出更好的模型和产品、拿到反馈。→ 详细
- 主持人:让 FDE 兼做 eval:本届大会第一次设 FDE 专场,「每家实验室都在官宣这个,简直疯狂」。他非常想推动、而且在 Cognition 也在推的一件事是:让 FDE 不只是做销售和解决方案,还要去做 eval,当 eval 工作者。 他也坦白自己确实是把 FDE 当销售看的——「你越是为客户定制解决方案……」→ 详细
- Shane:「FDE 不是销售,FDE 远远不止这些」:他先给了一个很宽的定义——「我把后训练(post-training)定义为:从预训练到最终用户体验之间的任何环节,任何环节都算后训练」。他拿这个定义来回答「怎么定义 FDE」——言下之意,贴着客户的那一段也属于把模型做好的链条,而不是模型做完之后才开始的售卖环节。→ 详细
- FDE 的真正产出是「双向洞察」:Shane 说 FDE 最早大概是从 Palantir 那边来的、历史渊源不同,但关键「不只是跟客户一起干活、确保他们知道怎么用」,而是提炼出能帮到双方的洞察——客户可以围绕怎么用模型搭很多 harness(包在模型外面的提示词、工具、流程编排这类脚手架),实验室则可以在非常上游的地方改进模型。「怎么把客户反馈传导到建模上,我觉得这更像是我希望 FDE 扮演的角色。」→ 详细
20
真实任务怎么让模型翻车:地毯图案、耳环试戴、IKEA 的「哪种蓝」
- Nicole:想跟真在用模型的人聊:她接着 FDE 的话题说,能真正跟正在用模型的人聊、了解他们卡在哪儿,对团队真的很有帮助(「我就不替别人许诺时间了」),「因为说到底,那就是你实际想用模型去完成的真实世界任务」。→ 详细
- 两个翻车例子:做室内设计的人想把一个图案铺到 10 种不同尺寸的地毯上(有时还是很定制的尺寸),模型没法用同样的方式把图案复刻出来;有人想给耳环做试戴,耳环有特定尺寸、头也有特定大小,「你要是真在试戴,比例就得说得通」。很多真实世界里确实会发生的事模型都会翻车,而「有些事情我们根本想不到——我们自己不会拿模型去做那些任务」。→ 详细
- Dumitru:品牌语言是个模糊问题:做广告活动时,品牌方有自己的品牌语言,往往就是一堆图片或 PDF。IKEA 的品牌语言是什么?蓝色加黄色?圆桌上有人接「但具体是哪种蓝」——品牌方非常在乎色调,随便一个蓝配随便一个黄,「那就不是 IKEA 了」。→ 详细
- 研究产物 vs 产品:Dumitru 说这类东西「不一定属于我们开发前沿模型的那个职责范围」,但他们「从根本上就是想打造人们会拿来解决具体任务的产品,而不只是研究产物」,所以了解大家真正在乎什么很有用。→ 详细
21
闪电问答 / 收尾
本期为大会圆桌,无闪电问答。
- 收尾:主持人感谢三位,说他们在短短两年里做出了 Nano Banana、Veo、Omni 这么大的进展,「也不知道你们还在酝酿什么」;他说 Sora 关停时自己挺失望,觉得生成式模型需要更广泛的探索,「而不只是编程」——圆桌上有人笑接「我们当然喜欢这个」,主持人补一句「我们爱编程」后致谢收场。→ 详细
22
联系方式
片中未提供嘉宾联系方式。
- 片中推荐关注:fofr(X 账号名;前 Replicate,现在是 Google DeepMind 团队里专门试模型能力的匿名创作者)——想知道新模型「到底能干什么」,圆桌上称他是头号必关注的人。→ 详细
- 片中提到的论文:《Video Models are Zero-Shot Learners and Reasoners》与后续的 Vision Banana 论文(Shane 提及)。→ 详细
- 世界模型定义推荐:Jitendra Malik(UC Berkeley)的定义、Schmidhuber 1990 年前后的定义(Shane 推荐)。→ 详细