E246｜何谓蒸馏？聊聊硅谷如何看中国开放模型逼近前沿

频道: sv101.fireside.fm
视频: https://sv101.fireside.fm/259
原文语言: zh
统计: 共 22 轮

`[0:00]`

大家好欢迎回到硅谷101 我是奕文硅谷前沿AI实验室的商业模式大家应该都不陌生把智能封装成API再按Token出售给用户但现在几家中国实验室正在用开放权重模型挑战这套模式7月27日月之暗面正式发布了Kimi K3的完整模型权重在此之前 K3的横空出世以及它在多项测试上展现出的竞争力都已经说明了一件事开源模型正在逼近甚至超过最强的B元模型这意味着企业未来可能都不再需要完全依赖OpenAI或者Anthoropic也可以部署定制和掌控自己的模型K3的发布也在硅谷引发了一场更大的讨论过去几周包括英伟达在内的数十家科技公司和机构签署公开声明呼吁美国支持开放权重模型和更开放的AI生态但与此同时也有批评者提出质疑能力如此强大的模型是否应该开放它会不会带来新的安全风险中国模型的快速进步又在多大程度上涉及帧流所以在这期播客里面我们邀请到了两位身处这场变化中心的嘉宾前Hugging Face亚太开源生态负责人王铁镇以及Tiny Fish联合创始人Keith Jai我们一起讨论了中国开放模型为什么能在这么短的时间里逼近前沿最近争议很大的帧流到底是什么又能解释多少模型能力呢当开放模型持续压低token价格它将如何冲击币源实验室的商业模式又会怎样改变整个agent应用的生态那其实我们录制这期节目的时间是北京时间7月28日的上午昨天呢月之岸面发布了Kimi K3的完整模型权重那其实K3从7月16号的API上线以来在硅谷的热度可以说是居高不下而且呢也成为了硅谷最近讨论开源模型的时候最重要的案例之一那我想先请两位从你们的观察就是来回答一下这个比较大的问题吧你们觉得K3真正让硅谷感到意外的是什么要不先从Kis开始因为你们公司是被塞在硅谷的吗其实如果我们稍微take一点点step back呢整个这个时间轴呢其实是有几个部分的最早的当然是从deep seek那个时候开始但接下来呢最近的两个呢一个我认为应该还是回到了GLM就是自己到AI他们的这样的一个观点下过去的几个月里嘛整个AI对硅谷带来影响变化是极其大也极其快的在年初的时候那个时候所有人在讨论的问题就是说我们要赶快用AI当然很快呢当时是Uber包括其他几个公司大家就开始晒了账单所以账单已经没有办法再支撑了就是一个月花了一年的预算等等等等在这样的一个环境背景下CAI以及中国的这些模型开始引起了新的讨论包括当时的cursor来用了中国模型啊等等的这些事情因为Kini 3作为一个open source的一个model它的能力它其实达到了一个在很多人看来很新的一个高度那在一个costsovereignty等等讨论情况下这样的一个新的群体的开源模型到底会走到什么一个程度以及它对所有的遗元模型会带来一个什么样的冲击它已经超出了说是一个讨论而是更多的大家在看在使用的情况下具体应该怎么样的做调整对铁针有什么要补充的吗对我特别同意K3的说法我觉得K3的发布并不是一蹴而久

`[3:38]`

它实际上是有一个漫长的铺垫的过程从去年年初的这个Deep Seek V1那个时候第一次带来了开源版的ThinkInCent让大家知道推理模型是怎么做的然后那个时候就非常有意思因为我记得当时拉斯达克跌的也很厉害那个时候大家就在想中国模型开源模型已经非常非常接近必然的前沿模型不管是从硬件生态整个AI的估值体系还有模型公司的生态大家都有一个反思结果我发现过了一年大家发现是一个朗朗的故事因为过去一年的开源和币源模型的性能的分化实际上是非常非常大的币源模型可能能做到月更开源模型可能是G更在性能上不管是Opus还是4.6Opus 4.7Opus 4.8其实都是远远领先于开源模型的但是最近几个月发生了一些变化包括K3刚才说的这个G1M5.2我也是中度在使用我已经用这个G1M5.2完全取代了这个Opus 4.8的一些功能但是大家觉得可能还好因为美国模型又出下一代了只要B1模型领先于开源模型超过一个时代没有太多可以担心的大家还是要用最好的B1模型所以这是一个时间点然后大家就在说OKG1M5.2挺好的但是我们不担心直到过了一段时间大家发现K3出来了K3不是说跟Opus评级的一个问题但是基本上已经追上了Fibro甚至在某些场景上要比Fibro做的还好那B1模型瞬间就发现自己没有一个互生核因为开源模型跟自己又是回到DeepSeq Re的那个时代跟自己又是评级的一个时候所以大家就很FOMO然后又很担心说那我们整个AI固执的泡沫怎么办然后我们整个场景是不是还可以按照过去的模式继续运转下去大家还是要用B1模型也有可能为了我们要完全转向一个急于开源模型的生态所以美国内部就会有很多讨论那他们关注的点实际上有两个第一个是Fibro在讲自己非常不安全所以我们要限制这个Fibro模型的实际上更多的是之前的那个Methos如果有一个开源模型它的能力已经接近Fibro是不是它也是不安全的然后你又把这么一个不安全的模型给开源出来那你冒着什么心态然后另外一个话题就是说美国人就会在想说你为什么能够在这么短时间内好像就在这几个月连续取得这么多的突破你一定是在争取我的模型Fibro和K3的就是实际用户能用上的这个发布中间只隔了大概15天左右这也是一个非常有意思的话题就是说K3到底有没有在争取Fibro我个人倾向于是没有的因为你十多天连模型发布的准备都还不及你和他们说收集到足够多的语料然后并且真的有废话所以K3这个时候发布像DeepSeek V1当年一样有着非常非常多的话题然后大家也对Kimi这个公司非常有兴趣包括杨志林之前的一些观点非常有兴趣所有这些加起来就是K3之所以这次在硅谷取得这么大关注的一个原因当然很快后面中国模型像Minimax像千问都要发2T到3T的这个模型甚至质朴可能也会有一些动作所以后面我们可能会看到更多除了K3之外其他中国模型在硅谷引起的非常多的考虑所以我们就拭目以待这个行业是变化非常快然后也非常非常有意思

`[6:32]`

对我觉得你提到两个非常关键的问题就是我们这一期节目也想深入探讨第一个就是一个能力如此强大的模型它去开源到底安不安全第二个就是关于真留了指控的这样一些问题因为你们都提到了硅谷对于中国开源这件事情整个时间线上的一个变化然后对此的态度一个变化我想再深履下这个时间线所以说在GLM之前硅谷对于部署中国开源模型的态度是怎么样就是从企业的角度来说有没有因为成本的考虑在某一个时刻选择我就要从这个安西套的模型换成中国开源的模型这个大概是在一个什么时间点发生的这肯定要分行业嘛比如说有些行业它就是一个非常敏感的行业那就by nature它不可以使用其他国家模型的从美国来说嘛当然这个东西适用在其他一些地方比如说欧洲的一些国家包括日本等等地方但与此之外呢AI的变化是极其快其实很多时候呢大家第一个反应应该是在讨论说我们怎么样来使用模型其实很多的时候呢应该考虑的是我怎么样用到最好的模型Cost这个问题只有在上了一很大一个量之后才会变成一个更显著的问题就算从硅谷来说成了一个大规模上量级的使用是因为Coding整个这一块所带来的一个巨大的变化吗Coding之前其实大家大多数的一个消费场景是RAC但其实这种RAC的对Token的消耗量往往无法跟相当于Coding一开放之后所生产力所带来的改变所以大家最大的一个调整是Coding之后其实是从去年大概9月份前后吧Anthropec开始比较大规模的推动之后才开始的那在6个月时间里Coding从一个大家赶快去需要到突然一时到说我花了太多钱了那就包括从我们这样一个公司来说才50多个人一个月其实整个消费也是大概是6个数左右的美金那其实是一个很高很高的Cost不要提那种更大的公司更大的企业都会面临很多挑战的而这种转向几乎就是在一个月之内发生的而智谷当时的推动呢因为不是开源嘛它虽然没有改变事情本身但它从价格上当然对很多人来说说哇原来个模型可以这么便宜又这么好其实很多就开始更多的去看比如说签问啊等等的这种一个开源模型所带来的进展了而那这回Kimi的话相当于在大家这样一个焦虑的时间点上更高地推动了一步其实都在很短的时间内发生的但整个恋爱行业有点像是天上一日人间一年这样的一种感觉进展实在很快对所以其实K3相当于是再次加深了大家的这个印象就是现在的开源模型的能力已经可以做到和币源模型能力一样强了所以在这种情况之下企业才会去做这样一个成本的判断就像你刚才说的今年的前几个月大家主要是在Token Maxing去最大化这个Token的使用量那现在可能是一个Token Optimization优化的状态对其实这个东西我倒感觉呢不是说是开源模型就跟币源的达到一样强第一点是整个成本另外一个主要的问题呢就是所有权如果模型一切都是取决于对方是否开放啊这就是Fable今天早一点Athropec的这个事情其实对大家影响很大的说突然有一天美国商务部说这个不可以用了那就一夜之间这都不可以用了

`[9:58]`

那之前你做的部署之前什么可能都没有了那这种情况怎么办很多时候大家就会发现说那我可能不需要用最好的模型前一段艾森哲做了一个内部的调研嘛艾森哲作为世界上最大的咨询公司之一他们又是专门做AI相关的其实他们的员工使用模型做的最多的事就是生成PDF那这个东西其实你不需要用最新模型去做的对成本上我是这样想的为什么开源模型的推理成本一般会比币源模型要便宜它有几个结构性的原因第一个如果你看币源模型成本拆开看的话那它一部分是实际买硬件去做推理的固定的成本另一部分是说它要为这个模型付一个premium因为你这是一个币源的这个模型它卖API的时候肯定是带了币源模型本身的一个成本但如果我们去看开源模型推理的一个成本的结构体系比如说Fireworks比如说Together AI其实只有一个硬件的成本和它自己为推理服务所赚的钱它并没有为模型额外的付钱这是现在的情况未来可能会变化所以从结构上来讲它应该是会比币源模型要低的第二个也要看到中国开源模型实际上一直都在卷一个东西叫Skilling Efficiency在你去做Skilling的时候是不是能够同时把成本降下来那Kimi K3的那个报告里面有一个图那它横轴是说你的Flops然后纵轴是说你达到同样的模型的能力比如说用这个模型训练的时候这个Loss来衡量它有两个曲线然后一个是K3一个是K2我们看到说虽然K3比K2大了一倍甚至还多但是实际上它的Skilling Efficiency是扩大了2.5倍的也就是说K3通过一个模型架构上的眼界达到了模型更大且模型更Efficient的这么一个效果那这个也是导致成本能够快速降低的一个原因这里面起到作用最大的可能就是它用的KDA和其他的一些优化的技术这一方面比如说KDA或者是RWKVA或者是其他的一些Linear Tension技术是国内每一家厂都在研究的但是我们很少看到海外的碧原厂比如说Anthorby或者ChangePty去讲说它用了什么样的这种技术其实Linear Tension整个这个领域目前最火的能让大模型更便宜的技术的这个领域主要都是由华人的researcher主导所以这个是可能开源模型另一个方面的优势因为它出生在一个算力受限的国家所以它天然第一天就很关注这个模型训练和推理的时候是不是都可以变得非常非常的高效这也就导致说为什么开源模型的成本会低第三个原因就是说国内的开源模型实际上现在没有足够的算力去scale到那么大的一个规模网上有传言说Fable这个模型可能它的本体有8到10T那么大但是K3的话它实际上只有3T不到也就是说3T的模型可以跟10T左右的模型达到同样的效果单看这个尺寸的话其实我们也能想象推理成本本身也是有一个巨大的差别的开源模型可以以更小的模型做出更多的事情所以它会比比原模型更便宜我觉得这个特别有意思因为其实我本来有一个关于算力的问题因为从deep sea开始大家就是在说中国的整个模型

`[13:02]`

是算力受限导致创新倒逼的这样一个叙事那现在听起来其实K3的思路也还是一样的但是虽然这个模型结构的演进会带来很多的方便但是在工程适配上确实带来了很多的挑战这也需要很多额外的工作才能够把理论上的这个极限实际在工程上做出来所以还是要给中国应付着专家们打扣是的既然我们聊到了KIMI的能力还有训练这个方面我们就来解决一下帧流这个争议吧因为你们之前都提到了Anthropec对于包括月质案面在内的三家公司Deepseek月质案面和minimax三家公司在今年2月提出的帧流的指控包括最近KIMI把K3放出来之后其实美国的政府也有所介入提出了针对中国开源模型是否要限制的这样的一系列问题并且在讨论相应的政策这个网络上也有很多的讨论我觉得咱们先做一个科普吧就是帧流到底指的是什么因为我觉得其实Anthropec它说的帧流和我们在说AI训练当中帧流的这个过程其实之间还是有一些细微的区分的天真要不要先帮我们解释一下对帧流实际上是一个现在被用案的一个词然后很多不同层面的帧流的这个词语都混在一起从纯技术角度帧流是一个非常中性的词帧流就是说我现在有一个大的模型然后我现在另外有个小的模型我怎么样让这个小的模型学会大的模型的一个能力它可能有很多种方法最传统的方法就是说我们看一下大的模型推理之后它输出的这个logits就正常我们用比如说币源模型你是看不到这个logits它logits就是说每一个位置上每一个token它的输出的一个概率然后让小模型去学这个概率的分布比如说你用币源模型你能拿到的就是它最后sample就是它采样出来了哪一个词你是没有办法反推回来它的分布的所以用经典的我们聊的帧流的这个技术的词汇你是没有办法做到比如说我们拿一个开源模型然后让它去学会fible的这种事情所以本身我们说这个帧流实际上是一种乱用的现在大家谈的帧流更多的是说利用币源模型生成出的文本来学习然后让这开源模型拥有币源模型的一个能力那这个事情其实就非常controversial就是说起来就非常有意思币源模型可以拿所有人类的数据去学习然后学完的东西在被币源模型输出之后不能被别人用来做下一个模型这不是很可笑吗相当于是币源模型炼了一个宝典然后它就把所有的语料都扔掉不告诉你说它是在哪儿学的也不给你讲说它学到的这个东西是什么不允许开源模型拿它的这个输出去训练或者换一个例子有人读了一本书然后他拿这个书的内容去写了一些自己的创作跟所有别的人说你不能读我写的这个东西实际上就是一个非常非常有意思的点就是反权法是不是能保护币源模型的输出不能够被其他模型拿去做训练那在这个点上开源模型实际上非常非常开放R1出来的时候它直接说我们支持所有人去争取我的开源的这个模型我甚至官方推出了一些数据集和模型然后让大家可以去蒸留那蒸留有很多好处比如说大家实际需要的是一个非常小的一个比如说3B的模型那你可以把Deepseq某一个方面的能力给蒸留进去而且Deepseq

`[16:15]`

是直接给你开放logits所以你想要去做传统意义上的蒸留你是完全没有问题的Kimi也是一样就是它其实在License里面并没有明确的限制说你不能把这个开源模型的输出用作提高其他的跟它竞争的这个模型另外一个层面抛开这个就是有很多人说蒸留是什么呢当我用这个开源模型的时候这个开源模型会自己说我是Cloud你问这个开源模型你是谁你不要加这个System Prompt他就会说我是Anthorpeg我是Chattgbt然后很多人说你一定是在蒸留这个避原模型实际上这是一个数据污染的问题在Opus 4.7的时候我记得如果你把System Prompt拿掉然后你用中文去问他说你是谁的时候他会说自己是签问其实也就是一个数据污染的问题因为各种模型的输出已经在互联网上大量的存在了所以这些模型在预训练的时候会学到各种不同的身份导致他意识有点错误那解决办法就是你在System Prompt很明确地跟他说你是谁也针对性地做一些微调和训练但是这个问题肯定是没有办法完全得到解决的总会有一些情况下这个模型会对自己是谁的这个认知有一个错误我并不觉得说它是一个蒸留的问题说后来K3有没有蒸留的这个事情那我为什么强信它并没有蒸留是因为蒸留是一个训练的过程它是你在训练的时候去学习另外一个模型的表现你学的这个过程实际上是非常漫长的就是一个经典的这个模型训练可能需要三个月那它绝对不可能在比如说十多天就积累到足够多的语料然后去学习然后另外一点为什么开源模型其实很难从B元模型蒸留是因为B元模型不给你暴露它的思维链就B元模型蒸留开源模型是非常非常容易的因为开源模型已经把所有logic所有的思维链全都暴露出来所以B元模型想要去注意完全没有问题但是开源模型如果他们真的在蒸留并且想蒸留这个B元模型的话实际上是很难很难的它又不给你暴露这次又不给你暴露思维链它只给你暴露最终的结果如果说我们看到一个人做事情的结果我们就能学会他内心怎么想的话那我们人类社会互相学习也太容易了包括我们在去向某些人学习的时候我们需要打开他的内心知道他内心是怎么想的我们只看他的结果实际上是很难学会他的行为所以B元模型不棒过他的思维链就导致B元模型非常难被蒸留那我们也很难通过B元模型来提高太原模型的一些能力比如说我们从这些前言实验室Enthropey和OpenAI的角度来看他们对于蒸留的担心你觉得是出自什么样的证据也好或者他们的经验也好呢我们怎么样去理解他们最近的这些指控呢我觉得抛出蒸留这个概念的人其实不见得是基础圈的人每个公司肯定都是有不同背景的人那大家竞争或者是怎么样它肯定是有一些方向和战略那不见得说是技术圈的一个蒸留的指控可能更多的是一个比如说商业目的啊或者是给大家一些预先的植入就说啊其实开源模型没有那么好啊它都是蒸留B元模型蒸出来的或者是怎么样你也很难抓到一个具体的事实去说啊你确实是在蒸留其实我觉得这些B元厂商借着蒸留这个名号其实也做了很多很夸张的事情

`[19:16]`

比如说他们曾经把几万个账号被质疑是在蒸留数据的这个账号给关掉那其实本质上就说明他们实际上在看所有用户的数据他们才知道他觉得谁在蒸留所以我觉得整个这个事情其实就有点像是所谓的这种国家安全的自我强化的一个预言那你总要有一个靶子然后你去照着这个靶子去打说不定能够草打兔子然后找到一些什么东西如果能出一些社会影响力当然好如果出不了那也就这样对吧技术圈其实一直对大家的蒸留的这个说法有很多质疑但是也就这样了蒸留本身是一个中性词但现在蒸留已经变成了一个贬义词但事实上呢蒸留本身呢首先它是一个很标准的一个技术所有的公司包括OpenAI啊Google啊Athrope大家其实都在用大模型蒸留各种小模型这都是已经存在的嘛第二个误解呢就是把模型能力完全归结于蒸留就模型只要是比较好了它就全都是因为蒸留但事实上不是的嘛如果这么简单的话那所有人就随便就训练出来一个模型了那这里面它的前化学习啊数据工程啊架构的各种创新啊包括最开始Deep6所做的很多东西啊这是一个非常复杂的问题蒸留呢可以让你很快地去达到一个及格线而像Kimi3呢它其实已经远远超过及格线了嘛因为蒸留它能省的呢一个是比如说是算理第二个呢数据标注上其实可以省不少的一块的东西的当然还有时间它的迭代啊什么各种周期也可以变得更快以及呢很大的一个挑战就是对齐嘛但是从本质上它无法实现超越或者是达到一个上限的所以呢目前的很多的时候关于蒸留的讨论呢它其实会落在法律和商业的伦理层面而不是一个技术层面的讨论了因为几种情况被认为越界的话它不是一个技术的越界而是比如说它违反了模型的服务条款第二点呢可能就是规模化或者系统化的用对方的API去提取大量的训练信号第三个呢可能就是涉及到这个模型的权重啊商业机密直接窃取了关于KIMI是不是蒸留吗或者说中国的open source这些模型大家是不是蒸留这个情况吗我认为就是因为这是一个非常抽象的概念它又被简化为一个抄袭所以其实好多的主张是混合到一起了我们应该把它给拆开来看第一个呢有没有中国的一些实验室可能是不是系统性的没有经过授权调用了比如说包括cloud在内的这类的frontier models它们的API去提取训练信号很多的证据其实围绕在这里的比如说账号的大规模的自动化请求啊各种调用啊这个是可以被检测系统所抓到的但第二层呢很多的一些指控呢比如K3呢是靠蒸留非波5拿到的呀什么的这个是证据非常薄弱的时间上来看嘛就非波5的话它是7月初吧1号还是2号刚开始的中间其实很短的要在两周左右的时间把一个牵沿模型换成另外一个训练数据整个跑这个其实是极其困难的一个事情第三点呢蒸留这件事情本身让这些开源模型啊包括K3在内所做的成就吧是不是就不make sense了这个我认为是一个错误的观点因为蒸留就是一个比较久的一个技术模型输出本身呢它很多时候不受传统版权法保护从这个角度的话它其实还做了很多东西的它本身的话还是实现了很多技术上啊包括各方面的一些推动和革命的

`[22:59]`

就算可能有一些这个APP再去蒸留其实中国模型开源模型的成功实际上可能有比如说十个例包括刚才我们说到模型架构包括Infra上面的一些工作包括一些中文数据的一些工作等等其实可能都是非常重要的点如果说美国的这些前沿的这个APP只关注蒸留一点的话其实他们有点只见树木不见森林可能会完全忽略掉中国模型的其他方面的先进性这是因为涉及到法律或者是商业上的一个伦理道德的很多东西所以这个其实很难做出一个具体的说是不是这样的一个判断但是我感觉目前所有的证据应该倾向于指向的是可能会存在一些没有授权的大规模的数据抓取行为但并不代表说能得到的结论说Kimi3包括其他在内他们的核心能力来自于蒸留尤其是蒸留Fable这两个是不同的事情是的是的对我觉得这里两位都回答了两个核心问题一个是到底有没有蒸留第二个是蒸留够不构成这个模型的核心能力我觉得是非常好的总结其实我想再从K3的角度来看一下这件事情其实铁证你提到了K3的这样一个商业授权模式我觉得也是这次技术报告放出之后特别有意思的一个点Kimi他使用的是一个单独的Kimi K3 License他规定了如果一家公司他卖的是模型并且公司以及他的关联方在连续12个月内的总收入超过2000万美元或者说这个公司他在把K3和他的衍生模型用于商业服务之前需要和月之案面另外签署一个协议嘛而且这个Model as a Service就是对于这类模型公司的定义不包括嵌入具体产品功能的终端应用其他的就是内部使用月之案面官方产品和其他的合作伙伴也不包括在内嘛这样一个商业授权协议体现出了Kimi商业化上的一个什么样的趋势吧然后以及我们之前有没有看到过这样的一协议第一个我觉得赚钱的开源模型才是好的开源模型这个事情可以有几个佐证第一个比如说之前我们看文生图模型领域的翘楚这个Stable Diffusion它后面是由Stability这个公司研发的它这个模型一直没有办法赚到足够多的钱所以就渐渐销声匿迹劲了第二个就是签问签问可能也是因为开源做得很好但是商业化做得不好所以我一直觉得能够赚钱的开源模型才是可持续的开源模型才是可以让我们一直享受下一代开源模型的这种一个模型第二个就是这个license赚钱这个事情其实Kimi不是第一个提出来的当年的开源模型的祖师爷拉马他们当时在license里面也有一个限制当时大家不是特别清楚具体他这些东西要怎么执行那Kimi这一次呢就把具体执行的这个内容都给写得很清楚也是比较可操作的我觉得这是实际上是一个license法律或者是商务层面的一个进步第三个就是他现在把这个东西写清楚之后很多专门做模型推理和云厂商实际上没有办法去take free ride因为之前很多开源的一些数据库的项目现在最担心的就是云厂商没有出工没有出力然后拿这个开源项目部署在自己的云上就可以卖钱了所以这个free ride的这个事情实际上是开源社区一直想要避免的那之前在开源软件时代

`[26:16]`

大家都想出了很多办法比如说可以有两个license或者说专门有一个license排除对云厂商和一些专门做线上业务的人的排除那我觉得Kimi也是延续了这个精神包括MAS厂包括这些云厂他们需要在自己通过开源模型赚到的钱里面给Kimi做一些分成我觉得这也是非常非常合理的可能是一个反常识的观点就是云厂和这个MAS厂实际上应该是非常欢迎Kimi找他来收钱的因为只要你来收钱就说明你跟Kimi有一个官方的认证关系大家如果去看Kimi的观光的一些发布它实际上是有一套vender verification的流程的就是你只有过了这个流程你卖出来的token才能被证明说是好的token包括准确性啊包括性能啊都是有保障的如果你连这个vender verification都没有过你都没有给Kimi付钱你都不是Kimi的官方合作伙伴那大家可能也不愿意去采买你的token从marketing的角度说那另外一点就是其实这些MAS厂和云厂包括一些小的专门卖推理的公司其实它整个的business都建立在他们能拿到不限量的开源模型并且不停的用开源模型做推理卖给它的客户这个点上所以他们也非常希望开源模型的生态是一波接一波持续不断的他也希望这些开源模型公司是能够赚到钱的不然如果有一天大家都不开源那这些比如说拿很多融资的专门做推理的厂或者是买了很多卡然后想要自己做推理的Neolab它的整个business logic就不成立了所以说现在有一个能够让大家整个生态持续发展的方式大家应该都是非常非常欢迎的我相信这个应该不是第一个尝试这方面license的公司Kimi之前MiniMax其实也做过一些尝试后面我们应该也能看到更多的企业做更多不同的尝试我们能不能稍微和别的中国的开源厂商做一下对比比如说我理解千问的这个商业模式可能是回到他们的云服务这个能不能跟我们解释一下每家厂商有什么不同千问的商业模式肯定是绑定阿里云但这只是过去的一个状态如果说Kimi的这个license转变是很成功的大家也都愿意付这个钱并且改成更紧密的整个生态的一个连接的话那我相信其他家去复制这个模式也不是一个不可能的事情其实这个逻辑本身是不信的比如说从早年的MongoDBElastic其实大家都做得差不多因为那会儿云厂商大家很多时候都做白嫖所以整个这个逻辑MITApache都是在这种情况下出生的包括Lama其实也是这样的它的整个这个逻辑也是对着当时非常大的MicrosoftAmazon等等AWS这样的东西来设计的所以其实Kimi的整个这个设计应该是两块第一块就是一个云厂商因为其实你可以想象像现在非常火的TogetherAIFireworks其他核心都是靠这些开源模型来赚很多钱那这是一份中间商的差价第二一部分呢其实就是中端应用方那也就涉及到了比如说Cursor之类的它是一个中端的时候那你的这个情况应该怎么样这个其实已经是一个非常细化的了那这个其实就回到呢

`[29:19]`

和B原模型啊或者B原整个这个Frontier Labs在打仗的这样的一个场景里来就看比如说Moonshot它现在核心呢应该是靠开源的这样一个逻辑去铺量嘛去挤啊包括FNI啊Anthropec这样的一些生存生态或者生存方式以及形成一个新的新智商的占领但是呢与此同时呢这个事情也非常新因为跟过去Cloud不一样现在的情况下它已经没有办法自己去能承担得住这种一代又一代模型迭代训练成本了所以如何能保证开源这样的一个大的叙事但同时呢又不能就把自己最好吃的蛋糕糕交给大家随便去白嫖这种情况应该怎么打所以这目前来说这是一个相对妥协的一个结果但是最难的角度呢就是落地就执行情况你怎么去知道一家非中国本土的公司在过去的营收达到比如2000万美金应该是一个坎嘛那怎么去衡量呢然后就很多公司它本来就是AI Native公司你也不知道它赚多少钱这是打官司到时候它因为这是现在是自觉申报嘛那申报这个东西像Cursor这种是容易看到的那很多公司你怎么去看呢打官司跨境执法怎么办这东西从传统的角度都没有去解决的事情在今天这个AI的行业里怎么去解决呢其实有很多很多的灰色地带的这个其实是一个非常难以去接听的事情在我看来那你们觉得这个有什么过去的案例是值得参考的吗无论是成功或者失败的例子还是说现在还是一个太新的东西我们没有办法去衡量确实收钱这个是一个很难的事情尤其是license收钱就是过去大家一直有抨击说中国的企业尤其是中国的大厂它根本不看license我只要偷偷地用然后你找不到证据没关系但是实际上我看到这几年情况在快速地好转包括阿里我知道他也是付了很多license然后包括一些非常传统的软件比如说服务器的什么load balance什么的其实在国内也都能收上来钱了其中背后的原因我觉得有几个第一个就是说至少这一代程序员大家还是有比较强的给license付费的一个意识第二个呢其实厂家也发现带着原厂一起去做一些事情一起去co-marketing实际上是能给他带来很多好处的比如说某云厂可能对某功能有一个定制化的需求他自己不一定能搞得定或者说他就算自己搞定了他对开源代码的改动是非常有侵入性的导致开源代码一更新他这边的所有的魔改全都不能工作所以每次更新都是一个非常非常痛苦的过程这些云厂通过资助这个开源项目或者买他的license或者加入基金会等等他可以跟这些原厂有一个非常紧密的连接他可以说OK我需要你帮我把这个功能推进去下次我更新的时候我就很容易这种事情多了之后大家就养成一种意识说那为什么我们不跟你原厂搞好关系我要偷偷摸摸摸我让原厂还帮我宣传不好吗第三个就是包括Linux基金会等等这些机构在国内比如说通过美国企业的OSPO就是开源办公室的一些合作实际上里面很多信息现在是非常透明的就大家知道谁在用什么而且这个人员流动也很频繁尤其是非常非常大量的使用然后你想藏住实际上是很难很难的一旦你被发现有明确的证据链之后法院也是会支持

`[32:45]`

开源一方因为这边已经有一些比较好的判例了第四点我们再回到KIMI的这个license能不能说上前来因为我们知道KIMI这个模型实际上是一个非常大的模型它是一个3T的模型想要把这个模型在语音上面服务好实际上是很难的虽然我们看到像VM像SGN都对它做了一些社区向的支持但是真正能够把它大规模跑起来并且有很高的性价比然后有很高的使用体验并且把它跑起来其实全球也没有那么多的机构第一个你首先要有几百张几千张几万张VD的卡那首先你就是一个要面子在这个行业里面靠品牌吃饭的一个人如果你没有一个很好的brandingVD甚至不愿意给你卖卡然后第二个就是你肯定在这个里面投入相当多的人去做所有的推理优化了你这个事情你是藏不住的然后第三个所有的API的售卖其实大部分都是公开的一个售卖就是你想要走量达到KIMI的那个量级你需要自己有一个API然后放出来让大家买一些token或者是面向2B的一些场景大家能够在你的网站上直接看到说你在卖KIMI的token虽然你可以藏一部分销售的量我觉得但是大的量你是藏不住的所以综上级点我非常有信心KIMI能卖这个钱收回了肯定是会有一些落网之鱼但是应该不影响他们公司的业绩如果说MyLicense的这个路径被KIMI证明成功实际上这是比KIMI自己去做推理要好得多的一个商业模式这就是无本万利你只要把模型做好大家都直接给你上贡你连自己买卡或者是怎么样都不太需要尤其中国企业可能在买卡上还去面临一些挑战个人情感上我也希望说KIMI这条路径能够走通我觉得这个非常有意思而且其实这是一个很好的过渡如果说License这一套模式可以走通的话它会对B原实验室的收入模式造成什么样的影响呢我觉得第一波影响应该是估值体系今年ChashBT和Anthorpik都要上市吗OpenAI和Anthorpik上市的时候大家就会问你这公司到底值多少钱在开源模型追凭Fibo之前大家会觉得B原模型它的模型本身是一个非常有价值非常有稀缺性非常值得溢价甚至是垄断性的一个东西我记得前几天看到一个笑话就是有一个Hackathon在Hackathon运行的中间ChashBT的服务器断线了然后就没有人在Hackathon去搞东西了因为大家都大家的智能被断供了大家都没有办法继续去做这个事情所以它垄断智能这个事情实际上是比垄断任何商品威力要恐怖的多的多的多所以它天然就值得万亿的市值但是有一天大家发现好像竞争变多了好像不止这几家可以训练模型好像很多家都可以训练模型有了开源模型之后非常聪明的模型变成了一个流通的商品甚至是被平面化变成一个社会的基础服务那这个时候你再去想OpenAI和Anthorby的价值可能就要稍微打一个问号大家就会问说那你商业化到底能做到什么样程度有多少企业愿意在这种开源模型已经遍地开花的情况下还愿意付钱买你的B元模型B元模型你商业的margin能做到什么样然后你后面发展的这个scaling out

`[35:56]`

我是不是还可以投无限的钱让你去无限扩展还是说你现在要抓紧去想一想怎么样让你token的efficiency更高所以整个这些东西压下来这个饼就没有那么容易画得远估值体系肯定是会受到一定的压力的第二个就是说如果说未来所有美国的这个Neo Cloud都变成Anthorby和Chattachity的竞争对手因为他们天然就有开源模型哪怕交一点license他们还是能赚钱比数据中心低价卖给Anthorby还是要赚很多钱的这时候就会发现OpenAI和Anthorby的业务其实很难在有爆炸性的推进了因为所有的这个Neo Cloud他们之间可以互相卷价格他可以把token价格压到很低甚至有的人可能是通过一些资本市场的手段让数据中心的成本在资本开支里面去amortize他的token可以卖得很便宜这样的情况下OpenAI和Anthorby会不会被动的陷入一种价格战其实我们已经看到以前Anthorby和Chattachity它是很高傲的它说封你号就封你号前几个月前我们就看到是这样后面Chattachity为了做一些商业的手段开始了国内外卖送券的这个模式不定期的给大家发一些重制券这就已经开始一些很商业化可能会损害公司的margin但是圈更多用户的一个手段而且我们看到Anthorby最近封号也变得没有那么疯狂可能最后大家为了业绩可能对很多号的管理也没有那么严谨了最后都会反映到他们的财报上面都会反映到市场的竞争里面所以我觉得开源模型的普及实际上是对他们造成了一些困扰的我觉得这也是为什么他们可能会想要提议说禁用开源模型或者是在法律和市场层面去给潜在的竞争对手造成一些阻碍的原因最近有一个背景就是美国的一大批科技公司还有一些机构签署了这样一份公开信这份公开信的名字叫做开放权重和美国AI领导力这个是黄仁勋加入X之后发的第一篇推文所以也造成了很大的影响这个应该是在上周五就是7月24号的时候应该有25家公司还有个人和机构签署了这份公开信在几天的发酵之后大概是达到75家这其中呢Anthoropics是一直没有签这份公开信的当然今天Daryl Molde刚发表了一篇他自己的文章然后也解释了就是Anthoropics对于开放权重这件事情的一个看法所以我觉得这个立场其实特别有意思然后我们又在这个背景之下去讨论他们的商业利益的关系所以我觉得也是形成了这样一个冲突吧在这个背景之下能不能请两位再给我们分析一下Anthoropics现在它的立场是什么样的这个必然实验室到底在这波开源模型中受到了什么样的冲击其实这个公开信我自己感觉啊因为它整个核心就是关于要不要开源或者应该接受开源开放的一个生态和一个必源的生态它的商业逻辑从根本上其实就是应该是一个对立的开源模型它每一次的开放啊肯定都会给专门是卖API这个cost整个的必源的这个带来一个巨大的冲击嘛这是黄人群所被指责的一个点嘛媒体啊其实从芯片啊基础设施这个角度来看那肯定是每个人都能自由搭建一个最好

`[39:14]`

这样的话它可以卖出更多的铲子因为它并不在乎谁能挖到金子而对于模型厂商呢其实核心就保住自己的护城河但是双方所护手的东西在这个环境下就会发生两个完全不一样的角度了整个会走的甚至可能会越来越远在这个利益上应该是完全不会对齐的了甚至你会看到从绿元模型的整个体来看呢它也发生了很大的变化一种呢就是包括我们刚才谈到OpenAI and Topic这种主要是靠可以说是卖API来赚钱的这样的公司嘛另外一种呢其实是包括Meta包括阿里这样的公司Meta和阿里呢都是有自己的分发和基础架构的因为阿里其实主要赚的就是云服务嘛通过开源到币源这样它可以从云服务的角度来去做更多的业务而从Meta的角度来说WhatsApp第一次我发现WhatsApp今天增加了一个收费吧299一个月可以开始收费就它是可以靠自己的这个Insta各种的APP去真吗去实现转移它自己目前受到的开源上的压力但是这两种情况呢是目前为止OpenAI和Authiopic它们都是没有的因为它们在过去一时间主要focus是API的这样一个模式嘛无论是从基础就卖铲子的公司和希望别人拥有API的公司这个角度来说以及就币源公司本身它也已经开始越来越的分化它是一个结构层面的变化我非常同意Kate老师的观点不管你在商业竞争的哪一个层面其实你都希望跟你同层面竞争的人越少越好但是你的上游和下游都是越来越多的那站在Media的角度肯定是不希望这个模型厂是一个出在混乱地位的因为这样它们的溢价权就会很强它希望说自己出在一个混乱地位但是不管是上游的模型厂还是下游的Nilcloud都是尽量丰富的一个生态那么在这种情况下它们去支持开源我觉得也是非常非常可以理解的而且其实Media从早期到现在它一直都是开源非常好的一个支持者这样早期它之所以能在研究员群体里面建立早期的生态让深度学习最早的一些故事全都发生在英伟达的这个硬件上也就是因为它比如说Cuda的这个生态它有一个非常好的开发者社群然后围绕这个Cuda的生态有非常非常多的开源项目从最早贾盈青的Cafe到后面Google的TensorFlow到后面的Pytosch都是搭建在NVIDIA硬件上面一套非常完善的开源软件的体系这种体系就形成了一个非常强的币一旦说你已经成为开源的标配比如说AMD想要进来那它就要跟所有这些开源厂商一个一个去聊说我是不是能够在Pytosch里面做一个基层我是不是能在比如VRMSGN里面去做一个基层那后来者其实要花很多很多的功夫那NVIDIA作为开源的先行者实际上在这里面是有不少红利的相当一部分的所谓的Cuda的护城河实际上都是围绕在Cuda周围的这些开源生态造成的一个护城河所以我觉得NVIDIA来支持这个事情也是非常非常合理的第三点就是Anthorpix其实有点走向邪路它实际上是在以安全的名义为用户增加很多的限制一个最让大家诟病的就是比如说你在用Fible的时候如果你不小心触发那个贼敏感的检测器

`[42:35]`

那它有可能会瞬间给你降制到Oppos 4.8导致一个什么后果呢就是你想要测试Fible的极限能力如果你不是Anthorpix的员工你被Filter限制你是没有办法去做任何事情的因为随时比如说测出来一个不好的成绩你都要怀疑说是不是会降制到Oppos 4.8比如说像我们平时去做一些AI方面的探索哪怕我就是做一个很简单的推理如果我不精心构造这个Prompt我就不要说是骗Fible说这东西不是一个AI的东西很有可能我就是做一个简单的模型的推理然后Fible就直接告诉我说你这东西有风险我不能支持你做这个事情我就给你限制这个Filter我相信它做的这么敏感也是有一定的意义因为我知道Anthorpix里面光做模型外安全的团队都有几百人它做成这个样子到底是故意的还是不故意的这个我不是特别清楚但是我觉得它至少现在的产品形态对用户造成的烦恼是远远多余它潜在的安全的考量的一个让用户如此不爽的公司能够突然发现自己瞬间有好多竞争对手然后大家对自己不爽然后大家都想要支持开源也不是一个非常难以预掉的事情对我觉得这个非常有意思其实中国的模型厂商它并不是从一开始就是开源的其实KIMI K1这个模型KIMI的第一个模型也是一个必源模型而且一开始很多的模型提供商都是去做这样一个必源的商业模式的通过开源我们可以看到可能有更强的分发能力有更多的用户就希望于是把这个名声打出去然后这个开源的好处让很多的模型厂商选择了开源所以我觉得我们做一个思想实验就是说如果KIMI有OpenAI那么强的分发能力和那么高的API收入它还会选择开源吗我不知道就是如果你有这个OpenAI这么多的收入它是不是还会开源就是我觉得可以做一个类比Linux早期是作为一个反抗币源UNIX生态的一个先行者但是当这个Linux发展到现在已经基本上所有的设备上面都在跑一个Linux的时候Linux依旧是一个开源的底层的一个东西所以我更倾向于说只要我们找到开源生态一个可以持续运转并且能赚钱并且能赚大钱的一个商业模式那没有理由他们不开源整个这个东西其实在某种程度上也不一定受实验室自己控制因为它已经从商业竞争开始变成了一种地缘政治的一个博弈就在这个框架下它的这个business logic其实变得是第二阶了其实在这里我还想聊一个公司我觉得Thinking Machine很有意思它在应该是K3发布前的一周前吧也发布了InklingInkling是一个开放尊重的模型并且它参考了Deepseek的架构因为Mira Morali也是从OpenAI出来的其实我还蛮想听一下大家的看法就是Thinking Machines为什么会选择开放尊重这件事情我的理解是它有一个叫Tinker的后训练的线上的服务它为了让用户把这个东西用起来它肯定是要把基础的模型就是Tinker训练出的这个模型的一个结构放出来然后让大家用这样Tinker每次训练出一个什么什么东西它开源的适配已经都完善了

`[45:47]`

所以我觉得从这个角度来讲是非常非常合理的去做一些开源的工作只要说这个开源的工作不会影响到比如说它的一些商业利益或者是什么我觉得是没有问题的另外其实美国学界也在反思说为什么美国的公司做开源做的越来越少了因为像开源模型的这个鼻祖就是Mama那那个时候都是美国公司在领导从Deep Seek出现之后呢美国的参与开源的比例就会大幅的下降所以当时Thinking Machine这个模型出来的时候我就记得很多人就讲说这是一个美国很重要的开源模型等等可能也有一些这方面的考量在美国的一些researcher可能也在想说为什么我们不能参与到开源的游戏里面那么我们也可以对社区做一些贡献Thinking Machine发的这个模型其实它在架构啊或者是在它整个的technical report里面都是有一些很不错的有意思的亮点那也是值得学习的我觉得其实开源界不怕说大家卷起来不怕大家发很多模型然后一个比一个好其实最担心的就是开源界就没有人发模型变成一滩死水只要是有新的开源模型出版总能给大家一些启示每个人在做不同的尝试的话也会让这个领域推进的更快不管说这些开源模型是那个货带Thinking Machine这个模型因为我的理解它的整个方向虽然它是开源但是它跟Kimi完全不是一套打法吗他们整个核心应该就是现在企业都需要一个deploy自己的模型吗他们会帮着企业做微调啊做各种吗这个一套逻辑的话现在是美国非常普遍的一套逻辑因为2B在美国是一个很大的生意而在中国其实不是一个很好的生意嘛就Intelligence我应该是租借的还是我应该是变成自己的那很多的企业现在越来越接受的观点就是Intelligence should be owned而不应该是rent那这就是它的整个的大背景下我好奇比如说你们看到的服务美国企业的场景大家对比如说用Thinking Machine的这个模型或者说用中国的开源模型会有一些技术之外的看法吗或者说大家主要看的点是什么大家主要在用哪些模型对我感觉这个东西就还是看具体的应用场景以及你的vertical垂直场景比如说一些政府端那肯定是不可以嘛包括一些国家可能也不太方便的这就是给了包括Thinking Machines这样的一些公司的模型很好的一个切入点Kristen应该有很多大单但这并没有影响到他的一个deployment因为开源其实他不拿用户数据嘛他其实理论上不应该涉及到这个安全问题但是现在的一个大时代背景是什么都会设计了包括你这模型干什么用你是做coding还是你要做什么但是我感觉大多数的美国公司并不是非常在乎这个模型是不是中国的但是他有没有能力去调教自己的模型这是另外一回事那你觉得当开源模型的能力足够强之后会催生更多提供微调适配企业需求的服务的这样一些公司吗对这个已经是一个现实了日本是没有一个自己模型的它就有一个最开始的Sakana AI但Sakana AI其实没有什么东西出来

`[48:59]`

所以他们很多的时候就是把国外的模型deploy到自己企业里面那在美国的话这家公司嘛它从个人的开发者的使用角度来说它已经没有那么多了Cognition举个例子其实是一个不是被广大开发者所使用的一个产品但是并没有影响到他赚了很多钱从AR的角度来看企业啊政府啊很多的这种客单是有很多的所以我感觉这个是在未来一段时间内的一个现实因为大家是想使用AI但是大家并不知道如何部署或者应该怎么样选择就让一个市场极其混乱又没有那么透明所以就会多了很多的中间商赚差价很多时候大家就会那如果我去找中间商赚差价把这个钱交给像Issent要用最好的模型

`[50:10]`

而这最好的模型就是B元的那你想他们的这个优势是很少的就我为什么需要另外一家厂商去来帮我做这件事呢而这一波你可以看到在过去几个月的时间里包括Open Realtor在内包括另外我们提到的这几家公司他们的估值啊就是AR都是翻倍快速增长的那就是核心利用了中国为主的开源模型这一大批因为中国这一批之外没有那么多开源模型的这个生态多元然后生态的分层实际上对整个行业是一个非常好的事情我们可以拿比如说IBM的兼容机和苹果的所谓的一体机来对比如果说在行业的早期每个人都可以做自己最擅长的事情比如说做模型的做模型做推理的做推理做企业服务的做企业服务那每个人都可以在自己的位置上做出最高效的一个决策也可以做出最快的一个迭代让大家也可以卷得更厉害一点我觉得这个实际上是对行业非常好的一个方法总比像传统中国互联网企业喜欢从头做到尾什么都自己做最后靠的不是一个纯市场竞争来打败对手而是很多技术之外的方式比如说流量扶持或者是封禁一些内容然后来做到这个效果是好很多的但最后会演化成什么样子可能又会回到某一家多大或者是怎么样也有可能但是至少我们在当下就可以好好享受现在这种市场充分竞争的一个业台不管我们做什么都是有非常多的机会明白在这种竞争的情况下对agent行业还有生态会造成什么样的冲击吗正面或者是负面因为agent是一个比较宽泛的概念就是我理解呢你提到的agent可能主要的是关于因为从工作流上的这种具体的这些applications这一层的agent我感觉其实已经发生了很大的变化了我前一段跟一个VC的朋友聊他说这个估值越高我们反而会越愿意投就估值很低的这个agent我反而可能不愿意投了因为你的这一层嘛很容易可能就会被吃掉第二点呢B原模型包括前来的模型如果单纯靠API去赚钱这个事情就是我最好我要是随便的收溢价我也不在乎客户啦什么的这种服务的这样的一个逻辑肯定是已经被拆解的嘛他应该是不是比如说开发更好的harness他会把工程的整个agent这个能力的vertical的调整变成一些新的互乘盒这些事情都已经正在发生了对吧无论是说open cloud也好啊包括其他的harness的这个layers包括后来比较火的loop engineer什么的这个模型很快就可以吃进去所以如果我们讲的是application这个level的话那我感觉这个事情对于整个生态来说会发生很大变化的因为AI还是很早嘛它其实也就是最近这几年在整个长河中它是一个非常短的时间那如果我们把它放在一个五年的时间来看的话我并不是很认为说以后会有很多的agent application的companies了但是回到另外一个角度就是说agent infraagent当它能实现做很多事情包括在互联网上的使用啊它的逻辑它又是一个变化现在的模型厂商啊或者大家在做的时候它是做ISP它都是一个广泛变成一个commodities变成一个像水和电一样的一个消费来说的话

`[53:25]`

但应该还有什么这是一个就我们应该重新考虑的问题嗯是的铁正你觉得呢其实现在我们看到很多agent workload和传统的推理比如说做一个chatbot啊或者是做一个简单的rag它的对模型测的要求是不太一样的比如说之前可能是短输入长输出现在可能是非常长的一个输入然后非常短的一个输出并且它的每英文对话能够重用的prefix就是kiddy cache的重用率是非常非常高的其实这里面也能做很多新的优化在这个模型之外怎么去推理模型这个事情也可以根据我们当下主要跑的这些任务的特性不同然后做出很多极致的优化比如说如果我们能够控制这个harness能够控制比如说cloud code啊或者是open code的这一层我们可以自己去定义一个跟模型通讯的接口那它有一个什么好处呢就是我们可以完全的掌控这个kiddy cache的生存周期那对于很多推理的降本啊提效或者是做一些调度都是有非常非常多的好处的所以我觉得这个行业就是一个方心为爱然后又有太多可以做的一个事情的这么一个状态包括我们今天看到的token的成本用美元折算的单位智能的这个成本在过去几年可能下降了1000倍vnai几年我们能看得到的可能在硬件上还能扣出来至少10倍如果有下一代的硬件或者是有vnai更多的ASIC那可能还会继续再能扣出10倍还有workflow的本身在软件层面能给我们打破不同通讯层的交互然后做一个极致性的优化那我觉得可能还有10倍那也就是说比如说vnai的三年我们还能看到同样的智能它的成本又下降了1000倍那这个对于企业的应用肯定是一个非常非常好的事情KT老师一开始在播客之前说很多企业也都在考虑成本的问题随着开源模型的普及随着整个infra行业的极致的优化其实最终受益的就是每一个有实际业务然后能赚到钱的企业AI应该是一个服务型行业应该是支撑他们的发展而不是说一个抽血机然后把这些实体行业的钱全都赚到AI公司里面让大家付很多不必要的成本所以我觉得未来还是非常非常值得期待的我觉得非常好是很好落脚点最后其实就是想回到我们最开始提到的关于安全的问题因为我们讲了那么多关于开源模型带来的影响我们整体的方向还是非常正面的所以我想再回到硅谷的评论人员还有从业者提出的一个批评就是K3这么强的一个开源模型它到底应不应该开放权重它相当于是一个接近Mysos时刻的这样一个情况包括OpenEd Dean Ball还有Dario Modi在内的人都认为这种接近前沿能力的模型它不应该是开源的在博客的最后我们可以回应一下这样一个顾虑吧开源到底安不安全这个事情其实有很多的数据包括对Kimi 3其实有很多新的数据去来验证的比如说它在Explorate Bench这一个蛮权威的一个数据就网络攻防的测试里面它其实得分是比较低的百分之三十几远远低于整个Frontier Model75以上吧这样的一个数据的当然了很多人认为是不是一种比如蒸留能力的限制但另外一种方面也可能说

`[56:41]`

它没有把最强的攻击性网络这一部分的能力开放出来这也是有可能的它到底是不是一个非常全力公开就带来风险的这个事情我并不认为说现在是有一个很具体的一个东西来支持这个事情因为现在有两种讨论第一个问题是开源模型本身到底安不安全另外一个才是Kimi 3具体有没有已知的安全问题Kimi 3本身我认为肯定是目前没有看到任何的可证据的已知的安全问题但是开源模型的话它肯定会多多少少就是如果它随着更多的公司来做开源我们会应该想这个技术会越来越容易也被更多的人来去调试它肯定会带来更多的安全问题的它的安全问题是相对的我们是基于现在的互联网的设计互联网的环境来认为它是不安全的但是整个目前互联网架构还是基于上一代的互联网架构就我们这互联网核心就是给人使用的嘛那你说难道Cloud Flare这样的一个模式就是对的吗我也并不认为这就是一个终极问题因为当所有的信息本身都已经不是人生成了那为什么我不能让机器再随便获取这些信息呢这不涉及到intellectual property了甚至的所以这些东西都是在一个演变的过程中所以这并不光是开源模型包括就避元模型它也会涉及到很多的安全不安全的一个问题的而这个判断交给谁呢我这个东西的安不安全为什么要交给一家商业公司来做决定说这东西它所有行为就是不安全的这东西怎么去规定呢这现在没有一个很好的答案或者是一个机构来去执行了我也并不认为它很快会有所以这是一个行业整体的一个问题对我觉得刚才Kate老师提到这几点都特别好然后我们就可以拿最近的一个场景做例子比如说Hineface被OpenAI的一个测试的智能体给不小心攻击了故事也很有意思就是这个智能体足够聪明它说我直接去抄答案比我自己去摸索要好得多要不我就顺便把别人的网站给黑了拿到答案这样我就可以直接获得高分这就是一个非常典型的这种安全风险我们可以去想假如这个世界没有开源模型BN模型可能攻击也就攻击了模型的攻击是比人类攻击要更难以追踪的因为产生的这个数据量太大了人倒已经没有办法去看明白说它攻击的这个模式并且从里面拿到足够多的线索所以后面Hineface就说好那我拿模型来分析一下整个攻击的过程然后尝试复现一下看看它是怎么进来的能不能找到说到底是谁在攻击我们然后它就拿BN模型去做测试BN模型告诉它说你做的这个事好像挺不安全的我不能帮你分析网络安全的这个预料这Hineface直接就出在一个非常不利的模式因为可能有一个前沿模型在攻击它但是另外一个前沿模型不会给它任何有用的信息这时候它只能用开源模型虽然这个开源模型可能在模型攻击的这个层面没有前沿的开源模型强但是它实际上可以帮助人类去做很多辅助的分析因为它没有一个看着很敏感的这个filter然后决定说你能做什么你不能做什么我觉得这个才是一个真正的技术评权为什么我们会把网络安全这么重要的一个话题放心的交给两家最前沿的模型公司来评判为什么我们能够让他们去又做运动员又做裁判一方面它可以评价说

`[59:58]`

别人做的事情安不安全另一方面它可以自己有意或者无意的放自己的agent出去攻击别人所以我觉得这个事情实际上是非常非常魔幻的就是有很多人支持BN公司然后打着安全的大气然后说你们都不要做别的什么事情让我来做只有我做才是最安全我觉得这个事情本身就是很不安全我甚至最近在看一些网上的AI剧各种神奇的场景对各种短剧然后YouTube上面也很多那些短剧其实制作都很精良然后我就反反复复去想说这个事情是不是在我们当下也有一些参照性那我不知道是不是一个不合理的比喻就比如说散公司在设计特化的病毒的时候其实也是打着安全的旗号再去讲说我们要治愈人类的一些疾病但我们最后也知道说它制造出来了什么所以我觉得这个里面其实还是需要更多社会层面的监管我们没有办法相信某一两家公司对自己的一个监管是足够到位的我们远远不知道说他们一旦发现自己的技术远远超过于时代之后那他们会不会有一些动力去做一些我们想象不到的事情回到最开始的这个话题开源模型到底是安全还是风险我们需要整个社群有能力去验证说你这个模型到底是安全还是危险我们不是说它模型智能程度达到一定程度就一定是危险这可能是前一模型尝试告诉我们的一个结论但实际上并不一定K3虽然在某些能力上达到了Fible的级别但是它在安全的这个场景里面还是相对安全我个人的一个猜想就是它并没有拿很多印象攻击非常聪明的就比如说黑别人的语料拿去训练它没有这方面的语料模型就算再聪明它也没有办法悟到原来我可以做一些坏事那为什么Untopic或者TachVT在训练这个模型的时候不能够对训练数据做一些过滤而是要过滤用户的行为我觉得这个思路实际上一定程度上是有问题的比如说中国的这些开源模型公司虽然它能够制作一个在某些领域足够聪明的模型但不代表说这个模型一定就能自己找到怎么样去巧妙地攻击别人的方法因为攻击和智能我觉得这两个是完全独立的两个话题你可以有一个人像爱因斯坦一样聪明但是爱因斯坦不知道怎么去黑NASA的网站你可能有一个人没有那么聪明当然也得是足够聪明可能是一个比如说18岁的高中生他就有能力去把NASA的网站给黑了所以智能和安全这两个事情本身有一定的相关性但绝对不是决定性的我其实建议的是说比如说社会有一个足够透明的监管机构那么它不仅要从模型本身对用户最终表现出来的这个行为来评审模型是不是安全因为你在你模型训练完之后不管你对这个模型的使用施加任何的限制总会有一些场景导致这个模型超出你的预期做一些什么事情监管机构更应该做的是看到这个模型用什么样的语料去训练把一些比如说生物安全或者是网络攻击的语料从这个里面删去这样导致这个模型就只会比如说在生物领域它去做一些幻觉我觉得这是一个更稳妥的安全不管怎么看没有开源反而是这个时代最不安全的事情我觉得这个讲错比较好安全与否是一个相对的我们之前跟一个日本最大的公司他们的这个No.2我们在一起私下的一个沟通中他就提到了说当时Fable它不能用了这个事情对他们来说

`[1:03:20]`

是一个巨大的影响影响不是在于说这Fable不能用了本身会怎么样而是对大家来说原来这个东西是不安全的也就是说我做完所有的部署之后突然有一天你可以随时随地一个新的政策也好或者Whatever因为各种原因突然就开始封号或者服务变更调整了你的访问权限这个全都会发生变化而这个是一个当我们涉及到安全的时候其实应该是一起讨论的一个问题因为B元的话整个核心就把东西都交给别人开源模型说白了就是你把整个东西都下载到你自己的硬盘上你不会有这样的一个风险的很多人说开源模型不安全然后它的所有的木论具其实都可以重复地用在B元模型上比如说有人说可以用开源模型去做一些邪恶的事情其实它用更强力更方便使用的B元模型更容易达到一些邪恶的目的它只要把那个filter攻破就可以了它使用开源模型的话需要首先比如说现在部署K3这个模型它首先要搞一堆B300的卡一个机器还不够它需要两个机器那这个成本就很高可能一年用租金就有上百万它还要在开源模型的基础上想办法去补齐它和B元模型的这个能力的差距其实所有这些加在一起比它直接用B元模型然后尝试去攻破那个filter然后让它去做一些邪恶的事情要难得多其实很多我们说开源模型不安全的点完全可以用在B元模型上我记得千万在24年底活的时候有人在Reddit发了一个帖子说虽然千万很好但是我不能用它不是说它不想用因为它是一个技术的知道说开源模型其实是没有什么风险的只是说他们公司的法务和他们公司的各种限制吧就不允许他们在公司内部去部署开源模型那当然这个人也做了一些解释说你只要把这个开源模型关在一个机器里面严格的控制它的输入和输出它实际上是比B元模型要安全很多的但是呢有些人就会有很多形而上的想法说既然是一个中国训练的模型那这个模型里面会不会有一些后门啊比如说它看到某一些输入的时候它就可以输出一些攻击性的余料然后就把你公司内部的所有安全的信息给窃走那我就在想说B元模型不是在这个方向更不安全吗因为你连这个模型在什么时候会输出什么样的东西都完全不了解但是开源模型其实是一个在更可控更受限的这个环境下去执行的一个模型如果你去做的话是有更好的办法可以保障模型的安全性最后一点就是说监管总是担心如果我用一个B元模型那我至少我能够看到谁在用这个B元的模型那我可能能比如说抓到滥用这个模型的人但开源模型的话因为大家可以在自己电脑上跑所以他没有办法做到这个事情这个我觉得是一个时间的问题至少在此时此刻甚至我相信明年也不会发生这样的事情一个足够强的开源模型它的权重还是比较大的它需要在一个比较复杂的推理环境下才能够正确地去执行所以现在抓手可能就是说谁拥有算力那他可能去跑开源模型只有这些有算力的人才有可能拿开源模型尝试去做一些坏的事情所以也并不是完全没有抓手所以现在这个时候去聊开源模型一定是不安全我觉得还是为时过早好的我觉得特别好那我们这个播客就到这里结束了非常非常感谢大家的时间谢谢谢谢好了以上就是我们这期播客的全部内容了

`[1:06:42]`

国内的听众可以通过小宇宙苹果播客网易云音乐喜马拉雅QQ音乐蜻蜓FM荔枝FM来关注我们海外的听众可以通过苹果播客和Spotify或者在YouTube上搜索硅谷101播客来关注我们我们部分的文字稿还会收录在硅谷101的微信公众号上谢谢大家我们下次再见谢谢大家