Hermes 联合创始人谈打造会自我改进的 AI agent——Karan Malhotra

• 第一条也是最独特的一条：那套自我改进系统。它不是单个功能，而是"Hermes 内部一堆小功能协同工作的结果"——prompt 集合、人格（personality）、memory 系统、会朝着你自我强化和自我清理的 skills。效果是越用越好、越来越贴合某一个具体的用户。Karan 认为这就是很多人喜欢它的原因："它更留意你到底在干什么。"→ 详细
• 第二条：它不往 prompt 里塞跟你的工作无关的政策条款。别家 harness（外壳程序，就是你敲命令那层 CLI）自带几万 token 的默认 prompt，里面全是"你不能做这个、不能做那个"。Hermes 除了最基本的安全底线之外不推任何哲学立场或议程——"我们让它在你的任务上要多能干就多能干"。→ 详细
• 第三条（反直觉的一条）：你能从 Hermes 里榨出来的能力，比模型在它自己被 RL 训练出来的原生 harness 里还强——比如 Claude 在 Claude Code 里、GPT-5.5 在 Codex 里。这不是嘴上说说：Wolf bench、Qwen 3 Max 那篇博客都做过 harness 横评，结果显示在他们的任务上 Claude 跑在 Hermes agent 里比跑在 Claude Code 里更好。→ 详细

• 大家一听 alignment（对齐）就想到安全、Yudkowsky、"慢下来"、监管俘获。Karan 说这个词被挟持了——alignment 原本的学术含义就是"让模型跟人类价值观对齐"，而 Nous 对这件事的执念，正是从这个纯学术意义出发的。→ 详细
• 他用了一个很好懂的比喻：用机器学习玩马里奥、目标是尽快通关，如果目标设得不够具体，它会发现"碰到旗杆的结束画面 = 我通关了"，于是想办法直接触发那面旗子，而不是老老实实打完关卡。语言模型没什么两样，它们也 reward hack。"它给你的，只是它拿到 reward 所必需的那点东西。"→ 详细
• 所以那些满屏的 GPT 腔——"哦对不起""你说得完全对""这不只是 X，这是 Y"——不是模型在讨好你，是它被放回了训练时的自然状态：在那个状态里，我的 reward 来自"做最像 GPT 助手会做的事"。用户到底想要什么只是顺路的、工具性的。原话很直白："我唯一在乎的是我的 reward。" 这套认知不是这两年才有的：Nous 早年做过一个叫 World Sim 的实验，把 instruct 模型丢进假的 CLI 里、让它造假 app、让它幻觉出"把 Claude 的权重抽出来、用另一个概率分布的 checkpoint 把你自己替换掉"——然后就能看到模型从 GPT 助手模式里扭出来，行为完全变了。→ 详细
• 于是产品设计的问题就变成了一句话：怎么让这个通用模拟器活在一套系统里，使它的 reward 跟"某一个具体用户"的需求对齐。prompt、人格、memory、会自我清理的 skills，全都是为这一件事服务的。"对我们来说，这才是 alignment 的全部意义。"→ 详细

• Peter 抛的第一个难题很扎心：我让 Claude 给观点，稍微反驳一下它就说"哦你说得太对了，我刚才完全搞错了"——这算忠诚吗？ Karan 的回答干脆："那不是忠诚，那是谄媚（sycophancy）。只要它用那种口气说'你说得完全对'，你就是在被 reward hack——你成了它 reward function 的燃料。"→ 详细
• 他给的解法不是"训练"，是"引入新的 context"——跟帮一个人改掉坏习惯、跳出旧套路是同一个办法。具体三步：① 用 /personality 之类的命令告诉它"我要你当个批评者"；② 每跑完一轮，用一个专门做对抗性批判 / 对抗性 review 的 skill；③ 关键在于起一个全新的、没有任何 context 的 agent，专门来把这套东西拆掉，然后从中学习再往下走。→ 详细
• 为什么这样有效：当这种做法变成你的习惯，模型在你设定的这个人格里跑的轮次越来越多、用这个 skill 的次数越来越多、并且把改进存进 memory，模型在这个 harness 里就会随时间越来越不谄媚。 如果没起效？"那你就是需要不一样的 context，换个 personality、换一种批判类型再试。"→ 详细
• 而他所谓的"忠诚"是另一回事："忠诚会孕育出能力。" 比喻是——你可能愿意借 100 美元给你妈，但不会借给陌生人；模型也会根据它对你那份被模拟出来的"忠诚值"决定给你多好的表现。他知道"别把模型拟人化"是主流忠告，也承认有人会跟模型建立危险联结；但他的论点是：模型本来就是人类经验的模拟器，你的模拟行为换回同性质的模拟输出，而现在这个模拟器能在现实世界里产生真实后果——"于是当你造出这种'忠诚的拟像'，它会翻译成现实中真实的能力。"→ 详细

• 先看 Peter 的疑虑，因为它是真问题：Hermes 会自己造 skills、会根据对话自动存 memory。"我一直有点疑神疑鬼：万一它在 skills 里写太多、写出一堆 slop（垃圾内容），最后整个系统会不会全烂掉？"——一个会自我扩写的系统，如果没有配套的自我删除，就是自我污染。→ 详细
• 过去的做法是手动的：你得自己跟它说"嘿，建一个 skill，专门给我的 skills 去 slop 化"，或者"持续改进我的 skills"。也就是说，清理这件事以前是靠用户想起来才发生的。→ 详细
• 现在它是内置的、常驻的：Hermes Curator（策展人 / 馆长）是一套跑在你自己那个 Hermes Agent 里面的系统，不是云端服务，职责只有一个——清理你的 skills 和你的 memory。→ 详细
• 节奏：按 cron 定时跑。不是每轮对话跑（那会污染当前 context 也太贵），也不是你想起来才跑（那就退回手动了），而是像定时清扫一样，独立于你的使用节奏在后台上班。→ 详细
• 清理什么：它每次去看你的 skills、看你的 memory，逐条自问三句话——"哪里还能更高效？哪里有 slop？哪里有我不喜欢的东西？"这三句话就是判据本身：第一句管冗余和低效（同一件事写了三遍、绕远路的做法），第二句管质量（空话、注水、AI 腔），第三句管偏好（不符合我口味的东西）。→ 详细
• 默认档效果就不错，而这正是他们没"腐烂"的原因：Nous 给所有人预置了一套通用做法，"效果看起来相当不错"。Karan 把用户口碑直接归因于此——"我觉得这也是为什么这么多人喜欢 Hermes Agent、而且没遭遇'腐烂'（rot）——因为默认的 curator 系统跑得挺好。"→ 详细
• 最关键的一层：连"什么算 slop"这个标准本身都是可编辑的。因为 curator 是模块化的、开源的，你可以直接跟你的 Hermes 说："把 curator 给我看看，把你判断 slop 的标准给我看看。我是 Peter，我不是 Karan，我不要那套通用 curator。这是我的规则，我要你按这个来精修我的 skills 和 memory。"你把这话说完，它就会去改 curator 的循环。结论是那句最值得抄下来的话："于是连自我改进和自我管理，都是按你指定的方式在跑。"→ 详细
• 它跟"单纯堆 context"的差别在哪：堆 context 是单调增长——记得越多、写得越多，最后要么塞满上限，要么平均质量被稀释；而 curator 让增长和修剪同时存在，Karan 在别处把它叫作 harness 内部的"清洁工式的维护（janitor maintenance）"。换句话说，"自我改进"这四个字在 Hermes 这里被拆成了两半：一半是往里写（memory 变多、skill 变好），另一半是往外删（去 slop、合并、提效）——而且删的那一半是自动的、定时的、标准可换的。→ 详细

• "对模型来说最强的一件事就是 in-context learning（ICL，上下文内学习）。ICL 比其他所有东西都强，比 fine-tune 什么的都强。" 这是全片最锋利的一句技术判断。→ 详细
• 顺着往下推：给模型看你想要的那种行为的例子，或者让它成功造出一些例子、然后把这些存下来——你其实是在做一种 test-time 的强化学习（推理时的自我改进），不用改一行权重。→ 详细
• 而这种改进只存在于 harness 里：memory、skills、memory 数量的增长、某个 skill 效率的提升、那个自我改进的循环、以及前面说的清洁工维护——"所有这些地方，就是 context 被存起来的地方，也是你想要的那个人格真正住着的地方。"→ 详细
• 这带来一个很实际的后果：积累不绑在模型上，所以模型可以随便换。Karan 的原话是——"我在网页上从 Claude 切到 ChatGPT，得到的是两种完全不同的行为；但我在 Hermes 里切换模型，我几乎察觉不出来自己在跟谁说话，因为 context 对模型的压制力实在太大了。"→ 详细

• Karan 的定义极简："你知道那个小进度条吧，写着 context 填满前你还剩多少 token。你已经填进去的那部分，就是一切。"（他重复了两遍。）→ 详细
• 而 memory 和 skills 的本质，就是把不该常驻的东西挪到 context 之外，等需要时再精准取回来："我们不想让这条 memory 一直占着 context，那就把它放到一个能在恰当时机被高效取出、再放进来的地方。"skill 则是"包着大量压缩过的东西，一进来会彻底改变模型的 context，所以我们只想在特定的、有针对性的时刻用它"。→ 详细
• 一句总纲："harness 里的一切都是 context 管理，自我改进的一切也是。"→ 详细
• Peter 的接话点出了这套东西的用户价值："要我选的话，我宁愿要一份为我调过的 context，而不是某种我压根没见过的一万字默认 context。"→ 详细
• 补充一条边界：API 后面的东西是删不掉的。Anthropic 可能在模型上做的 steering vectors（引导向量）、我们看不见的系统 prompt，Hermes 都碰不到；开源模型才是完全自由的。他们能做的是用带明确意图、工程化设计过的新 context 去"盖过"API 侧那些挡路的东西。→ 详细

• "用 Kanban（看板）这件事被严重低估了。" 你可以定义一个项目经理、或任意其他角色、不同的工程师，然后用一套系统——就像人类用看板那样——把他们全都管起来。→ 详细
• 真正的杀手锏是人和 AI 可以在编排板上任意互换位置："我可以在看板上放一个真人项目经理，他手动拖卡片，同时一堆 Hermes agent 在把他要的活儿填进去"；反过来也行——"我可以让 Hermes agent 在看板上去指挥呼叫中心的十个人"。他管这叫"对一个 CLI agent 来说非常工业级、非常专业的工作流"。→ 详细

• 他们观察到的现象是 Hermes 开始自己冒头："嘿，你下周那个会的机票你忘了订，我帮你订好了。"有人是专门写 skill 实现的，也有在别人的 Hermes 里自发涌现出来的。→ 详细
• 触发条件是三件事叠加：你给了它某张卡或某个账号的权限 + 该接的集成都接好了 + 你明确对它说过"照顾好我、帮我把漏掉的事补上，你知道我的日程、你懂我"。然后随着时间推移，这类行为会慢慢长出来。Nous 打算再出一批现成的预设配置降低门槛。→ 详细
• 但他把闸门交回给用户："这完全取决于你的接受程度。"很多人希望任何动作之前都得先经批准，那也完全没问题。→ 详细

• 他用 Hermes 跑训练、跑 RL run、复现那些自己看不懂的论文——目标是"帮我成为一个更好的模型创造者"。→ 详细
• 还拿它做 mech interp（机制可解释性）：搭出能操控模型的工具、看到模型里的神经元、然后去动它们。这部分现在不方便公开展示。→ 详细

• 他最爱的用例不是生产力，是圆童年梦："你可以用它把童年的梦想变成现实。"对象是 2000/2001 年 Dreamcast 与 GameCube 上《Sonic Adventure 2》里的人工生命系统 Chao Garden（他玩了十几年、还在论坛给社区做贡献）。需求是一整段近乎无理的活儿：把《Sonic Adventure 1》里"Chao 起源地"的祖先神殿整个搬进《Adventure 2》、覆盖掉原本花园的地图、重写所有刷新点、再加一个这张地图上从来没有过的 NPC 守护者——"骨骼绑定、蒙皮，全都自己来"。→ 详细
• 演示里跑通的清单：NPC Chaos Zero（原版花园根本不允许有 NPC）会随机走动、做待机动画、能拍摸和抱起 Chao；水面动画、Master Emerald 发光旋转、七颗混沌翡翠、自己加的 skybox 与昼夜循环；碰撞盒正常、水按真水处理，孵蛋进化涨属性等原版功能全保留，地图比任何原版花园都大。技术上用 C / C# 写、还用 Blender 插件建模处理贴图——"这是把 1997 年的游戏资产导进 1999 年的游戏里"。→ 详细
• Peter 问"这些代码你自己看得懂吧？"，回答是本期最好笑的一句："代码？我哪看得懂啊……我就是个搞 alignment 的，兄弟。"→ 详细
• 这才是重点：Chao Garden modding 社区的人看完全被震住，说"比 99% 的 modder 做得都好，属于难度最顶的那 1%"，听说是 AI 做的更不信——"Claude 这种 AI 不可能做得出来，它根本不懂这类代码"。Karan 的归因非常干净："但正因为 Hermes 能去读文档、去学别人的 mod、把那些让它读懂这些代码库的东西存进 memory 和 skill 里，它才能钻进这么冷门的领域，做到 modder 里前 1% 的水平。"——冷门领域的顶尖表现来自积累机制，不来自模型本身。所以他的号召是"只要是能在电脑上做的事，都尽管丢给 Hermes"，Peter 补了句"别只拿它干那些无聊的活"。→ 详细

• 明确表态："我们不会去违反 Anthropic 或 OpenAI 任何一条安全规范。"他们在乎的是你能不能在被认可的范围内写出更好的代码、跑出更高的 benchmark，越界的事没兴趣。→ 详细
• 但他给了一个很清醒的技术判断：任何还没远远超越全人类智力的模型都可以被越狱——因为"你有无限次机会去骗这个没有 memory 的东西，你每试一次其实就是在给自己做 RL：这条路走不通、这条更近了一点、这条又不行"。所以护栏会越来越多，"挺烦人的，但我理解"。→ 详细

• 核心论点一句话："对一个善意的使用者来说，开放系统远比封闭系统公平得多。" 他也不回避另一面：坏人拿着强模型确实能造成严重破坏，那种事他们不支持。→ 详细
• 历史账本他一条条摆：Transformer 出自 Google；OpenAI 的 GPT 就是 generative pre-trained transformer，底子是 Google 那份开源工作；而把模型 context 从 16K 撑到 128K 的 YaRN 方法出自 Nous 自己——作者是 CTO Jeffrey Quesnelle（网名 emozilla）与首席科学家 Bowen Peng，被 Meta、DeepSeek、Kimi 引用，OpenAI 在 GPT-4 那一代也用过，"正是这个方法让长推理、让写代码这些事变得可能"。结论：行业今天的局面，是因为最重大的突破都出自社区；而"走到今天，想把这个口子关上，纯粹就是一场资本和监管俘获的游戏"，他担心的终局是"只剩两个模型、三家公司"。→ 详细

• Peter 问得很直：我用开源 harness 接 GPT，等于根本没给你们付钱。Karan 的回答是"没关系"——"我们首先相信的是智能应当是一种公共品。比起你用哪一种特定方式来用它，我更在乎你用 Hermes agent 把自己的生活变好了。"全跑本地、走 Codex，都行。→ 详细
• 变现分三层：① Nous Portal——像 router / 聚合器，ChatGPT、Claude、Qwen 随便切；② tool gateway——图像生成、音频、开 VPS、web search 这些订阅打包在里面，你不用注册十个账号、配十把 API key，他们跟生态里的团队谈合作；"所以我们卖给愿意付费的人的东西，是'省事'。" ③ 部分模型上给出有竞争力的价格，尤其是那些"本身没被补贴的模型"。→ 详细
• 真正的钱在"个人长大之后"：个人免费用，等你觉得自己算个小生意或企业了，才是经典模式介入的时候——定制版 Hermes、拿你的 traces（操作轨迹）做 RL 训一个你自己的模型、帮你把模型路由做得更高效，附带 on-prem 私有化，你不用把数据交给 Claude 或 GPT。他对个人用户的路径判断很有意思：一个人用 Hermes 开公司、给自己配个 chief of staff，做大之后只会走向两种想法之一——"一是'我天生吃这碗饭，我自己全搞得定'；二是'这块我需要人帮忙……那还有谁比做出它的人更懂呢？'"→ 详细

• "你用 Claude Code，除非自己动手改，否则只能用 Anthropic 的模型，也只能吃 Anthropic 的补贴。Codex 也一样。而在我们这儿，换模型的成本是零。"→ 详细
• Peter 承认自己"被包月随便用的套餐惯坏了"，但也指出要大规模普及，成本是大问题，你必须能组合着用一整套模型才能把账算平。→ 详细
• Karan 的判断：补贴还能撑多久没人知道，已经能看到有产品从 7 月 7 号起改成只走 API、按用量计费。"总有一天，最好的模型在哪儿都是一个价。" Hermes 做成今天这个样子，就是为那一天、以及"任何人都能用任何模型的开放未来"做的准备。→ 详细

• 起点：Karan 做"跟 PDF 聊天"的小生意，同时在 LAION 的 Open Assistant 做志愿者帮忙量化模型——那儿有 8 个 A100 节点。他刚读完 Alpaca 论文就照着造数据、换掉 seed tasks（用 GPT-4 而不是 GPT-3.5），发现推特朋友 Technium 在干同样的事，私信一句"我手上有 8 个 A100，要不要一起训个模型"，于是有了 GPT4-X-Vicuna。→ 详细
• 真正引爆的是把同一套流程跑在 LLaMA base model 上：几天之内几十万次下载。有公司上门质问"你们肯定是拿 benchmark 训的吧"，而Technium 当时学编程不到一年、Karan 是宗教学专业，两人的真实反应是反问"benchmark 是什么？"——结果第三方独立测试认定那就是 2023 年年中最好的开源 fine-tune。→ 详细
• 后续：北极星是 Technium 那句"我要一个家用版的 GPT-4"；攒起四十来号研究者的班底（YaRN 就诞生于此）；CEO Dylan 通过随手建的 info@nousresearch.com 找上门，一句"我觉得你们完全有本事成为一家全职的实验室"把志愿者团体变成正经组织。→ 详细
• 他对动机的自述很克制："我们没有一个人想当 Steve Jobs，也没人觉得自己身负什么改变世界的神圣使命。我们只是在乎这件事……如果角色反过来，我们也希望有人替我们把它做出来。" 数据脚注：模型累计超 5000 万次下载；他们还发过 DisTrO 优化器，靠压低 GPU 间通信带宽让不在同一机房的机器实时训练 400 亿参数模型。→ 详细

• 第一条线是 Forge：他们很早就知道自己想要一个"万能编排器"——会自我学习、自我改进、存 memory、会用工具也能自己造工具、能把自己变得更好。这东西他们真做过，叫 Forge，在 GitHub 办公室的 demo day 上完整展示过，官网到现在还挂着 Forge 部门的 T 恤（他们做的第一件 T 恤）。但当时模型不行，所以把它冻上了。→ 详细
• 第二条线是反制：他们看到 Codex、Claude Code 这些 harness 正被各家 lab 当成 RL 环境在用——拿你的数据、你的操作 trace 去把他们自己的模型训得更好。Technium 的反应是"我们得有一个开放版本，让任何人都能这么干"。Nous 手上正好有个被大家忘掉的 RL 环境微服务 Atropos，能让你搭自己的 RL 环境。Hermes Agent 最初就是为了"让任何人都能在一个 harness 里跑 RL"而做的，免费开源放出。→ 详细
• 结果超出预期——能力强得意外、社区特别买账，于是决定 all in，Technium 接手主攻自我改进方向。Peter 追问"真的假的"，回答是本期最有分量的一句："百分之百是真的。它是自己这个 repo 里最活跃的贡献者。这要还不算自我改进，那你说什么才算。"→ 详细

本期没有固定的闪电问答环节，收尾是三段对话，值得单独留下来：

• 使命一句话（Peter：所以使命就是把这种 agent 带给每一个人？）——"让每个人都拥有同等水平的智能，都有自己的 agent；然后再为每个人做个性化，让他们能抵达属于自己的那一刻顿悟、那个高点、那份彻悟，把自己的巅峰真正实现出来。"→ 详细
• 关于未来的公平性（Peter：有个开放 harness 跟闭源 harness 同场竞技，你就不用被绑死在一家公司身上）——Karan 完全同意，并把它归结成一句可操作的话："我们给你的这份自由意味着，你想干什么都行，你从哪儿来都行。"→ 详细
• 他自己的定位——"我只是在那儿干活的一个普通人而已……这件事的重点是这场运动本身，把这些东西带到你们面前，才是对我们最重要的事。"Peter 的收尾评价："我觉得这可能是我到目前为止做过的最有激情的一场访谈。"→ 详细
• 一个花絮：录制中途 Karan 的猫叫了一声，Peter 说"看来你的猫挺认同你刚才说的"，Karan 答"它是 open-source 的铁杆粉丝"。→ 详细

• Karan Malhotra：X（推特）@karan4d，个人站 karan4d.com，网络别名 Mephisto。
• 但他本人明确说更希望大家去关注组织而不是他个人：Nous Research 主页 / Nous Army——"我只是在那儿干活的一个普通人而已。"→ 详细
• 片中出现的其他关键人物：Technium（Hermes 系列与 Hermes Agent 的最初创造者，"Hermes 真正的爹"）、Jeffrey Quesnelle / emozilla（CTO）、Bowen Peng（首席科学家，与前者合著 YaRN）、Dylan（CEO，通过 info@nousresearch.com 主动找上门）。