专栏 · Agent 工程手艺 › 第 179 期 · AGENT 工程 · 收录于 2026 年 8 月 21 日
RL 环境详解:AI agent 如何学会真实世界的工作——Brendan Foody(Mercor)
BF
Brendan Foody · Sequoia Capital
4.4万观看
320赞
0.7%点赞率
10评论
24.1万频道订阅
数据截至 8 月 27 日
TL;DR · 三句话
- 一RL environment（强化学习环境，说白了就是给 AI 搭一个能反复动手、又能被逐条打分的仿真工作场景）拆开只有三样东西——worlds（世界：真实项目里的消息、文档、表格）、apps（应用：Salesforce、Microsoft 365 这类主流软件的高保真复刻）、tasks（任务：一条 prompt 配一个负责判对错的 verifier）；前沿实验室想把「你在笔记本上能干的活」全自动化，卡点就是把这三样铺满整个经济体。→ 详细
- 二除了数学这种有干净模拟器的罕见例外，大多数活儿只有人类能判对错——让模型给自己做的幻灯片打分，等于让人批自己的作业。所以整条链路上最稀缺的不是算力，是「有人写得出什么样才算做对了」。→ 详细
- 三这套原本只在前沿实验室里跑的东西，正在下放到应用层：1,800 个任务加约 50 万美元算力，就把一个开源模型的公司法能力从 4.7% 拉到 26.6%，还泛化到了没见过的评测集。Brendan 判断未来 12 个月会冒出几十家「拥有自己智能」的公司，而在算力 / 算法 / 数据这三根支柱里，数据是最具差异化的一根。→ 详细
01
开场坐标：四个月从 10 亿做到 20 亿美元 run rate
- 主持人开场给的数字很硬：Mercor 在过去四个月左右，营收年化跑速（run rate，按当前速度折算的全年收入）从 10 亿美元涨到 20 亿美元。主持人给它的定位是——在「企业该怎么给自己的模型做 post-training（后训练，即在通用基础模型之上再训一轮、长出属于自己的能力）、怎么打造属于自己的智能」这件事上，Mercor 站在最前排。→ 详细
- 场合是 Sequoia 面向被投创始人的闭门分享：15 分钟内容 + 15 分钟问答，Brendan 全程只讲一件事——RL environment。→ 详细
02
第一个时代（2020）：众包 + 行为克隆，喂出了 ChatGPT 和 GPT-4
- 起点是 2020 年的「众包数据做 behavior cloning（行为克隆，让模型模仿人类的示范动作）」年代，数据只有两类：supervised fine-tuning（SFT，监督微调）的一问一答输入输出对，以及 RLHF（基于人类反馈的强化学习）里标注员从模型给出的几个回答中挑一个更喜欢的。就靠这些低技能众包数据，业界完成了 GPT-3 的微调，一路推到 ChatGPT 和 GPT-4。→ 详细
03
2024 年的大转向：从低技能众包，到让顶尖专家组队造 eval 和环境
- 走进 2024 年后市场发生巨大转向：离开行为克隆时代，进入 agentic（智能体）数据时代。核心问题变成「怎么找到全世界技能最顶尖的专家，让他们组队协作」，为下一代模型造出前沿的 eval（评测集）和 RL environment。→ 详细
- 关键在于人选变了：软件工程师、律师、医生、银行家——他们的价值不是标数据，而是「他们能衡量智能的前沿到底在哪儿」，再把这份衡量转化成模型能力的提升。→ 详细
04
Mercor 的起点是 Deep Research，客户从前沿实验室一路铺到应用层
- Mercor 的第一个大项目是 Deep Research——Brendan 说那大概算是「第一个真正出圈的 RL agent」。之后与所有前沿实验室一起把规模急剧放大，成为头部实验室的主力 agentic 数据供应商。→ 详细
- 客户名单同时覆盖应用层：Harvey（法律）、Sierra、Cognition、Ramp。而过去 12 个月最大的变化是，RLVR（可验证奖励的强化学习，说白了就是用能自动判分的标准给模型打分做 RL）这套范式扩展到了 RL environment——那些内容极其丰富的应用和世界，能教会 agent 使用我们每天在笔记本上用的所有工具。→ 详细
05
RL environment 拆开只有三样东西：worlds、apps、tasks
- worlds（世界）——所有的消息、幻灯片、文档、表格等等，对应你在一个真实项目、一家真实公司里会接触到的一切。注意这不是几条样本，而是把一个项目的完整上下文原样摆出来。→ 详细
- apps（应用）——高保真复刻的主流软件：Salesforce、ServiceNow、Microsoft 365 等等。agent 可以通过 MCP、CLI 或者 CUA（computer use agent，直接像人一样点图形界面的智能体）跟这些复刻件交互，就像它真的在用那套系统干活。→ 详细
- tasks（任务）——每个任务里装着一条 prompt 和一个 verifier（验证器，判断模型做得对不对的那套东西）。verifier 可以是 rubric（评分细则，一条条写清「什么样算做对了」），也可以是单元测试；同一套东西既能拿来做 eval，也能拿来做训练——这一点很关键，评测和训练用的是同一副骨架。→ 详细
- 三样合起来的意义：Brendan 说前沿实验室想把「你在笔记本上用 Claude 能做的一切」都自动化，卡点就在于怎么覆盖整个经济体里所有 worlds、所有 apps、所有 tasks 的完整分布。换句话说，环境不再是训练的配角，环境本身就是那个要被造出来的产品。→ 详细
06
真正的工程量在「铺满分布」：一个季度烧掉 250 万专家工时
- 他放了一张过去 24 个月的专家工时吞吐量曲线：光第二季度就有 250 万小时，而且用于构建这些 environment 的专家时间还在加速增长。人在这个流程里非常核心，模型也实打实地参与其中。→ 详细
- 为什么需要这个量级：GDPval（基于美国劳工统计局职业分类做的评测）覆盖 205 个领域、各行各业——但 Brendan 说你还得继续往下想，这 205 个领域对应的所有应用、所有场景、所有任务，怎么才能全都造出来。→ 详细
07
为什么只有人类能给前沿打分：别让模型批自己的作业
- Brendan 的核心断言是：在大多数领域，只有人才能衡量前沿在哪儿。少数例外是数学这类有一个非常干净的模拟环境的领域——模型能直接从「答案对不对」里拿到干净信号。→ 详细
- 但换成做一份 slide deck（幻灯片），模型「极难可靠地判断自己到底哪里错了」。他的比喻是：这就好比让一个人给自己的作业打分。→ 详细
- 所以让人来写 rubric 才特别有价值——就像教授会写一份评分细则去批一篇论文，或者助教用它来评那份幻灯片。他还把这件事拉回学习本身：「这其实跟我们大多数人的学习方式很像：我们主要是从周围人的反馈里学，而不是纯靠把东西丢进计算器或者某个干净的模拟器。」→ 详细
08
造一个 verifier 有多难：得先想清楚十种对法和几十种错法
- 难就难在你要先吃透整个问题空间。他的原话是：你每做一份幻灯片，都得搞清楚「有哪十种不同的做法都可能是条好路子」「可能犯的几十种错分别是什么」，然后造一个足够全面的 verifier，把这一整片可能的解空间都罩住。换句话说，verifier 要覆盖的是「所有可能的对」和「所有可能的错」，而不只是你自己想到的那一条正确路径。→ 详细
09
一个真实的法律 RL environment 是怎么一步步造出来的
- 起点是真人真项目：他们请 Latham & Watkins 这类顶级律所的律师，写出一个自己在大所工作中真实做过的项目场景。→ 详细
- 第二步是把世界铺出来：律师为这个场景做一份完整的 data room（尽调资料室）大纲，对应里面所有的消息、邮件、文件、文件大小等等。Brendan 说展示时截掉了完整版，「因为实在太长了」。真正往里填内容时有大量模型参与——他打的比方是：今天的软件工程师不该再全靠手敲代码，而应该去调度 agent 高效完成工作，搭 data room 的专家也一样。→ 详细
- 第三步是渲染进 apps：填好的 data room 被渲染进应用里，这个案例用的是 Google Workspace 的复刻版，再配上 prompt，让模型在上面跑出 trajectory（轨迹，即模型完成任务的一整串操作过程）。→ 详细
- 这道题长什么样：在《石油与成品油法案》下，评估 Star Tankers International Limited 相对于 Cooper Jefferies Energy Corporation 的最高总责任额是多少，同时要结合 data room 里这个真实场景的全部上下文。最后由律师给出关键评分项，对应「一个准确的模型回答应该具备哪些特征」。→ 详细
- 值得注意：他展示的都是已经开源公开的部分。Brendan 说这套技术里很多是和实验室合作开发出来的，现在正开始扩散到那些想构建并拥有自己智能的应用层公司。→ 详细
10
rubric 的两道技术难关：防 reward hacking，还得跟人排的序对上
- 第一关是 reward hacking（模型钻评分空子骗高分）：评分细则写得稍有缝隙，模型就会去优化那个缝隙，而不是真的把活干好。→ 详细
- 第二关更硬：你跑出 100 条 trajectory 时，得保证这 100 个分数都打得准。Brendan 说这在技术上「极其有挑战」，背后是海量研究工作、agentic 质检、在数据上做训练，才能把这个问题解掉。→ 详细
- 判准是一致性：后面答观众问时他讲得更清楚——你要确保这份 rubric 打出来的分，和「直接让人把这 100 条 trajectory 从好到坏排个序」的结果是一致的。评分器对不对，是拿人的排序当尺子量出来的。→ 详细
11
排行榜上开始出现开源模型，意味着垂类前沿智能不远了
- 做对之后的产物是排行榜：给出一个综合的模型得分，看各家模型在某个特定领域上表现如何。过去几个月的一个大变化是 GLM-5.2 和 Kimi K3 也上了这个榜。Brendan 对台下创始人说，这是个巨大机会——意味着「我们已经有了基础，能在你们各自聚焦的具体应用和垂直领域里真的做出前沿智能，而且那一天并不遥远」。→ 详细
12
实测账：1,800 个任务 + 约 50 万美元算力，公司法从 4.7% 涨到 26.6%
- 实验配置：数据集是 APEX Agents（就是前面那个法律样例所属的数据集），这个例子里有 1,800 个任务，被 post-train 的是 GLM-4.7，算力成本大约 50 万美元。→ 详细
- 结果：公司法从 4.7% 涨到 26.6%。用 Brendan 的话说，「仅靠 1,800 个任务、大约 50 万美元的算力，提升就相当猛」。→ 详细
- 最有意思的是泛化：喂进去的只有 APEX Agents 这一个数据集，但成绩「极好地泛化到了 GDPval 和 APEX v1 上」——而后两者里根本没有这些 data room；另外一些 benchmark 上也看到了一定幅度的提升。也就是说，在一个领域里把「怎么在真实工作环境里干活」教会了，能力会外溢。→ 详细
- 进度补充：他们正在用 Kimi K3 重做很多这类实验，很快会更新结果。→ 详细
13
应用层公司「拥有自己的智能」：三根支柱里，数据最具差异化
- Brendan 说应用层公司正在意识到，AI 战略只有三根支柱：算力、算法（或者说研究员）、以及自己构建的数据集。而「数据往往是最具差异化的那一环」——算力可以买，研究员大家都在抢，只有你自己领域里的数据别人复制不了。→ 详细
- 先例是 Cursor：他引 Andrew 的话说，Cursor 是一家应用层公司做出行业领先模型、为客户创造巨大价值的好例子。Brendan 的判断很直接：未来 12 个月会冒出几十个同样的例子——「公司拥有自己的智能，而这就是他们护城河的关键来源」。→ 详细
- 落地方式是一起造环境：Mercor 正在和 Harvey 这样的客户合作，帮他们把自己所在领域对应的 environment 建起来，好让他们能在那个领域里做出前沿智能。→ 详细
14
Mercor 卖数据的三种形态，以及它们背后的商业逻辑
- 按任务计价（最常见）：客户会说「我很喜欢法律领域这种形态的 environment，我们愿意每个任务付 2,000 美元，把它扩起来」。量级相当夸张——某些前沿实验室一个月可能从 Mercor 买 5 万个任务。任务复杂度差别极大，有的要人花上一个月才做得完一个，有的几个小时就行，所以是逐个定制报价。→ 详细
- 现成数据（off-the-shelf）：Mercor 自己投了好几亿美元构建数据集，再卖给多个客户。新兴的 neo lab 普遍更倾向这一种，因为「让 10 家实验室各自重复造一遍同样的数据集并不划算，做一次、所有人都能用，这里面价值很大」。→ 详细
- 单纯供专家、按小时计费：现在做得比较少、也不再是重心。Harvey 最早跟 Mercor 合作就是从雇几位律师开始的，但随时间推移，一般都会走向前面两种规模化的数据交付方式。→ 详细
15
闪电问答 / 收尾
本期后半段（约 12:37 起）全是现场创始人问答，信息密度比前半段的正式分享还高，逐题列出。
16
Q1｜Astro Guide 的 Ali：你们怎么给数据定价、怎么衡量数据的价值？
- 第一条线是倒推客户价值：客户在意的是模型有没有变强，他们会有一个明确目标——想在某个排行榜上冲到前沿。Mercor 就从这里倒推：这件事对他们值多少钱、每个任务该收多少、需要多少个任务才能把他们送到那个目标。他举的极端例子是 Nvidia——为了拿到一个前沿的开源模型，「他们大概愿意付十亿美元」。→ 详细
- 第二条线是自己的成本结构：一个任务要占用人 10 个小时、付这个人每小时 150 美元，成本基础就是 1,500 美元；接下来的问题变成，基于这个任务有多差异化、有多前沿，要在上面跑多少毛利。→ 详细
- 结果是区间极宽：「我们手上的任务从 50 美元到 1 万美元都有。」→ 详细
17
Q2｜观众：怎么看数据质量？人类标注的数据和 auto grader 该怎么比？
- Brendan 先把「数据质量」拆成两件事：真实性（realism） 和 verifier 的准确性。→ 详细
- 真实性说的是：客户想自动化的是经济体里对应「公司法」这一整块的工作，所以数据必须反映「一个真实律师的工作环境里会看到的真实分布」。这也是为什么要让专家来写大纲、并全程引导数据策划的整个流程；environment、apps、tasks 的真实性全都极其重要，而且还要非常颗粒地搞清楚，是什么样的分类体系在支撑你要覆盖的那整片分布。→ 详细
- verifier 准确性说的是：训练时你可能跑出 Kimi K3 的 100 条 trajectory，再用 rubric 给这 100 条打分。模型能走的路径实在太多了，所以必须保证 rubric 打出来的分，和「直接让人把这 100 条从好到坏排个序」的结果一致。→ 详细
- 他们的具体做法叫 trajectory analysis（轨迹分析）：把要重点提升的那个模型跑出 10 条 trajectory，全部打分，然后用 agentic 质检系统加上一部分人工复核，逐条确认所有分数都和目标对得上。→ 详细
- 还有一条反向解法：拿人类反馈的 eval 或者偏好标注，当作你 auto grader（自动评分器）的评测集——用人来考自动打分器准不准，而不是反过来。→ 详细
18
Q3｜观众：合成数据在这里面占多大分量？尤其是造那些庞大的 data room 时
- Brendan 说「合成数据」这个词被误解得挺厉害：RLVR 本身就是在押注合成数据——与其让人去写 SFT 数据，不如让模型自己跑出一大堆合成 trajectory，然后全部打分，让模型从这些合成轨迹里学习。这是合成数据的第一种用法。→ 详细
- 第二种用法是模型深度参与填充 environment、创建 task：「一个要写法律备忘录的律师，今天肯定应该用 Claude 或者 ChatGPT 来写；同样地，那些搭 data room 的专家，也肯定应该用模型来帮忙。」→ 详细
- 但有一环人不可替代——衡量「超出前沿的东西」，而且几乎是按定义来讲的。他的原话：你不可能直接跟模型说「你来造一个法律 environment 吧」，然后再说「你自己告诉我你写的哪几份法律备忘录好、哪几份差」——「那噪声极大，根本得不到清晰的信号」。→ 详细
- 他给这条画了句号：「你得有一个能力超出那个模型前沿水平的东西，才能可靠地做到这件事。」→ 详细
19
Q4｜提问者：为什么现在什么都在讲 RL environment？这是应用层公司最该琢磨的事吗？之后又是什么？
- 为什么 deep research 类环境最先出现：deep research 的工具调用只有搜索这一个工具，专家并不需要真的去把一堆应用填满，只要针对任务写出对应的 rubric 就行——那算是 RL environment 的一个轻量版。（他补了一句：敢公开讲这些，是因为已经是两三年前的事，早就不算机密。）→ 详细
- 2025 年那波「拿真实应用当环境」为什么爆发：因为大家意识到，模型好不好用的主要瓶颈在于它怎么把代码库里的全部上下文、还有我们笔记本上的各种工具真正用起来。他的逻辑很干净——「如果我们希望这些东西出现在用户实际的使用分布里，就得先让它出现在模型学习的数据分布里」。→ 详细
20
Q5｜接上一问的后半段：接下来两个大变化——超长时间跨度与「虚拟同事」
- 超长时间跨度（ultra long horizon）：现在的 agent 基本没被训练去做超过 10 小时的事，而接下来要构造的，是那种「人类要花 100 小时、甚至 1000 小时才能做完」的任务。Brendan 认为这会是一次巨大的转变。→ 详细
- 虚拟同事（virtual co-workers）：他最喜欢问别人的一个问题是——你工作里有多大比例的任务需要跟别人打交道？大多数人会说 60% 或 70%，有人说更多，有人说少一点。但你再对照着看，有多大比例的 eval 在衡量模型跟人协作的能力？「大概 1%，可能只有 Tau-bench 沾了一点边。」→ 详细
- 这中间就是他说的「巨大的真实感落差」：agent 在工作里要跟形形色色的人、还有别的 agent 打交道，可我们几乎没有办法真正衡量它在这种社交互动上做得怎么样。他同时强调，worlds / apps / tasks 三大类的多样性还会继续大规模扩张，只是这两块是他们想得最多的变化。→ 详细
21
Q6｜提问者：rubric 生成卡在专家身上，能不能让模型接手、把它规模化？
- 部分可以：如果有一个 AI copilot 陪着专家一起去创建任务和 verifier，效率能高很多——专家可以直接对着 trajectory 提问，搞清楚每一步到底发生了什么、哪儿出的错。→ 详细
- 但有一道硬墙：如果你要提升的是某个前沿模型（他举的是 Fable），这个模型自己没法可靠地写出「我是在哪里犯的错」这种 rubric 条目——「它可能对一半错一半，而这种程度的噪声，从训练的角度看是完全没法用的」。→ 详细
- 所以最离不开人的环节其实是「任务创建」，而不是环境本身：environment 有不少可以靠合成来解决；让熟悉那个环境的人来写大纲会更好，因为他们对现实有感觉、给出的分布更贴近真实；但任务这块是真的很需要人。→ 详细
- 少数例外：代码领域；以及蒸馏——如果你手上的模型比 Kimi K3 弱，那它完全可以从 Kimi K3 出的题里学到东西。→ 详细
22
Q7｜Cribl 的 Nikhil：网络安全这种结果可验证的领域，人该管哪一段？
- Brendan 认为网络安全恰恰是那种不一定非要人来做 verifier 的场景——你可以让一个攻击方 agent 和一个防守方 agent 互相对打，胜负本身就是信号。→ 详细
- 但人还是要管环境：在安全领域，人更多是去设计「什么才算一个真实的环境」并把环境搭起来，因为你确实需要足够的多样性；在构建 verifier 这一环上，对人的依赖就小得多了。→ 详细
23
Q8｜提问者：怎么判断自己是被基座模型（base model）卡住了？
- 提问者的观察：表面上同一份数据集喂给这些模型，它们在榜上最后跑出来的成绩都差不多；但换一个更小的模型试，成绩可能低很多——这纯粹是参数量的问题吗？→ 详细
- Brendan 的答案：参数量肯定会影响模型「有多可训练」，但主要该看的是 pass@16 和 pass@1 之间的差距。→ 详细
- 这条经验法则怎么用：让模型 rollout（同一道题独立跑很多遍，每遍留一条完整轨迹）16 条，如果全错，那基本就没戏了，模型很难从这里面学到东西——顶多再 rollout 100 条看能不能蒙对一条。理想情况是 pass@1 失败、但 16 条里能对上一两次，「这时候模型就能学得非常有效」。这就是他们判断「基座模型得多强，才能从某份数据里真正学到东西」的标尺。→ 详细
24
Q9｜提问者（收尾问题）：跟你们合作的公司，哪些该自己扛、哪些交给外部？
- 这正是为什么 Mercor 业务里很大一块是定制数据：他们会派出完全隔离、只服务某个关键客户的专属团队，确保做出全世界最好的数据集，而且这份数据的所有权归客户。客户既守住由此而来的竞争优势，又能享受 Mercor 已经搭好的全部基础设施。→ 详细
- 对「全都自建」的看法：确实有公司想把人才网络和基础设施全部自建，但「你看看前沿实验室、看看最好的那些模型是怎么做的，就很能说明问题」——跟一个已经具备规模效应的伙伴合作（平台、人才网络等等都是现成的），能省下大量成本。→ 详细