1. 为什么 RL 训练数据生成需要子 Agent 委托与批量处理做 RL 训练数据生成的人大多踩过同一个坑单条 Prompt 跑 Agent 轨迹时一切正常一旦把规模拉到几百上千条问题就集中爆发。最典型的是鉴权分散——主 Agent 用一套 Key子 Agent 派生出去后各自读环境变量有的读到了、有的读到空值跑一半报 401其次是调用链难追踪一个主 Agent 派发 8 个子 Agent每个子 Agent 又调工具、又写文件最后trajectories.jsonl里混在一起根本分不清哪条轨迹属于哪个 Prompt、哪次并发。Hermes Agent 的设计里子 Agent 委托delegation和批量处理batch_runner本来就是为这种场景准备的主 Agent 通过spawn_parallel把任务分发给多个子 Agent 并行执行批量处理系统则在数百个 Prompt 上并行跑 Agent产出 ShareGPT 格式的结构化轨迹直接喂给微调或 Atropos RL 环境。但它的默认 endpoint 指向的是官方或自建网关多任务并发时鉴权配置散落在config.yaml、环境变量、profile 三处调用链一乱排查成本极高。这篇要解决的就是这件事把 Hermes Agent 的 endpoint 统一改到 TaoToken让主 Agent、子 Agent、批量 worker 共用同一套 Base URL 和 Key再给出可复制的子 Agent 批量任务模板、并发参数以及一轮能复现的批量生成验证步骤和结果核对清单。适合正在用 Hermes 做 RL 训练数据生成、被并发鉴权和调用链追踪折磨的工程师。核心检索词就三个Hermes Agent 子 Agent 委托、批量处理 RL 训练数据生成、endpoint 统一配置。先说清楚 TaoToken 在这里的角色它是一个兼容 OpenAI/Anthropic 协议的统一 API 入口Hermes 的--model参数走的是provider/model格式只要把 Base URL 指到 TaoToken模型 ID 用 TaoToken 支持的名称主 Agent 和子 Agent 就都走同一条链路。这样鉴权只有一处调用链在 TaoToken 的 console 里能按 Key 维度看到请求量追踪起来比翻本地日志快得多。我试过把 endpoint 拆成两套主 Agent 一套、批量 worker 一套跑结果 checkpoint 续传时子 Agent 读的是旧 Key整批数据作废。所以下面的方案核心就一句话所有 Agent 层级共用一份 endpoint 配置不搞例外。2. TaoToken 前置准备Key、Base URL 与 Hermes 环境对齐在动 Hermes 配置之前先把 TaoToken 侧的东西备齐否则后面改config.yaml会来回返工。你需要三样API Key、Base URL、以及确认 Hermes 用的模型 ID 在 TaoToken 侧可用。第一步拿 Key。打开 https://taotoken.net/api-keys 登录后创建一个 Key建议按用途命名比如hermes-rl-batch方便后面在 console 里按 Key 看请求量。创建后立刻复制页面刷新就看不到了。第二步确认 Base URL。TaoToken 的 API 入口是https://taotoken.net/api注意这个地址不带任何查询参数直接作为 OpenAI 兼容的 base。Hermes 的批量处理和子 Agent 委托底层都走这个 base所以配置里只写这一处。第三步确认模型 ID。Hermes 的--model参数格式是provider/model比如 excerpt 里出现的anthropic/claude-sonnet-4-6。你要做的是在 TaoToken 的模型列表里找到对应可用的 ID然后在 Hermes 配置里用 TaoToken 认的名称。如果模型 ID 写错批量跑起来会报model not found而不是 401这个区分后面排障会用到。环境变量这块建议统一走一个.env不要散在 shell profile 里。Hermes 读环境变量的优先级是命令行参数 环境变量 config.yaml。批量 worker 是子进程继承的是启动它的 shell 环境所以把 Key 放在.env里、用source .env启动比写死在config.yaml更安全也避免 Key 进 git。# .env 文件放在项目根目录加入 .gitignore export TAOTOKEN_API_KEYsk-你的Key export TAOTOKEN_BASE_URLhttps://taotoken.net/api export HERMES_MODELanthropic/claude-sonnet-4-6这里有个容易忽略的点Hermes 的子 Agent 委托是通过delegation工具集实现的子 Agent 在独立进程里跑它读的是父进程的环境变量。如果你在会话中途export了新 Key已经在跑的子 Agent 不会感知到。所以 Key 必须在启动 Hermes 之前就位中途换 Key 要重启整个批量任务。另外Kanban 工具集需要显式启用hermes tools enable kanban即使配置里写了all或*也不会自动开。这是有意设计因为多 Agent 协作消耗 Token 更多。如果你只是做批量 RL 数据生成、不需要看板式协作可以不开 Kanban直接用spawn_parallel就够了省一层复杂度。前置准备做完你应该有一个可用的 Key、确认过的 Base URL、一个在 TaoToken 侧存在的模型 ID、以及一份.env。接下来才是改 Hermes 配置。3. 可复制配置把 endpoint 统一改到 TaoToken这一节是全文的核心给出能直接抄的配置片段。Hermes 的配置分三层全局~/.hermes/config.yaml、profile 级配置、以及批量处理的命令行参数。我们要做的是让这三层都指向 TaoToken且 Key 只有一处来源。先看全局配置。文件路径是~/.hermes/config.yaml重点是toolsets里启用delegation以及 provider 的 base URL 指向 TaoToken# 文件路径~/.hermes/config.yaml # 启用子 Agent 委托工具集 toolsets: - delegation - terminal - file # provider 配置统一指向 TaoToken providers: taotoken: base_url: https://taotoken.net/api api_key_env: TAOTOKEN_API_KEY # 从环境变量读不写死 type: openai # TaoToken 兼容 OpenAI 协议 # 默认模型走 TaoToken default_model: taotoken/anthropic/claude-sonnet-4-6注意api_key_env这个字段它让 Hermes 从环境变量TAOTOKEN_API_KEY读 Key而不是把 Key 明文写进 YAML。这样主 Agent 和子 Agent 读的是同一个环境变量鉴权只有一处彻底解决分散问题。如果你的 Hermes 版本不支持api_key_env退而求其次用api_key: ${TAOTOKEN_API_KEY}做变量插值效果一样。再看 profile 级配置。子 Agent 委托时编排者需要知道各 Agent 的能力profile 的description就是干这个的。但 profile 里不要再写 endpoint让它继承全局配置# 创建 profile只写角色描述不重复配 endpoint hermes profile create researcher \ --description 擅长阅读源代码和外部文档输出调研报告 hermes profile create coder \ --description 擅长实现功能、修复 Bug、编写测试然后是批量处理的命令行。batch_runner.py的--model参数要写成 TaoToken 认的格式同时通过环境变量传入 base URL# 启动前先加载环境变量 source .env python batch_runner.py \ --dataset_filedata/prompts.jsonl \ --batch_size10 \ --run_nametaotoken_rl_run \ --modeltaotoken/anthropic/claude-sonnet-4-6 \ --num_workers4 \ --max_turns10 \ --reasoning_efforthigh如果你用的是 Codex 风格的auth.json有些 Hermes 发行版会读这个三件套要写全缺一不可{ base_url: https://taotoken.net/api, api_key: sk-你的Key, model: anthropic/claude-sonnet-4-6 }Base URL、Key、Model ID 这三样在 Hermes 里必须语义一致Base URL 决定请求打到哪Key 决定鉴权Model ID 决定路由到哪个模型。任何一处用了官方默认值批量跑起来就会出现「部分 worker 成功、部分 401」的诡异现象因为不同 worker 读到了不同来源的配置。配置改完建议先跑一条单 Prompt 验证再上批量。单条验证命令source .env hermes run --modeltaotoken/anthropic/claude-sonnet-4-6 \ --prompt 写一个查找最长回文子串的 Python 函数如果这条能出结果说明 endpoint、Key、Model ID 三件套对齐了可以进批量。如果报 401先查环境变量有没有source如果报model not found查 Model ID 拼写如果报连接超时查 Base URL 是不是写成了带路径的地址。4. 子 Agent 批量任务模板与并发参数验证配置对齐后这一节给出子 Agent 委托的批量任务模板以及一轮可复现的验证步骤。目标是主 Agent 派发 N 个子 Agent每个子 Agent 处理一批 Prompt产出结构化轨迹最后核对结果。先准备数据集。JSONL 格式每行一个 JSON 对象必须含prompt字段可选cwd和docker_image{prompt: 写一个找最长回文子串的 Python 函数} {prompt: 用 Flask 创建用户认证 REST API 端点} {prompt: 调试这个错误TypeError: cannot unpack non-iterable} {prompt: 实现一个 LRU 缓存支持 get 和 put} {prompt: 解释这段代码的时间复杂度并优化}子 Agent 委托的批量模板核心是用spawn_parallel把任务切片。下面这段是编排逻辑的伪代码说明原理实际在 Hermes 会话里通过 delegation 工具触发# 子 Agent 批量委托模板伪代码说明编排机制 # 把 100 条 Prompt 切成 4 份每份 25 条派给 4 个子 Agent prompts load_jsonl(data/prompts.jsonl) chunks split(prompts, num_chunks4) spawn_parallel([ {prompt: f处理第 {i} 批 {len(chunk)} 条 Prompt逐条生成轨迹, profile: coder, chunk: chunk} for i, chunk in enumerate(chunks) ]) # 4 个子 Agent 并行执行各自独立写 batch_i.jsonl主 Agent 汇总并发参数是这里的关键。--num_workers控制并行工作进程数--batch_size控制每批 Prompt 数量两者相乘决定瞬时并发。经验值num_workers4、batch_size10时瞬时并发约 40 个请求对 TaoToken 的常规配额是安全的。如果你把num_workers拉到 16瞬时并发可能到 160容易触发限流表现为部分 worker 报 429。建议从 4 起步观察 console 里的请求曲线再往上加。--max_turns控制每个 Prompt 最大工具调用轮次默认 10。RL 数据生成场景下如果任务需要多步工具调用比如先读文件、再改代码、再跑测试这个值要调大否则轨迹会在中途截断completed字段为 false这类样本在质量过滤时会被丢弃。--reasoning_effort控制推理努力程度可选none/minimal/low/medium/high/xhigh。做 RL 训练数据时建议至少medium因为零推理过滤会丢弃没有任何推理痕迹的样本none基本等于白跑。一轮可复现的验证步骤第一步跑小批量。用 5 条 Prompt、num_workers2、batch_size5跑完看输出目录source .env python batch_runner.py \ --dataset_filedata/prompts_small.jsonl \ --batch_size5 \ --run_nameverify_run \ --modeltaotoken/anthropic/claude-sonnet-4-6 \ --num_workers2 \ --reasoning_effortmedium第二步检查输出结构。预期目录data/verify_run/ ├── trajectories.jsonl # 合并输出 ├── batch_0.jsonl # 各批次结果 ├── batch_1.jsonl ├── checkpoint.json # 断点续传记录 └── statistics.json # 工具使用统计第三步核对trajectories.jsonl每条记录。关键字段prompt_index对应数据集行号conversations是 ShareGPT 格式的完整对话completed为 true 表示跑完toolsets_used列出用到的工具集tool_stats给出每个工具的调用次数和成功失败数。第四步验证断点续传。故意中断一次CtrlC然后用--resume续跑python batch_runner.py \ --dataset_filedata/prompts_small.jsonl \ --batch_size5 \ --run_nameverify_run \ --resume续传后trajectories.jsonl应该包含中断前已完成的记录不重复、不丢失。如果续传后记录数变少说明 checkpoint 没写对检查checkpoint.json里的completed_indices。结果核对清单trajectories.jsonl行数等于数据集行数每条completed为 truetool_stats里没有大量 failurestatistics.json的工具分布合理如果全是 terminal、没有 file可能任务类型不匹配。这份清单跑一遍基本能确认批量流水线是通的。5. 常见报错排查401、local proxy failed 与 reading choices批量跑起来后报错集中在几类。这一节按真实报错对照排查每个都给出定位路径。401 Unauthorized。这是最常见的根因几乎都是 Key 没读到。排查顺序先echo $TAOTOKEN_API_KEY确认环境变量有值再确认启动批量前source .env了然后检查config.yaml里api_key_env拼写是否和.env里的变量名一致。如果主 Agent 能跑、子 Agent 报 401说明子进程没继承环境变量检查是不是用了nohup或后台启动导致环境丢失。还有一种情况Key 在 TaoToken 侧被删了或过期去 https://taotoken.net/api-keys 确认 Key 状态。local proxy failed。这个报错通常出现在网络层不是鉴权问题。Hermes 的批量 worker 如果配了本地代理而代理没起来就会报这个。排查检查config.yaml里有没有残留的 proxy 配置批量场景下建议直连 TaoToken 的 Base URL不要走本地代理。如果报错信息里带connection refused确认https://taotoken.net/api可达。reading choices 相关报错。典型形式是KeyError: choices或reading choices of undefined意思是返回体里没有choices字段。根因通常是 Base URL 写错请求打到了一个不兼容 OpenAI 协议的地址返回了 HTML 或错误 JSON。排查确认 Base URL 是https://taotoken.net/api不带多余路径用 curl 直接打一次看返回结构curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d {model:anthropic/claude-sonnet-4-6,messages:[{role:user,content:hi}]} \ | head -c 500如果返回体里有choices说明 endpoint 没问题报错在 Hermes 侧的解析逻辑检查 Model ID 格式。如果返回的是错误页说明 Base URL 或路径不对。OAuth 相关报错。有些 Hermes 发行版默认走 OAuth 流程批量场景下 OAuth token 刷新失败会报错。解决方式是显式用 API Key 模式在配置里关掉 OAuth指定type: openai和api_key_env。如果配置里同时存在 OAuth 和 API KeyHermes 可能优先走 OAuth导致批量 worker 拿不到有效 token。model not found。Model ID 拼写问题。Hermes 的--model是provider/model格式TaoToken 侧的模型 ID 可能和官方不同。去 TaoToken 的模型列表确认可用 ID然后统一替换config.yaml、命令行、auth.json三处的 Model ID。三件套Base URL、Key、Model ID任何一处不一致都会导致部分请求失败。429 Too Many Requests。并发过高触发限流。降低--num_workers或--batch_size或者加--resume分批跑。观察 TaoToken console 里的请求曲线找到不触发限流的并发上限。排查时有个通用技巧把--num_workers设为 1单 worker 跑如果单 worker 成功、多 worker 失败问题在并发或环境继承如果单 worker 也失败问题在配置或 Key。这个二分法能快速缩小范围。6. 从批量轨迹到 RL 训练数据质量过滤与 Atropos 集成批量跑完只是第一步产出的轨迹要经过质量过滤才能进 RL 训练。Hermes 的批量处理结束后自动应用两项过滤零推理过滤和幻觉工具名过滤。零推理过滤会丢弃没有任何推理痕迹的样本。推理痕迹指REASONING_SCRATCHPAD标记或原生 thinking tokens。这意味着如果你用--reasoning_effortnone跑产出基本会被全部丢弃。做 RL 数据生成时--reasoning_effort至少设mediumhigh更稳。幻觉工具名过滤会丢弃包含无效工具调用的条目。比如模型在轨迹里调了一个不存在的工具web_search_v2这条就被过滤。这个过滤能排除模型幻觉产生的无效调用提升数据质量。但如果你确实需要某个工具、而它不在有效列表里要去config.yaml的toolsets里加上否则相关轨迹会被误杀。过滤后的数据可以直接喂给 Atropos RL 环境。生成 Atropos 兼容数据的命令source .env python batch_runner.py \ --dataset_filedata/coding_tasks.jsonl \ --run_nameatropos_run \ --modeltaotoken/anthropic/claude-sonnet-4-6 \ --num_workers8 \ --reasoning_efforthigh输出的trajectories.jsonl可直接作为 Atropos 的训练输入。每条轨迹的 ShareGPT 格式包含完整对话历史、工具调用记录和推理覆盖率统计Atropos 侧按prompt_index对齐原始任务。这里有个实操细节--distribution参数控制工具集分布默认default会随机采样不同工具组合。做 RL 数据时如果你希望轨迹覆盖多种工具使用模式保持默认如果希望所有轨迹用同一套工具比如只测 terminal file显式指定工具集列表。分布越均匀训练数据的多样性越好但单条轨迹的可复现性越差。最后给一个长期跑批量的建议把--run_name按日期和用途命名比如rl_coding_20250612输出目录自然分桶checkpoint 不会互相覆盖。TaoToken 的 console 里按 Key 看请求量配合 run_name 能快速定位某次批量任务的调用链。如果要做长期编码或 Agent 流水线Coding Plan 的配额模式比按量更可控适合每天固定跑批量的场景。整套流程跑通后你的 RL 数据生成流水线就是数据集准备 → 子 Agent 批量委托 → TaoToken 统一 endpoint → 质量过滤 → Atropos 集成。鉴权只有一处调用链在 console 可查并发参数可调断点可续传。剩下的就是按任务类型调--reasoning_effort和--num_workers把数据质量和吞吐调到平衡点。