1. 为什么 ShareGPT 平替方案要盯住苏格拉底提问模拟器ShareGPT 数据集的采集入口收紧之后很多做对话能力蒸馏的团队都卡在同一个问题上拿不到真实用户的多轮追问只能退而求其次用单轮指令数据去凑。我试过直接拿 Alpaca 格式的指令集喂给助手模型做 SFT结果很明显——模型单轮回答还行一旦进入第二轮追问就开始失忆上下文承接能力几乎为零。这不是训练脚本的问题而是数据分布本身就不对真实用户和 ChatGPT 的对话是层层递进的而单轮指令集把这种递进关系抹平了。苏格拉底提问模拟器的思路正好补上这个缺口。它的核心不是让模型回答得更好而是让模型问得更好。具体做法是反转学习目标在 ShareGPT 这类真实人机对话数据上只计算人类提问部分的损失训练一个专门模拟用户提问的模型。这个模拟器会像苏格拉底那样基于上一轮的回答继续追问问题由浅入深、由宽到窄逐步逼近真实用户的信息需求。用它去和 ChatGPT 反复对话就能合成出规模可控、轮次自然的多轮对话数据集再拿这份数据去蒸馏开源模型效果比单轮指令集扎实得多。这套流程适合谁如果你在做以下任意一件事都值得跟一遍一是想复现 PlatoLM 这类用户模拟器 助手蒸馏的 pipeline但苦于没有现成的多轮数据二是手里有一批单轮种子问题想把它扩展成多轮对话三是需要批量调用多个模型模拟器用一个、助手用一个、质量评估再用一个做数据合成但被多套 API Key 和不同的接入地址搞得头大。前两件事靠提示词模板和采集脚本解决第三件事就是 TaoToken 统一 Key 要出场的地方——一个 Key 打通多模型调用采集脚本里不用再维护一堆 base_url 和鉴权分支。需要先明确一点苏格拉底模拟器不是让模型自由发挥乱问。它的提问质量取决于两个因素一是模拟器本身是否在真实用户提问分布上微调过二是提示词是否约束了追问的递进结构。下面我会先给出可复用的模拟器提示词模板再给多模型并发采集脚本最后用 TaoToken 把多模型调用收敛到一个 Key 上并附上去重和质量抽检的验证动作。2. TaoToken 统一 Key 前置配置与多模型接入准备在写采集脚本之前先把多模型调用的入口统一掉。做数据蒸馏最烦的不是写 prompt而是脚本里散落着三四个不同的 API 地址和 Key模拟器可能用 A 家的模型助手用 B 家的质量评估又换一个。每换一个模型就要改一次鉴权逻辑跑批量任务时一个 Key 额度用完还得手动切。TaoToken 在这里的作用是把这些调用收敛到同一个 Base URL 和同一个 Key 上脚本里只维护一份配置。先拿到 Key。访问官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注册后进入控制台在 API Keys 页面创建一个新 Key。创建时建议按用途命名比如socratic-collect方便后面排查是哪个任务在消耗额度。Key 只在创建时完整显示一次复制后先存到环境变量里不要直接写进脚本。export TAOTOKEN_API_KEYsk-你的Key export TAOTOKEN_BASE_URLhttps://taotoken.net/apiBase URL 用https://taotoken.net/api注意这个地址不带任何查询参数。很多接入失败是因为把官网地址当成了 API 地址或者手动拼了/v1导致路径重复。TaoToken 的接口兼容 OpenAI 风格的/v1/chat/completionsSDK 里填 Base URL 后它会自动补全路径。模型 ID 的获取方式有两种。一种是在控制台的模型列表里直接看可用模型名另一种是调用模型列表接口拉取curl -s https://taotoken.net/api/v1/models \ -H Authorization: Bearer $TAOTOKEN_API_KEY | head -c 800返回的 JSON 里data数组每项的id就是模型 ID。做苏格拉底蒸馏时你至少需要三类模型一个负责扮演提问者模拟器一个负责扮演回答者助手一个负责质量评估。这三类可以是同一个模型的不同调用也可以是不同模型TaoToken 的价值就在于切换模型只需要改model字段Base URL 和 Key 都不动。如果你用的是 Claude Code 这类编码工具做脚本开发可以在 settings 里配置统一入口。以 Claude Code 的配置文件为例路径通常在~/.claude/settings.json写入以下片段{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: sk-你的Key, ANTHROPIC_MODEL: claude-sonnet-4-20250514 } }这里三件套要写全Base URL、Key、Model ID。少任何一个都会在启动时报鉴权或模型不存在的错误。如果你用的是 Cline 或 Roo Code 这类插件在 MCP 或 Provider 设置里同样填这三项Provider 选 OpenAI CompatibleBase URL 填https://taotoken.net/api。配置完成后先做一次最小验证确认 Key 和地址都通curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: gpt-4o-mini, messages: [{role: user, content: 回复 OK 两个字母}], max_tokens: 10 }返回里choices[0].message.content有内容说明前置配置完成。这一步别跳过后面采集脚本报错时先确认这个 curl 是否还能通能快速区分是配置问题还是脚本逻辑问题。3. 苏格拉底提问模拟器提示词模板与可复制配置模拟器的提示词决定了追问质量。核心约束有三条第一每一轮问题必须基于上一轮回答的内容不能脱离上下文另起话题第二问题复杂度要递进从事实性询问逐步过渡到评估、对比、推理第三要模拟真实用户的提问口吻避免请详细阐述这种模板化表达。下面这个模板可以直接用把{{seed_question}}和{{history}}替换成实际内容。你是一个模拟真实用户提问的助手。你的任务不是回答问题而是基于对话历史提出下一个更深入的问题。 对话历史 {{history}} 当前种子问题 {{seed_question}} 提问规则 1. 你的新问题必须直接引用或回应上一轮回答中的某个具体点不能凭空切换话题。 2. 问题复杂度要高于上一轮如果上一轮是是什么这一轮就问为什么或怎么做如果上一轮是怎么做这一轮就问在什么情况下不适用或和另一种方案比哪个更好。 3. 用真实用户的口吻提问可以带一点口语化表达但不要用请详细阐述请举例说明这类模板句式。 4. 只输出问题本身不要输出任何解释、前缀或编号。 现在输出你的下一个问题这个模板的关键在规则 2 的递进映射。苏格拉底式提问的精髓是让回答者被迫思考边界条件而不是重复已知信息。实测下来如果不加这条约束模拟器很容易在第三轮之后开始问重复类型的问题合成出来的数据轮次虽多但信息增量很低。把提示词和调用逻辑封装成一个可复用的 Python 函数同时把 TaoToken 的配置抽成常量方便后面并发脚本直接引用import os import json import requests BASE_URL os.environ.get(TAOTOKEN_BASE_URL, https://taotoken.net/api) API_KEY os.environ[TAOTOKEN_API_KEY] SIMULATOR_PROMPT 你是一个模拟真实用户提问的助手。你的任务不是回答问题而是基于对话历史提出下一个更深入的问题。 对话历史 {history} 当前种子问题 {seed_question} 提问规则 1. 你的新问题必须直接引用或回应上一轮回答中的某个具体点不能凭空切换话题。 2. 问题复杂度要高于上一轮如果上一轮是是什么这一轮就问为什么或怎么做如果上一轮是怎么做这一轮就问在什么情况下不适用或和另一种方案比哪个更好。 3. 用真实用户的口吻提问可以带一点口语化表达但不要用请详细阐述请举例说明这类模板句式。 4. 只输出问题本身不要输出任何解释、前缀或编号。 现在输出你的下一个问题 def chat(model, messages, temperature0.7, max_tokens512): resp requests.post( f{BASE_URL}/v1/chat/completions, headers{ Authorization: fBearer {API_KEY}, Content-Type: application/json, }, json{ model: model, messages: messages, temperature: temperature, max_tokens: max_tokens, }, timeout60, ) resp.raise_for_status() return resp.json()[choices][0][message][content].strip() def next_question(history_text, seed_question, modelgpt-4o-mini): prompt SIMULATOR_PROMPT.format(historyhistory_text, seed_questionseed_question) return chat(model, [{role: user, content: prompt}])这里chat函数是通用的模拟器、助手、评估器都复用它只是传入不同的model和messages。TaoToken 的 Base URL 和 Key 只在模块顶部定义一次后面所有调用共享。这样切换模型时只改一个字符串不用动请求逻辑。如果你更习惯用 TOML 管理配置可以建一个config.toml[taotoken] base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY [models] simulator gpt-4o-mini assistant gpt-4o evaluator gpt-4o-mini [collect] max_turns 6 max_context_tokens 2048max_turns控制单条对话的最大轮数max_context_tokens对应论文里的硬控制策略——上下文超过阈值就终止对话避免无限追问导致 token 消耗失控。这两个参数在批量采集时直接决定成本建议先用小批量试跑再放大。4. 多模型并发采集脚本与成功结果验证有了模拟器和统一调用入口接下来写并发采集脚本。流程是拿一批种子问题对每个种子启动一条对话链模拟器提问、助手回答、把回答追加进历史、模拟器再提问循环到最大轮数或上下文超限为止。多条对话链之间用线程池并发每条链内部是串行的因为下一轮依赖上一轮的回答。import concurrent.futures from typing import List, Dict def build_history(messages: List[Dict]) - str: lines [] for m in messages: role 用户 if m[role] user else 助手 lines.append(f{role}{m[content]}) return \n.join(lines) def collect_one_dialogue(seed_question: str, max_turns: int 6) - Dict: messages [{role: user, content: seed_question}] dialogue {seed: seed_question, turns: []} for turn in range(max_turns): history_text build_history(messages) if len(history_text) 6000: break question next_question(history_text, seed_question, modelgpt-4o-mini) messages.append({role: user, content: question}) answer chat(gpt-4o, messages, temperature0.7, max_tokens1024) messages.append({role: assistant, content: answer}) dialogue[turns].append({q: question, a: answer}) return dialogue def collect_batch(seeds: List[str], workers: int 4) - List[Dict]: results [] with concurrent.futures.ThreadPoolExecutor(max_workersworkers) as pool: futures {pool.submit(collect_one_dialogue, s): s for s in seeds} for fut in concurrent.futures.as_completed(futures): seed futures[fut] try: results.append(fut.result()) except Exception as e: print(f[FAIL] seed{seed[:30]} err{e}) return results if __name__ __main__: seeds [ Python 里怎么读取一个大文件而不占满内存, 向量数据库和传统数据库在检索上有什么区别, 微调一个小模型需要准备多少数据, ] data collect_batch(seeds, workers3) with open(socratic_chat.jsonl, w, encodingutf-8) as f: for d in data: f.write(json.dumps(d, ensure_asciiFalse) \n) print(fcollected {len(data)} dialogues)跑起来之后控制台会打印采集条数同时生成socratic_chat.jsonl。每条记录包含种子问题和若干轮问答。成功的结果长这样{seed: Python 里怎么读取一个大文件而不占满内存, turns: [{q: 你说的分块读取块大小一般设多少比较合适, a: 块大小没有固定值...}, {q: 那如果文件是二进制格式分块读取和用 mmap 哪个更稳, a: 这取决于...}]}验证采集是否成功看三个指标一是每条对话的轮数是否达到预期比如 4 到 6 轮二是第二轮之后的问题是否引用了上一轮回答的具体内容三是 JSONL 每行能否被正常解析。可以用下面这段脚本快速抽检import json with open(socratic_chat.jsonl, encodingutf-8) as f: lines [json.loads(l) for l in f if l.strip()] turn_counts [len(d[turns]) for d in lines] print(f对话数{len(lines)} 平均轮数{sum(turn_counts)/len(turn_counts):.2f}) print(f轮数分布{ {t: turn_counts.count(t) for t in set(turn_counts)} })如果平均轮数明显低于max_turns通常是模拟器在某一轮返回了空内容或格式异常导致后续追加失败。这时候去查[FAIL]日志定位是哪个种子出的问题。并发数workers不要一上来就开太大TaoToken 的额度消耗和并发请求数相关先用 3 到 4 跑通再根据返回延迟调整。5. 本篇常见报错排查401、local proxy failed 与 choices 解析批量采集时最容易撞上的几类报错这里逐个对照。第一类是 401 鉴权失败返回体通常是{error: {message: Invalid API key}}。原因有三种Key 复制时带了空格或换行、环境变量没导出到当前 shell、或者 Key 被删除或额度耗尽。排查顺序是先echo $TAOTOKEN_API_KEY确认变量有值且无多余字符再用第 2 节的 curl 单独验证。如果 curl 通但脚本不通检查脚本里读的是不是同一个环境变量名。第二类是local proxy failed或连接超时。这类报错通常出现在请求根本没到达服务端的时候原因可能是本地网络环境、DNS 解析或请求地址拼错。先确认BASE_URL是https://taotoken.net/api没有多余斜杠或/v1重复。如果地址正确仍超时把timeout60调大并在脚本里加一次重试from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry session requests.Session() retry Retry(total3, backoff_factor1.5, status_forcelist[429, 500, 502, 503]) session.mount(https://, HTTPAdapter(max_retriesretry))把chat函数里的requests.post换成session.post遇到 429 或 5xx 会自动退避重试。注意 401 不在重试列表里因为 Key 错了重试多少次都没用。第三类是reading choices或KeyError: choices。这个报错说明返回的 JSON 里没有choices字段通常是服务端返回了错误对象但脚本直接按成功结构解析。修复方式是在chat函数里先判断状态码和字段data resp.json() if choices not in data: raise RuntimeError(funexpected response: {json.dumps(data, ensure_asciiFalse)[:300]}) return data[choices][0][message][content].strip()这样报错信息里会带上服务端返回的原始内容一眼就能看出是模型名写错、参数越界还是额度问题。模型名写错时返回体里通常有model not found字样对照第 2 节的模型列表接口核对即可。第四类是 OAuth 或鉴权头格式问题。如果你在 Claude Code 或 Cline 里配置后报 OAuth 相关错误检查是不是把ANTHROPIC_API_KEY和ANTHROPIC_AUTH_TOKEN混用了。用 TaoToken 的 Key 时填ANTHROPIC_API_KEY字段不要走 OAuth 流程。三件套 Base URL、Key、Model ID 缺一不可Model ID 写错会报模型不存在Key 写错会报 401Base URL 写错会报连接失败三类错误对应三个字段排查时按这个映射走。6. 数据去重、质量抽检与统一 Key 的长期用法采集跑通之后原始数据里会有重复和低质样本。去重分两层一层是种子问题级别的去重同一批种子里如果有语义重复的合成出来的对话也会高度相似另一层是对话内部的重复模拟器偶尔会在连续两轮问出几乎一样的问题。种子去重可以用简单的字符级相似度对话内部去重则检查相邻两轮问题的编辑距离。from difflib import SequenceMatcher def is_similar(a: str, b: str, threshold: float 0.85) - bool: return SequenceMatcher(None, a, b).ratio() threshold def dedup_dialogues(dialogues): seen_seeds [] kept [] for d in dialogues: if any(is_similar(d[seed], s) for s in seen_seeds): continue turns d[turns] cleaned [] for t in turns: if cleaned and is_similar(t[q], cleaned[-1][q]): continue cleaned.append(t) if len(cleaned) 3: d[turns] cleaned kept.append(d) seen_seeds.append(d[seed]) return kept质量抽检用评估模型对每条对话打分维度包括问题相关性、轮次递进性和回答完整性。评估提示词让模型输出 1 到 5 的分数和简短理由低于阈值的对话直接丢弃。评估调用同样走 TaoToken只改model字段即可不用再配一套鉴权。EVAL_PROMPT 请评估以下多轮对话的质量从三个维度各打 1-5 分 1. 问题相关性后续问题是否紧扣上一轮回答 2. 轮次递进性问题是否由浅入深 3. 回答完整性助手回答是否充分 对话 {history} 只输出 JSON{{relevance: 分数, progression: 分数, completeness: 分数, reason: 简短理由}} def evaluate(dialogue, modelgpt-4o-mini): history build_history( [{role: user, content: t[q]} for t in dialogue[turns]] [{role: assistant, content: t[a]} for t in dialogue[turns]] ) raw chat(model, [{role: user, content: EVAL_PROMPT.format(historyhistory)}]) return json.loads(raw)长期跑这套 pipeline 时TaoToken 统一 Key 的好处会越来越明显模拟器、助手、评估器三类调用共享一个额度和一个 Base URL脚本里不用维护多套配置换模型只改字符串。如果你要长期做编码类 Agent 的数据合成可以考虑 Coding Plan 这类按周期计费的方案比按量付费更适合持续跑批量任务。需要看模型对话效果时用模型对话页面直接试接入细节和参数说明在接入文档里Key 的创建和管理在 API Keys 页面。把这几处按用途分开采集脚本、评估脚本和人工抽检互不干扰出问题时也能快速定位是哪一环的配置需要调整。