在训练大模型的对齐流程时很多人会把 SFT监督式微调和 RL强化学习当成两个独立阶段来对待SFT 负责让模型学会“正确回答”RL 负责让模型在奖励信号下“回答得更好”。但在实际训练里这两个阶段之间的联系远比想象中紧密。一个经常被忽略的现象是RL 训练效果不好原因往往不在 RL 算法本身而在于 SFT 阶段产出的策略分布没有给 RL 留出足够好的起点。微软最近提出的 TailSFT 正是冲着这个痛点来的。从标题就能看出它的核心动作通过过滤式 SFT 来提升 RL 性能。换句话说它不是去修改 RL 内部的奖励公式或策略更新方式而是在 SFT 阶段就提前介入用过滤手段重新构造训练数据分布让后续的 RL 过程更稳定、更高效。这篇文章会做三件事第一拆解 SFT 和 RL 之间的耦合关系讲清楚为什么 SFT 的数据分布会影响 RL 效果第二分析 TailSFT 的“过滤式SFT”思路到底在改变什么第三给出一套可以在自己项目中落地的最小实验框架包括数据过滤逻辑、训练管线和验证方法。1. 这篇文章真正要解决的问题如果你只跑过一次 RLHF 或者 RLVR 训练可能不会对 SFT 阶段有太多警惕。毕竟 SFT 的训练目标很简单给定指令让模型输出标准答案用交叉熵把损失降下去。训练集损失降得越低越说明模型拟合得好。但问题是SFT 阶段拟合得越好不等于后续 RL 训练提升就越明显。在很多真实项目里团队会先收集几十万条指令数据做 SFT然后再进入 RL 阶段调偏好或任务奖励。结果常见的有三种奖励曲线上升缓慢、训练中期大幅震荡甚至 RL 后的模型在某些评测集上不如 SFT 后的模型。很多人第一反应是调 RL 的超参数比如学习率、KL 系数、奖励比例但调了一圈发现收益有限。更合理的排查顺序是先看 SFT 阶段留下的“遗产”。RL 的初始策略就是 SFT 收敛后的模型这个初始策略的概率分布决定了 RL 从哪里开始探索、可探索空间有多大、KL 惩罚会不会频繁触发。如果 SFT 阶段把大量低质量、噪声大、风格不统一的样本都喂给了模型模型就会把这些噪声也学进策略分布里。RL 阶段为了让模型朝奖励高的方向走必须先花大量的训练步数去“纠正”这些分布偏差而能够用来真正提升上限的步数就不够用了。所以这篇文章真正想解决的核心问题是当你面对 RL 效果差、波动大、跑不动的时候不要只盯着 RL 参数先回头审查你的 SFT 数据。TailSFT 给了一个非常明确的方向——在 SFT 阶段用过滤手段塑造策略分布而不是等到 RL 阶段才被动补救。如果你正在做 LLM 对齐、Agent 训练、RLVR 或者任何包含“SFT 后接 RL”的训练流程这篇文章的框架都适用。2. SFT 和 RL 的关系为什么不该把它们看作两个独立阶段要理解 TailSFT 为什么有效先得把 SFT 和 RL 的技术含义对齐。SFT 的全称是 Supervised Fine-Tuning中文叫监督式微调。它的做法很直接准备一批指令和对应的高质量回答让模型在训练中学习根据指令生成固定答案。训练目标是最大似然估计也就是让模型对标准答案的生成概率尽量高。SFT 的结果是一个具备基本指令跟随能力的模型。RL 的全称是 Reinforcement Learning在 LLM 场景里最常见的是 RLHF 和 RLVR。RLHF 用人类偏好模型作为奖励信号RLVR 用任务结果是否正确作为奖励信号。更近一段时间的 agentic RL 则把多个步骤的工具调用、代码执行结果、环境反馈整合成奖励用来训练能完成复杂任务的 Agent。不管是哪一种 RL模型都需要在某个策略基础上去尝试新动作然后根据奖励信号更新策略。关键点在于RL 的初始策略通常就是 SFT 模型的策略分布。这个初始策略不是一张白纸它已经确定了模型在不同输入下的生成概率分布。RL 阶段的更新会在这个分布附近搜索同时受到 KL 散度惩罚的限制。也就是说模型的生成结果不能偏离初始策略太多否则 KL 惩罚会抵消奖励收益。这带来一个非常直接的推论SFT 阶段留下的概率分布质量会直接限制 RL 阶段的有效探索范围。如果 SFT 模型对某些指令的生成概率过于分散模型在 RL 阶段就很难把所有可能的高奖励行为都尝一遍如果 SFT 模型对低质量回答有比较高概率RL 就需要消耗额外步数去降低这些概率而这些步数本来可以用于提升高质量回答的上限。下面这张表能更直观地展示 SFT 数据分布对 RL 性能的影响SFT 数据特点对 RL 初始策略的影响RL 阶段典型表现全量数据、质量参差不齐策略分布方差大模型对低质量回答也有较高概率奖励上升慢训练震荡明显过滤了大部分低质量样本策略分布更集中高质量行为概率更高奖励上升快训练更稳定尾部困难样本占比不足模型对边界情况缺乏初始能力RL 探索成本高在困难任务上提升有限过滤后保留关键困难样本模型在边界任务上有初步概率支撑RL 在小样本任务和长尾任务上表现更好数据分布与应用场景不一致模型学习的策略方向和 RL 目标错位评测集上出现“RL 后反而变差”这个表格不是精确的实验数据而是从训练逻辑推出来的定性关系。但它解释了很多团队的困惑为什么同样的 RL 配置换一个 SFT 数据分布效果差距会那么大。所以 SFT 和 RL 根本不是线性流水线上的两个独立工位而是强耦合的前后阶段。调整 SFT 阶段的数据分布本质上就是在调整 RL 阶段的初始策略质量。2.1 传统 SFT 的问题在哪里传统 SFT 的常见做法是拿到一批指令数据后先做基础清洗比如去重、去空、过滤明显错误答案然后直接进入全量训练。这种思路的特点是“数据越多越好质量够用就行”。但问题是很多数据虽然看起来格式完整却并不适合作为 RL 的起始策略基础。举个例子如果数据集中有大量回答长度偏短、内容笼统、缺少推理过程的样本SFT 阶段会把这些特征当成正常模式学进去。RL 阶段设置的高奖励标准可能需要模型生成详细推理步骤、使用工具或进行多轮验证模型却因为 SFT 阶段的统计惯性很难自发地往长推理方向探索。即使奖励信号很明确模型也需要付出很大的 KL 代价才能走出原来的分布范围。这也是过滤式 SFT 比全量 SFT 更有价值的根本原因。过滤不是在 SFT 之后挑几个好模型而是在训练数据源头就把不适合 RL 策略的信息剔除掉让模型从一开始就站在一个更贴近 RL 目标的位置上。3. TailSFT 的核心思路把“过滤式SFT”变成 RL 性能的控制器TailSFT 是微软提出的方法从命名上看“Tail”意味训练数据分布中那些容易被忽略、但对最终能力起关键作用的“尾部”部分。在很多指令数据集中大部分样本集中在容易回答、大众化的分布区域而真正决定模型上限的往往是难度较高、出现频率较低、模型初始状态难以覆盖的边界样本。传统 SFT 的均质化训练会让模型把概率资源平均分配给这些样本结果就是普通样本学得很好边界样本能力不足。RL 阶段想在这些边界任务上拿到高奖励就必须从相对较低的概率起点开始探索。TailSFT 的过滤式思路本质上是在 SFT 阶段就引入一个有选择性的数据分配机制。它不再对所有样本一视同仁而是先对样本做评分和过滤根据样本对最终 RL 任务的区分度、难度和有效性重新分配训练资源。对明显偏离目标任务的样本直接过滤掉对高质量的困难样本提高权重或重复采样最后用这个更“尖锐”的数据分布来微调模型。这样做的效果体现在两个层面。第一模型的初始策略会天然地偏向高奖励区域的样本RL 阶段不需要花费大量时间改变基础行为模式可以直接在正确方向上进一步优化。第二由于过滤后的数据分布更贴合任务目标RL 阶段的探索空间更集中KL 惩罚和奖励之间更容易达到平衡训练过程会更稳定。需要说明的是从公开材料来看微软关于 TailSFT 的具体实现细节、完整实验配置和训练参数并没有被广泛展开披露因此这篇文章不会冒充官方论文复现。我要做的是把“过滤式SFT”这个方向拆成可以理解的方法论再给出一套可验证的最小实验框架。这有助于你理解该方法的原理也可以作为二次设计和实验的参考起点。3.1 “过滤式SFT”和数据清洗有什么本质区别很多团队也会做数据清洗比如去掉回答中的 HTML 标签、删除重复内容、筛掉明显答非所问的样本。这些操作解决的是数据合法性和基础质量的问题。而 TailSFT 式的过滤重点不在“合法”或“格式正确”而在于“这个样本是否有利于后续 RL 阶段学习”。两者的决策标准完全不同。数据清洗标准回答的问题是这个样本是不是坏样本过滤式 SFT 标准回答的问题是这个样本放在训练集里会让 RL 阶段更容易还是更难后者的判断需要结合 RL 目标、奖励信号和任务分布来设计。我提供一个更便于理解的角度传统全量 SFT 像把所有内容都写进教材让学生平均阅读过滤式 SFT 像提前划了重点不仅删掉无关内容还降低了关键难点的学习门槛。RL 阶段就好比考前冲刺如果学生之前已经掌握了关键难点冲刺效果自然更好。4. 环境准备与前置条件在写代码之前先确认你手上的环境是否完整。过滤式 SFT 本身不是一个独立框架它是一套训练管线设计思路可以用你现有的 SFT 训练代码、RL 训练代码组合起来。只要你的项目具备以下几个条件就可以按下面的方案做实验。建议使用 Linux 环境GPU 显存建议不低于 24GB。实际情况会根据模型规模和数据量变化小规模验证用 7B 模型加单卡或者双卡就能跑通。依赖方面核心组件包括Python 3.10 或更高版本PyTorch版本建议使用项目当前稳定版不指定具体版本是为了避免和不同 CUDA 版本冲突Transformers用于加载模型和 TokenizerAccelerate 或者 DeepSpeed用于分布式训练Datasets用于加载和处理数据日志记录建议使用 TensorBoard 或 WandB如果你只是做数据过滤部分的最小验证不启动完整 RL 训练也可以在不依赖多卡环境的情况下先跑通数据管线。RL 阶段通常需要更多资源本文不会展开具体 RL 算法的部署细节因为不同 RL 框架之间的配置差异较大。5. 核心流程拆解从原始指令到过滤式SFT再到RL一套完整的 TailSFT 风格训练管线大致可以分为以下六个阶段。每个阶段都有一个明确目标做错后也会产生不同的问题。第一步准备原始 SFT 数据。这里的数据包括指令、回答以及可能存在的任务标签、难度标签。如果没有难度标签可以通过规则或者后续模型打分补全。第二步对数据样本进行评分。评分的目标是衡量每个样本对下游 RL 目标的贡献度。常用的评分信号包括回答是否正确、是否包含完整推理步骤、是否使用了工具调用、是否与目标任务的奖励标准一致等。第三步执行过滤策略。根据评分结果设置保留比例或者阈值。保留比例建议从 0.6 到 0.9 之间取值具体需要看数据质量和任务难度。过滤后可以再对关键困难样本做重加权或重复采样。第四步SFT 微调。在过滤后的数据集上做标准监督式微调监控训练损失和验证集效果。这一步和普通 SFT 的区别只在数据分布训练算法本身不需要大改。第五步进入 RL 阶段。用过滤后 SFT 得到的模型作为初始策略按照你的奖励模型或者任务奖励进行 RL 训练。记录奖励曲线、KL 散度、策略更新幅度。第六步对比验证。同条件跑一个全量 SFT 加上 RL 的对照组再跑一个过滤式 SFT 加上 RL 的实验组比较两组在最终任务结果上的差异。这套流程的核心逻辑是在进入 RL 之前先把策略分布往目标方向推一步。这样 RL 更新时不需要纠正太多基础行为偏差可以更专注地优化策略细节。6. 最小实现示例为 TailSFT 过滤管线写一个可运行参考下面给出的是一个可运行思路的参考实现不是微软官方代码。它以小规模数据为例演示了如何把过滤式 SFT 的数据处理逻辑落地。你可以根据自己的数据格式做调整。6.1 数据过滤与重加权逻辑假设你已经有一份 JSON 格式的数据每条样本包含 prompt、response、reward_score 和 difficulty 四个字段。下面这段代码演示了如何根据评分和时间复杂度来过滤数据。# 文件路径sft_filter_demo/filter_data.py import json import pandas as pd def load_data(path: str) - pd.DataFrame: with open(path, r, encodingutf-8) as f: data json.load(f) return pd.DataFrame(data) def score_sample(row) - float: 这里只是演示实际项目中可以替换为奖励模型打分、 LLM 评分或者基于规则的判断。 base row.get(reward_score, 0.0) difficulty row.get(difficulty, 0.5) # 一个简单的打分规则奖励高 难度适中偏高更容易带来 RL 提升 return base * 0.7 difficulty * 0.3 def filter_tails(df: pd.DataFrame, keep_ratio: float 0.8, tail_ratio: float 0.2): df df.copy() df[score] df.apply(score_sample, axis1) # 先用分数过滤掉低质量样本 keep_threshold df[score].quantile(1 - keep_ratio) filtered df[df[score] keep_threshold] # 对保留部分中分数最高的尾部样本做加权复制让困难优质样本得到更多训练 tail_threshold filtered[score].quantile(1 - tail_ratio) tail_samples filtered[filtered[score] tail_threshold] final_df pd.concat([filtered, tail_samples], ignore_indexTrue) return final_df if __name__ __main__: df load_data(data/sft_train.json) final_df filter_tails(df, keep_ratio0.8, tail_ratio0.2) print(f过滤前样本数: {len(df)}, 过滤后样本数: {len(final_df)}) final_df.to_json(data/sft_train_filtered.json, orientrecords, force_asciiFalse)这段代码的关键逻辑是通过 score_sample 给每个样本打分然后按照分数分位数保留质量较高的 80% 样本再对其中难度和奖励最高的尾部样本做一次重复。这样做的效果是模型在 SFT 阶段不仅看到了优质样本还会更多次地看到边界性关键样本。6.2 加权采样器设计如果不想物理复制样本也可以在 DataLoader 层面给样本加权重。这样更灵活不需要修改原始数据文件。下面这段代码演示了一个简单的权重采样器逻辑。# 文件路径sft_filter_demo/weighted_sampler.py import json import numpy as np from torch.utils.data import DataLoader, WeightedRandomSampler from datasets import Dataset def build_weighted_loader(json_path: str, batch_size: int 4): with open(json_path, r, encodingutf-8) as f: data json.load(f) # 这里使用示例权重公式实际项目请根据自己的评分体系设计 weights [] for item in data: difficulty item.get(difficulty, 0.5) reward item.get(reward_score, 0.0) weight 1.0 2.0 * difficulty reward weights.append(max(weight, 0.1)) dataset Dataset.from_list(data) sampler WeightedRandomSampler( weightsweights, num_sampleslen(dataset), replacementTrue ) loader DataLoader(dataset, batch_sizebatch_size, samplersampler) return loader使用加权采样器的好处在于你可以在不改动数据集的前提下动态调整样本重要性。如果训练中发现某些样本重要性不合理只要调整权重公式就可以重新训练不需要重建 JSON 文件。6.3 SFT 训练循环的骨架最后给一个最小化的 SFT 训练循环骨架使用 Transformers 和 Accelerate 编写。注意这个示例的目的是展示数据接入方式不是完整调优代码。# 文件路径sft_filter_demo/train_sft.py from transformers import AutoModelForCausalLM, AutoTokenizer, get_linear_schedule_with_warmup from accelerate import Accelerator import torch def train_sft(loader, model_name: str Qwen/Qwen2.5-7B-Instruct, epochs: int 3, lr: float 1e-5): accelerator Accelerator() tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name) optimizer torch.optim.AdamW(model.parameters(), lrlr) scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_steps0, num_training_stepsepochs * len(loader) ) model, optimizer, loader, scheduler accelerator.prepare(model, optimizer, loader, scheduler) for epoch in range(epochs): for batch in loader: inputs tokenizer( batch[prompt], text_targetbatch[response], return_tensorspt, paddingTrue, truncationTrue ).to(accelerator.device) outputs model(**inputs, labelsinputs[input_ids]) loss outputs.loss accelerator.backward(loss) optimizer.step() scheduler.step() optimizer.zero_grad() if accelerator.is_main_process: print(fepoch: {epoch}, loss: {loss.item():.4f}) accelerator.save_state(checkpoint_sft_filtered) if __name__ __main__: from weighted_sampler import build_weighted_loader train_loader build_weighted_loader(data/sft_train_filtered.json, batch_size4) train_sft(train_loader)这里需要特别注意代码示例用的是一个比较简化的训练循环。真实项目中你还需要处理 attention mask、label 偏移、数据截断、eval 集验证等问题。这个骨架只用来演示“过滤后的数据怎么接入到现有训练流程”帮助你把思路跑通。7. 运行结果与验证如何判断过滤式SFT提升了RL性能跑完上面的代码你会得到一批过滤后的训练数据和一份新的 SFT 模型。但这只是开始关键是验证这套过滤策略到底是否提升了 RL 性能。首先要检查的是过滤结果是否符合预期。运行 filter_data.py 时脚本会输出过滤前后样本数量。如果过滤后样本数量过少说明阈值设置过高模型可能丢失多样性如果过滤后样本数量几乎不变说明过滤没有实际作用需要调整评分配置。第二步观察 SFT 阶段的收敛情况。由于过滤后的数据更集中训练损失通常会更快下降但也可能出现过拟合。如果训练集损失持续下降而验证集损失上升说明数据量不足或者重复采样过度。此时应降低 tail_ratio 或者提高 keep_ratio。第三步进入 RL 阶段后对比实验组和对照组。核心指标包括奖励曲线均值反映策略是否在朝高奖励方向移动KL 惩罚值反映策略偏离初始策略的程度任务成功率最终任务层面的实际效果训练稳定性奖励曲线的方差是否过大最典型的合格表现是实验组的奖励曲线上升坡度更陡KL 波动更小任务成功率更高。如果实验组和对照组没有明显差异可以检查是否过滤后的数据分布与 RL 目标不一致。换句话说过滤逻辑选出来的样本不是你真正想让 RL 去优化的样本。还要警惕一种情况过滤式 SFT 模型在 SFT 阶段表现很好但 RL 后反而不如对照组。这通常是因为过滤后数据丢失了太多多样性模型在 RL 阶段可供探索的分布区间太窄。解决方案是把 keep_ratio 调高一点保留更多不同难度的样本让 RL 有更多探索空间。8. 常见问题与排查方法在实践过滤式 SFT 时比较容易遇到下面几类问题。这里是按照问题现象、可能原因、排查方式和解决方案整理的排查表。问题现象可能原因排查方式解决方案过滤后数据量过少keep_ratio 设置过低或者评分阈值偏高查看评分分布统计保留数量增大 keep_ratio或降低过滤强度SFT 训练损失下降慢过滤后的数据复杂度分布不均衡模型难以收敛检查数据难度分布查看是否困难样本占比过高调整评分公式适当增加中低难度样本SFT 后过拟合明显尾部样本重复次数过多数据量不足对比训练损失和验证损失降低 tail_ratio或使用加权采样代替物理复制RL 奖励上升慢SFT 数据与 RL 奖励目标不一致检查过滤评分标准是否对齐奖励模型重新设计分数公式纳入 RL 奖励信号RL 训练震荡剧烈SFT 策略分布方差过大KL 惩罚频繁查看 KL 曲线和策略更新幅度提高 SFT 数据质量过滤强度或降低 RL 学习率RL 后效果反而不如 SFT过滤后数据多样性损失过多RL 探索空间过窄对比 RL 前后的评测集结果增大 keep_ratio保留多样性好的中等难度样本过滤标准不稳定使用了规则评分导致分数噪声大检查评分函数和输入字段改用奖励模型或 LLM 评分定期校准评分结果9. 工程上的最佳实践与生产建议过滤式 SFT 在实验里跑通是一回事想要在生产环境里稳定使用还需要注意一些工程细节。第一过滤标准必须可解释。不要用不可解释的黑盒模型给样本打分至少要能解释每个样本为什么被保留或者被过滤。可解释性的价值在于当线上 RL 效果出现波动时你可以回到过滤阶段审查找出是因为评分标准漂移还是数据分布变了。建议给每个样本记录过滤原因输出到审计日志里。第二控制过滤强度不要追求极致。过滤式 SFT 的本质是重新分配样本权重而不是把数据集删到很小。保留比例建议控制在 0.6 到 0.9 之间。过滤强度过高模型很容易在大规模分布上欠拟合后续 RL 探索空间也会受限。第三过滤数据和 RL 奖励目标要对齐。过滤阶段用什么标准选择样本直接影响 RL 阶段能学到什么。如果 RL 目标是提高工具调用成功率过滤标准里就应该包含工具调用成功信号而不只是回答流畅度。这条听起来简单实际项目里经常出现评分标准与目标错位的问题。第四不要把过滤逻辑作用到验证集和测试集上。过滤只是训练数据构造手段测试时必须用原始的、代表真实分布的数据来评估模型效果。否则你评估的只是过滤后的拟合能力而不是实际业务能力。第五要建立可复现的版本管理。数据过滤代码、评分模型版本、过滤参数、SFT 模型版本、RL 配置这些都需要纳入实验管理。过滤式 SFT 引入了一个新变量如果不对评分标准和过滤参数做版本控制你会很难定位 RL 效果变化到底来自哪一步。第六如果条件允许先在更小的模型和数据规模上验证整套流程再放大到正式训练。过滤式 SFT 的效果并不是在所有任务上都能直接放大有些任务对数据多样性要求很高过度过滤反而会伤害最终效果。先小规模跑通实验计算出合适的过滤区间再决定是否全量应用。10. 总结与后续学习方向回到最初的判断RL 性能的提升空间很大程度上在 SFT 阶段就已经被决定了。TailSFT 真正触动我的点是它把“过滤”这个概念从数据处理细节上升为 RL 性能控制手段。你不需要把 RL 算法推到重来只需要在 SFT 阶段改变数据分布就能让后续 RL 训练更稳定、更高效。本文梳理了 SFT 与 RL 耦合的底层机制也解释了过滤式 SFT 为什么能影响初始策略质量。更重要的是我用一套最小实现演示了如何从数据评分、过滤、加权采样到 SFT 训练循环把 TailSFT 的思想落到代码上。代码不复杂关键在于你如何设计过滤标准和验证流程。后续如果你想深入实践建议从三个方向入手第一针对自己的业务任务设计一个更贴近 RL 目标的评分函数第二把过滤式 SFT 和 agentic RL 结合起来在工具调用和多步推理任务中验证效果这个方向对边界样本的敏感度比传统 RLHF 更高第三研究 SFT 阶段的数据分布与 RL 训练稳定性之间的关系围绕保留比例、样本权重和 KL 系数做一套完整的参数扫描实验。最终要记住一点不要把 SFT 当做一个孤立的数据拟合步骤它是在为 RL 阶段划定起跑线。把这条起跑线提前规划好你的 RL 训练会省下大量无用功。