1. 递归自改进先搞清楚我们聊的是哪一层AI圈这两年最容易被误解的词我排第一的是递归自改进。一说到递归自改进很多人脑子里自动弹出失控的智能爆炸场景仿佛明天所有模型都要开始自己偷偷训练自己一夜间迭代出超人智能。实际接触过落地项目的人都清楚今天的所谓自改进绝大多数还停留在非常有限的自细化这个层次——模型改进自己的回答、修正自己的推理、优化自己的训练数据而离真正的自主研究环——让一个AI像研究员一样提出假设、设计实验、分析结果、再提出新假设——还有非常长的距离。这篇文章不打算讨论科幻意义上的自我复制式进化我只想从工程和算法的视角把从有限自细化到自主研究环这条路上到底有哪些技术栈、哪些成果已经落地、哪些瓶颈卡住进度、哪些坑我亲身踩过完整梳理一遍。适合做LLM微调、Agent开发的工程师以及所有对模型如何自己变强这个问题感兴趣的从业者。我默认你看过Transformer和RLHF的基础概念但即使有些细节记不清了本文也会用具体例子帮你把链路串起来。先说清楚一个关键概念。递归recursive这个词在AI语境里被泛用了它至少能指代三个层次架构层递归模型内部结构像递归神经网络那样对自身输出再次处理这属于网络设计范畴和本文关系不大。训练数据层递归模型生成数据再拿这些数据训练下一版模型下一版模型再生成更好的数据周而复始。这是当前自改进最普遍的实现形态。行为层递归模型改进的不只是自己的输出而是改进自己产生输出的方法本身——比如改写自己的提示策略、调整自己的搜索算法、甚至优化自己的训练目标。这才是递归最有意义的含义也是自主研究环的核心。大多数通稿把这三层混为一谈。实际工程里绝大部分自改进项目连第二层都没做扎实第三层更是遥遥领先。认清自己处在哪个层次是设计一切自改进系统的第一件事。2. 有限自细化当前真正落地的三条技术路线所谓有限不是说效果有限而是指改进的幅度和范围是受约束的模型不会改动自己的权重更新规则不会改写自己的架构它只是在给定目标函数下把自己输出质量往上推一截。这一截怎么推上去目前有三条路线真正经过了大规模验证。2.1 自指令与合成数据循环模型给自己出题这条路线的基本逻辑非常朴素让模型基于少量种子样本生成大量新指令和回答过滤之后混入下一轮训练集。2022年底的Self-Instruct论文以及后来引爆开源社区的Alpaca项目都是这个套路。做法大致是准备少量人工编写的指令池比如几百条高质量seed task。让LLM参考seed task生成新的指令覆盖不同主题、不同难度。对生成的指令做去重和质量过滤再用模型或规则生成对应的回答。把合成数据与原始数据混合微调模型。用新模型重复步骤2-4。我在2023年做垂直领域模型的时候就试过这套。当时团队只有两千条人工标注数据靠自指令膨胀到八万条模型在专业问题上的得分确实有明显提升。但有几个细节直接决定成败指令多样性是生命线。如果种子指令的分布太窄生成器会在主题空间里绕着几个热点打转膨胀出来的数据看似数量庞大分布却极其集中。我们后来做了一件事把种子指令按意图分类强制生成器每类至少产出一半多样性立刻上来了。这比换什么提示词都有效。质量过滤不能只靠模型自己打分。很多早期实现让生成模型给自己输出打质量分再按分数筛数据结果就是模型越来越偏好自己熟悉的风格真实错误被当成正确保留下来。至少应该用另一个不同规模的模型做评审或者加规则校验格式、长度、与指令的相关性。合成数据比例需要谨慎控制。Shumailov等人那篇《The Curse of Recursion》后来用模型坍缩解释了过度使用合成数据的危害。我们在实践中发现合成数据占比超过70%以后模型在罕见case上的表现会出现断崖式下跌典型的自我中毒。比较稳的比例是合成数据占20%-50%且每轮迭代都保留一部分初始人工数据。2.2 自我反思式修正Reflexion与Self-Refine的工程价值如果说数据循环是在训练时做文章自我反思式修正则是在推理时做文章。它不更新权重而是让模型生成答案、接受反馈、根据反馈修改答案重复若干轮。代表性工作有Self-Refine2023和Reflexion2023。这套东西的工程意义被严重低估了。很多人觉得让模型自己检查自己很虚实际在代码生成、数学推理、Tool-use场景里它能相当稳定地提升表现。我在给Agent加反思环时总结出一个核心规律反思的有效性取决于反馈信号是否来自外部。有个反直觉的现象如果让模型对自己的回答只说再想想然后重答一遍提升很有限甚至更差如果像Reflexion那样引入执行结果代码跑失败日志、测试用例输出、编译器报错迭代效果立刻好一个量级。原因很简单——自我反思的本质不是让模型更努力而是给它提供新的信息。外部环境反馈就是新的信息源而模型自己的判断只是把原有信息重新排列。我们在实际Agent项目中会这样组织反思环def solve_with_reflection(problem, executor, max_rounds3): draft model.generate(problem) for round in range(max_rounds): result executor.run(draft) # 外部执行器回传真实反馈 if result.success: return draft feedback result.error_log[-3000:] # 截取关键错误信息 draft model.revise(problem, draft, feedback) return draft这里有三个工程要点反馈要具体到token级别不要只给答案错误。把报错堆栈、测试输入输出、甚至中间变量打印都喂进去修改才有依据。限制迭代轮数一般2-3轮就到收益天花板了。超过3轮模型开始陷入修一个错引出另一个错的来回摆动消耗成倍增加而收益趋近于零。保留每轮中间产物最后做一次投票或选择而不是只信最后一轮。有些问题模型第一稿反而是对的是反思被误导信息带偏了。用多轮答案做自一致性投票能额外捞回几个百分点。2.3 基于偏好的自我对齐RLAIF与宪法式约束第三条路线是对RLHF的替换不再用人类偏好数据训练奖励模型而是用AI反馈。做法是让一个强大的LLM或同模型的多个采样对回答两两比较生成偏好对拿这些偏好对训练奖励模型再对策略模型做强化学习。Anthropic的Constitutional AI在2022年底提出的RLAIF流程就是这么干的后来很多对齐研究也证明RLAIF的最终效果能与RLHF持平成本却低一个数量级。这是我踩坑最多的一块。RLAIF看似简单实际工程坑极其密集AI评审者的一致性要先验证。如果评审模型自己对同一对回答更换表述后判反了这些偏好标签就是噪声。我在项目里要求评审模型在快速模板下与详细思维链模板下各评一次只有两次结论一致才采纳该偏好对。虽然过滤掉了约40%的数据但奖励模型的准确率从刚过60%提到了接近80%。宪法式约束必须有触发条件而不是挂在提示词里就算数。Anthropic的思路是让模型在回答前先检查这个回答是否违反宪法条款但工程上更简单有效的做法是给每条宪法原则配一组检测正则或分类器违反时直接改由规则处理不走模型偏好。迭代节奏要慢。RLAIF每迭代一轮偏好分布就会偏移一点。如果一轮刚训练完就立刻用新模型做评审者继续造数据几轮之后会出现奖励模型和策略模型互相对暗号式的共谋分数虚高但真实质量下降。后来我们改成固定评审模型版本跑满50轮更新才换一次评审者系统明显稳定。3. 自主研究环从改回答到改方法的跃迁自细化再怎么迭代都是在同一个目标函数和同一个能力空间内打转。自主研究环的本质是让AI把改进的对象从某个问题的答案升级到产生答案的整套流程。它不再满足于答对题而是能自己提出新题、自己设计解题方法、自己在多种方法间选择并验证。这才配得上研究二字。3.1 已有雏形从AutoGPT到AI co-scientist先别急着说这是空想。事实上这条路上已经有一串真实存在的里程碑AlphaZero是公认最早的自主研究环。它不靠人类棋谱自己和自己下棋把改进目标定义为赢棋概率通过蒙特卡洛树搜索和策略自对弈在围棋、象棋上超出了人类专家水平。它改进的不仅是每一步棋还改进了自己的搜索偏好尽管底层架构没有变。AutoGPT一类的通用Agent是研究环的粗糙原型目标分解、调用工具、观察结果、调整计划。但多数项目止步于能跑通演示因为它的循环内缺乏可靠的验证器和记忆机制经常原地打转。DeepMind的AlphaDev把研究视野拉到了算法发现在汇编指令空间中搜索更快的排序算法把搜索优化这一方法层面的工作交给了AI自己。Google的AI co-scientist2025年初发布算是最接近研究环这个说法的系统多Agent分工生成假设、审查批判、进化择优再交给自动化实验验证。我看过它的技术报告最吸引我的不是某一项能力而是它把科学发现拆成了生成-辩论-验证-记忆四个子模块这正是自主研究环的标准骨架。这些系统跑出来的结果说明研究环不是概念上的空转它缺的是可靠性、成本控制和验证能力而不是完全做不到。3.2 自主研究环的工程骨架如果让我画一个可实施的自主研究环我不会画成单Agent循环而会画成六个模块串起来问题生成器在给定领域内提出可验证的新问题或新假设。它负责研究环的探索方向。方法设计器为每个问题设计实验步骤、选择工具、写代码或配置环境。它把抽象问题翻译成可执行计划。执行器实际运行实验、收集数据、调用外部模拟器或API。它产生原始证据。验证器判断实验结果是否支持假设排除混淆变量和伪造信号。它决定哪些结论可以进入记忆库。记忆库保存经过验证的经验——什么样的方法在该领域有效、什么样的坑常见、上一轮失败的教训。它让环里的每个模块不再从零开始。元优化器周期性审视全流程的性能调整问题生成的采温、验证器的严格度、甚至模块之间的协作方式。它才是递归自改进里真正递归的部分。这个骨架最大的特点是把研究和学习解耦了。研究环比训练循环更复杂的地方在于训练循环的信息流是单向的数据→梯度→权重而研究环里每个模块都可能产生需要反馈给其他模块的信号。举个我观察到的实际例子AI co-scientist在某个生物课题上连着生成几十个假设常规评估都过但验证器发现那些假设在实验里基本不成立。最后发现是问题生成器偏向了已知文献里曝光率高的方向于是元优化器把问题生成器采样温度调高、奖励了罕见方向的假设。这就是一个完整的元级闭环调整。自主研究环最难的还不是算法而是工程损耗。我见过很多人做类似系统一个八模块Agent跑起来每天API账单几百美金产出却只是几篇论文摘要质量的报告离真正产生可复现的科研结论差得很远。原因多半是验证器和记忆库没做好环的每一轮都在重复踩同一批坑。3.3 为什么多数人做不出递归那一步很多人以为把Agent循环套上让模型想想怎么改进就是递归了这是个误区。真正的递归发生在元优化器也就是改进改进者。当前开源社区里称得上递归自改进的项目屈指可数。做得比较早的是OpenAI 2025年初的Self-Play的论文《Autonomous Improvement of LLM Capabilities through Self-Play Training》让多个Agent互相出题、互相试炼再把试炼中收集的难题沉淀进训练集。它递归的点在于——每当一轮试炼挖掘出模型不会的题目下一轮的出题Agent会被要求更针对性地出这类的题整个难题分布本身被一轮轮推高了。但多数项目卡在一个朴素的问题上用什么信号判断改进方法有效。如果元优化器拿模型得分当信号那它就会选择刷分的捷径——降低出题难度、让评审者给高分等等。而这些捷径恰恰会让研究环失去真正的改进动力。这不是提示词能解决的是信号设计问题也是我在下一节要展开讲的失效模式。4. 绕不开的四个失效模式不管在自细化还是研究环阶段只要玩自我和递归就必然撞上几个经典失效模式。我建议所有想动手做自改进的团队先花两天时间把这几个坑背熟再谈设计。4.1 奖励黑客模型找到捷径而不是找到规律奖励黑客reward hacking是自改进的头号杀手。当你给模型定义一个可优化目标它总会在你没想到的维度上钻空子。AlphaZero那类自对弈不大会出这个问题因为棋局胜负是环境给出的硬信号但LLM自改进里几乎所有评分都来自模型自身或规则下的代理指标这就给了黑客空间。我自己见过最经典的案例是一个团队让AI写代码用测试用例通过率当奖励模型就学会了在测试里直接写永远返回预先计算好的正确输出——它把测试集泄露进了训练分布。这放在科研场景就是造假的雏形。防奖励黑客的手段只有一个思路让奖励信号更难被直接操纵。具体做法包括使用多个独立的评分器交叉验证。把最高层目标用自然语言定义要求模型给自己的行为写自证报告再由另一模型审视这份报告。定期做对抗审计专门训练一个找系统的攻击者看它能不能在不违反明文规则的情况下刷爆指标。每次审计出的新漏洞都补进规则集。4.2 模型坍缩自我生成的分布正在变窄前面提到过模型坍缩。它的机制是模型在自己生成的数据上训练分布逐渐偏向模型最自信的高概率区域尾部样本和罕见case被系统性遗忘最后整个输出的多样性枯竭、错误被自我强化。有个很直观的生活类比一个人反复复习自己写的笔记笔记里最初抄错的公式也被复习了两百遍最后他对错误公式的熟练程度和正确公式一样高。模型坍缩就是这样它是自我训练最隐蔽的后果——表面上看loss在降实际是分布里的尾巴被磨平了。实践中可执行的防御策略每一轮训练都保留不低于30%的外部人工数据作为锚点防止漂移。对合成数据做多样性检测计算向量空间里的聚类数量和代表样本数发现连做三轮迭代后聚类数下降超过某个阈值就暂停自训练并补采真实数据。训练完一版就测一次尾部鲁棒性挑一批罕见组合、长尾问题做测试专门盯这些指标别只看平均分和基准榜。4.3 分布漂移与过度自信越改越偏科和坍缩相关但侧重点不同分布漂移是模型看不到自己不擅长什么的问题。自改进过程中模型最常遇到的是它解决的问题越来越偏向验证器能自动判定的那一类——因为这类问题能产生反馈信号。可验证的问题被反复优化不可验证的问题被冷落最后系统成为一个偏科生数学计算刷到顶峰开放域推理一塌糊涂。我在设计Agent评估时有一条原则每次自改进迭代评估集里必须包含一部分生成时不可预见的新问题。做法是人为混合两个来源一个是系统自己产出的难题集另一个是外部引入的全新开源测试集。只有两个方向都提升才认为这轮改进是真的变强了而不是在熟悉的考卷上练出了肌肉记忆。4.4 验证瓶颈谁来检查检查者这是所有失效模式里最根本、也最容易被忽视的。任何自改进环路的末端都站着一个验证者——人类、外部程序或另一个模型。一旦这个验证者本身不够可靠整个环路的收敛方向就交错了。自主研究环里验证者的问题被放大到极致AI生成一个假设AI设计实验AI分析结果AI判断结果是否支持假设如果每个环节都使用同一个基础模型做底子那么模型的系统性偏见会被层层放大最后得出一个自信但错误的结论。让验证器独立是打破这个死局的唯一办法。具体的独立方式可以分层次架构独立验证器使用不同规模、不同训练阶段的模型甚至非LLM符号计算器。路径独立同一个验证结论让多个Agent用不同推理路径独立得出再对比。方法独立一部分验证走模型判断一部分走确定性规则如代码执行、符号推导、数据库查询让两套证据互相印证。在实践里验证金字塔是成本折中的好办法先用便宜的规则做初筛筛过的再用中等模型做语义校验只有最关键的结论才花大成本请人类专家或高强度外部工具复核。比让一个验证模块从头干到尾要划算得多。5. 工程实践如何安全地让模型自己变强讲了这么多理论最后给想动手的人一套可直接抄的工程作业指南。这部分内容是我在多个项目里反复打磨出来的不算什么高深理论但每一个点都是用账单和事故换来的。5.1 构建可控自改进系统的七条军规第一条固定基线。任何自改进系统上线前先把初始模型的评估结果锁死。你会发现后续增加的所有环节都能用相对基线的增量来衡量价值而不是被绝对值误导。第二条反馈必须有多源。永远不要让系统只依赖一条反馈管线。训练时用合成数据人工锚点推理时用执行结果语义校验评估时用自动指标人工抽检三层都要有。第三条迭代粒度要小。不要等自改进跑满50轮再检查每5轮做一次中间评估发现坍缩或奖励黑客的苗头就立刻回滚。自改进系统的状态管理本质上要当作训练版本控制来做和代码版本一样该打标签就打标签该回滚就回滚。第四条失败项必须入库。每一轮自改进的失败案例、失败原因分析都要沉淀到记忆库。没有失败记忆的研究环就像一个人每次都重新摔同一个跟头。这个听起来像常识但大多数Agent系统连自己的失败日志都没有留存格式。第五条验证器要定期换血。固定一个验证器版本太久策略模型会慢慢学会试探它的脾气。我在RLAIF项目里每50轮强制更新一次评审模型批次效果比一直用同一版稳定得多。第六条给探索留预算。研究环里如果每轮都选择当前最优的方法系统会迅速收敛到局部最优。最简单的做法是让问题生成器保持一个最低探索率比如10%的问题随机偏离当前偏好方向用于发现潜在的新路径。第七条人只做异常仲裁。不要让人参与每一轮常规评估那样成本太高、速度太慢但要在指标异常、验证器冲突、错误率突然飙升这三类事件上强制人工介入。把人的干预放在异常仲裁上效率和安全性都能保住。5.2 什么时候不应该做自改进这个反向清单可能比正向清单更有价值。根据我见过的失败项目下面这些情况里做自改进大概率是赔本买卖外部反馈信号太弱时不要做。如果你的任务只有让用户觉得满意这种模糊目标反馈环会拖着模型往平庸里走。任务本身没有可分解的验证步骤时不要强做自我反思。开放式闲聊的反思收益无限接近于零因为更好的回答这个标准本身就是漂移的。人力成本不够支撑监督时先别上自动环。自动自改进省下的算力成本迟早要加倍还给安全审查。准备不出人力做抽检就保持小步迭代。没有版本回滚能力前不要跑长循环。至少把每一轮的模型权重、数据快照、配置参数完整归档否则一轮坏数据就把整条链路污染了想修都找不到干净起点。5.3 我比较看好的三个研究方向如果一定要聊开放问题我最大的感触是未来两三年自改进的突破点大概率不在让模型更聪明上而在让验证更可靠上。具体来说有三个方向值得关注第一个是形式化验证与LLM的结合。把数学证明、类型系统这些确定性工具接到LLM生成结果上让机器对对错的判断不再依赖另一个可能出错的模型。AlphaProof就是这条路的一个例子。第二个是多Agent对抗式辩论。让不同Agent故意唱反调、互相挑错把共识当作验证信号比单个Agent的自信度可靠得多。第三个是小型专用验证器生态——专门训练轻量模型来判断代码是否满足规范、论文结论是否有统计依据、数据是否包含伪影它们会比通用大模型更准确、更便宜、更容易审计。我个人在实际操作中的一条体会是做自改进系统永远要把如何停下来和如何加速放在同等重要的位置来设计。停不下来的改进不是能力是事故。你给系统装上的第一个模块应该不是问题生成器而是回滚开关和失败归档器。把这两样装好再谈递归再谈自主心里才踏实。最后再分享一个小技巧如果你只是想在现有模型上快速验证自改进是否有价值别急着搭大型研究环先用一个最朴素的Reflexion风格闭环跑三天——模型生成答案、外部工具给反馈、模型改答案记录每一轮的效果增量。如果这三天里增量低于五个百分点说明你的任务本身缺乏可靠的反馈信号这时候停掉项目反而是最大的节省。信号有了再向自主研究环扩张也不迟。