简介面向计算机相关专业学生与算法爱好者这份基于深度强化学习的A股自动交易智能体源码包完整覆盖从数据读取、特征构造、智能体交互环境搭建到PPO模型训练、策略回测与结果可视化的主流流程适合课程设计、期末大作业或毕业设计参考。压缩包共130个文件以Python源码、Jupyter Notebook、训练日志、图像结果为主py文件实现核心算法与工具ipynb可交互查看PPO模型参数、交易结果与常规策略对比jpg/png展示成分股表现等可视化图表整体约20.92MB目录组织清晰。目前已有101人学习适合具备一定Python和机器学习基础、希望系统掌握强化学习在金融场景落地的读者。源码经过严格调试下载即可运行并提供多视角分析笔记与脚本便于在此基础上复现结果、调整策略或扩展新的交易模型。1. 为什么A股自动交易最终选了PPOA股市场大概是量化交易最难做的战场之一T1交割、10%涨跌幅限制、印花税和手续费双向摩擦再加上散户占比高导致的噪声极大很多在美股回测漂亮的策略搬过来直接失效。传统技术指标和线性回归模型面对这种非平稳、高噪声环境时基本只能抓住非常表面的趋势特征。这套源码里走了一条不同的路把股票自动交易建模成马尔可夫决策过程用PPOProximal Policy Optimization训练一个智能体让它在真实历史行情上反复试错自己学会什么时候买入、卖出、空仓。PPO在强化学习算法里属于训练稳定、超参数不敏感的一类比DQN系和DDPG系更适合股票这种奖励信号稀疏且延迟到达的场景。源码包含了从数据获取、环境模拟、模型训练到回测可视化的完整链路适合正在做毕业设计或想搭建第一套量化交易框架的人作为起点。2. 状态空间、动作空间与奖励函数交易智能体的设计地基强化学习做交易和做游戏最大的区别在于环境不是确定性的。游戏里每一步的奖励是稳定的行情数据则带有强烈的噪声和时变性。因此状态怎么构造、动作怎么定义、奖励怎么设计直接决定PPO智能体最终学出的是交易逻辑还是过拟合幻觉。2.1 状态空间把行情压缩成能训练的表征项目的notebook里大量使用了pandas做数据处理状态输入不是裸的价格序列而是经过归一化和特征工程后的窗口数据。常见做法是取过去N日源码里默认30天的日线数据计算OHLCV的归一化值以及若干技术指标特征。以下是典型的_build_state逻辑def _build_state(self): window self.df.iloc[self.idx - self.lookback : self.idx] close window[close].values ret np.diff(close) / close[:-1] features np.column_stack([ ret, window[volume].values[1:] / 1e6, mock_macd(window[close].values), mock_rsi(window[close].values) ]) return features.flatten()这段代码把原始行情压缩成一个固定维度的向量收益率序列体现价格动量成交量除以百万是为了把量能数据缩放到和收益率相近的数量级MACD和RSI是从价格序列派生的技术状态。归一化这一步非常关键PPO的actor网络输出层通常是tanh激活函数输入特征如果不做尺度统一训练初期梯度会剧烈震荡。这里推荐直接用sklearn.StandardScaler对全量数据先fit一次再把scaler参数固化下来避免训练和预测时出现数据泄露。2.2 动作空间与A股约束的对齐动作空间的设计决定了智能体在每一步能做什么。源码中最核心的动作定义是三分类离散动作0表示持有不动、1表示买入、2表示卖出。这个设计比连续动作更贴近A股的实际交易约束。A股的约束主要体现在三个方面约束条件对动作空间的影响T1交易制度当日买入的股票次日才能卖出环境必须记录持仓时长涨跌停限制涨停时通常买不进跌停时通常卖不出模拟时要加打断逻辑最小交易单位买入数量必须是100股的整数倍按手数取整环境里对这三条的处理我一般会写成以下逻辑def step(self, action): if action 1 and self.position 0 and self.idx self.last_buy_idx 1: # 买入按手数取整 buy_vol int(self.cash * 0.95 // (self.price * 100)) * 100 if buy_vol 0: self.position buy_vol self.cash - buy_vol * self.price * (1 self.cost_rate) self.last_buy_idx self.idx elif action 2 and self.position 0: # 卖出全部清仓 self.cash self.position * self.price * (1 - self.cost_rate - self.stamp_tax) self.position 0买入时把资金使用率限制在95%预留手续费和滑点空间这是真实交易场景中的常见做法。卖出时同时扣除佣金和印花税佣金费率按万分之一点三设置印花税卖出单边千分之零点五。值得注意的是T1的检查条件不是记录当天是否买入而是记录last_buy_idx并和当前索引比较这样跨天时才能准确判断持仓是否满一天。2.3 奖励函数收益、回撤与交易成本的权衡奖励函数是整个智能体设计里最容易被低估的部分。如果只把单步收益率作为奖励智能体会发现最好的策略是满仓持有不动因为A股长期来看指数是振荡上行的这样学的就不是交易策略而是死拿不放。源码里采用的奖励函数是持仓收益变化与惩罚项的组合形式def _calc_reward(self, prev_price, curr_price): # 持仓市值变化 pnl self.position * (curr_price - prev_price) # 交易成本惩罚 trade_penalty (self.cost_rate self.stamp_tax) * self.position * curr_price if self.trade_executed else 0 # 回撤惩罚 equity self.cash self.position * curr_price dd (self.equity_peak - equity) / self.equity_peak if self.equity_peak 0 else 0 return pnl / 1e6 - trade_penalty / 1e6 - 2.0 * dd这个奖励设计的精妙之处在于把交易成本显式扣除智能体不会为了微小的价格波动频繁买卖因为每次买卖都会产生固定的摩擦成本只有当预期收益超过摩擦成本时交易才划算。回撤惩罚项是乘了2的权重这是调参后得出经验值。过高的回撤惩罚会让智能体变得极度保守几乎不敢持仓过低的回撤惩罚又会让智能体在趋势下跌时仍然死扛仓位。这里给一个通用的调参方向先用无惩罚项版本训练到收敛观察最大回撤水平再逐步加大惩罚系数直到收益回撤比出现明显拐点后回退一档。3. 交易环境搭建与PPO训练循环实现强化学习训练的稳定性很大程度上取决于环境和模型的协同。A股历史数据有限单只股票日线数据可能只有几千条直接做逐日step训练会造成样本量不足。源码里采用的方式是对成分股池做批量环境训练这就是成分股交易期间整体表现.ipynb存在的原因。3.1 用多股票并行环境扩大样本量单只股票的数据量撑不起PPO的样本需求常见解法是同时实例化多只股票的独立环境每次rollout时分别采样。源码的做法是把沪深300成分股按行业分层抽样选出30只每只股票对应一个独立的交易环境。class ParallelEnv: def __init__(self, df_list, lookback30): self.envs [AShareTradingEnv(df, lookback) for df in df_list] def reset(self): return np.stack([env.reset() for env in self.envs]) def step(self, actions): states, rewards, dones [], [], [] for env, act in zip(self.envs, actions): s, r, d, _ env.step(act) states.append(s) rewards.append(r) dones.append(d) return np.stack(states), np.stack(rewards), np.stack(dones)这里把单智能体环境扩展到多环境并行采集数据是PPO训练的关键提速手段。每只股票的行情走势不同环境返回的奖励信号差异也很大这种多样性恰好是策略梯度方法需要的。如果只在一只股票上训练智能体很快会记住它的特有走势换到另一只股票上就完全失效。3.2 Actor-Critic网络与PPO的裁剪目标PPO的收敛稳定性主要来自它用重要性采样比率和clip裁剪来控制策略更新的幅度。训练智能体的网络结构并不复杂Actor和Critic共享底层的特征提取层然后分叉输出动作分布和状态价值估计。class ActorCritic(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.feature nn.Sequential( nn.Linear(state_dim, 256), nn.ReLU(), nn.Linear(256, 128), nn.ReLU() ) self.actor nn.Linear(128, action_dim) self.critic nn.Linear(128, 1) def forward(self, x): feat self.feature(x) logits self.actor(feat) value self.critic(feat) return Categorical(logitslogits), value特征是256维加128维的两层全连接加ReLU中间不接BatchNorm因为交易数据的batch分布差异过大BN会引入额外的噪声。多头采样的动作分布用Categorical来建模离散的动作空间。Critic输出的是状态价值估计用来和实际的累积收益做比较两者的差就是优势函数。3.3 GAE优势估计与训练主循环PPO训练的核心公式是策略梯度加GAEGeneralized Advantage Estimation。GAE通过lambda参数在偏差和方差之间做平衡源码中是这么实现的def compute_gae(rewards, values, dones, gamma0.99, lam0.95): advantages np.zeros_like(rewards) gae 0 next_value 0 for t in reversed(range(len(rewards))): delta rewards[t] gamma * next_value * (1 - dones[t]) - values[t] gae delta gamma * lam * (1 - dones[t]) * gae advantages[t] gae next_value values[t] returns advantages values return advantages, returnsGAE的计算是从最后一个时间步倒着推回来的。delta是时序差分误差代表当前步的实际奖励和Critic预测的差值gae是累积的带权优势估计lambda越小权重衰减越快优势估计越偏向近期奖励方差更小但偏差变大。在股票数据上我倾向把lambda设到0.92到0.95之间行情噪声大时偏低一些能降低方差。训练主循环里PPO的loss由三部分组成ratio torch.exp(new_log_prob - old_log_prob) surr1 ratio * advantages surr2 torch.clamp(ratio, 1.0 - clip_eps, 1.0 clip_eps) * advantages actor_loss -torch.min(surr1, surr2).mean() critic_loss F.mse_loss(value, returns) entropy_loss -(dist.entropy()).mean() total_loss actor_loss 0.5 * critic_loss - 0.01 * entropy_lossactor_loss就是裁剪后的策略梯度目标它的作用是当新旧策略的比率超出clip范围时梯度置零防止更新步长过大。critic_loss是价值网络的回归损失target是用GAE计算出的return。entropy_loss加了一个负号最小化目的是鼓励动作分布的探索性系数0.01是经验值太大策略会变成随机游走太小又容易过早收敛到局部最优。4. 回测可视化训练结果和交易信号的复盘方法训练完的PPO模型到底行不行不能只看loss曲线。这组源码里专门拆出了两个notebook做结果分析比训练本身更能看出问题。4.1 从plot_result看训练收敛状态plot_result.ipynb画的通常是训练过程中的奖励曲线、价值损失和策略熵。我一般会同时画三个子图来判断训练状态fig, axes plt.subplots(3, 1, figsize(12, 10), sharexTrue) axes[0].plot(train_rewards) axes[0].set_title(Episode Reward) axes[1].plot(critic_losses) axes[1].set_title(Critic Loss) axes[2].plot(entropies) axes[2].set_title(Policy Entropy) plt.tight_layout() plt.show()奖励曲线缓慢上升并最终在一个区间内波动说明策略在持续改进。如果奖励曲线一直不涨问题大概率出在奖励函数设计上而不是模型结构。critic loss持续下降说明价值估计在逐步收敛但如果降得过快到后期持续在低位徘徊通常意味着value网络已经过拟合到训练集的时序模式上。policy entropy是判断探索状态最直接的指标熵值如果过早降到接近0说明策略已经锁死需要调大熵系数或重置学习率熵值如果始终不降说明智能体还在随机游走。4.2 plot_traded_result把买卖点叠加到K线图上plot_traded_result.ipynb做的事情就是把智能体在某一时间段内的实际交易记录标注在行情图上这是判断交易行为是否合理的最直观方法。fig, ax plt.subplots(figsize(16, 8)) ax.plot(price_df.index, price_df[close], lw1.2, color#1a1a1a) buy_points trade_df[trade_df[action] BUY] sell_points trade_df[trade_df[action] SELL] ax.scatter(buy_points.index, buy_points[price], marker^, s70, c#d62728, labelBUY, zorder5) ax.scatter(sell_points.index, sell_points[price], markerv, s70, c#2ca02c, labelSELL, zorder5) ax.legend() plt.show()把买卖点标注到价格序列上能看到几个关键问题买入点是否都出现在回调后的低位而不是追高位置卖出点是否避免了大幅回撤交易频率是否过高导致手续费蚕食利润。我拿到任何交易策略的第一个操作就是把交易点打在图上做视觉检查这一步比任何指标都更能暴露策略缺陷。4.3 滑点、停牌与手续费回测里最容易翻车的三个地方回测结果和实盘表现之间的差距大部分来自这三个因素滑点成交价格和信号价格之间的偏差模型在训练时用的是收盘价成交实盘中涨停板开盘、大单冲击都会造成滑点。建议在环境里对每次成交价格加一个0.1%到0.3%的随机扰动。停牌A股停牌是常态停牌期间无法交易环境里if价格数据缺失时直接跳过该日。手续费与最小变动单位佣金、印花税和过户费会显著改变最优交易频率训练环境里应该显式扣除。提示回测收益看起来不错但不代表实盘能盈利。尤其注意训练数据里是否包含停牌日和后复权价。如果价格没有做复权处理分红除权会造成价格断崖式下跌智能体会误判为暴跌而错误卖出。5. 与常规策略对比及PPO超参数的调优边界源码中conventional_strategy.ipynb的存在说明作者也在验证一个问题如果PPO智能体连最基础的均线策略都跑不赢那深度强化学习在交易上就没有意义。5.1 搭建传统策略基线对照实验的常见做法是把双均线策略和动量策略作为baseline。双均线策略的逻辑很简单短期均线上穿长期均线时买入下穿时卖出。def ma_cross_strategy(close, short5, long20): ma_s close.rolling(short).mean() ma_l close.rolling(long).mean() signal (ma_s ma_l).astype(int).diff() return signal # 1买入, -1卖出在同样的一段回测区间内跑完PPO策略和均线策略后对比三个指标年化收益率、最大回撤、夏普比率。PPO在震荡市里通常会胜过均线策略但在单边趋势市中往往跑不赢简单的均线跟随因为趋势市里最好的策略就是买入持有而PPO的奖励函数里的回撤惩罚会让它在回调时过早卖出。5.2 从查看ppo模型参数看调优方向查看ppo模型参数.ipynb这个notebook作用是从训练好的模型检查点中读取超参数配置和网络权重。刚训练完一个模型第一件事就是确认模型的熵系数、裁剪系数和学习率是否和训练时一致。我发现很多人加载模型后直接推理结果发现效果和训练时有很大差异最后查到原因是对超参数的加载不一致。checkpoint torch.load(ppo_stock_model.pth, map_locationcpu) print(checkpoint[config])实际去看参数时重点看这几个值参数常见取值调整方向gamma0.99交易周期越短调越小高频场景可以到0.95lam0.92-0.95下调让优势估计更保守clip_eps0.1-0.3训练不稳时调小entropy_coef0.005-0.02过早收敛调大lr1e-4到3e-4长时间训练后衰减有一个容易被忽略的现象PPO对学习率的敏感度远高于DQN。A股股价序列自相关性强同样的轨迹会被重复采样。如果学习率偏高策略会在几个episode的奖励脉冲下做出大幅更新然后进入震荡。我的习惯是初始学习率设1e-4训练中期衰减3倍后期再用1e-5做微调这一步对最终收益的贡献通常能提升20%左右。5.3 换手率约束避免过拟合的最后一层防线PPO模型的最终收益和换手率之间有个隐藏关系换手越频繁越容易在训练集上拟合出优异收益但泛化能力越差。合理的做法是在奖励中加入换手率惩罚项或者在训练结束后用换手率作为模型筛选条件。同一组超参数跑多次每次的初始随机种子不同训练出的交易风格差异会很大选那个换手率适中且收益靠前的版本比只选收益最高的版本更稳妥。把换手率和区间收益画成散点图如果出现明显的正相关说明策略在依赖过度交易获利实盘时手续费和冲击成本会把这个收益吃掉大半。本文还有配套的精品资源点击获取