简介面向深度学习交通流量预测入门者的实战项目源码涵盖长短期记忆网络、门控循环单元与卷积神经网络三大主流模型的构建、训练与评估。项目以交通流量序列数据为对象完整串联数据预处理、特征组织、模型配置、训练验证与结果可视化适合初学序列预测和时空建模的读者对照练习。压缩包共16个文件体积仅1.18MB含8个Python脚本、2个npz数据集、3张性能对比图、2个文本记录和1份数据说明文档目录结构清晰便于按模块阅读复用。已有92人学习下载。代码中主程序、配置参数、数据加载脚本与模型实现模块相互独立LSTM、GRU、CNN 三种模型可自由对比切换性能图表目录保留训练指标曲线便于直观评估不同模型效果附带文本记录与数据说明文档能帮助理解数据格式和实验设置降低复现门槛。1. 交通流量预测实战项目源码这堆文件真正要解决的是什么问题打开那份标着“深度学习交通流量预测新手入门实战项目源码”的压缩包目录结构往往很有迷惑性data_process、model、train.py、predict.py看上去一条龙。但真按 README 跑完一遍你大概率只得到一个“loss 在下降”的训练日志和几张说不清好坏的预测曲线。问题出在交通流量预测这个方向的门槛根本不在模型而在数据构造和预测口径。本文就按一套最小可复现的落地路径把任务拆解、数据处理、模型训练、评估与常见翻车原因讲清楚让你换任何一份流量数据都能把这个项目撑起来。适合正在找深度学习入门实战项目、手里有流量数据但不知道从哪下手的从业者。2. 流量预测的任务拆解与模型选型先回答三个问题再调模型2.1 先定预测口径单步、多步与“未来半小时”是三个问题交通流量预测从任务类型上看是一个时间序列回归问题输入是过去一段时间的流量观测输出是未来一个或多个时刻的流量值。新手拿到源码后第一件事不是看模型结构而是看目标变量和时间粒度。常见公开数据集的原始记录是 5 分钟一条包含时间戳、断面 ID、流量、速度和占有率而实战项目中通常只会挑其中一个断面、一个目标列来做单序列预测这样能把问题规模压到最小便于把训练闭环跑通。预测口径决定了后面所有代码的写法。如果目标是“预测未来 5 分钟”那输入过去 1 小时 12 个点、输出 1 个点就够了如果目标是“预测未来 30 分钟内的 5 个点”输出层就要改成 5 个神经元。不同口径的训练难度和评估结果完全不可比我见过不少新手把“多步滚动预测”和“直接多步输出”混在一起对比最后得出一个没有意义的结论。代码里建议先把时间戳处理成 datetime 索引并按时间排序很多原始 CSV 并不是严格有序的。import pandas as pd # 原始 CSV 至少包含 timestamp 和 flow 两列 df pd.read_csv(traffic_data.csv, parse_dates[timestamp]) df df.set_index(timestamp).sort_index() # 统一重采样到 5 分钟缺失值先留空后面再处理 df df[[flow]].resample(5min).mean() print(df.head()) print(df.shape)这段代码的要点在于重采样把不规则时间戳变成等间隔序列这是后续滑窗的前提。如果原始数据本身已经是 5 分钟粒度resample 不会有任何损失但如果数据里有重复时间戳或秒级乱序这一步能把问题提前暴露出来。排序是另一个容易忽略的点时间序列模型对顺序极其敏感乱序数据会让训练集和验证集之间出现跨时间的泄漏。2.2 LSTM 与 GRU 为什么是新手项目的稳妥起点深度学习模型在交通流量预测里可选的范围很大从经典 LSTM、GRU 到 TCN、Transformer 都有开源实现。但新手项目选型的第一原则不是“越新越好”而是“样本量和调试成本匹配”。流量预测的训练数据通常只有几万到几十万条这种规模下 LSTM 的参数量和训练速度都合适生态也成熟——无论是 PyTorch 还是 TensorFlow遇到报错都能快速搜到答案。GRU 是 LSTM 的简化版参数更少、训练更快在小数据集上效果往往不比 LSTM 差。模型对比表可以这样看模型适合的数据规模训练成本调参难点新手友好度单层 LSTM几千到几十万条低hidden_size、num_layers高双层 LSTM十万条以上中dropout、梯度裁剪中GRU几千到几十万条低与 LSTM 类似高TCN长序列、大样本中高卷积核大小、膨胀率中Transformer十万条以上高学习率、位置编码低如果你的实战项目只是验证“深度学习能不能预测交通流量”我一般会直接从单层 LSTM 或 GRU 开始hidden_size 取 32 或 64。这个配置在小数据上几分钟就能训练完先得到一个可用的基线再决定要不要加层数。上来就堆双层 LSTM 加 attention只会让排查问题的时间翻倍。另一个要注意的是输入特征维度新手项目里常见做法是只输入历史流量序列本身也就是单特征把速度、占有率一起拼进来属于扩展方向等基线跑通再加也不迟。2.3 评估指标别只盯训练 lossMAE、RMSE、MAPE 的选型注意训练脚本里打印的 loss 是模型在训练集上的误差不能代表真实效果。交通流量预测里常用的指标有三个MAE 衡量平均绝对误差单位与流量一致最好解释RMSE 对大误差更敏感适合关注尖峰时段预测的场合MAPE 是百分比误差但流量接近零的时刻会让它趋近无穷大所以很多项目会对分母加一个很小的 epsilon或者直接放弃 MAPE 改用 MAE。我见过有人拿 R2 当唯一指标实际上 R2 只反映趋势拟合程度流量早晚高峰的周期性会让 R2 虚高绝对误差可能仍然很大。import numpy as np def mae(y_true, y_pred): return float(np.mean(np.abs(y_true - y_pred))) def rmse(y_true, y_pred): return float(np.sqrt(np.mean((y_true - y_pred) ** 2))) def mape(y_true, y_pred, eps1e-6): return float(np.mean(np.abs((y_true - y_pred) / np.maximum(np.abs(y_true), eps))) * 100)注意这里的 y_true 和 y_pred 都应该是反归一化之后的值而不是训练时缩放到 0 到 1 之间的数值否则算出来的 MAE 无法对应真实流量单位。评估时还要分清“单步预测误差”和“多步预测误差”两者应该分开报告。验证集和测试集的差异也要留意验证集用于早停和调参测试集只用于最终评估如果验证集效果一直不错、测试集突然变差要先怀疑数据划分是否出了问题而不是急着调模型。3. 数据预处理与滑窗样本构造源码里最容易出“黑匣子”的部分3.1 一条检测器的流量数据应该怎么整理成时间序列交通流量原始数据最大的问题是脏时间戳乱序、检测器断传、流量字段出现负值。新手项目一般只取一个断面处理起来相对简单。字段层面flow 出现负数可以当成异常值剔除速度为零但流量很高的记录大概率是故障数据也要先过滤。缺失值处理上有两种常见做法连续缺失不超过 3 个点用线性插值补上连续缺失超过阈值就直接删除该时间段因为硬插值会造出一段并不存在的流量形态模型会学到错误的平滑模式。这里有个血泪经验不要在原始序列上直接做全局均值填充。交通流量有强烈的早晚高峰和周末效应全局均值会把夜间低谷拉高模型预测出来的夜间流量永远下不去。更可靠的做法是按“同一断面、同一星期几、同一时段”的均值来补或者简单点就用前向填充加线性插值。先看缺失率再决定策略缺失率超过 20% 的话这段数据就不值得修复直接换时间段更划算。import numpy as np import pandas as pd def clean_flow_series(df, max_gap3): # 先过滤异常值负流量和超过 1.5 倍 IQR 的极端值 q1, q3 df[flow].quantile([0.25, 0.75]) iqr q3 - q1 df.loc[df[flow] 0, flow] np.nan df.loc[df[flow] q3 1.5 * iqr, flow] np.nan # 连续缺失不超过 max_gap 个点用线性插值 df[flow] df[flow].interpolate(methodlinear, limitmax_gap) # 仍然缺失的段直接标记为 NaN方便后续删除 df df.dropna(subset[flow]) return df参数说明max_gap 控制插值容忍度取 3 表示最多连插 3 个缺失点超过 3 个连续缺失就保留 NaN 最终删除。IQR 过滤阈值用的是 1.5 倍四分位距这是一个偏保守的设定能去掉明显异常的尖峰又不至于削掉真实的交通拥堵峰值。删除掉 NA 之后要重新检查时间索引是否连续因为删除会造成新的时间断点滑窗切分时得重新按连续索引切片。3.2 用滑窗把时序转监督样本seq_len、horizon、stride 的参数含义深度学习模型不能直接吃时间序列它吃的是“样本对”输入过去一段时间的观测输出未来一段时间的值。这个转换过程叫滑窗也是源码里最有必要自己动手写一遍的部分。滑窗的三个参数会直接影响模型表现seq_len 是看多长的历史horizon 是预测未来几个点stride 是窗口每次滑动的步长。如果数据是 5 分钟粒度seq_len 取 24 表示看过去 2 小时horizon 取 6 表示预测未来 30 分钟。import numpy as np def make_samples(features, target, seq_len24, horizon1, stride1): X, y [], [] total len(target) for start in range(0, total - seq_len - horizon 1, stride): end start seq_len X.append(features[start:end]) y.append(target[end:end horizon]) return np.array(X), np.array(y) # 以“流量”作为单特征示例 seq_len, horizon 24, 1 X, y make_samples(df[flow].values.reshape(-1, 1), df[flow].values, seq_lenseq_len, horizonhorizon) print(X.shape, y.shape)X 的形状是 (样本数, seq_len, 特征数)y 的形状是 (样本数, horizon)。代码里 stride 默认是 1意味着相邻两个样本大部分时间点重叠。重叠样本会显著放大训练集规模但也让模型更容易学到“输出接近上一刻”的偷懒解后面避坑章节会展开。如果数据量够大我一般会把 stride 设为 horizon让训练样本之间尽量少重叠数据量小时再用 stride1 做数据增强。另一种做法是在滑动时限制每段连续时间块内取样本避免跨天混叠。3.3 归一化和时间特征顺序错了模型上线就失灵归一化在时间序列项目里是一个高危操作核心原则是先按时间切分训练集和测试集再在训练集上 fit 归一化器测试集只做 transform。如果先在全量数据上 fit MinMaxScaler再切分训练测试测试集的 min 和 max 信息就已经被模型在训练阶段间接看到了这叫归一化泄漏。线下效果会偏乐观上线后真实数据一旦超出历史范围预测值会被压缩到奇怪的区间曲线变成一段段平线。时间特征是另一个容易漏掉的东西。纯流量序列模型不知道“这是早上八点”还是“周末凌晨”只能靠历史数据里的重复模式自己摸索。常见做法是把小时、星期几、是否节假日作为额外特征拼进去。小时和星期几这类周期变量不能直接当数值输入23 点和 0 点明明是相邻时刻数值上却差了 23模型很难学。工程上通常用正弦余弦编码把周期拆成两个分量。from sklearn.preprocessing import MinMaxScaler # 构造时间特征 df[hour] df.index.hour df[dow] df.index.dayofweek df[hour_sin] np.sin(2 * np.pi * df[hour] / 24) df[hour_cos] np.cos(2 * np.pi * df[hour] / 24) # 注意先切分再归一化 train_size int(len(df) * 0.7) val_size int(len(df) * 0.15) train_df df.iloc[:train_size] val_df df.iloc[train_size:train_size val_size] test_df df.iloc[train_size val_size:] feature_cols [flow, hour_sin, hour_cos] scaler MinMaxScaler() train_scaled scaler.fit_transform(train_df[feature_cols]) val_scaled scaler.transform(val_df[feature_cols]) test_scaled scaler.transform(test_df[feature_cols])参数说明这里把 “flow” 也一起做归一化因为 LSTM 对输入尺度敏感不归一化时 loss 会被流量的大数值主导训练极不稳定。train/val/test 按 7:1.5:1.5 划分比例不是死的但必须保证时间顺序不能随机打乱。实际项目里如果数据跨多个月还要考虑按“连续周”划分避免验证集和训练集来自同一周的不同采样点那样也会造成轻微泄漏。dow 那一列在这里只构造了原始数值如果后续要作为特征建议也做 one-hot 或正弦编码别直接塞给模型。4. 搭建 LSTM 并跑通训练闭环模型定义、训练循环与评估的完整写法4.1 PyTorch 定义 TrafficLSTMbatch_first 与 hidden_size 的选择模型定义是整个项目里最直观的部分。用 PyTorch 写一个两层 LSTM 加回归头的结构代码量不大但新手经常在输入形状上报错。PyTorch 的 LSTM 默认输入维度是 (seq_len, batch, features)这对从 numpy 直接转 tensor 的人很不友好。实践中把 batch_firstTrue 打开输入变成 (batch, seq_len, features)一眼就能看出三个维度的含义也方便后续拼接其他特征。import torch import torch.nn as nn class TrafficLSTM(nn.Module): def __init__(self, n_features, hidden_size64, num_layers2, dropout0.2, horizon1): super().__init__() self.lstm nn.LSTM( input_sizen_features, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout ) self.regressor nn.Sequential( nn.Linear(hidden_size, 32), nn.ReLU(), nn.Linear(32, horizon) ) def forward(self, x): out, _ self.lstm(x) # out: (batch, seq_len, hidden_size) last out[:, -1, :] # 取最后一个时间步的隐状态 return self.regressor(last) # (batch, horizon)关键参数说明n_features 是每个时间步的特征数量对应滑窗里 X.shape[2]hidden_size 取 64 是起步值数据量小可以降到 32num_layers2 表示堆叠两层 LSTM层数越多表达能力越强但越容易过拟合dropout 只在层间生效数据量低于 1 万条时建议设 0 或 0.1。out[:, -1, :] 取的是序列最后一个时间步的隐藏状态代表模型对整段历史的“总结”再通过两层全连接映射到 horizon 个预测值。如果 horizon 大于 1这个模型输出的就是未来多个点的直接预测。4.2 训练循环与早停时序数据的 DataLoader 到底要不要 shuffle训练循环的坑不在优化器而在数据加载。PyTorch 的 DataLoader 默认 shuffleTrue对图像分类没问题对时间序列是灾难。序列模型训练时如果把不同时间段的样本打乱模型会在一个 batch 里同时看到早上和半夜的数据梯度方向被平均掉训练过程看起来很快收敛但验证集效果和上线效果都会打折。原因很简单模型失去对时间顺序的感知。更危险的是一旦验证集也被打乱评估结果会因为“预测目标来自未来时间段”而虚高。import torch.optim as optim from torch.utils.data import TensorDataset, DataLoader X_train_t torch.tensor(X_train, dtypetorch.float32) y_train_t torch.tensor(y_train, dtypetorch.float32).view(-1, 1) X_val_t torch.tensor(X_val, dtypetorch.float32) y_val_t torch.tensor(y_val, dtypetorch.float32).view(-1, 1) train_loader DataLoader(TensorDataset(X_train_t, y_train_t), batch_size64, shuffleFalse) val_loader DataLoader(TensorDataset(X_val_t, y_val_t), batch_size64, shuffleFalse) model TrafficLSTM(n_featuresX_train.shape[2], horizon1) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.MSELoss() best_val float(inf) patience 0 for epoch in range(30): model.train() for xb, yb in train_loader: optimizer.zero_grad() pred model(xb) loss criterion(pred, yb) loss.backward() optimizer.step() model.eval() val_loss 0.0 with torch.no_grad(): for xb, yb in val_loader: pred model(xb) val_loss criterion(pred, yb).item() val_loss / len(val_loader) if val_loss best_val: best_val val_loss torch.save(model.state_dict(), best_model.pt) patience 0 else: patience 1 if patience 5: print(fearly stop at epoch {epoch 1}) break这段代码里最有价值的设置是保存最佳模型权重。很多新手会在训练结束后直接拿最后一轮权重去预测但如果触发早停最后一轮往往不是验证集表现最好的那一轮。best_model.pt 就是那个“后悔药”让调参失败时还能回滚到验证集最优状态。学习率 1e-3 是 Adam 的常见起点loss 不降时优先降到 3e-4 而不是加大 batch。损失函数用 MSELoss对应训练阶段放大较大误差的训练策略最终评估再切回 MAE 看业务口径。4.3 反归一化与真实值对比预测曲线是怎么画出来的模型输出的预测值都在 [0,1] 区间因为训练前做了 MinMaxScaler。画图和算指标之前必须反归一化否则曲线看着正常、数值对不上。反归一化的坑在于MinMaxScaler 是对整个特征矩阵同时 fit 的inverse_transform 时需要传入和 fit 时列数一致的数组。常见做法是构造一个占位列把预测值和占位列拼在一起反变换后只取目标列。def inverse_scale(scaler, values, target_col_index0, n_cols3): # values: (n, 1) 的归一化预测值 placeholder np.zeros((len(values), n_cols)) placeholder[:, target_col_index] values[:, 0] inv scaler.inverse_transform(placeholder) return inv[:, target_col_index] pred_inv inverse_scale(scaler, pred_np, target_col_index0) true_inv inverse_scale(scaler, true_np, target_col_index0) print(MAE:, mae(true_inv, pred_inv)) print(RMSE:, rmse(true_inv, pred_inv))这样写的好处是避免了为每个特征单独建 scaler 的繁琐也不容易把列顺序搞错。画图时建议把预测值和真实值画在同一张图上横轴是时间索引只在测试集时间段内展示避免把历史区间的拟合效果混进来。一个值得注意的细节是如果模型输入包含 hour_sin、hour_cos 等多列特征反归一化时占位列数 n_cols 必须和 fit 时的特征列数一致否则 sklearn 会直接报维度错误。这个报错本身其实是保护机制比静默输出错误数据要友好得多。5. 新手项目常见的五个翻车现场现象、原因与解决办法5.1 训练 loss 降得很好验证 loss 却起飞现象训练集上的 MSE 一路降到很低验证集上却出现明显波动甚至越来越高。很多新手以为这是过拟合马上加 dropout但问题根本不在模型复杂度。原因最常见的是两种操作叠加造成的数据泄漏。第一种是构建滑窗前对全量数据做了随机切分验证集里混入了训练集时间段后面的数据第二种是 DataLoader 开了 shuffleTrue模型在同一 epoch 内看到未来时间段样本。时间序列模型的本质假设是“用过去预测未来”一旦未来信息进入训练验证就失去意义。解决严格按时间顺序切分 train/val/test切分后再构造滑窗样本。DataLoader 设 shuffleFalse如果确实想增加训练样本的随机性只能在训练集内部做有界的随机偏移不能跨时间块打乱。改完之后如果验证 loss 依然异常再去检查归一化是否在全量数据上做的。5.2 预测曲线比真实值慢半拍现象预测曲线整体看起来和真实曲线趋势一致但明显向右平移了一个时间步峰值总比真实晚到。评估指标看起来不算太差但图上一眼就能发现错位。原因这是时间序列预测里最经典的滞后效应。当输入窗口里包含紧邻的上一时刻流量值且 loss 用 MSE 时模型发现“输出约等于上一个输入值”就能把误差压得很低因为它不需要真正捕捉流量变化趋势。滑窗重叠率高时这个问题会更严重相邻样本的输入输出高度相似模型等于在背答案。解决我一般会先在特征里去删掉 t-1 时刻的流量原始值改用过去一小时的均值、标准差、最大最小值等统计量。更彻底的办法是把预测目标从“下一时刻”改成“未来第 3 或第 6 个时刻”让模型不能靠直接搬运上一步糊弄过去。评估时多看 MAE少看 R2R2 对这种滞后平移不敏感。5.3 LSTM 输入形状不对报错刷屏现象训练循环刚跑第一个 batchPyTorch 就报 RuntimeError常见文案是 “input.size(2) must equal hidden size” 或者 “Expected 3D tensor, got 2D”。原因LSTM 的输入必须是三维张量 (batch, seq_len, features)。新手最容易犯的错是把滑窗后的 X 数组直接喂给模型但 X 的形状其实是二维 (samples, features)忘了保留 seq_len 维度。还有一种是从 TensorDataset 构建时把 X 的形状从 (samples, seq_len, features) 压扁成了 (samples, seq_len * features)。解决模型 forward 之前加一行断言让错误在清晰的位置暴露。如果输入数据已经是三维就打印 X.shape 确认维度顺序batch_firstTrue 时对应的顺序一定是 (batch, seq_len, features)。另外注意 LSTM 输出的隐状态不能直接接全连接层先取 out[:, -1, :] 或者用全局池化压缩成二维否则 Linear 层会收到三维输入直接报错。assert X_train.ndim 3, fX_train shape: {X_train.shape} assert X_train.shape[1] seq_len, seq_len 维度对不上 print(X_train:, X_train.shape, y_train:, y_train.shape)5.4 在切分前做归一化测试集信息泄漏现象训练脚本里显示验证集 MAE 漂亮得惊人但把模型放到新数据上预测时输出曲线经常超出合理区间甚至出现负流量。原因归一化器在全量数据上取 min 和 max把测试集时间段内的流量范围也吸收了。测试集的最大值被当成 1.0 缩放模型在训练时看到的目标区间实际上包含了未来的边界信息。上线后真实数据一旦超过这个范围MinMaxScaler 会把输入映射到 1 之外模型被迫外推产生离谱结果。解决回到第 3.3 节的做法先切分再 fit。训练集 fit 的 scaler 要保存起来预测阶段用同一份 scaler 做 transform。另外可以给 MinMaxScaler 的 feature_range 留一点余量比如设成 (0.1, 0.9)这样训练和测试区间之间留一点缓冲虽然不能根治泄漏但能减少线上预测时超出范围带来的毛刺。5.5 节假日一到模型就失灵现象模型在普通工作日预测得很好一到国庆、春节或者突发性大型活动预测值严重偏低曲线像被压平了一样。节假日期间的流量形态和工作日完全不是同一个分布纯流量序列模型只能学会周期模式学不会日历事件。原因训练数据里节假日的样本占比太低模型过拟合到了“普通工作日”模式。交通流量本质受三重因素影响周期因素小时、星期、日历因素节假日、调休、突发因素事故、管制。只输入历史流量等价于让模型盲猜第三个因素。解决最低成本的方案是在特征里加入节假日标记把“是否节假日”“节后第几天”作为二进制或整数特征拼进输入。更进一步可以把天气数据、周边 POI 事件作为外部特征但新手项目不推荐一上来就做特征堆砌先把节假日标记加进去模型一般就能把除夕和普通周三区分开。突发事故这种完全不可预测的因素要接受它是任务边界上线时配合阈值告警做兜底而不是指望模型凭空预警。6. 从“跑通”到“可用”多步预测策略与滚动回测的进阶落地6.1 多步预测的四种主流做法新手项目跑通单步预测后下一步通常要预测未来 30 分钟甚至 1 小时这时就要选多步预测策略。递归多步是拿预测值当作下一步的输入循环执行实现简单但误差会逐级累积直接多步是让模型一次输出 horizon 个值实现上只需把模型最后一层输出改成 horizon 维度误差不累积但各步之间相互独立Seq2Seq 结构用一个编码器加一个解码器适合长序列但新手调试成本高多任务输出则把每个预测步长当成一个回归任务共享底层特征。我的建议是第一次扩展时用直接多步因为它只改动输出层改动最小、最容易和单步基线对比。6.2 用滚动回测验证模型窗口、节流与结果记录多步模型的评估不能只在测试集上做一次预测就算完。更可靠的做法是滚动回测以固定的预测窗口反复向前推进每次只预测未来 horizon 个点然后记录每个步长上的 MAE。比如数据测试集有 2000 个点horizon6每次预测 6 个点后把窗口向后移动 6 个点最终得到一条误差随步长变化的曲线。如果第 1 步误差很小、第 6 步误差突然放大说明模型只适合短时预测如果误差从第 1 步就开始高问题大概率出在特征构造而不是模型。滚动回测的另一个用途是防止“一次性评估”的运气成分。我习惯把每次回测的配置和结果记录在一个字典里方便对比不同 seq_len、horizon 组合的效果。模型训练完不是终点记录最佳权重、scaler 参数和特征列顺序才是真正能支撑上线的资产。换一份数据时先跑 5 分钟的小基线再决定要不要上复杂模型是我现在做这个方向的标准动作。这个方向值不值得继续投入取决于你手里的数据质量。能稳定获取 3 个月以上的高质量流量记录并且有明确的预测时段需求那这套项目就能从练手变成可用工具。如果数据断断续续、时间范围只有一两周模型再折腾也就停在演示层面。这几年我也在这个方向上翻过车最深的教训是先建立一套可信的评估流程再谈模型创新。希望帮到你。本文还有配套的精品资源点击获取