简介基于CNN与LSTM融合实现的网络流量检测系统Python源码面向计算机、人工智能、通信工程等专业的课程设计与毕业设计场景也适合希望入门深度学习流量分类的开发者参照学习。项目从流量数据中提取特征借助CNN捕捉局部模式、LSTM建模时序依赖完成网络流量的自动识别与分类。源码按数据预处理、数据加载、模型构建、训练测试和主入口等模块拆分整体逻辑清晰便于读懂流程并进行二次扩展。包内共6个文件以5个Python脚本为主另附1个txt文档用于说明项目结构与运行要点整套资源压缩后仅6KB轻量而完整。已有296人浏览学习属于经过本地编译运行、评审分95分以上的课设项目难度适中适合作为课程设计、毕业设计或项目初期演示的基础参考。1. 为什么课设选 CNNLSTM 做网络流量检测三条路里最稳的一条网络流量检测这个题目很多人的第一反应是用机器学习跑一轮随机森林或者直接上 CNN。但真正把流程跑过一遍之后会发现纯机器学习要手工构造大量统计特征纯 CNN 又很难捕捉流量的时序演化而语义上最适合流量序列输入的方案恰好是 CNNLSTM 组合CNN 先对滑窗流量做局部特征抽象LSTM 再消化时间依赖。对于课程设计来说它兼顾了算法深度、模型可解释性和答辩时能讲清楚的内容量。这篇文章从数据预处理、模型搭建、训练调参到常见坑点完整展开方向是给做课设、毕设的读者一个可以直接跑起来并交付的路线。2. 数据准备把原始流量记录变成 CNNLSTM 能吃的三维张量2.1 选数据集与特征列流量检测第一步不是建模型是定输入网络流量检测本质上是一个多分类或者二分类问题目标是判断“这一段流量是正常通信还是某种攻击再具体点说是哪一类攻击”。行业里最常见的做法是直接用公开入侵检测数据集例如 NSL-KDD、UNSW-NB15、CICIDS 2017 这类已经结构化好的特征集合。它们通常被整理成 CSV每一行是一条连接或者一个流包含持续时间、源字节数、目的字节数、协议类型、标志位统计等若干维数值特征最后一列是标签标记这一条流量属于正常还是某类攻击。我第一次做这个方向的时候曾试图自己抓 pcap 然后解析流量特征结果光是数据清洗就花了两天平衡处理还没做完。所以这里给一句实在话课程设计不要从 pcap 抓包开始直接拿公开数据集的 CSV 特征表把精力集中在“特征怎么进模型”和“模型怎么调参”上这两个环节才是得分点。但注意一个前提CNNLSTM 的输入格式通常是(样本数, 时间步长, 特征数)这样的三维张量。如果你的数据集每行只是一个独立的聚合流彼此没有天然的时间先后那么通常有两种处理方式方案适用场景代价每条记录当一个时间步窗口长度固定为 1数据本身是聚合流特征只做分类不过度考虑时序LSTM 的时序能力几乎发挥不出来按采集时间排序用滑动窗口构造样本序列数据有明确前后顺序或者本身来自多个 pcap 解析结果窗口长度和步长需要调样本量会膨胀我建议课设尽量用第二种方案。即便是 CSV 特征集只要里面有一列类似timestamp的字段就能排个序再滑窗答辩时一句“让 LSTM 学习流量随时间的变化规律”就很有说服力。哪怕没有时间戳流量数据只要是按采集顺序存储的行号本身也可以当作时间顺序来用不建议直接随机打乱。选特征列时还有一个小细节不要贪多。公开数据集预处理后的特征可能有几十维甚至上百维但其中不少列是常数或者高度相关。这些列丢进 CNN 前几层模型会被无关维度分散注意力训练时间变长且容易过拟合。先用方差过滤把接近 0 方差的列删掉再算一下相关矩阵把相关性大于 0.95 的冗余列去掉特征数量常常能砍掉三分之一而 F1 不降反升。下面给出一段字段清洗、标准化和标签编码的基础代码假设你已经把数据读成 DataFrame最后一列是labelimport pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler, LabelEncoder # 读入流量特征表假设文件名为 traffic_dataset.csv df pd.read_csv(traffic_dataset.csv, encodingutf-8) print(原始形状:, df.shape) # 剔除不适合进模型的 ID 列和文本列 ignore_cols [timestamp, src_ip, dst_ip, src_port, dst_port, label] feature_cols [c for c in df.columns if c not in ignore_cols] # 数值化只保留浮点特征 X df[feature_cols].astype(float32).values y df[label].values # 标准化每个特征变为均值 0、方差 1 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 标签编码文本类别转成整数索引 le LabelEncoder() y_int le.fit_transform(y) print(特征维度:, X_scaled.shape) print(类别列表:, list(le.classes_))这段代码逻辑清晰但有两个细节值得拎出来讲。第一为什么用StandardScaler而不是MinMaxScaler流量特征里既有几百字节的小数值也有上万字节的大数值方差量级差异悬殊标准化之后各维特征尺度统一CNN 的卷积核初始化和 LSTM 的门控计算都会更稳定。第二为什么要把src_port和dst_port剔掉端口号是类别属性而不是数值属性端口 443 和端口 8080 之间没有“数值越大越危险”的线性关系直接进模型会让卷积核学到一些完全虚假的规律。如果确实想用端口信息应该做 one-hot 编码但课设里通常没必要。2.2 滑窗切片把表格数据改成时间序列样本拿到X_scaled之后下一步是把二维的(样本数, 特征数)切成三维的(样本数, 时间步长, 特征数)。这里的“时间步长”表示模型一次要看多少个连续时间点。窗口太短攻击的阶段性无法体现比如端口扫描要经过多个包的试探才会出现异常批量连接窗口太长又混入大量无关背景流量模型抓不住关键特征。我一般从 16 到 64 之间试课设里取 24 或 32 都是常见起始值具体多少要看数据量和训练速度。下面的函数完成滑窗切分def make_windows(X, y, window_size, step1): 滑窗切分带标签序列。 X: 标准化后的特征矩阵 (样本数, 特征数) y: 标签数组 window_size: 每个样本包含多少个时间点 step: 窗口移动步长 n len(X) windows_x, windows_y [], [] for i in range(0, n - window_size 1, step): windows_x.append(X[i : i window_size]) # 窗口标签取最后一个时间点的类别 windows_y.append(y[i window_size - 1]) return np.array(windows_x), np.array(windows_y) window_size 32 step 8 X_w, y_w make_windows(X_scaled, y_int, window_size, step) print(切分后形状:, X_w.shape) # 期望看到 (样本数, 32, 特征数)参数上要特别关注step。step1时窗口高度重叠数据量会膨胀到接近原始样本数训练很慢但信息连续step8时样本数量大约只有原始数据除以 8 再加一训练更轻但边界信息会被跳过。我的习惯是在window_size // 4到window_size // 2之间取步长既能保住时间连续性又不至于让数据集爆炸。另外滑窗之后样本之间高度相关如果直接随机打乱再切训练测试集会造成严重的时间泄漏模型成绩会虚高。后面第 5 章会专门展开这个坑但切分阶段就应按时间顺序切前 70% 训练后 30% 测试不要用train_test_split默认的随机模式。2.3 类别不均衡别让少数攻击类在损失函数里完全“隐形”流量检测数据集里的类别不均衡是家常便饭。正常流量可能占 80% 以上某几类攻击却只有几百条样本。如果直接训练模型很快会发现“全部预测成正常类”就能拿到极高的准确率但实际价值为零。所以处理不均衡要从三个层面同时做数据层面对少数类做简单的随机过采样或者对多数类做欠采样课设里通常不需要上 SMOTE 这类复杂方法损失函数层面给少数类更高的权重Keras 里直接用class_weight传参评估层面不要只看准确率要看每个类别的精确率、召回率和 F1。第二个和第三个层面会在第 4 章详细展开。这一阶段顺手把scaler和label_encoder保存下来后面预测和文档说明都离不开import joblib joblib.dump(scaler, scaler.pkl) joblib.dump(le, label_encoder.pkl)保存之后再进入模型部分。后面加载模型做演示时必须用同一个 scaler 对新样本做标准化否则训练和预测的特征尺度不一致预测概率会明显漂移。3. 用 Keras 搭 CNNLSTM结构、维度与可直接跑的代码3.1 结构选型为什么 CNN 在前、LSTM 在后这是整个方案里最核心的一个设计决策。对流量序列来说输入本质上是形如(窗口长度, 特征维度)的一维时序信号。CNN 负责的是局部特征提取比如某一段连续包长统计的规律、某几个特征联合出现的模式LSTM 负责的则是在 CNN 提取出的特征序列上捕捉长期依赖比如攻击从开始到结束的演化过程。两者串联起来正好覆盖了流量检测的两类核心信息局部形态与全局时序。如果顺序反过来让 LSTM 先处理原始特征再接 CNN会带来两个问题。第一LSTM 输出的是整段序列的语义表示已经丢失了相邻局部位置信息CNN 再卷积就失去了作用第二LSTM 输入维度大训练计算量显著增加。所以常见的 CNNLSTM 结构是输入三维张量 → 二维卷积池化若干层 → 得到压缩后的特征序列 → 送入 LSTM → 全连接输出。这里的“LSTM 的时间步数”不一定要等于原始窗口长度。Conv1D 沿着时间维卷积paddingsame时时间长度不变paddingvalid时时间长度会减少池化层会把时间维折叠一半。比如输入(batch, 32, 40)经过一个pool_size2后时间长度大约变成 16LSTM 就对这 16 个时间步做递归。窗口越长池化的压缩作用越明显相当于让 LSTM 不必处理每一帧的原始信息这对抑制过拟合很有帮助。课程设计用 TensorFlow 的 Keras 接口就够了没必要自己写 PyTorch 的自定义训练循环。Keras 的代码量更少model.summary()一眼能看到每层输出形状答辩时解释起来也更顺畅。如果你习惯 PyTorch思路完全一致只是需要自己写forward和训练循环这里不做展开。3.2 模型代码与参数说明import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import ( Conv1D, MaxPooling1D, LSTM, Dropout, Dense ) seq_len X_w.shape[1] # 时间步长这里是 32 n_features X_w.shape[2] # 特征数 n_classes len(np.unique(y_int)) model Sequential([ # 第一层卷积提取局部流量特征 Conv1D( filters64, kernel_size5, activationrelu, paddingsame, input_shape(seq_len, n_features) ), MaxPooling1D(pool_size2), # 第二层卷积在更高抽象层次上再提取 Conv1D( filters128, kernel_size5, activationrelu, paddingsame ), MaxPooling1D(pool_size2), # LSTM学习序列演化只返回最后一个时间步 LSTM(units64, return_sequencesFalse), Dropout(0.3), Dense(64, activationrelu), Dropout(0.2), Dense(n_classes, activationsoftmax) ]) model.summary() model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), losssparse_categorical_crossentropy, metrics[accuracy] )逐层说一下参数。kernel_size5表示卷积核覆盖 5 个连续时间点。窗口本身只有 32 个点卷积核取 3 或 5 足够刻画局部规律取 11 会过于粗暴。filters64是第一层抽特征模式的数量数据量不大的课设里 64 通常够用强行上 128 或 256 只会拖慢训练并加剧过拟合。LSTM(units64)是隐层状态维度决定 LSTM 能记住多少信息取 32 到 128 之间都比较常见课设取 64 比较稳妥。代码里还注意一个细节return_sequencesFalse。这表示 LSTM 只输出最后一个时间步的隐藏状态形状是(batch, 64)可以直接接全连接层。如果你把return_sequencesTrueLSTM 会输出所有时间步的状态形状变成(batch, 16, 64)直接接Dense层会报维度错误必须先Flatten。课设里不需要用return_sequencesTrue除非你要做两层 LSTM 叠加。3.3 答辩常问的两个模型变体答辩老师大概率会问一句这里能不能只用 CNN能不能换成双向 LSTM提前准备两句话会显得有把握。只用 CNN卷积核只能在一个局部窗口内做加权和无法建模“扫描持续了几秒、在哪个时刻突然加速”这类长程依赖对周期型攻击的漏报明显。把 LSTM 换成双向 LSTM模型会同时看过去和未来的信息在离线分类场景效果通常会更好但参数量翻倍而且实时流量检测里不应该用未来数据来判当前时刻。课设做离线分类时可以提一句“双向 LSTM 是一个可改进方向”但不必真换。如果你时间充裕也可以在现有基础结构上做一个小变体LSTM 后面再接一层Bidirectional(LSTM(32))或者把单层 LSTM 换成两层。不过对课设数据集这些改动不一定会带来 F1 的实质提升反而更容易过拟合。先把基础结构调通再考虑复杂度。4. 训练与评估让模型收敛、保存权重、输出一份可交差的报告4.1 训练配置类别权重怎么算在类别不均衡的流量检测里我第一次跑 CNNLSTM 时直接调用fit验证集准确率很快到了 0.9但少数类的 F1 是 0模型把所有样本都判成了正常类。解决这个问题的标准手段就是设置类别权重让损失函数给少数类更大的惩罚。from sklearn.utils.class_weight import compute_class_weight class_weight compute_class_weight( class_weightbalanced, classesnp.unique(y_train), yy_train ) class_weight_dict dict(zip(np.unique(y_train), class_weight)) print(class_weight_dict)compute_class_weight计算出的权重大致是“总样本数除以类别数和该类样本数的乘积”少数类权重会大于 1多数类权重小于 1。把这个字典传给fit的class_weight参数后梯度更新时少数类的误差会被放大模型就不再一边倒地偏向正常类。4.2 训练循环早停和模型权重保存课程设计最容易出现的问题是训练到后面验证集已经不提升但损失还在波动白白浪费好几个小时。标准做法是配合EarlyStopping让训练在验证损失不再下降时自动停止同时用ModelCheckpoint保存验证集上表现最好的权重而不是最后一步的权重。from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint callbacks [ EarlyStopping( monitorval_loss, patience8, restore_best_weightsTrue, verbose1 ), ModelCheckpoint( traffic_model.h5, monitorval_accuracy, save_best_onlyTrue, verbose1 ) ] history model.fit( X_train, y_train, epochs50, batch_size256, validation_data(X_val, y_val), callbackscallbacks, class_weightclass_weight_dict, verbose1 )这里两个参数值得再强调。patience8表示验证损失连续 8 个 epoch 没有下降就停止。太小会在损失曲线正常抖动时过早停机太大又会让训练白白多跑很多轮。save_best_onlyTrue配合monitorval_accuracy保存的是验证准确率最高的一次权重而不是最后一个 epoch 的权重。同时养成一个习惯把history保存下来画训练曲线。答辩时展示一条训练和验证损失同步下降的曲线非常有说服力它能证明模型没有明显过拟合以及早停具体在哪一个 epoch 触发。import matplotlib.pyplot as plt plt.plot(history.history[loss], labeltrain_loss) plt.plot(history.history[val_loss], labelval_loss) plt.legend() plt.savefig(training_curve.png)4.3 评估指标不要只看准确率训练完成后评估流程是固定的加载最优权重在测试集上做预测输出分类报告和混淆矩阵。from sklearn.metrics import classification_report, confusion_matrix y_pred np.argmax(model.predict(X_test, batch_size256), axis1) print(classification_report(y_test, y_pred, target_namesle.classes_)) cm confusion_matrix(y_test, y_pred) print(混淆矩阵:) print(cm)classification_report会逐类给出精确率、召回率和 F1。看报告的顺序是固定的先看少数类的召回率是不是不为 0再看多数类的准确率有没有被拖低最后看总体准确率。混淆矩阵则用来直观展示每一类攻击分别被误判到哪些类里。例如少数类U2R如果大量被分到Normal说明类别权重还不够或者窗口特征区分度不足。我自己的经验是基础结构加类别权重加标准化配置下网络流量多分类的总体 F1 通常能到 0.85 以上具体取决于数据集的干净程度和窗口设置是否合理。如果 F1 一直上不去先回头检查第 5 章里的那几个翻车点。4.4 必调参数速查这里给一个简短的参数速查表方便报告“参数设置”部分直接引用参数建议范围说明window_size16~64控制模型看多长的时间片段太小丢时序信息太大混入背景流量batch_size128~512影响训练速度和稳定性小数据集取 256 比较稳CNN filters32~128第一层抽特征模式数量过大过拟合LSTM units32~128记忆容量过大训练慢且容易过拟合dropout0.2~0.5抑制过拟合LSTM 后的全连接层比较吃 dropout5. 避坑网络流量检测用 CNNLSTM最容易翻车的 5 个地方5.1 翻车一准确率 96%少数类 F1 却是 0现象训练完之后验证集准确率一路涨到 96%分类报告却显示某一个或者某几个攻击类别 F1 为 0模型几乎把所有窗口都判成了正常流量。原因正常流量在数据集中占绝大多数少数攻击样本在损失函数里占比太小梯度被多数类不断稀释模型根本没有机会学到攻击类的特征。解决先给少数类加class_weight这是成本最低的一招。如果加完仍不理想再对少数类训练样本做重复采样或者对多数类欠采样。每一步调参后都看一眼混淆矩阵而不是只看整体准确率。准确率在高不均衡数据上很常产生强烈误导。5.2 翻车二随机切分训练集测试集把时间泄漏带进评估现象测试集准确率高达 98%自己抓一段新流量回来做预测准确率直接掉到七成。原因滑窗产生的窗口在时间上是高度重叠的。用train_test_split默认随机打乱再切分训练集里很可能混入测试集窗口的前后重叠部分模型实际上已经在记忆测试数据的时间特点换一份新数据自然露馅。解决训练测试按时间顺序切分先选好划分点前面做训练集后面做测试集。如果数据来自多个不同来源的 pcap还应该按来源分组切而不是按行打乱。验证集则继续从训练集末尾切出一块。牢记一句话流量数据天然带时间结构随机打乱在大多数场景里都不合理。5.3 翻车三input_shape 和 Dense 维度不匹配第一个 epoch 直接报错现象model.fit第一个 epoch 就抛ValueError: Input 0 of layer conv1d is incompatible或者Negative dimension size。原因Conv1D 要求输入是三维(batch, steps, features)但有些人把每条特征记录直接当成二维(batch, features)喂进去也有人把 Conv2D 的思维套进来给 Conv1D 塞了四维数据。解决切分后先用X_w.shape确认形状。模型构建后立刻执行model.summary()把每一层的 output_shape 检查一遍。如果input_shape写错summary会直接暴露出来。Dense层的输入必须是一维向量所以 LSTM 要么return_sequencesFalse要么在 LSTM 后面接Flatten否则维度一定对不上。5.4 翻车四LSTM 层参数吃内存课设机器直接 OOM 或慢到怀疑人生现象训练到一半内存耗尽或者一个 epoch 要跑十几分钟batch 大小怎么调都压不下来。原因LSTM 在时间维上展开每一步都要维护多个门控中间量参数量远大于同宽度的全连接层。窗口长度 64、特征数 80、units128 时光 LSTM 就已经几十万参数在 CPU 上训练很痛苦。解决先把window_size降到 32LSTM units降到 64batch_size保持在 256 以下确认能在单机 CPU 上正常收敛再考虑加大参数。做课设不是比赛刷榜模型能跑通、结果稳定比追求极限分数更重要。如果你用的是 GPU也要注意输入数据一次性全部载入内存的问题滑窗后的数组可能非常大这时用tf.data.Dataset流式读取更稳妥。5.5 翻车五验证集在调参过程中反复被看测试集成了“验证集”现象调参时反复根据验证集分数修改窗口长度、卷积核大小、dropout最终测试集指标非常漂亮但换一份新流量就彻底失效。原因在验证集上迭代太多次验证集的信息已经通过人工调参泄入模型结构测试集就不再是纯未知数据模型的泛化能力被严重高估。解决把数据集拆成训练、验证、测试三份测试集只在最后跑一次。验证集只做EarlyStopping和ModelCheckpoint不要在验证集上反复对比多个候选结构。比较模型变体时应另开一份小验证集调参结束后才接触最终测试集。6. 把课设变成可演示的小工具加载权重做单条预测课设答辩最加分的是现场演示。之前保存的traffic_model.h5、scaler.pkl、label_encoder.pkl三个文件合在一起就是一个最小可用的预测工具。写一个predict.py让演示时不用重新训练模型直接输入一行特征向量就能得到识别结果。import numpy as np import joblib from tensorflow.keras.models import load_model model load_model(traffic_model.h5) scaler joblib.load(scaler.pkl) le joblib.load(label_encoder.pkl) def predict_window(feature_row): # feature_row 是剔除了 ID 列和标签列的一条特征数组 scaled scaler.transform([feature_row]) # 单点预测演示将单条记录扩展为窗口便于走流程 window np.repeat(scaled, 32, axis0).reshape(1, 32, -1) prob model.predict(window, batch_size1)[0] label_idx int(np.argmax(prob)) return le.inverse_transform([label_idx])[0], float(prob[label_idx]) label, confidence predict_window(np.random.randn(40)) print(f识别类别: {label}, 置信度: {confidence:.2f})这段代码里的feature_row是 40 维随机数仅用于演示通路。真实工程上对单点预测的正确做法是维护一个长度为 32 的累积窗口每来一个新时间点推进一格凑满之后再做预测而不是把单条记录重复 32 遍。答辩时如果能主动讲清这一点会显得你确实理解序列输入的本质。文档说明部分也有一个常见误区。很多课设文档只写环境安装和代码结构缺少数据预处理流程说明和评估报告。我的建议是文档至少包含四部分环境依赖列表、数据预处理流程图不长但要有、模型结构变化把每层输入输出列成表格、最终评估报告含分类报告和 loss 曲线。其中 loss 曲线图是许多同学最容易漏掉的却也是最能在答辩里证明模型工作正常的材料。我自己的习惯是每跑完一组实验就把history的 loss 曲线存成 PNG连同 classification report 的 F1 一起归档。这样一来别人拿到 python 源码之后按照文档里写的窗口参数、类别权重和标准化方式就能复现出接近的数字。网络流量检测做多了你会发现模型的难点从来不在公式而在数据是否干净、指标是否真的抓得住少数攻击、测试集有没有被信息泄漏污染。这套流程跑通之后再回头看 CNNLSTM 这个组合其实就是把局部特征和时序特征组合起来的一个非常直接的工具值得在课设这个粒度上完整做一次。希望帮到你。本文还有配套的精品资源点击获取