尧图网页设计 
简介这是一套面向高校学生与初学者的机器学习入侵检测系统完整项目源码适用于毕业设计、期末大作业与课程设计等场景帮助读者快速搭建可运行的网络入侵检测实验环境。压缩包共16个文件约17.52MB以py源码、xml配置、gz数据集及iml工程文件为主其中Python脚本承担模型训练与检测主流程xml与iml用于IDE工程配置gz文件为KDD99等入侵检测数据集另附README说明文档目录结构清晰便于按模块查阅。项目围绕KDD99数据展开涵盖数据预处理、特征处理、CNN等模型训练与多日志检测等环节代码均配有详细注释新手也能逐步理解整体流程。目前已有237人学习下载适合需要完整赛题方案、可复用代码框架与排错思路的读者参考借鉴。1. 从一份课程设计说起机器学习入侵检测系统到底在做什么很多人第一次接触「基于机器学习的入侵检测系统python源码详细注释」这类课程设计第一反应是去搜一份能跑的代码改改数据集、跑出个准确率截图就交差。但真正动手之后会发现卡住你的从来不是模型本身而是数据怎么读、特征怎么对齐、训练集和测试集怎么切、模型输出怎么解释成「这条流量是攻击」。入侵检测系统IDS本质上是一个二分类或多分类问题把网络流量或主机日志的每一条记录映射成正常或某种攻击类型。传统做法靠规则匹配比如 Snort 那种特征串比对优点是解释性强缺点是规则写不完、变种一多就漏。机器学习路线换了个思路让模型从标注数据里自己学边界适合课程设计这种既要体现算法又要能跑出结果的场景。这篇笔记面向的是要交课程设计、要复现一套能讲清楚原理的 IDS 的读者从数据到模型到评估把每一步的参数和坑都摊开讲。2. 数据集与特征工程NSL-KDD 怎么读、怎么切、怎么防泄漏2.1 为什么课程设计首选 NSL-KDD 而不是自己抓包自己用 tcpdump 或 scapy 抓包做数据集听起来很酷但对课程设计来说是灾难。抓包得到的原始流量没有标签你得手工标注几千条才能训练标注一致性还没法保证。NSL-KDD 是从 KDD Cup 99 清洗出来的经典数据集去掉了大量重复记录训练集约 12 万条、测试集约 2 万条每条有 41 个特征加一个标签标签分正常和四类攻击DoS、Probe、R2L、U2R。它的优点是特征已经数值化和符号化处理好直接能喂给模型缺点是年代久远和现代流量分布有差距。但对课程设计而言能让你把精力放在模型和评估上而不是数据清洗的无底洞。常见做法是去公开镜像下载KDDTrain.txt和KDDTest.txt两个文件。注意不要用KDDTrain_20Percent.txt那个是采样版类别分布被改过做多分类时容易某些类样本太少。下载后先看一眼列名NSL-KDD 的文件没有表头41 个特征加 label 加 difficulty 共 43 列需要自己补列名。2.2 用 pandas 读数据并补上列名import pandas as pd # NSL-KDD 官方给的 41 个特征名 label difficulty col_names [ duration,protocol_type,service,flag,src_bytes,dst_bytes, land,wrong_fragment,urgent,hot,num_failed_logins,logged_in, num_compromised,root_shell,su_attempted,num_root,num_file_creations, num_shells,num_access_files,num_outbound_cmds,is_host_login, is_guest_login,count,srv_count,serror_rate,srv_serror_rate, rerror_rate,srv_rerror_rate,same_srv_rate,diff_srv_rate, srv_diff_host_rate,dst_host_count,dst_host_srv_count, dst_host_same_srv_rate,dst_host_diff_srv_rate, dst_host_same_src_port_rate,dst_host_srv_diff_host_rate, dst_host_serror_rate,dst_host_srv_serror_rate, dst_host_rerror_rate,dst_host_srv_rerror_rate, label,difficulty ] train pd.read_csv(KDDTrain.txt, namescol_names) test pd.read_csv(KDDTest.txt, namescol_names) # difficulty 列对建模没用直接丢掉 train.drop(difficulty, axis1, inplaceTrue) test.drop(difficulty, axis1, inplaceTrue) print(train[label].value_counts())这段代码的关键点是列名必须和官方顺序严格一致错一位后面特征含义全乱。difficulty是原数据集给样本难度的打分建模时不用。打印label分布是为了确认类别是否均衡——NSL-KDD 训练集里 normal 占一半左右但 U2R 只有几十条这个不均衡后面要专门处理。2.3 类别特征编码与标签二值化protocol_type、service、flag三列是字符串必须编码。常见做法有两种LabelEncoder 和 One-Hot。service有 70 多个取值One-Hot 会让特征维度暴涨到 120 多维对树模型影响不大但对逻辑回归、SVM 这种就偏重了。我一般用 pandas 的get_dummies做 One-Hot然后对齐训练集和测试集的列防止测试集出现训练集没有的类别导致维度不一致。from sklearn.preprocessing import LabelEncoder # 先合并再编码保证训练测试的类别空间一致 all_data pd.concat([train, test], axis0) all_data pd.get_dummies(all_data, columns[protocol_type,service,flag]) # 切回训练和测试 train_enc all_data.iloc[:len(train), :].copy() test_enc all_data.iloc[len(train):, :].copy() # 标签处理先做二分类normal0其余攻击1 def to_binary(label): return 0 if label normal else 1 train_enc[binary_label] train_enc[label].apply(to_binary) test_enc[binary_label] test_enc[label].apply(to_binary) # 多分类标签把具体攻击名映射成 0-4 attack_map { normal:0, neptune:1,smurf:1,back:1,teardrop:1,pod:1,land:1, apache2:1,udpstorm:1,processtable:1,worm:1, # DoS satan:2,ipsweep:2,nmap:2,portsweep:2,mscan:2,saint:2, # Probe guess_passwd:3,ftp_write:3,imap:3,phf:3,multihop:3, warezmaster:3,warezclient:3,spy:3,xlock:3,xsnoop:3, snmpguess:3,snmpgetattack:3,httptunnel:3,sendmail:3,named:3, # R2L buffer_overflow:4,loadmodule:4,rootkit:4,perl:4,sqlattack:4, xterm:4,ps:4 # U2R } train_enc[multi_label] train_enc[label].map(attack_map) test_enc[multi_label] test_enc[label].map(attack_map)这里有个血泪经验训练集和测试集的攻击类型不完全重合。NSL-KDD 测试集里有些攻击在训练集没出现过直接map会得到 NaN。处理办法是先把测试集里没见过的攻击统一归到最近的类别或者干脆只做二分类。课程设计如果要求多分类建议在报告里说明这个映射规则别让 NaN 悄悄进模型。2.4 标准化与防数据泄漏数值特征量纲差异很大src_bytes能到上亿wrong_fragment只有 0 或 1。用 SVM、KNN、神经网络时必须标准化树模型可以不做。标准化的坑在于必须用训练集的均值和方差去变换测试集不能把测试集一起 fit。很多人图省事对整个数据集做fit_transform这就是典型的数据泄漏测试集信息提前进了训练过程准确率虚高。from sklearn.preprocessing import StandardScaler feature_cols [c for c in train_enc.columns if c not in [label,binary_label,multi_label]] scaler StandardScaler() # 只在训练集上 fit scaler.fit(train_enc[feature_cols]) X_train scaler.transform(train_enc[feature_cols]) X_test scaler.transform(test_enc[feature_cols]) y_train_bin train_enc[binary_label].values y_test_bin test_enc[binary_label].values参数说明StandardScaler做的是 (x - mean) / std对异常值敏感。如果发现某些特征有极端离群值可以换成RobustScaler用中位数和四分位距抗噪更好。这一步做完数据才算真正准备好。3. 模型选型与训练从随机森林到 XGBoost 的取舍3.1 为什么课程设计优先选树模型而不是深度学习入侵检测的数据是表格型特征不是图像也不是序列。深度学习在表格数据上并不比梯度提升树强这是近几年反复被验证的结论。随机森林和 XGBoost 训练快、调参少、可解释性好能输出特征重要性对课程设计来说性价比最高。神经网络要调层数、学习率、batch size还容易过拟合除非你的题目明确要求用 LSTM 处理时序流量否则没必要给自己找麻烦。选型上我一般这样分随机森林作为 baseline几行代码就能跑出 99% 左右的二分类准确率XGBoost 或 LightGBM 作为提升处理类别不均衡时用scale_pos_weight更顺手逻辑回归和 SVM 用来做对比实验体现「不同算法在 IDS 上的表现差异」这是课程设计报告里加分的地方。3.2 随机森林 baseline 的完整训练与评估from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score rf RandomForestClassifier( n_estimators100, # 树的数量100 通常够用再多收益递减 max_depthNone, # 不限制深度让树充分生长 min_samples_split2, # 节点分裂最小样本数 min_samples_leaf1, # 叶子最小样本数 class_weightbalanced, # 自动按类别频率加权缓解不均衡 n_jobs-1, # 用满所有 CPU 核 random_state42 # 固定随机种子保证可复现 ) rf.fit(X_train, y_train_bin) y_pred rf.predict(X_test) y_prob rf.predict_proba(X_test)[:, 1] print(classification_report(y_test_bin, y_pred, digits4)) print(AUC:, roc_auc_score(y_test_bin, y_prob)) print(confusion_matrix(y_test_bin, y_pred))参数逐个说n_estimators是森林里树的数量太少欠拟合太多训练慢且收益递减100 到 300 是常见区间。class_weightbalanced很关键NSL-KDD 里攻击样本远少于正常样本不加这个参数模型会偏向预测正常召回率难看。random_state固定后结果可复现报告里写清楚这个值别人才能复现你的数字。评估不能只看准确率入侵检测里漏报把攻击判成正常比误报更危险所以要看攻击类的 recall 和 AUC。3.3 XGBoost 处理不均衡与特征重要性输出import xgboost as xgb from sklearn.metrics import f1_score # 计算正负样本比例传给 scale_pos_weight neg (y_train_bin 0).sum() pos (y_train_bin 1).sum() spw neg / pos xgb_clf xgb.XGBClassifier( n_estimators200, max_depth6, # 树深控制模型复杂度6 是常用起点 learning_rate0.1, # 学习率越小越稳但需要更多树 subsample0.8, # 行采样比例防过拟合 colsample_bytree0.8, # 列采样比例 scale_pos_weightspw, # 正样本权重处理不均衡 eval_metriclogloss, use_label_encoderFalse, random_state42 ) xgb_clf.fit(X_train, y_train_bin) y_pred_xgb xgb_clf.predict(X_test) print(F1:, f1_score(y_test_bin, y_pred_xgb)) # 输出特征重要性报告里可以画图 import pandas as pd importance pd.Series(xgb_clf.feature_importances_, indexfeature_cols) print(importance.sort_values(ascendingFalse).head(15))scale_pos_weight设成正负样本比让模型对少数类更敏感。max_depth控制树深太深容易记住训练集噪声太浅学不到复杂边界6 到 10 是表格数据的常见范围。subsample和colsample_bytree是两道防过拟合的闸门0.8 意味着每棵树随机用 80% 的样本和 80% 的特征。特征重要性输出后你会发现src_bytes、dst_bytes、count、serror_rate这些排前面这符合直觉——攻击流量在字节数和连接频率上确实和正常流量有差异报告里可以结合这个做解释。3.4 多分类任务的处理差异如果题目要求识别具体攻击类型就把y_train_bin换成y_train_multiXGBoost 会自动用multi:softmax。但要注意 U2R 和 R2L 样本极少多分类时这两类的 F1 会很低甚至为 0。解决办法有三个一是用class_weight或样本权重给少数类加权二是对少数类做 SMOTE 过采样但要在训练集上做绝不能碰测试集三是干脆在报告里说明这两类样本不足只做 DoS、Probe、Normal 三分类。我一般选第三种诚实比刷数字重要。4. 避坑与排查课程设计里最容易翻车的五个地方4.1 准确率 99% 但实际不能用现象模型在测试集上准确率 99%但一看混淆矩阵攻击样本几乎全被判成正常。原因类别极度不均衡模型学会了「全猜正常」这个偷懒策略因为正常样本占多数全猜正常也能拿到高准确率。解决不要用准确率当唯一指标看攻击类的 recall 和 F1训练时加class_weightbalanced或scale_pos_weight评估时打印完整的classification_report别只看一个数。4.2 测试集里出现训练集没见过的类别现象做 One-Hot 后训练和测试特征维度对不上或者map标签时出现 NaN模型直接报错。原因训练集和测试集的类别空间不一致NSL-KDD 测试集里有训练集没有的攻击类型和服务类型。解决先concat再get_dummies保证列对齐标签映射时给未知类别一个默认值或者在报告里说明只保留共有类别。这个坑不处理代码跑一半就崩。4.3 标准化时把测试集一起 fit现象离线评估指标很漂亮但换个数据集或实际部署时效果暴跌。原因fit_transform用到了测试集的统计信息属于数据泄漏测试集不再是「没见过」的数据。解决永远fit训练集transform测试集用Pipeline把标准化和模型串起来交叉验证时 sklearn 会自动处理不会泄漏。4.4 随机种子不固定导致结果无法复现现象同一份代码跑两次准确率差好几个百分点报告里的数字和答辩演示对不上。原因随机森林、XGBoost、数据切分都有随机性没固定种子每次结果都不同。解决所有涉及随机的环节都设random_state包括train_test_split、模型初始化、SMOTE 采样。报告里写明种子值这是可复现性的基本要求。4.5 把 difficulty 列当特征喂进模型现象模型指标异常高但特征重要性里difficulty排第一明显不合理。原因NSL-KDD 的difficulty是数据集自带的样本难度打分和攻击类型相关属于标签泄漏。解决读数据后立刻drop(difficulty)别让它进特征矩阵。类似的还有把label编码后当特征这种低级错误在赶工的时候真的会发生。5. 进阶技巧用交叉验证和阈值调优把模型讲透课程设计如果只做一个 train/test 切分说服力有限。想让报告更扎实加一步 K 折交叉验证再对二分类的判定阈值做调优。交叉验证能告诉你模型在不同数据子集上的稳定性阈值调优能让你在漏报和误报之间做权衡——IDS 场景里漏报一条攻击的代价远大于误报一条正常流量所以阈值通常往召回率方向偏。from sklearn.model_selection import StratifiedKFold, cross_val_score from sklearn.metrics import precision_recall_curve import numpy as np # 5 折分层交叉验证保证每折类别比例一致 skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) cv_scores cross_val_score(rf, X_train, y_train_bin, cvskf, scoringf1) print(5折F1:, cv_scores.mean(), ±, cv_scores.std()) # 阈值调优默认 0.5 不一定最优 precisions, recalls, thresholds precision_recall_curve(y_test_bin, y_prob) # 找一个让 recall 0.98 的前提下 precision 最高的阈值 best_th 0.5 best_prec 0 for p, r, t in zip(precisions, recalls, thresholds): if r 0.98 and p best_prec: best_prec p best_th t print(推荐阈值:, best_th, 对应precision:, best_prec) # 用新阈值重新判定 y_pred_new (y_prob best_th).astype(int) print(classification_report(y_test_bin, y_pred_new, digits4))StratifiedKFold和普通 KFold 的区别在于它会保持每折的类别比例类别不均衡时必须用这个。cross_val_score返回 5 个 F1 值看均值和标准差标准差大说明模型对数据划分敏感稳定性差。阈值调优这段逻辑是在保证召回率不低于 98% 的前提下选精确率最高的阈值。这样模型宁可多报几条正常流量为攻击也不放过真正的攻击符合 IDS 的安全优先原则。报告里把阈值-精确率-召回率曲线画出来比单纯贴一个准确率有说服力得多。我自己做这类课程设计最大的教训是别一上来就堆模型。先把数据读对、特征对齐、评估指标选对这三步做扎实随机森林就能跑出能写进报告的结果。模型换来换去不如把一套流程讲清楚答辩时老师问的是「你为什么这么切数据」「为什么用 F1 不用准确率」而不是「你用了几个模型」。把交叉验证和阈值调优加上整个方案就从「跑通了」变成「讲得通」。希望帮到你。本文还有配套的精品资源点击获取 基于机器学习的入侵检测系统课程设计：从NSL-KDD数据到模型调优全流程
简介这是一套面向高校学生与初学者的机器学习入侵检测系统完整项目源码适用于毕业设计、期末大作业与课程设计等场景帮助读者快速搭建可运行的网络入侵检测实验环境。压缩包共16个文件约17.52MB以py源码、xml配置、gz数据集及iml工程文件为主其中Python脚本承担模型训练与检测主流程xml与iml用于IDE工程配置gz文件为KDD99等入侵检测数据集另附README说明文档目录结构清晰便于按模块查阅。项目围绕KDD99数据展开涵盖数据预处理、特征处理、CNN等模型训练与多日志检测等环节代码均配有详细注释新手也能逐步理解整体流程。目前已有237人学习下载适合需要完整赛题方案、可复用代码框架与排错思路的读者参考借鉴。1. 从一份课程设计说起机器学习入侵检测系统到底在做什么很多人第一次接触「基于机器学习的入侵检测系统python源码详细注释」这类课程设计第一反应是去搜一份能跑的代码改改数据集、跑出个准确率截图就交差。但真正动手之后会发现卡住你的从来不是模型本身而是数据怎么读、特征怎么对齐、训练集和测试集怎么切、模型输出怎么解释成「这条流量是攻击」。入侵检测系统IDS本质上是一个二分类或多分类问题把网络流量或主机日志的每一条记录映射成正常或某种攻击类型。传统做法靠规则匹配比如 Snort 那种特征串比对优点是解释性强缺点是规则写不完、变种一多就漏。机器学习路线换了个思路让模型从标注数据里自己学边界适合课程设计这种既要体现算法又要能跑出结果的场景。这篇笔记面向的是要交课程设计、要复现一套能讲清楚原理的 IDS 的读者从数据到模型到评估把每一步的参数和坑都摊开讲。2. 数据集与特征工程NSL-KDD 怎么读、怎么切、怎么防泄漏2.1 为什么课程设计首选 NSL-KDD 而不是自己抓包自己用 tcpdump 或 scapy 抓包做数据集听起来很酷但对课程设计来说是灾难。抓包得到的原始流量没有标签你得手工标注几千条才能训练标注一致性还没法保证。NSL-KDD 是从 KDD Cup 99 清洗出来的经典数据集去掉了大量重复记录训练集约 12 万条、测试集约 2 万条每条有 41 个特征加一个标签标签分正常和四类攻击DoS、Probe、R2L、U2R。它的优点是特征已经数值化和符号化处理好直接能喂给模型缺点是年代久远和现代流量分布有差距。但对课程设计而言能让你把精力放在模型和评估上而不是数据清洗的无底洞。常见做法是去公开镜像下载KDDTrain.txt和KDDTest.txt两个文件。注意不要用KDDTrain_20Percent.txt那个是采样版类别分布被改过做多分类时容易某些类样本太少。下载后先看一眼列名NSL-KDD 的文件没有表头41 个特征加 label 加 difficulty 共 43 列需要自己补列名。2.2 用 pandas 读数据并补上列名import pandas as pd # NSL-KDD 官方给的 41 个特征名 label difficulty col_names [ duration,protocol_type,service,flag,src_bytes,dst_bytes, land,wrong_fragment,urgent,hot,num_failed_logins,logged_in, num_compromised,root_shell,su_attempted,num_root,num_file_creations, num_shells,num_access_files,num_outbound_cmds,is_host_login, is_guest_login,count,srv_count,serror_rate,srv_serror_rate, rerror_rate,srv_rerror_rate,same_srv_rate,diff_srv_rate, srv_diff_host_rate,dst_host_count,dst_host_srv_count, dst_host_same_srv_rate,dst_host_diff_srv_rate, dst_host_same_src_port_rate,dst_host_srv_diff_host_rate, dst_host_serror_rate,dst_host_srv_serror_rate, dst_host_rerror_rate,dst_host_srv_rerror_rate, label,difficulty ] train pd.read_csv(KDDTrain.txt, namescol_names) test pd.read_csv(KDDTest.txt, namescol_names) # difficulty 列对建模没用直接丢掉 train.drop(difficulty, axis1, inplaceTrue) test.drop(difficulty, axis1, inplaceTrue) print(train[label].value_counts())这段代码的关键点是列名必须和官方顺序严格一致错一位后面特征含义全乱。difficulty是原数据集给样本难度的打分建模时不用。打印label分布是为了确认类别是否均衡——NSL-KDD 训练集里 normal 占一半左右但 U2R 只有几十条这个不均衡后面要专门处理。2.3 类别特征编码与标签二值化protocol_type、service、flag三列是字符串必须编码。常见做法有两种LabelEncoder 和 One-Hot。service有 70 多个取值One-Hot 会让特征维度暴涨到 120 多维对树模型影响不大但对逻辑回归、SVM 这种就偏重了。我一般用 pandas 的get_dummies做 One-Hot然后对齐训练集和测试集的列防止测试集出现训练集没有的类别导致维度不一致。from sklearn.preprocessing import LabelEncoder # 先合并再编码保证训练测试的类别空间一致 all_data pd.concat([train, test], axis0) all_data pd.get_dummies(all_data, columns[protocol_type,service,flag]) # 切回训练和测试 train_enc all_data.iloc[:len(train), :].copy() test_enc all_data.iloc[len(train):, :].copy() # 标签处理先做二分类normal0其余攻击1 def to_binary(label): return 0 if label normal else 1 train_enc[binary_label] train_enc[label].apply(to_binary) test_enc[binary_label] test_enc[label].apply(to_binary) # 多分类标签把具体攻击名映射成 0-4 attack_map { normal:0, neptune:1,smurf:1,back:1,teardrop:1,pod:1,land:1, apache2:1,udpstorm:1,processtable:1,worm:1, # DoS satan:2,ipsweep:2,nmap:2,portsweep:2,mscan:2,saint:2, # Probe guess_passwd:3,ftp_write:3,imap:3,phf:3,multihop:3, warezmaster:3,warezclient:3,spy:3,xlock:3,xsnoop:3, snmpguess:3,snmpgetattack:3,httptunnel:3,sendmail:3,named:3, # R2L buffer_overflow:4,loadmodule:4,rootkit:4,perl:4,sqlattack:4, xterm:4,ps:4 # U2R } train_enc[multi_label] train_enc[label].map(attack_map) test_enc[multi_label] test_enc[label].map(attack_map)这里有个血泪经验训练集和测试集的攻击类型不完全重合。NSL-KDD 测试集里有些攻击在训练集没出现过直接map会得到 NaN。处理办法是先把测试集里没见过的攻击统一归到最近的类别或者干脆只做二分类。课程设计如果要求多分类建议在报告里说明这个映射规则别让 NaN 悄悄进模型。2.4 标准化与防数据泄漏数值特征量纲差异很大src_bytes能到上亿wrong_fragment只有 0 或 1。用 SVM、KNN、神经网络时必须标准化树模型可以不做。标准化的坑在于必须用训练集的均值和方差去变换测试集不能把测试集一起 fit。很多人图省事对整个数据集做fit_transform这就是典型的数据泄漏测试集信息提前进了训练过程准确率虚高。from sklearn.preprocessing import StandardScaler feature_cols [c for c in train_enc.columns if c not in [label,binary_label,multi_label]] scaler StandardScaler() # 只在训练集上 fit scaler.fit(train_enc[feature_cols]) X_train scaler.transform(train_enc[feature_cols]) X_test scaler.transform(test_enc[feature_cols]) y_train_bin train_enc[binary_label].values y_test_bin test_enc[binary_label].values参数说明StandardScaler做的是 (x - mean) / std对异常值敏感。如果发现某些特征有极端离群值可以换成RobustScaler用中位数和四分位距抗噪更好。这一步做完数据才算真正准备好。3. 模型选型与训练从随机森林到 XGBoost 的取舍3.1 为什么课程设计优先选树模型而不是深度学习入侵检测的数据是表格型特征不是图像也不是序列。深度学习在表格数据上并不比梯度提升树强这是近几年反复被验证的结论。随机森林和 XGBoost 训练快、调参少、可解释性好能输出特征重要性对课程设计来说性价比最高。神经网络要调层数、学习率、batch size还容易过拟合除非你的题目明确要求用 LSTM 处理时序流量否则没必要给自己找麻烦。选型上我一般这样分随机森林作为 baseline几行代码就能跑出 99% 左右的二分类准确率XGBoost 或 LightGBM 作为提升处理类别不均衡时用scale_pos_weight更顺手逻辑回归和 SVM 用来做对比实验体现「不同算法在 IDS 上的表现差异」这是课程设计报告里加分的地方。3.2 随机森林 baseline 的完整训练与评估from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score rf RandomForestClassifier( n_estimators100, # 树的数量100 通常够用再多收益递减 max_depthNone, # 不限制深度让树充分生长 min_samples_split2, # 节点分裂最小样本数 min_samples_leaf1, # 叶子最小样本数 class_weightbalanced, # 自动按类别频率加权缓解不均衡 n_jobs-1, # 用满所有 CPU 核 random_state42 # 固定随机种子保证可复现 ) rf.fit(X_train, y_train_bin) y_pred rf.predict(X_test) y_prob rf.predict_proba(X_test)[:, 1] print(classification_report(y_test_bin, y_pred, digits4)) print(AUC:, roc_auc_score(y_test_bin, y_prob)) print(confusion_matrix(y_test_bin, y_pred))参数逐个说n_estimators是森林里树的数量太少欠拟合太多训练慢且收益递减100 到 300 是常见区间。class_weightbalanced很关键NSL-KDD 里攻击样本远少于正常样本不加这个参数模型会偏向预测正常召回率难看。random_state固定后结果可复现报告里写清楚这个值别人才能复现你的数字。评估不能只看准确率入侵检测里漏报把攻击判成正常比误报更危险所以要看攻击类的 recall 和 AUC。3.3 XGBoost 处理不均衡与特征重要性输出import xgboost as xgb from sklearn.metrics import f1_score # 计算正负样本比例传给 scale_pos_weight neg (y_train_bin 0).sum() pos (y_train_bin 1).sum() spw neg / pos xgb_clf xgb.XGBClassifier( n_estimators200, max_depth6, # 树深控制模型复杂度6 是常用起点 learning_rate0.1, # 学习率越小越稳但需要更多树 subsample0.8, # 行采样比例防过拟合 colsample_bytree0.8, # 列采样比例 scale_pos_weightspw, # 正样本权重处理不均衡 eval_metriclogloss, use_label_encoderFalse, random_state42 ) xgb_clf.fit(X_train, y_train_bin) y_pred_xgb xgb_clf.predict(X_test) print(F1:, f1_score(y_test_bin, y_pred_xgb)) # 输出特征重要性报告里可以画图 import pandas as pd importance pd.Series(xgb_clf.feature_importances_, indexfeature_cols) print(importance.sort_values(ascendingFalse).head(15))scale_pos_weight设成正负样本比让模型对少数类更敏感。max_depth控制树深太深容易记住训练集噪声太浅学不到复杂边界6 到 10 是表格数据的常见范围。subsample和colsample_bytree是两道防过拟合的闸门0.8 意味着每棵树随机用 80% 的样本和 80% 的特征。特征重要性输出后你会发现src_bytes、dst_bytes、count、serror_rate这些排前面这符合直觉——攻击流量在字节数和连接频率上确实和正常流量有差异报告里可以结合这个做解释。3.4 多分类任务的处理差异如果题目要求识别具体攻击类型就把y_train_bin换成y_train_multiXGBoost 会自动用multi:softmax。但要注意 U2R 和 R2L 样本极少多分类时这两类的 F1 会很低甚至为 0。解决办法有三个一是用class_weight或样本权重给少数类加权二是对少数类做 SMOTE 过采样但要在训练集上做绝不能碰测试集三是干脆在报告里说明这两类样本不足只做 DoS、Probe、Normal 三分类。我一般选第三种诚实比刷数字重要。4. 避坑与排查课程设计里最容易翻车的五个地方4.1 准确率 99% 但实际不能用现象模型在测试集上准确率 99%但一看混淆矩阵攻击样本几乎全被判成正常。原因类别极度不均衡模型学会了「全猜正常」这个偷懒策略因为正常样本占多数全猜正常也能拿到高准确率。解决不要用准确率当唯一指标看攻击类的 recall 和 F1训练时加class_weightbalanced或scale_pos_weight评估时打印完整的classification_report别只看一个数。4.2 测试集里出现训练集没见过的类别现象做 One-Hot 后训练和测试特征维度对不上或者map标签时出现 NaN模型直接报错。原因训练集和测试集的类别空间不一致NSL-KDD 测试集里有训练集没有的攻击类型和服务类型。解决先concat再get_dummies保证列对齐标签映射时给未知类别一个默认值或者在报告里说明只保留共有类别。这个坑不处理代码跑一半就崩。4.3 标准化时把测试集一起 fit现象离线评估指标很漂亮但换个数据集或实际部署时效果暴跌。原因fit_transform用到了测试集的统计信息属于数据泄漏测试集不再是「没见过」的数据。解决永远fit训练集transform测试集用Pipeline把标准化和模型串起来交叉验证时 sklearn 会自动处理不会泄漏。4.4 随机种子不固定导致结果无法复现现象同一份代码跑两次准确率差好几个百分点报告里的数字和答辩演示对不上。原因随机森林、XGBoost、数据切分都有随机性没固定种子每次结果都不同。解决所有涉及随机的环节都设random_state包括train_test_split、模型初始化、SMOTE 采样。报告里写明种子值这是可复现性的基本要求。4.5 把 difficulty 列当特征喂进模型现象模型指标异常高但特征重要性里difficulty排第一明显不合理。原因NSL-KDD 的difficulty是数据集自带的样本难度打分和攻击类型相关属于标签泄漏。解决读数据后立刻drop(difficulty)别让它进特征矩阵。类似的还有把label编码后当特征这种低级错误在赶工的时候真的会发生。5. 进阶技巧用交叉验证和阈值调优把模型讲透课程设计如果只做一个 train/test 切分说服力有限。想让报告更扎实加一步 K 折交叉验证再对二分类的判定阈值做调优。交叉验证能告诉你模型在不同数据子集上的稳定性阈值调优能让你在漏报和误报之间做权衡——IDS 场景里漏报一条攻击的代价远大于误报一条正常流量所以阈值通常往召回率方向偏。from sklearn.model_selection import StratifiedKFold, cross_val_score from sklearn.metrics import precision_recall_curve import numpy as np # 5 折分层交叉验证保证每折类别比例一致 skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) cv_scores cross_val_score(rf, X_train, y_train_bin, cvskf, scoringf1) print(5折F1:, cv_scores.mean(), ±, cv_scores.std()) # 阈值调优默认 0.5 不一定最优 precisions, recalls, thresholds precision_recall_curve(y_test_bin, y_prob) # 找一个让 recall 0.98 的前提下 precision 最高的阈值 best_th 0.5 best_prec 0 for p, r, t in zip(precisions, recalls, thresholds): if r 0.98 and p best_prec: best_prec p best_th t print(推荐阈值:, best_th, 对应precision:, best_prec) # 用新阈值重新判定 y_pred_new (y_prob best_th).astype(int) print(classification_report(y_test_bin, y_pred_new, digits4))StratifiedKFold和普通 KFold 的区别在于它会保持每折的类别比例类别不均衡时必须用这个。cross_val_score返回 5 个 F1 值看均值和标准差标准差大说明模型对数据划分敏感稳定性差。阈值调优这段逻辑是在保证召回率不低于 98% 的前提下选精确率最高的阈值。这样模型宁可多报几条正常流量为攻击也不放过真正的攻击符合 IDS 的安全优先原则。报告里把阈值-精确率-召回率曲线画出来比单纯贴一个准确率有说服力得多。我自己做这类课程设计最大的教训是别一上来就堆模型。先把数据读对、特征对齐、评估指标选对这三步做扎实随机森林就能跑出能写进报告的结果。模型换来换去不如把一套流程讲清楚答辩时老师问的是「你为什么这么切数据」「为什么用 F1 不用准确率」而不是「你用了几个模型」。把交叉验证和阈值调优加上整个方案就从「跑通了」变成「讲得通」。希望帮到你。本文还有配套的精品资源点击获取