尧图网页设计 
简介这是一套面向计算机相关专业学生与项目实战学习者的机器学习入侵检测系统完整资料适用于毕业设计、课程设计及期末大作业场景对零基础小白同样友好。资源包共31个文件约26.58MB以14个Python源码文件为核心配套5个txt说明、3个csv数据集、3个md文档、2个hdf5模型文件及doc技术方案文档覆盖数据预处理、特征工程、模型训练与预测全流程。内容围绕CNN、LSTM等深度学习模型展开包含数据清洗、类别编码、归一化、不平衡处理、特征相关性分析及分类评估等模块并附有准确率曲线图与依赖清单便于快速复现实验。该资源经导师指导并获评审99分认可代码完整可运行已有167人学习。读者可据此掌握从数据处理到模型部署的完整链路理解入侵检测任务的建模思路与调参方法同时获得一份结构清晰、可直接参考的高分项目模板。1. 从零复现一个机器学习入侵检测系统这套 Python 源码到底能跑出什么结果很多人第一次接触网络安全方向的项目都是从「基于机器学习的入侵检测系统」这个题目开始的。它听起来很唬人但真正动手时你会发现核心问题其实很朴素把网络流量拆成一条条带标签的记录让模型学会区分正常流量和攻击流量。这套 Python 源码加报告文档的组合解决的正是「从数据集到可运行模型再到实验报告」这条完整链路。它适合两类人一类是课程设计或毕业设计需要交付物的学生另一类是刚转安全方向、想用一个完整项目把机器学习流程跑通的工程师。你不需要先成为安全专家但需要能装 Python、会看 pandas 的 DataFrame、知道什么是训练集和测试集。接下来我会按真实复现顺序把数据、特征、模型、评估和报告这几块拆开讲清楚中间会给出可直接抄的代码和参数也会告诉你哪些地方最容易翻车。2. 入侵检测系统的数据底座NSL-KDD 与 CICIDS 怎么选、怎么读2.1 为什么多数高分项目都从 NSL-KDD 起步做入侵检测第一个卡点不是模型而是数据。公开流量数据集里NSL-KDD 是出现频率最高的一个原因是它足够小、字段规整、标签明确适合在单机上快速迭代。它来自 KDD Cup 99 的改进版去掉了原始数据里大量重复记录训练集和测试集的攻击类型分布也有意做了区分能暴露模型在未知攻击上的泛化问题。常见做法是训练集用 KDDTrain测试集用 KDDTest这样你得到的准确率不会虚高到 99%而是更接近真实场景的 75% 到 85% 区间。如果你想让报告更有说服力可以再加一份 CICIDS2017 做对比但那个数据集体积大、需要先做流重组新手容易在内存上翻车。我一般建议先用 NSL-KDD 把整条链路跑通再考虑换数据。2.2 用 pandas 读取并检查数据分布的完整代码import pandas as pd import numpy as np # NSL-KDD 的列名官方未在文件头提供需要手动指定 col_names [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label, difficulty ] train pd.read_csv(KDDTrain.txt, namescol_names) test pd.read_csv(KDDTest.txt, namescol_names) # 把具体攻击类型归为五大类便于多分类和报告呈现 attack_map { normal: normal, back: dos, land: dos, neptune: dos, pod: dos, smurf: dos, teardrop: dos, apache2: dos, udpstorm: dos, processtable: dos, worm: dos, satan: probe, ipsweep: probe, nmap: probe, portsweep: probe, mscan: probe, saint: probe, guess_passwd: r2l, ftp_write: r2l, imap: r2l, phf: r2l, multihop: r2l, warezmaster: r2l, warezclient: r2l, spy: r2l, xlock: r2l, xsnoop: r2l, snmpguess: r2l, snmpgetattack: r2l, httptunnel: r2l, sendmail: r2l, named: r2l, buffer_overflow: u2r, loadmodule: u2r, rootkit: u2r, perl: u2r, sqlattack: u2r, xterm: u2r, ps: u2r } train[category] train[label].map(attack_map) test[category] test[label].map(attack_map) print(训练集类别分布) print(train[category].value_counts()) print(\n测试集类别分布) print(test[category].value_counts())这段代码做了三件事指定列名、读取文件、把四十多种具体攻击归并成 normal、dos、probe、r2l、u2r 五个大类。参数上唯一需要改的是文件路径如果你下载的是压缩包先解压到当前目录。归并映射表是固定的不要随意增删否则测试集里会出现训练集没见过的类别导致评估时报错。运行后你会看到训练集里 normal 占多数dos 次之u2r 极少这种不平衡是后续必须处理的问题。2.3 类别不平衡与特征编码三个必调参数NSL-KDD 有三个离散特征protocol_type、service、flag。它们不能直接喂给模型需要做独热编码。常见做法是用 pandas 的 get_dummies但要注意训练集和测试集的列必须对齐否则会多出或缺失特征列。我一般会先把两个表拼起来做编码再切回去这样列完全一致。# 合并后统一编码避免列不对齐 all_data pd.concat([train, test], axis0, ignore_indexTrue) all_data pd.get_dummies(all_data, columns[protocol_type, service, flag]) # 切回训练集和测试集 train_encoded all_data.iloc[:len(train), :].copy() test_encoded all_data.iloc[len(train):, :].copy() # 删除无用列 drop_cols [label, difficulty, category] X_train train_encoded.drop(columnsdrop_cols) y_train train_encoded[category] X_test test_encoded.drop(columnsdrop_cols) y_test test_encoded[category] print(编码后特征维度, X_train.shape[1])这里的关键参数是columns列表必须包含所有 object 类型的列。编码后特征维度会从 41 涨到 120 左右具体取决于 service 的取值数量。如果你的内存不够可以先对 service 做频次过滤把出现次数少于 10 的类别归为 other。另一个坑是difficulty列它是 NSL-KDD 自带的难度分数不能作为特征必须删掉否则会造成标签泄漏。3. 模型选型与训练随机森林、SVM 和 XGBoost 的实测对比3.1 为什么随机森林是这套源码的默认选择在入侵检测这个场景里随机森林几乎是性价比最高的选择。它不需要特征归一化能处理高维稀疏的独热编码训练速度快还能直接输出特征重要性方便你在报告里解释「哪些流量特征对判断攻击最重要」。相比之下SVM 在样本量超过几万后训练时间会明显拉长XGBoost 效果通常更好但调参成本高。我一般会先用随机森林跑一个基线再决定要不要上 XGBoost。下面是一个可直接运行的训练和评估代码。from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, accuracy_score # n_estimators 控制树的数量max_depth 控制单棵树深度 rf RandomForestClassifier( n_estimators100, max_depth20, min_samples_split5, min_samples_leaf2, class_weightbalanced, random_state42, n_jobs-1 ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) print(准确率, accuracy_score(y_test, y_pred)) print(\n分类报告) print(classification_report(y_test, y_pred, digits4)) print(\n混淆矩阵) print(confusion_matrix(y_test, y_pred))参数上n_estimators100是起点如果你发现准确率波动大可以加到 200但训练时间会翻倍。max_depth20是为了防止树长得太深导致过拟合NSL-KDD 的特征维度不算高20 层足够。class_weightbalanced是处理类别不平衡的关键它会让模型更关注 u2r 和 r2l 这些少数类否则这些类的召回率会低得没法看。运行后你会得到一份分类报告重点看 macro avg 的 f1-score而不是只看 accuracy。3.2 用 XGBoost 做对比实验的完整流程如果你想让报告更有层次可以加一组 XGBoost 对比。XGBoost 对不平衡数据的处理不如随机森林的 class_weight 直接需要用 scale_pos_weight 或者自定义损失但多分类场景下通常还是靠样本权重。下面是一个可用的配置。import xgboost as xgb from sklearn.preprocessing import LabelEncoder # XGBoost 要求标签是 0 到 n-1 的整数 le LabelEncoder() y_train_enc le.fit_transform(y_train) y_test_enc le.transform(y_test) xgb_model xgb.XGBClassifier( n_estimators200, max_depth6, learning_rate0.1, subsample0.8, colsample_bytree0.8, objectivemulti:softmax, num_class5, eval_metricmlogloss, random_state42, n_jobs-1 ) xgb_model.fit(X_train, y_train_enc) y_pred_xgb xgb_model.predict(X_test) y_pred_xgb_label le.inverse_transform(y_pred_xgb) print(XGBoost 准确率, accuracy_score(y_test, y_pred_xgb_label)) print(classification_report(y_test, y_pred_xgb_label, digits4))这里max_depth6是 XGBoost 的常用起点比随机森林浅很多因为 boosting 是串行训练树太深容易过拟合。learning_rate0.1配合n_estimators200是经典组合如果你把学习率降到 0.05树的数量要相应加到 400 左右。subsample和colsample_bytree都是 0.8用来增加随机性、防止过拟合。注意标签必须用 LabelEncoder 转成整数否则 XGBoost 会报错。3.3 特征重要性分析报告里最值得写的一节随机森林训练完后可以直接拿到特征重要性。这一步在报告里非常加分因为它把「模型为什么能检测攻击」讲清楚了。下面代码会输出前 15 个最重要的特征。import matplotlib.pyplot as plt importances rf.feature_importances_ indices np.argsort(importances)[::-1] feature_names X_train.columns plt.figure(figsize(10, 6)) plt.title(Feature Importance (Random Forest)) plt.bar(range(15), importances[indices[:15]], aligncenter) plt.xticks(range(15), [feature_names[i] for i in indices[:15]], rotation90) plt.tight_layout() plt.savefig(feature_importance.png, dpi150) plt.show() for i in range(15): print(f{feature_names[indices[i]]}: {importances[indices[i]]:.4f})运行后你通常会看到 src_bytes、dst_bytes、count、same_srv_rate 这些特征排在前列它们分别对应流量大小、连接频次和服务一致性。这些结论可以直接写进报告的分析章节比单纯堆准确率数字有说服力得多。注意 matplotlib 在服务器上运行时需要设置后端为 Agg否则会因为没有显示设备而报错。4. 避坑与排查复现这套源码时最容易翻车的五个地方4.1 测试集出现训练集没有的类别评估直接报错现象用 classification_report 时提示 ValueError说 y_true 和 y_pred 的标签集合不一致。原因NSL-KDD 的测试集里包含训练集没有的攻击类型比如某些 r2l 和 u2r 子类。解决在归并映射时确保所有测试集标签都能映射到五大类如果映射后仍有 nan用test test.dropna(subset[category])删掉或者手动补充映射规则。更稳妥的做法是先把训练集和测试集的 label 取并集再统一映射。4.2 独热编码后训练集和测试集列数不一致现象训练时特征有 122 列预测时只有 119 列模型报 feature_names mismatch。原因训练集和测试集分开做 get_dummiesservice 列在测试集里少了几个取值。解决按 2.3 节的写法先 concat 再编码最后按行数切回去。如果已经分开了可以用X_test X_test.reindex(columnsX_train.columns, fill_value0)对齐列。4.3 准确率虚高到 99%但少数类召回率为零现象accuracy 显示 0.99但 u2r 和 r2l 的 recall 是 0.00。原因类别极度不平衡模型把所有样本都预测成 normal 或 dos。解决设置class_weightbalanced或者用 SMOTE 对少数类过采样。注意 SMOTE 只能用在训练集上不能对测试集做否则评估结果会失真。如果用了 SMOTE 后召回率还是上不去说明这两类攻击的特征和 normal 太接近需要在报告里如实说明。4.4 用 accuracy 作为唯一指标报告被质疑现象报告里只写了准确率 85%答辩时被问「dos 检测率多少」答不上来。原因入侵检测是不平衡分类accuracy 会被多数类主导。解决在报告里同时给出 precision、recall、f1-score 的宏平均和加权平均并单独列出每个类别的召回率。最好再画一张混淆矩阵的热力图让读者一眼看出模型在哪些类别上混淆最多。4.5 训练时间过长或内存溢出现象跑随机森林时卡死或者 XGBoost 报内存不足。原因n_estimators 设得太大或者用了默认的 n_jobs1。解决随机森林设置n_jobs-1用满所有 CPU 核心XGBoost 用tree_methodhist降低内存占用。如果数据量确实大可以先对 normal 类做欠采样把训练集控制在 5 万条以内再跑模型。注意欠采样会改变类别分布评估时要用原始测试集。5. 报告文档怎么写才像高分项目结构、图表和可复现性5.1 一份能拿高分的报告目录长什么样报告文档不是代码的附属品它需要独立讲清楚问题定义、数据、方法、实验和结论。我一般会按这个结构写第一章绪论说明入侵检测的背景和本项目的目标第二章相关技术介绍机器学习分类算法和评估指标第三章数据集与预处理放类别分布图和特征编码说明第四章模型设计与实验放随机森林和 XGBoost 的对比表格第五章结果分析与讨论放混淆矩阵、特征重要性图和错误分析第六章结论与展望。每一章都要有图表不要全是文字。5.2 用表格呈现对比实验比堆文字有效模型准确率宏平均 F1dos 召回率probe 召回率r2l 召回率u2r 召回率随机森林0.81230.65420.87210.73150.21430.0833XGBoost0.83470.68100.89020.75480.23810.1000SVM0.76540.54210.81030.65200.12000.0000这张表放在报告第四章能直接说明为什么选随机森林或 XGBoost。注意 u2r 的召回率通常都很低这不是你的代码有问题而是数据本身太难如实写出来反而显得专业。5.3 让实验可复现的三个习惯第一个习惯是固定随机种子所有涉及随机的步骤都设random_state42包括数据划分、模型初始化和采样。第二个习惯是把预处理和训练封装成函数或脚本不要在一个 Jupyter Notebook 里从头跑到尾否则改一个参数就要重跑全部。第三个习惯是记录环境版本在报告附录里写清楚 Python、scikit-learn、xgboost、pandas 的版本号别人复现时遇到问题可以先对版本。我一般会在项目根目录放一个 requirements.txt用pip freeze requirements.txt生成。5.4 一个容易被忽略的加分项错误样本分析高分报告和普通报告的区别往往在于有没有对错误样本做分析。你可以从测试集里挑出被模型误判的样本看看它们的特征有什么共性。比如很多 r2l 攻击被误判成 normal是因为它们的流量特征和正常登录行为太像。把这类分析写进报告能体现你对数据的理解深度。代码上可以用test_encoded[(y_test ! y_pred)]筛选出错误样本再按类别分组统计。# 找出被误判的样本 error_mask y_test ! y_pred error_samples test_encoded[error_mask] print(误判样本数, len(error_samples)) print(\n误判样本的真实类别分布) print(error_samples[category].value_counts()) # 查看 r2l 被误判成 normal 的样本特征 r2l_as_normal test_encoded[(y_test r2l) (y_pred normal)] print(\nr2l 被误判为 normal 的样本数, len(r2l_as_normal)) print(r2l_as_normal[[src_bytes, dst_bytes, count, same_srv_rate]].describe())这段代码会输出误判样本的统计信息你可以据此在报告里写「r2l 攻击的 src_bytes 普遍偏小和 normal 类重叠严重导致模型难以区分」。这种结论比单纯说「模型效果不好」有价值得多。5.5 最后一点血泪经验我见过太多人把项目跑通后报告里只贴了几张截图和一段准确率数字结果分数并不理想。后来我自己做的时候会把每一次实验的参数、结果和结论都记在一个 Markdown 表格里最后整理成报告。这样不仅写起来快而且答辩时被问到任何一个数字你都能说出它是怎么来的。另外不要追求把准确率刷到 99%在入侵检测这个方向能说清楚模型在哪些攻击上有效、哪些无效比一个虚高的数字更让人信服。希望帮到你。本文还有配套的精品资源点击获取 从零复现机器学习入侵检测系统：Python源码实战与避坑指南
简介这是一套面向计算机相关专业学生与项目实战学习者的机器学习入侵检测系统完整资料适用于毕业设计、课程设计及期末大作业场景对零基础小白同样友好。资源包共31个文件约26.58MB以14个Python源码文件为核心配套5个txt说明、3个csv数据集、3个md文档、2个hdf5模型文件及doc技术方案文档覆盖数据预处理、特征工程、模型训练与预测全流程。内容围绕CNN、LSTM等深度学习模型展开包含数据清洗、类别编码、归一化、不平衡处理、特征相关性分析及分类评估等模块并附有准确率曲线图与依赖清单便于快速复现实验。该资源经导师指导并获评审99分认可代码完整可运行已有167人学习。读者可据此掌握从数据处理到模型部署的完整链路理解入侵检测任务的建模思路与调参方法同时获得一份结构清晰、可直接参考的高分项目模板。1. 从零复现一个机器学习入侵检测系统这套 Python 源码到底能跑出什么结果很多人第一次接触网络安全方向的项目都是从「基于机器学习的入侵检测系统」这个题目开始的。它听起来很唬人但真正动手时你会发现核心问题其实很朴素把网络流量拆成一条条带标签的记录让模型学会区分正常流量和攻击流量。这套 Python 源码加报告文档的组合解决的正是「从数据集到可运行模型再到实验报告」这条完整链路。它适合两类人一类是课程设计或毕业设计需要交付物的学生另一类是刚转安全方向、想用一个完整项目把机器学习流程跑通的工程师。你不需要先成为安全专家但需要能装 Python、会看 pandas 的 DataFrame、知道什么是训练集和测试集。接下来我会按真实复现顺序把数据、特征、模型、评估和报告这几块拆开讲清楚中间会给出可直接抄的代码和参数也会告诉你哪些地方最容易翻车。2. 入侵检测系统的数据底座NSL-KDD 与 CICIDS 怎么选、怎么读2.1 为什么多数高分项目都从 NSL-KDD 起步做入侵检测第一个卡点不是模型而是数据。公开流量数据集里NSL-KDD 是出现频率最高的一个原因是它足够小、字段规整、标签明确适合在单机上快速迭代。它来自 KDD Cup 99 的改进版去掉了原始数据里大量重复记录训练集和测试集的攻击类型分布也有意做了区分能暴露模型在未知攻击上的泛化问题。常见做法是训练集用 KDDTrain测试集用 KDDTest这样你得到的准确率不会虚高到 99%而是更接近真实场景的 75% 到 85% 区间。如果你想让报告更有说服力可以再加一份 CICIDS2017 做对比但那个数据集体积大、需要先做流重组新手容易在内存上翻车。我一般建议先用 NSL-KDD 把整条链路跑通再考虑换数据。2.2 用 pandas 读取并检查数据分布的完整代码import pandas as pd import numpy as np # NSL-KDD 的列名官方未在文件头提供需要手动指定 col_names [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label, difficulty ] train pd.read_csv(KDDTrain.txt, namescol_names) test pd.read_csv(KDDTest.txt, namescol_names) # 把具体攻击类型归为五大类便于多分类和报告呈现 attack_map { normal: normal, back: dos, land: dos, neptune: dos, pod: dos, smurf: dos, teardrop: dos, apache2: dos, udpstorm: dos, processtable: dos, worm: dos, satan: probe, ipsweep: probe, nmap: probe, portsweep: probe, mscan: probe, saint: probe, guess_passwd: r2l, ftp_write: r2l, imap: r2l, phf: r2l, multihop: r2l, warezmaster: r2l, warezclient: r2l, spy: r2l, xlock: r2l, xsnoop: r2l, snmpguess: r2l, snmpgetattack: r2l, httptunnel: r2l, sendmail: r2l, named: r2l, buffer_overflow: u2r, loadmodule: u2r, rootkit: u2r, perl: u2r, sqlattack: u2r, xterm: u2r, ps: u2r } train[category] train[label].map(attack_map) test[category] test[label].map(attack_map) print(训练集类别分布) print(train[category].value_counts()) print(\n测试集类别分布) print(test[category].value_counts())这段代码做了三件事指定列名、读取文件、把四十多种具体攻击归并成 normal、dos、probe、r2l、u2r 五个大类。参数上唯一需要改的是文件路径如果你下载的是压缩包先解压到当前目录。归并映射表是固定的不要随意增删否则测试集里会出现训练集没见过的类别导致评估时报错。运行后你会看到训练集里 normal 占多数dos 次之u2r 极少这种不平衡是后续必须处理的问题。2.3 类别不平衡与特征编码三个必调参数NSL-KDD 有三个离散特征protocol_type、service、flag。它们不能直接喂给模型需要做独热编码。常见做法是用 pandas 的 get_dummies但要注意训练集和测试集的列必须对齐否则会多出或缺失特征列。我一般会先把两个表拼起来做编码再切回去这样列完全一致。# 合并后统一编码避免列不对齐 all_data pd.concat([train, test], axis0, ignore_indexTrue) all_data pd.get_dummies(all_data, columns[protocol_type, service, flag]) # 切回训练集和测试集 train_encoded all_data.iloc[:len(train), :].copy() test_encoded all_data.iloc[len(train):, :].copy() # 删除无用列 drop_cols [label, difficulty, category] X_train train_encoded.drop(columnsdrop_cols) y_train train_encoded[category] X_test test_encoded.drop(columnsdrop_cols) y_test test_encoded[category] print(编码后特征维度, X_train.shape[1])这里的关键参数是columns列表必须包含所有 object 类型的列。编码后特征维度会从 41 涨到 120 左右具体取决于 service 的取值数量。如果你的内存不够可以先对 service 做频次过滤把出现次数少于 10 的类别归为 other。另一个坑是difficulty列它是 NSL-KDD 自带的难度分数不能作为特征必须删掉否则会造成标签泄漏。3. 模型选型与训练随机森林、SVM 和 XGBoost 的实测对比3.1 为什么随机森林是这套源码的默认选择在入侵检测这个场景里随机森林几乎是性价比最高的选择。它不需要特征归一化能处理高维稀疏的独热编码训练速度快还能直接输出特征重要性方便你在报告里解释「哪些流量特征对判断攻击最重要」。相比之下SVM 在样本量超过几万后训练时间会明显拉长XGBoost 效果通常更好但调参成本高。我一般会先用随机森林跑一个基线再决定要不要上 XGBoost。下面是一个可直接运行的训练和评估代码。from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, accuracy_score # n_estimators 控制树的数量max_depth 控制单棵树深度 rf RandomForestClassifier( n_estimators100, max_depth20, min_samples_split5, min_samples_leaf2, class_weightbalanced, random_state42, n_jobs-1 ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) print(准确率, accuracy_score(y_test, y_pred)) print(\n分类报告) print(classification_report(y_test, y_pred, digits4)) print(\n混淆矩阵) print(confusion_matrix(y_test, y_pred))参数上n_estimators100是起点如果你发现准确率波动大可以加到 200但训练时间会翻倍。max_depth20是为了防止树长得太深导致过拟合NSL-KDD 的特征维度不算高20 层足够。class_weightbalanced是处理类别不平衡的关键它会让模型更关注 u2r 和 r2l 这些少数类否则这些类的召回率会低得没法看。运行后你会得到一份分类报告重点看 macro avg 的 f1-score而不是只看 accuracy。3.2 用 XGBoost 做对比实验的完整流程如果你想让报告更有层次可以加一组 XGBoost 对比。XGBoost 对不平衡数据的处理不如随机森林的 class_weight 直接需要用 scale_pos_weight 或者自定义损失但多分类场景下通常还是靠样本权重。下面是一个可用的配置。import xgboost as xgb from sklearn.preprocessing import LabelEncoder # XGBoost 要求标签是 0 到 n-1 的整数 le LabelEncoder() y_train_enc le.fit_transform(y_train) y_test_enc le.transform(y_test) xgb_model xgb.XGBClassifier( n_estimators200, max_depth6, learning_rate0.1, subsample0.8, colsample_bytree0.8, objectivemulti:softmax, num_class5, eval_metricmlogloss, random_state42, n_jobs-1 ) xgb_model.fit(X_train, y_train_enc) y_pred_xgb xgb_model.predict(X_test) y_pred_xgb_label le.inverse_transform(y_pred_xgb) print(XGBoost 准确率, accuracy_score(y_test, y_pred_xgb_label)) print(classification_report(y_test, y_pred_xgb_label, digits4))这里max_depth6是 XGBoost 的常用起点比随机森林浅很多因为 boosting 是串行训练树太深容易过拟合。learning_rate0.1配合n_estimators200是经典组合如果你把学习率降到 0.05树的数量要相应加到 400 左右。subsample和colsample_bytree都是 0.8用来增加随机性、防止过拟合。注意标签必须用 LabelEncoder 转成整数否则 XGBoost 会报错。3.3 特征重要性分析报告里最值得写的一节随机森林训练完后可以直接拿到特征重要性。这一步在报告里非常加分因为它把「模型为什么能检测攻击」讲清楚了。下面代码会输出前 15 个最重要的特征。import matplotlib.pyplot as plt importances rf.feature_importances_ indices np.argsort(importances)[::-1] feature_names X_train.columns plt.figure(figsize(10, 6)) plt.title(Feature Importance (Random Forest)) plt.bar(range(15), importances[indices[:15]], aligncenter) plt.xticks(range(15), [feature_names[i] for i in indices[:15]], rotation90) plt.tight_layout() plt.savefig(feature_importance.png, dpi150) plt.show() for i in range(15): print(f{feature_names[indices[i]]}: {importances[indices[i]]:.4f})运行后你通常会看到 src_bytes、dst_bytes、count、same_srv_rate 这些特征排在前列它们分别对应流量大小、连接频次和服务一致性。这些结论可以直接写进报告的分析章节比单纯堆准确率数字有说服力得多。注意 matplotlib 在服务器上运行时需要设置后端为 Agg否则会因为没有显示设备而报错。4. 避坑与排查复现这套源码时最容易翻车的五个地方4.1 测试集出现训练集没有的类别评估直接报错现象用 classification_report 时提示 ValueError说 y_true 和 y_pred 的标签集合不一致。原因NSL-KDD 的测试集里包含训练集没有的攻击类型比如某些 r2l 和 u2r 子类。解决在归并映射时确保所有测试集标签都能映射到五大类如果映射后仍有 nan用test test.dropna(subset[category])删掉或者手动补充映射规则。更稳妥的做法是先把训练集和测试集的 label 取并集再统一映射。4.2 独热编码后训练集和测试集列数不一致现象训练时特征有 122 列预测时只有 119 列模型报 feature_names mismatch。原因训练集和测试集分开做 get_dummiesservice 列在测试集里少了几个取值。解决按 2.3 节的写法先 concat 再编码最后按行数切回去。如果已经分开了可以用X_test X_test.reindex(columnsX_train.columns, fill_value0)对齐列。4.3 准确率虚高到 99%但少数类召回率为零现象accuracy 显示 0.99但 u2r 和 r2l 的 recall 是 0.00。原因类别极度不平衡模型把所有样本都预测成 normal 或 dos。解决设置class_weightbalanced或者用 SMOTE 对少数类过采样。注意 SMOTE 只能用在训练集上不能对测试集做否则评估结果会失真。如果用了 SMOTE 后召回率还是上不去说明这两类攻击的特征和 normal 太接近需要在报告里如实说明。4.4 用 accuracy 作为唯一指标报告被质疑现象报告里只写了准确率 85%答辩时被问「dos 检测率多少」答不上来。原因入侵检测是不平衡分类accuracy 会被多数类主导。解决在报告里同时给出 precision、recall、f1-score 的宏平均和加权平均并单独列出每个类别的召回率。最好再画一张混淆矩阵的热力图让读者一眼看出模型在哪些类别上混淆最多。4.5 训练时间过长或内存溢出现象跑随机森林时卡死或者 XGBoost 报内存不足。原因n_estimators 设得太大或者用了默认的 n_jobs1。解决随机森林设置n_jobs-1用满所有 CPU 核心XGBoost 用tree_methodhist降低内存占用。如果数据量确实大可以先对 normal 类做欠采样把训练集控制在 5 万条以内再跑模型。注意欠采样会改变类别分布评估时要用原始测试集。5. 报告文档怎么写才像高分项目结构、图表和可复现性5.1 一份能拿高分的报告目录长什么样报告文档不是代码的附属品它需要独立讲清楚问题定义、数据、方法、实验和结论。我一般会按这个结构写第一章绪论说明入侵检测的背景和本项目的目标第二章相关技术介绍机器学习分类算法和评估指标第三章数据集与预处理放类别分布图和特征编码说明第四章模型设计与实验放随机森林和 XGBoost 的对比表格第五章结果分析与讨论放混淆矩阵、特征重要性图和错误分析第六章结论与展望。每一章都要有图表不要全是文字。5.2 用表格呈现对比实验比堆文字有效模型准确率宏平均 F1dos 召回率probe 召回率r2l 召回率u2r 召回率随机森林0.81230.65420.87210.73150.21430.0833XGBoost0.83470.68100.89020.75480.23810.1000SVM0.76540.54210.81030.65200.12000.0000这张表放在报告第四章能直接说明为什么选随机森林或 XGBoost。注意 u2r 的召回率通常都很低这不是你的代码有问题而是数据本身太难如实写出来反而显得专业。5.3 让实验可复现的三个习惯第一个习惯是固定随机种子所有涉及随机的步骤都设random_state42包括数据划分、模型初始化和采样。第二个习惯是把预处理和训练封装成函数或脚本不要在一个 Jupyter Notebook 里从头跑到尾否则改一个参数就要重跑全部。第三个习惯是记录环境版本在报告附录里写清楚 Python、scikit-learn、xgboost、pandas 的版本号别人复现时遇到问题可以先对版本。我一般会在项目根目录放一个 requirements.txt用pip freeze requirements.txt生成。5.4 一个容易被忽略的加分项错误样本分析高分报告和普通报告的区别往往在于有没有对错误样本做分析。你可以从测试集里挑出被模型误判的样本看看它们的特征有什么共性。比如很多 r2l 攻击被误判成 normal是因为它们的流量特征和正常登录行为太像。把这类分析写进报告能体现你对数据的理解深度。代码上可以用test_encoded[(y_test ! y_pred)]筛选出错误样本再按类别分组统计。# 找出被误判的样本 error_mask y_test ! y_pred error_samples test_encoded[error_mask] print(误判样本数, len(error_samples)) print(\n误判样本的真实类别分布) print(error_samples[category].value_counts()) # 查看 r2l 被误判成 normal 的样本特征 r2l_as_normal test_encoded[(y_test r2l) (y_pred normal)] print(\nr2l 被误判为 normal 的样本数, len(r2l_as_normal)) print(r2l_as_normal[[src_bytes, dst_bytes, count, same_srv_rate]].describe())这段代码会输出误判样本的统计信息你可以据此在报告里写「r2l 攻击的 src_bytes 普遍偏小和 normal 类重叠严重导致模型难以区分」。这种结论比单纯说「模型效果不好」有价值得多。5.5 最后一点血泪经验我见过太多人把项目跑通后报告里只贴了几张截图和一段准确率数字结果分数并不理想。后来我自己做的时候会把每一次实验的参数、结果和结论都记在一个 Markdown 表格里最后整理成报告。这样不仅写起来快而且答辩时被问到任何一个数字你都能说出它是怎么来的。另外不要追求把准确率刷到 99%在入侵检测这个方向能说清楚模型在哪些攻击上有效、哪些无效比一个虚高的数字更让人信服。希望帮到你。本文还有配套的精品资源点击获取