毕业设计做到大数据方向十个里有八个绕不开 Hadoop、Spark、Hive 这三件套。但很多同学拿到“空气质量预测系统”这类题目时第一反应往往是这仨东西到底怎么串起来Hive 和 Spark 都是处理数据的是不是重复了预测用 Python 不是更简单为什么非要上 Spark MLlib这篇文章我把这套系统的完整脉络捋一遍从架构设计、环境搭建、数据仓库建模、预测模型实现到可视化大屏开发全部拆开讲同时把我在实际跑通这套流程时踩过的坑、答辩时被追问的问题也一并整理出来。文章面向的是准备做大数据毕业设计、或者刚入门想找一份完整参考的读者目标是让你看完之后不只是知道“有这些技术”而是能够照着这个思路一步步复现出来。我负责的这个项目最终提交物包括源码、设计文档LW文档、PPT 和讲解视频但代码和论文只是最后呈现的形式真正花时间的是把整条数据链路搞清楚、跑通、调优。下面就从设计思路开始说起。1. 项目拆解这个课题到底在考察什么能力1.1 核心需求解析“hadoopsparkhive 空气质量预测系统”这个标题拆开来看其实包含三个层次的需求第一个层次是数据管理能力。空气质量数据属于典型的时序数据规模大、维度多、来源杂需要一套能够存储和处理海量数据的底层平台这就是 Hadoop 存在的意义。Hadoop 的 HDFS 负责分布式存储YARN 负责资源调度MapReduce 虽然在实际开发中写得不多了但作为早期计算引擎理解它的思想对后续理解 Spark 帮助很大。第二个层次是数据分析与挖掘能力。原始数据只是数字要变成有价值的信息需要经过清洗、聚合、统计、建模。这一层用 Hive 做离线数据仓库建设用 Spark 做高效的数据处理和机器学习模型训练两者各有分工又相互配合。Hive 擅长写 SQL 做复杂的多表关联和聚合统计Spark 擅长对 DataFrame 做分布式计算而 Spark SQL 又可以无缝读取 Hive 表让两者的优势叠加。第三个层次是结果呈现能力。处理完的数据如果只放在 HDFS 上毫无意义需要把空气质量指数AQI、PM2.5、PM10、SO2、NO2、O3、CO 等指标的统计结果、变化趋势、预测曲线直观地展示出来。这一层用 ECharts 等前端可视化框架配合 Spring Boot 后端提供数据接口做成一个可视化大屏。所以这个课题表面上是“做一个预测系统”实际上考察的是完整的大数据项目闭环能力数据采集、分布式存储、离线计算、机器学习建模、Web 后端开发、前端可视化。这也是为什么它适合作为毕业设计题目的原因——覆盖面广技术栈新而且每个环节都有可以深挖的点。1.2 技术选型背后的理由与分工很多同学会问为什么非要用 Hadoop Spark Hive光用一个 MySQL 加 Python 的 sklearn 不行吗从纯功能上说当然行。但毕业设计的核心是体现对大数据技术体系的理解和应用能力而不是仅仅实现一个预测功能。Java Web 项目每年都有大量人做但能体现大数据专业特色的就是这套分布式计算栈。三者的分工可以这样理解Hadoop 是地基提供分布式存储HDFS和资源管理YARNHive 是把 SQL 翻译成 MapReduce 或 Spark 作业的“翻译官”让数据分析师可以用熟悉的 SQL 语法操作海量数据Spark 则是内存计算引擎比 MapReduce 快得多而且自带机器学习库 MLlib适合做预测模型训练。实际操作中还有一个细节值得注意Hive 的底层执行引擎是可以切换的默认是 MapReduce速度慢可以改成 Spark 或 Tez这样 Hive SQL 就跑在 Spark 上了。但在毕设架构里我更推荐让 Hive 负责离线数据清洗和指标统计让 Spark 独立负责特征工程和模型训练两者通过 Hive 表共享数据各司其职逻辑更清晰答辩时也好讲。2. 系统整体架构设计与数据流转路径2.1 从数据源到可视化大屏的五层架构整套系统的架构我按照大数据项目最常见的分层思路来设计一共五层数据采集层、数据存储层、数据计算层、数据应用层、可视化展示层。数据采集层负责获取原始数据。在这个项目中我使用的是公开的空气质量历史数据集包含城市站点代码、监测时间、AQI、PM2.5、PM10、SO2、NO2、O3、CO 等字段。数据以 CSV 文件形式存在通过脚本上传到 HDFS。如果接入真实业务场景这一层通常会用 Flume 监听日志目录或 Kafka 接收实时数据流但毕设场景下批量导入已经足够。数据存储层使用 HDFS 存储原始数据用 Hive 建立数据仓库分成 ODS 层原始数据层、DWD 层明细数据层和 ADS 层应用数据层。这样分层的好处是每一个处理步骤都有据可查数据血缘清晰而且复用性高。后续新增分析需求时只需要在 DWD 层基础上写新的 SQL不需要重新处理原始数据。数据计算层是核心Hive 负责 ETL 清洗和指标聚合Spark 负责特征工程、模型训练和预测。计算结果写回 Hive 的 ADS 层或者导出到 MySQL 供后端查询。这里有一个重要的设计决策为什么最终结果要放一份到 MySQL因为可视化大屏的实时响应要求很高如果每次请求都去查 Hive一个 SQL 要跑几十秒大屏根本没法看。MySQL 存的是轻量级的统计结果和预测结果适合高频查询Hive 存的是全量历史数据和中间结果适合离线计算两者搭配是毕设项目中很成熟的方案。数据应用层用 Spring Boot 写后端服务为前端提供 RESTful 接口比如查询城市空气质量排名、获取历史趋势、获取未来 7 天预测值。可视化展示层使用 ECharts 和 Vue 搭建数据大屏按市、按站点展示空气质量分布、趋势折线图、污染物构成饼图、预测对比图等。2.2 数据如何一步步从 CSV 变成可视化图表我拿一条数据走完整条链路来举例。原始 CSV 里有一条记录10101,2022-01-01 00:00:00,北京市,东城东四,115,85,0.5,72,13,104,22字段的含义依次是站点代码、时间、城市、站点名称、AQI、PM2.5、CO、PM10、SO2、NO2、O3。第一步把这条记录通过hdfs dfs -put命令上传到 HDFS 的/airquality/raw/目录。第二步Hive 建 ODS 外部表指向这个目录这样删除表文件还在数据安全。第三步写一条 Hive SQL 把它从 ODS 层清洗到 DWD 层处理掉空值、过滤掉非法记录、统一时间格式、转换时间戳。第四步Spark 读取 DWD 层数据做特征工程——把时间拆成小时、星期、月份等特征对污染物浓度做窗口统计然后用 MLlib 训练模型对未来 7 天的 PM2.5 做预测。第五步把预测结果写入 Hive ADS 表同时通过sqoop export或者直接用 JDBC 写入 MySQL。第六步后端从 MySQL 查询数据暴露接口前端 ECharts 拉取接口渲染图表。每一步都清楚了自己在干什么整个系统就不再是一堆技术名词的堆砌而是一条有逻辑的数据流水线。3. 环境搭建从伪分布式到集群的取舍3.1 本地伪分布式部署到底够不够用很多同学一开始就在纠结要不要搭三台虚拟机做集群。我的建议很明确如果只是完成毕设单机伪分布式完全够用如果是想借这个机会把集群搭建的坑都踩一遍那可以搭一个三节点集群但你要做好花两周时间调网络和配置的心理准备。我实际的部署方案是一台 16G 内存的笔记本电脑VMware 里开一台虚拟机分配 8G 内存、4 核 CPU装的 CentOS 7在这台虚拟机上部署 Hadoop 伪分布式和 Hive、Spark。伪分布式模式下HDFS 的 NameNode、DataNode 运行在同一台机器上YARN 的 ResourceManager 和 NodeManager 也在同一台机器上虽然性能一般但用于跑通流程、处理百万级数据量的 CSV 文件绰绰有余。如果你计划处理的数据量非常大比如几千万条记录或者希望体验 YARN 的资源调度和任务分发那可以考虑三节点集群一台 master 节点跑 NameNode 和 ResourceManager两台 slave 节点跑 DataNode 和 NodeManager。需要注意Hadoop 集群的节点之间需要配置 SSH 免密登录需要修改 core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个核心配置文件还要格式化 NameNode。这里提醒一句每次修改完配置文件之后如果格式化了 NameNode之前 HDFS 上所有的数据都会清空要重新上传这点千万注意。3.2 关键配置参数与启动验证如果你决定走伪分布式这条路下面几个配置文件是必须改的。core-site.xml 指定 HDFS 的 NameNode 地址和临时文件目录configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/usr/local/hadoop/tmp/value /property /configurationhdfs-site.xml 设置副本数为 1伪分布式只有一台 DataNode默认副本数是 3不改成 1 会一直报副本不足的警告虽然不影响运行但日志里全是红字看着心烦configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name valuefile:///usr/local/hadoop/tmp/name/value /property property namedfs.datanode.data.dir/name valuefile:///usr/local/hadoop/tmp/data/value /property /configurationyarn-site.xml 配置资源管理器和节点管理器configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.aux-services.mapreduce_shuffle.class/name valueorg.apache.hadoop.mapred.ShuffleHandler/value /property /configuration启动顺序是有讲究的。先执行start-dfs.sh启动 HDFS再用start-yarn.sh启动 YARN然后用jps命令检查进程。如果看到 NameNode、DataNode、ResourceManager、NodeManager 都在说明 HDFS 和 YARN 启动成功。接着执行hdfs dfs -mkdir -p /airquality/raw建目录用hdfs dfs -put上传数据用hdfs dfs -ls确认文件到位。启动过程中最容易遇到的两个问题一个是 “NameNode is not formatted” 或者 9000 端口被占用另一个是 Java 版本和 Hadoop 版本不兼容。建议 Hadoop 3.2.x 配 Java 8Hive 3.1.x 也需要 Java 8Spark 3.x 也是基于 Java 8 编译的。版本别乱配Java 版本不对三套组件轮流出错排查起来非常痛苦。3.3 Hive 与 Spark、MySQL 的集成关系Hive 默认把元数据存在内置的 Derby 数据库里Derby 不支持并发访问也就是说你只能同时打开一个 Hive 会话这在开发调试时很难受。正确的做法是把 Hive 的元数据存储到 MySQL然后启动 Hive 的 metastore 服务这样多个会话可以同时访问。需要在 hive-site.xml 里配置 MySQL 连接信息注意 MySQL 驱动 jar 包要放到 Hive 的 lib 目录下同时还要执行 Hive 的初始化脚本schematool -initSchema -dbType mysql不做这一步启动 metastore 会报错。Spark 与 Hive 的集成主要是读取 Hive 表。Spark 的 spark-shell 中可以直接用spark.sql操作 Hive 表前提是在 spark-env.sh 里配好 HIVE_HOME 和 HADOOP_HOME让 Spark 能读取 Hive 的元数据。我在实际操作中验证过Spark 读取 Hive 的 ORC 格式表性能非常好这一点在后面的数据处理中会频繁用。4. 核心实现数据清洗、指标分析与预测模型4.1 Hive 数仓分层与 ETL 清洗实战数仓建模的核心是分层分层的目的刚才说过是为了数据血缘清晰和复用。我在这个项目里建了三层表。ODS 层和 DWD 层的表定义如下。ODS 层用外部表指向原始目录字段尽量和源文件保持一致不做任何加工CREATE EXTERNAL TABLE ods_air_quality ( station_code STRING, monitor_time STRING, city STRING, station_name STRING, aqi INT, pm2_5 DOUBLE, co DOUBLE, pm10 DOUBLE, so2 DOUBLE, no2 DOUBLE, o3 DOUBLE, quality_level STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE LOCATION /airquality/raw;DWD 层做清洗和标准化这一步的 SQL 是整个数据仓库中最核心的工作CREATE TABLE dwd_air_quality AS SELECT station_code, FROM_UNIXTIME(UNIX_TIMESTAMP(monitor_time, yyyy-MM-dd HH:mm:ss), yyyy-MM-dd HH:mm:ss) AS formatted_time, city, station_name, aqi, pm2_5, pm10, COALESCE(so2, 0) AS so2, COALESCE(no2, 0) AS no2, COALESCE(o3, 0) AS o3, CASE WHEN aqi 50 THEN 优 WHEN aqi 100 THEN 良 WHEN aqi 150 THEN 轻度污染 WHEN aqi 200 THEN 中度污染 WHEN aqi 300 THEN 重度污染 ELSE 严重污染 END AS aqi_level FROM ods_air_quality WHERE aqi IS NOT NULL AND aqi 0 AND pm2_5 IS NOT NULL;这里有几个关键点值得展开说。时间格式化用的是FROM_UNIXTIME和UNIX_TIMESTAMP的组合因为原始数据里时间有可能是2022/01/01 0:00也可能是2022-01-01 00:00:00格式不统一必须先统一才能做时间序列分析。COALESCE 函数处理空值把 SO2、NO2、O3 的空值置为 0这类污染物缺失在真实数据中很常见不能直接删掉整条记录否则数据损失太大。质量等级用 CASE WHEN 根据 AQI 值计算这个口径是国家标准答辩时被问到可以直接答出来。ADS 层建一些轻量的结果表比如城市日平均 AQI 表、城市污染物月均值表、未来 7 天预测结果表。ADS 层的表最终导出到 MySQL给可视化层查询。4.2 空气质量指数分析与污染特征挖掘数据清洗完之后先用 Hive SQL 跑几个核心分析这些分析结果也是大屏上要展示的内容。城市空气质量排名是必做的一项SELECT city, AVG(aqi) AS avg_aqi, COUNT(*) AS record_count FROM dwd_air_quality WHERE formatted_time date_sub(CURRENT_DATE, 30) GROUP BY city ORDER BY avg_aqi ASC;用 AVG 函数算近 30 天各城市的平均 AQI按从小到大排序这就是空气质量最好的城市排名。注意要加时间过滤条件否则把全年数据平均下来排名意义不大。污染物构成分析很能体现分析深度。PM2.5、PM10、SO2、NO2、O3 是大气的几项主要污染物它们的占比关系可以用 Hive 算出来喂给前端饼图。但你可以更近一步做相关性分析比如用 Spark 算各污染物之间的相关系数你会发现 PM2.5 和 PM10 高度正相关相关系数通常在 0.9 以上而 O3 和 PM2.5 往往负相关因为臭氧生成需要强光照而强光照会加速二次颗粒物的挥发。这类分析结果写进论文里非常有说服力也显得你真正理解了数据而不是套模板。4.3 Spark 机器学习预测模型的实现细节预测功能是整个系统最有技术含量的部分也是答辩时最容易出彩的环节。我使用的是 Spark MLlib 的线性回归模型现代码核心内容可以拆成数据准备、特征工程、模型训练、评估与预测四步。第一步读取 Hive 中的 DWD 层数据构建训练集。预测的目标是未来 24 小时的 PM2.5 浓度特征则用当前时刻的污染物浓度加时间特征。这里有一个非常实用的思路用 Spark SQL 做特征列的时间平移生成“前一小时 PM2.5”“前一小时 AQI”“当前小时”“星期几”“月份”等维度相当于把原始时序数据变成监督学习所需的特征矩阵val df spark.sql( |SELECT | pm2_5 AS current_pm25, | LAG(pm2_5, 1) OVER (ORDER BY formatted_time) AS prev_pm25_1h, | LAG(pm2_5, 2) OVER (ORDER BY formatted_time) AS prev_pm25_2h, | aqi AS current_aqi, | hour(formatted_time) AS hour_of_day, | dayofweek(formatted_time) AS day_of_week, | month(formatted_time) AS month |FROM dwd_air_quality .stripMargin)第二步使用 VectorAssembler 把特征列组装成特征向量建立标准化的 Pipelineval featureCols Array(prev_pm25_1h, prev_pm25_2h, current_aqi, hour_of_day, day_of_week, month) val assembler new VectorAssembler() .setInputCols(featureCols) .setOutputCol(features) val lr new LinearRegression() .setLabelCol(current_pm25) .setFeaturesCol(features) .setMaxIter(100) .setRegParam(0.01) val pipeline new Pipeline().setStages(Array(assembler, lr))第三步划分训练集和测试集比例为 80% 和 20%用训练集拟合模型用测试集评估。这里用 RMSE均方根误差和 R2决定系数两个指标val Array(trainingData, testData) df.randomSplit(Array(0.8, 0.2), seed 12345) val model pipeline.fit(trainingData) val predictions model.transform(testData) val evaluator new RegressionEvaluator() .setLabelCol(current_pm25) .setPredictionCol(prediction) .setMetricName(rmse) val rmse evaluator.evaluate(predictions)第四步把模型保存下来用最新的历史数据预测未来 7 天的 PM2.5 浓度并把预测结果写入 Hive 和 MySQL。这一步在代码实现上比较绕因为模型预测一次只能得到下一个时刻的值预测第二个时刻需要把第一个时刻的预测值作为特征输入称为滚动预测。我在实际代码里用一个循环实现每次预测出一个新值就把它拼到特征序列末尾再预测下一个循环 7 轮对应 7 天。一个需要特别强调的心得特征时间平移有一个前提——数据的时间间隔必须均匀。如果原始数据是按小时采样的那 LAG 函数取出的才真正是上一小时的数值如果数据有缺失导致时间间隔不一致LAG 取到的可能就是数小时前的值模型效果会明显变差。所以在 DWD 层清洗时最好按站点和时间做一次去重和排序确保每个站点每个小时只有一条记录再去构建特征。5. 可视化大屏设计与前后端数据打通5.1 大屏展示需求拆解与图表选型可视化大屏是整个系统最直观的成果也是演示和答辩时最先被看到的部分。大屏的展示需求可以拆成五个核心模块顶部是标题和核心指标卡显示今日全国 AQI 平均值、PM2.5 平均值、优良天数占比、监测站点数四个关键数字一目了然。左侧做城市 AQI 排行榜用 ECharts 的水平条形图展示前 10 名空气质量最好的城市和后 10 名最差的城市。中间是今日全国 AQI 地图分布或柱状图展现各城市的空气质量等级分布。右侧放污染物构成分析饼图和 PM2.5、PM10、O3 占比图。底部是一条横贯大屏的折线图展示近 30 天全国 PM2.5 平均浓度变化趋势以及未来 7 天的预测曲线。图表选型的原则很简单趋势用折线图占比用饼图排名用条形图分布用地图。不要为了炫技用一些生僻图表大屏的核心是信息传递效率不是视觉效果花哨。5.2 数据接口设计与前后端实时更新机制后端我用 Spring Boot 写核心是暴露几个 RESTful 接口。这里的关键设计是每个接口对应大屏上的一个模块接口返回的数据结构直接适配 ECharts 所需的格式避免前端再做复杂的数据转换。一个典型的查询城市 AQI 排名的接口示例GetMapping(/api/rank) public ResultListCityAQI getCityAqiRank() { ListCityAQI cityAqiList service.getCityAqiRank(); return Result.success(cityAqiList); }前端用 Vue ECharts在 mounted 生命周期里发起请求把数据填充到图表中。关键代码逻辑是多图表初始化之后用一个fetchAllData()函数并发请求所有接口然后调用updateAllCharts()依次刷新每个图表。这种方式比一个个请求串行执行要快得多大屏加载打开的时候体验差异明显。另外一个实战技巧是给大屏加一个定时刷新机制比如每 60 秒调用一次fetchAllData()。虽然毕设数据不是实时的但在答辩现场演示时定时刷新会给人一种系统在实时监控的感觉这一点在演示环节很加分。6. 常见问题与排查技巧实录6.1 环境启动类问题的排查清单Hadoop 生态启动问题五花八门但有一个万能排查思路看日志。启动失败时先看/usr/local/hadoop/logs/下的日志文件重点看hadoop-hadoop-namenode-*.log和hadoop-hadoop-datanode-*.log绝大多数问题日志里都写得很清楚。常见问题一NameNode 起不来报 org.apache.hadoop.hdfs.server.namenode.NameNode 相关异常。多半是没格式化或者多次格式化导致元数据不一致。解决办法是停止所有进程删除 tmp 目录下的文件重新执行hdfs namenode -format再依次启动。常见问题二DataNode 起不来报 Incompatible clusterIDs。这是因为 NameNode 和 DataNode 的 clusterID 不一致常见于复制虚拟机镜像的场景。解决办法是删除 DataNode 的 data 目录让它重启时自动获取 NameNode 的 clusterID。常见问题三Spark 提交任务报 java.io.IOException: No space left on device磁盘空间不足。伪分布式环境下 HDFS 默认把数据放在/tmp/hadoop或/usr/local/hadoop/tmp这个目录经常被 mapreduce 中间结果塞满。解决办法是定期清理hdfs dfs -du -h /看一下哪个目录占空间大该删就删。这条经验是我在跑了几十次 Spark 任务后才真正重视起来的磁盘一满所有任务直接失败而且报错信息还很隐蔽。6.2 数据处理与任务执行类问题Hive 执行 SQL 很慢这是初学阶段最容易遇到也最影响效率的问题。默认 Hive 执行引擎是 MapReduce一个大表 join 另一个大表可能要跑几分钟。提升速度最有效的三招是开分区表、开分桶表、用小文件合并。数据量不大时把执行引擎改成 Spark 也可以体验到明显的加速在 hive-site.xml 里配置property namehive.execution.engine/name valuespark/value /propertySpark 任务报资源不足Executor 启动失败。伪分布式环境下 YARN 分配给 Spark 的内存是有限的很多同学一上来就--executor-memory 4g结果 NodeManager 资源不够直接拒绝。合理配置是--executor-memory 2g --num-executors 2 --executor-cores 2伪分布式里跑小数据量完全够用。还有一个小文件问题大数据场景下每处理一个文件至少有一个 task小文件太多会白白消耗调度开销。处理思路是把小文件合并成大文件——在 Hive 里用 INSERT OVERWRITE 读取原始数据写回一张新表或者用hdfs dfs -getmerge把多个小文件合并后重新上传。这个知识点在热词里也出现了说明是高频痛点建议大家在论文中写上一段关于小文件治理的内容很能体现工程经验。6.3 答辩高频问题与应对策略做了整套系统之后答辩时最容易被问到的问题我整理成一份速查表提前准备现场不慌Hadoop 的二次排序是什么意思MapReduce 在 shuffle 阶段对 key 排序sort 之后对相同 key 的 value 再排序就是二次排序。Spark 里对应的是 repartitionAndSortWithinPartitions 操作。Hive 和 Spark 的区别是什么这是一个必问题。最稳健的回答是Hive 是数据仓库工具把 SQL 翻译成分布式计算任务偏重数据管理Spark 是通用计算引擎提供内存计算能力内置 MLlib、GraphX 等组件可以做机器学习。两者结合用 Hive 管理数据用 Spark 做复杂计算。预测模型的 RMSE 是多少特征有哪些如果特征只有 PM2.5 历史值和时间特征RMSE 可能在 20 到 40 之间因为空气质量受气象因素影响很大温度、湿度、风速、气压没有气象特征纯靠污染物浓度做预测精度上限就在那里。回答问题的时候可以主动补充一句如果引入气象预报数据模型精度会明显提升这是项目后续可以扩展的方向。这个回答既诚实又能展示你对模型边界的理解。为什么用线性回归而不是用 LSTM这是一个很容易被追问的问题。线性回归的优势是可解释性强、训练快、在特征不多的小规模数据上效果不差LSTM 适合长序列建模但需要的数据量大得多调参难度也高。在毕设的场景里线性回归够用而且论文里可以清晰展示特征权重解释每个特征的影响程度。7. 免密登录与集群部署细节补充7.1 SSH 免密登录配置如果你打算搭真正的集群SSH 免密是第一步。在 master 节点执行ssh-keygen -t rsa生成密钥对然后把公钥分发到每个 slave 节点的authorized_keys文件中ssh-copy-id hadoopslave1 ssh-copy-id hadoopslave2配置完成后在 master 上逐台测试ssh slave1、ssh slave2不需要输密码就说明配置成功。免密登录的作用不只是方便操作Hadoop 的启动脚本依赖它才能在所有节点上远程启动 DataNode 和 NodeManager。不配好免密集群根本起不来。配置 hosts 文件时建议统一使用内网 IP 加主机名的格式不要在 hosts 文件里用公网 IP否则集群内部通信可能超时。这个细节看起来不起眼但集群连不上的排查清单里hosts 写错占了很大比例。7.2 集群资源规划与日志查看三节点集群的内存规划可以参照这个思路master 节点至少 4G 内存给 NameNode 和 ResourceManager每个 slave 节点至少 6G 内存给 DataNode、NodeManager 和 Executor。如果你的电脑内存只有 16G三台虚拟机每台分配 4G 也能跑但 Spark 任务的并行度会很受限制。集群跑起来之后查看日志最常用的命令是yarn logs -applicationId applicationId可以看每个 container 的完整日志输出。另外 YARN 的 Web 界面8088 端口非常直观能看到每个任务的运行状态、内存使用量和错误信息比命令行排查高效得多。我强烈建议遇到任务失败先开 8088 端口看一眼很多时候问题一眼就能定位。8. 总结与个人体验分享把一个完整的 Hadoop Spark Hive 空气质量预测系统从零跑通最大的感受是大数据项目真正的难点从来不是某一个技术难学而是技术栈之间的衔接问题。数据怎么从 MySQL 进到 HDFSHive 表怎么建才能让 Spark 高效读取特征怎么构造才能让模型有意义结果怎么回传才能让大屏流畅展示这些链路中的每一个环节都会卡你一下而恰恰是这些卡顿的地方才是你真正学到东西的地方。在动手之前我建议你先把整条数据处理链路画一遍哪怕是一张手绘草图也比什么都不想直接开敲代码高效得多。哪些数据放 HDFS哪些数据放 MySQL哪些计算用 Hive哪些计算用 Spark先定大方向再写代码能让你的毕设周期缩短三分之一。最后分享一个答辩时亲测有效的技巧演示环节不要只点了几下大屏就说完了而是打开 Spark 的 Web 界面展示一次实时的 ETL 任务运行过程让评委看到 SQL 作业在 Spark 上从提交到完成的完整流程。这个动作比任何语言描述都有说服力——它证明了这个系统真的是你自己跑通的而不是网上找了个现成项目改了个皮。