尧图网页设计 
简介这份大数据课程设计资料包面向高校大数据、计算机相关专业学生及自学者帮助读者系统理解从数据采集、清洗到分析展示的完整流程适合作为课程作业参考或入门实战练习。压缩包共4个文件以2个Python脚本为主另含xlsx与xls两种表格数据文件整体约1.22MB脚本可用于数据读取、清洗与分析表格则提供业务圈等原始数据支撑实验运行。目前已有514人学习下载具备一定参考热度。内容围绕Hadoop、HDFS、MapReduce与Spark等核心框架展开并延伸至Hive、Pig、HBase、Storm等生态组件读者可借此理解大数据的四大特征及分治处理思路。配套脚本与数据可直接运行便于对照完成数据预处理、数据挖掘与可视化等环节巩固理论并积累实际项目经验。1. 大数据课设.zip从选题到答辩一个压缩包背后到底要装什么每年期末总有一批人对着“大数据课设.zip”这个文件名发愁。老师只给了一个大方向剩下的选题、数据、代码、文档、答辩全得自己扛。这个压缩包不是随便塞几行代码就能交差的它本质上是一套能自证清白的工程证据链数据从哪来、怎么清洗、用什么模型、跑出什么结果、结论能不能复现。我带过几届课设见过太多人把精力花在调参上结果答辩时被一句“你的数据怎么来的”问穿。这篇笔记就按一线实操的顺序把从零搭一个能拿得出手的大数据课设的完整路径拆开讲包括选题怎么定、环境怎么配、代码怎么写、文档怎么组织、答辩怎么防翻车。适合正在做课设的本科生、第一次带课设的助教以及想用一个小项目把大数据工具链串一遍的转行者。2. 选题定生死三个能落地的大数据课设方向与数据源清单课设翻车的头号原因不是技术难是选题太大。我见过有人写“基于大数据的智慧城市交通预测”结果数据只有某市一个月的出租车轨迹模型跑出来R²不到0.3答辩时自己都圆不回来。选题的核心原则是数据能拿到、规模能处理、结论能解释。下面给三个我实际带学生做过的方向每个都附数据源和最小可行规模。2.1 方向一电商用户行为分析最稳数据好找这个方向适合作为保底选题。核心任务是对用户点击、加购、购买行为做漏斗分析和RFM分层。数据源可以用阿里天池的User Behavior Dataset或者自己用Python爬某公开电商平台的商品评论和销量注意遵守robots协议只取公开聚合数据。最小可行规模10万条行为记录字段包括user_id、item_id、category_id、behavior_type、timestamp。处理链路用Pandas做清洗用Hive或Spark SQL做聚合最后用Matplotlib或Pyecharts出图。为什么推荐这个方向因为漏斗转化率、复购率、用户价值分层这些指标有明确的业务解释答辩时老师问“你这个结论有什么用”你能直接对应到运营策略上。2.2 方向二日志异常检测偏工程适合想展示技术深度如果你不想做烂大街的电商分析日志异常检测是个好选择。数据源可以用公开的HDFS日志数据集或者自己用Flask写一个简易Web服务用Loguru生成带时间戳和级别的日志然后人为注入一些异常比如响应时间突增、错误码集中出现。最小规模5万条日志时间跨度一周。技术栈用Python Pandas做特征提取按分钟聚合错误率、P95响应时间用Isolation Forest或简单的3-sigma做异常判定。这个方向的优势是能体现“大数据”里的“大”——日志量可以轻松堆到百万级而且异常检测的评估指标准确率、召回率、F1很清晰答辩时不容易被挑刺。2.3 方向三文本情感分析可视化适合对NLP感兴趣数据源用公开的电商评论或电影评论数据集比如IMDB中文评论或某公开外卖平台的评论。任务是对评论做情感二分类然后按时间、地区、商品类别做聚合可视化。最小规模2万条带标签的评论。技术栈Jieba分词 TF-IDF 逻辑回归或朴素贝叶斯别一上来就BERT课设的算力撑不住。重点不在模型多牛而在整个流程的完整性数据清洗、分词、特征工程、模型训练、评估、可视化。这个方向的好处是可视化效果直观词云、情感趋势图、地区热力图都能放PPT里。提示无论选哪个方向数据量控制在10万到100万条之间。太少显得没工作量太多你本地跑不动答辩前跑不完就是灾难。3. 环境与工具链用Docker搭一套能跑Spark和Hive的本地环境课设最怕的是“在我电脑上能跑”。老师一换环境代码就挂。我的建议是用Docker Compose把整个大数据环境容器化这样你交上去的压缩包里带一个docker-compose.yml助教一条命令就能复现。下面是我常用的最小环境配置。3.1 为什么选Docker而不是本地装本地装Hadoop、Spark、Hive光是版本兼容就能耗掉两天。Docker的好处是隔离和可移植。你只需要装Docker Desktop然后拉几个镜像改改配置文件半小时内能跑起来。而且容器删了重来成本极低适合课设这种“跑通就行”的场景。3.2 最小Docker Compose配置与启动命令下面这个配置包含一个Spark Master、一个Spark Worker、一个Hive Metastore用MySQL做元数据存储和一个Jupyter Notebook用来写代码。文件保存为docker-compose.yml。version: 3 services: spark-master: image: bitnami/spark:3.5 environment: - SPARK_MODEmaster ports: - 8080:8080 - 7077:7077 spark-worker: image: bitnami/spark:3.5 environment: - SPARK_MODEworker - SPARK_MASTER_URLspark://spark-master:7077 depends_on: - spark-master hive-metastore: image: bitsondatadev/hive-metastore:latest ports: - 9083:9083 environment: - METASTORE_DB_HOSTNAMEmysql depends_on: - mysql mysql: image: mysql:8.0 environment: - MYSQL_ROOT_PASSWORDroot - MYSQL_DATABASEmetastore ports: - 3306:3306 jupyter: image: jupyter/pyspark-notebook:latest ports: - 8888:8888 volumes: - ./work:/home/jovyan/work depends_on: - spark-master启动命令就一行docker-compose up -d启动后Jupyter的访问地址在终端里会打印出来带token。Spark Master的Web UI在localhost:8080。Hive Metastore的端口是9083后面在Spark里配置hive.metastore.uris指向它。注意bitnami/spark镜像的版本号写3.5但实际拉取时可能因为网络问题失败。如果拉不动换成apache/spark:3.5.0也可以但需要自己装Python和Jupyter。我一般会提前把镜像拉好或者用国内镜像源加速。3.3 验证环境是否跑通的三条命令环境起来后别急着写业务代码先跑通这三步第一步进Jupyter容器创建一个PySpark会话from pyspark.sql import SparkSession spark SparkSession.builder \ .appName(test) \ .config(hive.metastore.uris, thrift://hive-metastore:9083) \ .enableHiveSupport() \ .getOrCreate() print(spark.version)如果打印出3.5.x说明Spark和Hive的连接没问题。第二步创建一个测试表并写入数据spark.sql(CREATE TABLE IF NOT EXISTS test_table (id INT, name STRING)) spark.sql(INSERT INTO test_table VALUES (1, a), (2, b)) spark.sql(SELECT * FROM test_table).show()第三步用Pandas读一个CSV文件转成Spark DataFrame再写回Hiveimport pandas as pd pdf pd.DataFrame({id: [3,4], name: [c,d]}) sdf spark.createDataFrame(pdf) sdf.write.mode(append).saveAsTable(test_table) spark.sql(SELECT * FROM test_table).show()这三步跑通说明你的数据链路从本地文件到Spark到Hive是通的。后面做课设就是往这个骨架里填业务逻辑。4. 数据清洗与特征工程用PySpark把原始数据变成能喂给模型的表课设的数据通常很脏时间戳格式不统一、字段缺失、重复记录、异常值。这一步的目标是产出一张宽表每一行是一个样本每一列是特征没有空值没有明显异常。下面以电商用户行为数据为例走一遍完整流程。4.1 原始数据探查先看清有什么再动手假设你拿到一个CSV文件字段是user_id, item_id, category_id, behavior_type, timestamp。第一步不是写清洗代码是用Spark SQL做数据探查。df spark.read.csv(user_behavior.csv, headerTrue, inferSchemaTrue) df.createOrReplaceTempView(raw) spark.sql(SELECT COUNT(*) AS total, COUNT(DISTINCT user_id) AS users, COUNT(DISTINCT item_id) AS items FROM raw).show() spark.sql(SELECT behavior_type, COUNT(*) AS cnt FROM raw GROUP BY behavior_type ORDER BY cnt DESC).show() spark.sql(SELECT MIN(timestamp), MAX(timestamp) FROM raw).show()这三条查询告诉你数据总量、用户和商品去重后的数量、行为类型分布、时间跨度。如果时间跨度只有一天那做趋势分析就没意义得换数据或调整选题。4.2 清洗四步去重、补缺、转时间、滤异常探查完就开始清洗。我一般按这个顺序第一步去重。按user_id item_id timestamp去重保留第一条。df_clean df.dropDuplicates([user_id, item_id, timestamp])第二步处理缺失值。如果user_id或item_id为空直接丢弃如果category_id为空用“unknown”填充。df_clean df_clean.dropna(subset[user_id, item_id]) df_clean df_clean.fillna({category_id: unknown})第三步时间戳转换。原始timestamp通常是Unix秒转成可读时间并提取小时、星期几。from pyspark.sql.functions import from_unixtime, hour, dayofweek, to_date df_clean df_clean.withColumn(datetime, from_unixtime(timestamp)) df_clean df_clean.withColumn(hour, hour(datetime)) df_clean df_clean.withColumn(weekday, dayofweek(datetime)) df_clean df_clean.withColumn(date, to_date(datetime))第四步过滤异常。比如behavior_type只有pv、buy、cart、fav四种出现其他值就是脏数据。另外如果某个用户的行为记录超过10000条可能是爬虫考虑剔除。df_clean df_clean.filter(df_clean.behavior_type.isin([pv, buy, cart, fav])) user_counts df_clean.groupBy(user_id).count().filter(count 10000) df_clean df_clean.join(user_counts, user_id, inner).drop(count)4.3 特征工程构造RFM和漏斗指标清洗完的数据还是行为流水需要聚合成用户级别的特征。最常用的是RFM最近一次购买时间Recency、购买频率Frequency、购买金额Monetary。但电商行为数据往往没有金额可以用购买次数代替。from pyspark.sql.functions import datediff, current_date, count, when, max as _max # 只取购买行为 buy_df df_clean.filter(df_clean.behavior_type buy) # 计算R、F rfm buy_df.groupBy(user_id).agg( datediff(current_date(), _max(date)).alias(recency), count(item_id).alias(frequency) ) # 计算漏斗pv - cart - buy funnel df_clean.groupBy(user_id).agg( count(when(df_clean.behavior_type pv, 1)).alias(pv_count), count(when(df_clean.behavior_type cart, 1)).alias(cart_count), count(when(df_clean.behavior_type buy, 1)).alias(buy_count) ) # 合并 user_features rfm.join(funnel, user_id, outer).fillna(0) user_features.show(5)这张user_features表就是后面做用户分层和漏斗分析的基础。每一行是一个用户列是特征。你可以把它存成Hive表方便后续用SQL做分析。提示特征工程阶段不要怕字段多但每个字段都要能解释。答辩时老师问“为什么用recency不用其他指标”你要能说出“recency反映用户活跃度值越小越活跃”。5. 避坑与排查课设从跑通到答辩这五个坑我替你踩过了课设的坑往往不在算法而在环境和数据。下面五条是我带学生时反复出现的翻车现场每条按现象、原因、解决写。5.1 坑一Spark任务卡在99%不动现象任务进度条卡在最后一个stage日志没有报错但就是跑不完。原因通常是数据倾斜。某个key对应的记录数远超其他key导致一个task处理了80%的数据。比如按user_id聚合时有个测试账号产生了百万条记录。解决先定位倾斜的key。用df.groupBy(user_id).count().orderBy(count, ascendingFalse).show(10)找出最大的几个。然后对这几个key单独处理或者加盐给每个key加一个随机后缀聚合后再去掉。from pyspark.sql.functions import rand, concat, lit df_salted df.withColumn(salt, (rand() * 10).cast(int)) df_salted df_salted.withColumn(user_id_salt, concat(user_id, lit(_), salt)) # 先按加盐后的key聚合再按原始key聚合5.2 坑二Hive表在Spark里读不到现象在Hive CLI里能查到的表在Spark SQL里报“Table not found”。原因Spark的hive.metastore.uris配置不对或者Hive Metastore服务没起来。解决检查docker-compose里hive-metastore的日志确认9083端口在监听。然后在Spark里执行spark.sql(SHOW DATABASES).show()如果报错说明连接失败。把hive.metastore.uris改成thrift://hive-metastore:9083注意容器名要和你docker-compose里写的一致。5.3 坑三Jupyter里PySpark连不上Master现象spark SparkSession.builder.master(spark://spark-master:7077).getOrCreate()报连接拒绝。原因Jupyter容器和Spark Master容器不在同一个Docker网络里或者Master的URL写错了。解决确保docker-compose里所有服务在同一个默认网络下。在Jupyter容器里ping spark-master如果能通说明网络没问题。然后检查Master的URL在Spark Master的Web UIlocalhost:8080上能看到实际的URL通常是spark://spark-master:7077。5.4 坑四中文分词后全是乱码现象用Jieba分词后词云图显示方块或者控制台打印乱码。原因编码问题。CSV文件可能是GBK编码而Python默认用UTF-8读。解决读文件时指定编码pd.read_csv(data.csv, encodinggbk)或者用chardet检测编码。在Jupyter里确保文件头加上# -*- coding: utf-8 -*-。5.5 坑五答辩时被问“你的创新点在哪”现象老师看完PPT说“这不就是调包吗”然后追问创新点。原因课设的“创新”不是让你发明新算法而是让你在数据、场景或工程上做出差异化。比如别人用电商数据做销量预测你用同样的数据做“基于用户行为序列的复购预测”特征里加入了时间窗口的滑动统计这就是创新。解决提前准备三个“差异化点”数据上你用了什么别人没用的字段、方法上你对比了哪几种模型为什么选这个、应用上你的结论能指导什么具体动作。每个点都要有数据或图表支撑。6. 答辩前最后一公里用三张图和一个可复现的压缩包收尾课设的最后一章落到一个具体技巧怎么把整个项目打包成一个让老师挑不出毛病的压缩包。我的习惯是压缩包里只放四样东西一个README.md、一个docker-compose.yml、一个notebooks文件夹、一个data文件夹放小样本数据大文件给下载链接。README里写清楚三件事环境怎么起、代码怎么跑、结果在哪看。6.1 三张图决定答辩印象分老师翻PPT的速度很快能留下印象的就是三张图第一张是数据概览图比如行为类型分布饼图或时间趋势折线图证明你确实处理了数据第二张是模型评估图比如混淆矩阵或ROC曲线证明你的模型有量化评估第三张是业务结论图比如用户分层后的柱状图证明你的分析能落地。这三张图不要用默认的Matplotlib样式稍微调一下颜色和字体。我一般用Seaborn的whitegrid主题字体设成SimHei避免中文乱码。import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False sns.set_theme(stylewhitegrid)6.2 可复现压缩包的目录结构与README模板目录结构长这样bigdata-course-project/ ├── README.md ├── docker-compose.yml ├── notebooks/ │ ├── 01_data_clean.ipynb │ ├── 02_feature_engineering.ipynb │ └── 03_model_analysis.ipynb └── data/ └── sample.csv # 只放1000行样本完整数据给网盘链接README.md的模板# 项目名称基于用户行为的电商漏斗分析 ## 环境启动 docker-compose up -d ## 运行步骤 1. 打开Jupyter地址见终端输出 2. 依次运行notebooks下的三个文件 3. 结果图表在03_model_analysis.ipynb中 ## 数据说明 完整数据下载链接xxx 样本数据data/sample.csv1000行注意不要把完整数据塞进压缩包否则文件太大老师下载也慢。给一个公开的数据链接或者用网盘但确保链接长期有效。6.3 我踩过的最后一个坑答辩前一晚别改代码血泪经验答辩前一晚改代码第二天必翻车。我见过有人在答辩当天早上调参结果Jupyter内核崩了现场重启花了十分钟。正确的做法是答辩前三天冻结代码只做PPT和演练。把跑通的notebook导出成HTML万一现场环境起不来直接展示HTML里的输出结果。最后说一个习惯每次课设结束后把docker-compose.yml和README单独存一份下次做新项目直接复用。我现在的模板已经迭代了五版从最初的单机Spark到现在的容器化集群省下来的时间够多跑两组对比实验。希望帮到你。本文还有配套的精品资源点击获取 大数据课设从选题到答辩：Docker+Spark+Hive全流程实战指南
简介这份大数据课程设计资料包面向高校大数据、计算机相关专业学生及自学者帮助读者系统理解从数据采集、清洗到分析展示的完整流程适合作为课程作业参考或入门实战练习。压缩包共4个文件以2个Python脚本为主另含xlsx与xls两种表格数据文件整体约1.22MB脚本可用于数据读取、清洗与分析表格则提供业务圈等原始数据支撑实验运行。目前已有514人学习下载具备一定参考热度。内容围绕Hadoop、HDFS、MapReduce与Spark等核心框架展开并延伸至Hive、Pig、HBase、Storm等生态组件读者可借此理解大数据的四大特征及分治处理思路。配套脚本与数据可直接运行便于对照完成数据预处理、数据挖掘与可视化等环节巩固理论并积累实际项目经验。1. 大数据课设.zip从选题到答辩一个压缩包背后到底要装什么每年期末总有一批人对着“大数据课设.zip”这个文件名发愁。老师只给了一个大方向剩下的选题、数据、代码、文档、答辩全得自己扛。这个压缩包不是随便塞几行代码就能交差的它本质上是一套能自证清白的工程证据链数据从哪来、怎么清洗、用什么模型、跑出什么结果、结论能不能复现。我带过几届课设见过太多人把精力花在调参上结果答辩时被一句“你的数据怎么来的”问穿。这篇笔记就按一线实操的顺序把从零搭一个能拿得出手的大数据课设的完整路径拆开讲包括选题怎么定、环境怎么配、代码怎么写、文档怎么组织、答辩怎么防翻车。适合正在做课设的本科生、第一次带课设的助教以及想用一个小项目把大数据工具链串一遍的转行者。2. 选题定生死三个能落地的大数据课设方向与数据源清单课设翻车的头号原因不是技术难是选题太大。我见过有人写“基于大数据的智慧城市交通预测”结果数据只有某市一个月的出租车轨迹模型跑出来R²不到0.3答辩时自己都圆不回来。选题的核心原则是数据能拿到、规模能处理、结论能解释。下面给三个我实际带学生做过的方向每个都附数据源和最小可行规模。2.1 方向一电商用户行为分析最稳数据好找这个方向适合作为保底选题。核心任务是对用户点击、加购、购买行为做漏斗分析和RFM分层。数据源可以用阿里天池的User Behavior Dataset或者自己用Python爬某公开电商平台的商品评论和销量注意遵守robots协议只取公开聚合数据。最小可行规模10万条行为记录字段包括user_id、item_id、category_id、behavior_type、timestamp。处理链路用Pandas做清洗用Hive或Spark SQL做聚合最后用Matplotlib或Pyecharts出图。为什么推荐这个方向因为漏斗转化率、复购率、用户价值分层这些指标有明确的业务解释答辩时老师问“你这个结论有什么用”你能直接对应到运营策略上。2.2 方向二日志异常检测偏工程适合想展示技术深度如果你不想做烂大街的电商分析日志异常检测是个好选择。数据源可以用公开的HDFS日志数据集或者自己用Flask写一个简易Web服务用Loguru生成带时间戳和级别的日志然后人为注入一些异常比如响应时间突增、错误码集中出现。最小规模5万条日志时间跨度一周。技术栈用Python Pandas做特征提取按分钟聚合错误率、P95响应时间用Isolation Forest或简单的3-sigma做异常判定。这个方向的优势是能体现“大数据”里的“大”——日志量可以轻松堆到百万级而且异常检测的评估指标准确率、召回率、F1很清晰答辩时不容易被挑刺。2.3 方向三文本情感分析可视化适合对NLP感兴趣数据源用公开的电商评论或电影评论数据集比如IMDB中文评论或某公开外卖平台的评论。任务是对评论做情感二分类然后按时间、地区、商品类别做聚合可视化。最小规模2万条带标签的评论。技术栈Jieba分词 TF-IDF 逻辑回归或朴素贝叶斯别一上来就BERT课设的算力撑不住。重点不在模型多牛而在整个流程的完整性数据清洗、分词、特征工程、模型训练、评估、可视化。这个方向的好处是可视化效果直观词云、情感趋势图、地区热力图都能放PPT里。提示无论选哪个方向数据量控制在10万到100万条之间。太少显得没工作量太多你本地跑不动答辩前跑不完就是灾难。3. 环境与工具链用Docker搭一套能跑Spark和Hive的本地环境课设最怕的是“在我电脑上能跑”。老师一换环境代码就挂。我的建议是用Docker Compose把整个大数据环境容器化这样你交上去的压缩包里带一个docker-compose.yml助教一条命令就能复现。下面是我常用的最小环境配置。3.1 为什么选Docker而不是本地装本地装Hadoop、Spark、Hive光是版本兼容就能耗掉两天。Docker的好处是隔离和可移植。你只需要装Docker Desktop然后拉几个镜像改改配置文件半小时内能跑起来。而且容器删了重来成本极低适合课设这种“跑通就行”的场景。3.2 最小Docker Compose配置与启动命令下面这个配置包含一个Spark Master、一个Spark Worker、一个Hive Metastore用MySQL做元数据存储和一个Jupyter Notebook用来写代码。文件保存为docker-compose.yml。version: 3 services: spark-master: image: bitnami/spark:3.5 environment: - SPARK_MODEmaster ports: - 8080:8080 - 7077:7077 spark-worker: image: bitnami/spark:3.5 environment: - SPARK_MODEworker - SPARK_MASTER_URLspark://spark-master:7077 depends_on: - spark-master hive-metastore: image: bitsondatadev/hive-metastore:latest ports: - 9083:9083 environment: - METASTORE_DB_HOSTNAMEmysql depends_on: - mysql mysql: image: mysql:8.0 environment: - MYSQL_ROOT_PASSWORDroot - MYSQL_DATABASEmetastore ports: - 3306:3306 jupyter: image: jupyter/pyspark-notebook:latest ports: - 8888:8888 volumes: - ./work:/home/jovyan/work depends_on: - spark-master启动命令就一行docker-compose up -d启动后Jupyter的访问地址在终端里会打印出来带token。Spark Master的Web UI在localhost:8080。Hive Metastore的端口是9083后面在Spark里配置hive.metastore.uris指向它。注意bitnami/spark镜像的版本号写3.5但实际拉取时可能因为网络问题失败。如果拉不动换成apache/spark:3.5.0也可以但需要自己装Python和Jupyter。我一般会提前把镜像拉好或者用国内镜像源加速。3.3 验证环境是否跑通的三条命令环境起来后别急着写业务代码先跑通这三步第一步进Jupyter容器创建一个PySpark会话from pyspark.sql import SparkSession spark SparkSession.builder \ .appName(test) \ .config(hive.metastore.uris, thrift://hive-metastore:9083) \ .enableHiveSupport() \ .getOrCreate() print(spark.version)如果打印出3.5.x说明Spark和Hive的连接没问题。第二步创建一个测试表并写入数据spark.sql(CREATE TABLE IF NOT EXISTS test_table (id INT, name STRING)) spark.sql(INSERT INTO test_table VALUES (1, a), (2, b)) spark.sql(SELECT * FROM test_table).show()第三步用Pandas读一个CSV文件转成Spark DataFrame再写回Hiveimport pandas as pd pdf pd.DataFrame({id: [3,4], name: [c,d]}) sdf spark.createDataFrame(pdf) sdf.write.mode(append).saveAsTable(test_table) spark.sql(SELECT * FROM test_table).show()这三步跑通说明你的数据链路从本地文件到Spark到Hive是通的。后面做课设就是往这个骨架里填业务逻辑。4. 数据清洗与特征工程用PySpark把原始数据变成能喂给模型的表课设的数据通常很脏时间戳格式不统一、字段缺失、重复记录、异常值。这一步的目标是产出一张宽表每一行是一个样本每一列是特征没有空值没有明显异常。下面以电商用户行为数据为例走一遍完整流程。4.1 原始数据探查先看清有什么再动手假设你拿到一个CSV文件字段是user_id, item_id, category_id, behavior_type, timestamp。第一步不是写清洗代码是用Spark SQL做数据探查。df spark.read.csv(user_behavior.csv, headerTrue, inferSchemaTrue) df.createOrReplaceTempView(raw) spark.sql(SELECT COUNT(*) AS total, COUNT(DISTINCT user_id) AS users, COUNT(DISTINCT item_id) AS items FROM raw).show() spark.sql(SELECT behavior_type, COUNT(*) AS cnt FROM raw GROUP BY behavior_type ORDER BY cnt DESC).show() spark.sql(SELECT MIN(timestamp), MAX(timestamp) FROM raw).show()这三条查询告诉你数据总量、用户和商品去重后的数量、行为类型分布、时间跨度。如果时间跨度只有一天那做趋势分析就没意义得换数据或调整选题。4.2 清洗四步去重、补缺、转时间、滤异常探查完就开始清洗。我一般按这个顺序第一步去重。按user_id item_id timestamp去重保留第一条。df_clean df.dropDuplicates([user_id, item_id, timestamp])第二步处理缺失值。如果user_id或item_id为空直接丢弃如果category_id为空用“unknown”填充。df_clean df_clean.dropna(subset[user_id, item_id]) df_clean df_clean.fillna({category_id: unknown})第三步时间戳转换。原始timestamp通常是Unix秒转成可读时间并提取小时、星期几。from pyspark.sql.functions import from_unixtime, hour, dayofweek, to_date df_clean df_clean.withColumn(datetime, from_unixtime(timestamp)) df_clean df_clean.withColumn(hour, hour(datetime)) df_clean df_clean.withColumn(weekday, dayofweek(datetime)) df_clean df_clean.withColumn(date, to_date(datetime))第四步过滤异常。比如behavior_type只有pv、buy、cart、fav四种出现其他值就是脏数据。另外如果某个用户的行为记录超过10000条可能是爬虫考虑剔除。df_clean df_clean.filter(df_clean.behavior_type.isin([pv, buy, cart, fav])) user_counts df_clean.groupBy(user_id).count().filter(count 10000) df_clean df_clean.join(user_counts, user_id, inner).drop(count)4.3 特征工程构造RFM和漏斗指标清洗完的数据还是行为流水需要聚合成用户级别的特征。最常用的是RFM最近一次购买时间Recency、购买频率Frequency、购买金额Monetary。但电商行为数据往往没有金额可以用购买次数代替。from pyspark.sql.functions import datediff, current_date, count, when, max as _max # 只取购买行为 buy_df df_clean.filter(df_clean.behavior_type buy) # 计算R、F rfm buy_df.groupBy(user_id).agg( datediff(current_date(), _max(date)).alias(recency), count(item_id).alias(frequency) ) # 计算漏斗pv - cart - buy funnel df_clean.groupBy(user_id).agg( count(when(df_clean.behavior_type pv, 1)).alias(pv_count), count(when(df_clean.behavior_type cart, 1)).alias(cart_count), count(when(df_clean.behavior_type buy, 1)).alias(buy_count) ) # 合并 user_features rfm.join(funnel, user_id, outer).fillna(0) user_features.show(5)这张user_features表就是后面做用户分层和漏斗分析的基础。每一行是一个用户列是特征。你可以把它存成Hive表方便后续用SQL做分析。提示特征工程阶段不要怕字段多但每个字段都要能解释。答辩时老师问“为什么用recency不用其他指标”你要能说出“recency反映用户活跃度值越小越活跃”。5. 避坑与排查课设从跑通到答辩这五个坑我替你踩过了课设的坑往往不在算法而在环境和数据。下面五条是我带学生时反复出现的翻车现场每条按现象、原因、解决写。5.1 坑一Spark任务卡在99%不动现象任务进度条卡在最后一个stage日志没有报错但就是跑不完。原因通常是数据倾斜。某个key对应的记录数远超其他key导致一个task处理了80%的数据。比如按user_id聚合时有个测试账号产生了百万条记录。解决先定位倾斜的key。用df.groupBy(user_id).count().orderBy(count, ascendingFalse).show(10)找出最大的几个。然后对这几个key单独处理或者加盐给每个key加一个随机后缀聚合后再去掉。from pyspark.sql.functions import rand, concat, lit df_salted df.withColumn(salt, (rand() * 10).cast(int)) df_salted df_salted.withColumn(user_id_salt, concat(user_id, lit(_), salt)) # 先按加盐后的key聚合再按原始key聚合5.2 坑二Hive表在Spark里读不到现象在Hive CLI里能查到的表在Spark SQL里报“Table not found”。原因Spark的hive.metastore.uris配置不对或者Hive Metastore服务没起来。解决检查docker-compose里hive-metastore的日志确认9083端口在监听。然后在Spark里执行spark.sql(SHOW DATABASES).show()如果报错说明连接失败。把hive.metastore.uris改成thrift://hive-metastore:9083注意容器名要和你docker-compose里写的一致。5.3 坑三Jupyter里PySpark连不上Master现象spark SparkSession.builder.master(spark://spark-master:7077).getOrCreate()报连接拒绝。原因Jupyter容器和Spark Master容器不在同一个Docker网络里或者Master的URL写错了。解决确保docker-compose里所有服务在同一个默认网络下。在Jupyter容器里ping spark-master如果能通说明网络没问题。然后检查Master的URL在Spark Master的Web UIlocalhost:8080上能看到实际的URL通常是spark://spark-master:7077。5.4 坑四中文分词后全是乱码现象用Jieba分词后词云图显示方块或者控制台打印乱码。原因编码问题。CSV文件可能是GBK编码而Python默认用UTF-8读。解决读文件时指定编码pd.read_csv(data.csv, encodinggbk)或者用chardet检测编码。在Jupyter里确保文件头加上# -*- coding: utf-8 -*-。5.5 坑五答辩时被问“你的创新点在哪”现象老师看完PPT说“这不就是调包吗”然后追问创新点。原因课设的“创新”不是让你发明新算法而是让你在数据、场景或工程上做出差异化。比如别人用电商数据做销量预测你用同样的数据做“基于用户行为序列的复购预测”特征里加入了时间窗口的滑动统计这就是创新。解决提前准备三个“差异化点”数据上你用了什么别人没用的字段、方法上你对比了哪几种模型为什么选这个、应用上你的结论能指导什么具体动作。每个点都要有数据或图表支撑。6. 答辩前最后一公里用三张图和一个可复现的压缩包收尾课设的最后一章落到一个具体技巧怎么把整个项目打包成一个让老师挑不出毛病的压缩包。我的习惯是压缩包里只放四样东西一个README.md、一个docker-compose.yml、一个notebooks文件夹、一个data文件夹放小样本数据大文件给下载链接。README里写清楚三件事环境怎么起、代码怎么跑、结果在哪看。6.1 三张图决定答辩印象分老师翻PPT的速度很快能留下印象的就是三张图第一张是数据概览图比如行为类型分布饼图或时间趋势折线图证明你确实处理了数据第二张是模型评估图比如混淆矩阵或ROC曲线证明你的模型有量化评估第三张是业务结论图比如用户分层后的柱状图证明你的分析能落地。这三张图不要用默认的Matplotlib样式稍微调一下颜色和字体。我一般用Seaborn的whitegrid主题字体设成SimHei避免中文乱码。import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False sns.set_theme(stylewhitegrid)6.2 可复现压缩包的目录结构与README模板目录结构长这样bigdata-course-project/ ├── README.md ├── docker-compose.yml ├── notebooks/ │ ├── 01_data_clean.ipynb │ ├── 02_feature_engineering.ipynb │ └── 03_model_analysis.ipynb └── data/ └── sample.csv # 只放1000行样本完整数据给网盘链接README.md的模板# 项目名称基于用户行为的电商漏斗分析 ## 环境启动 docker-compose up -d ## 运行步骤 1. 打开Jupyter地址见终端输出 2. 依次运行notebooks下的三个文件 3. 结果图表在03_model_analysis.ipynb中 ## 数据说明 完整数据下载链接xxx 样本数据data/sample.csv1000行注意不要把完整数据塞进压缩包否则文件太大老师下载也慢。给一个公开的数据链接或者用网盘但确保链接长期有效。6.3 我踩过的最后一个坑答辩前一晚别改代码血泪经验答辩前一晚改代码第二天必翻车。我见过有人在答辩当天早上调参结果Jupyter内核崩了现场重启花了十分钟。正确的做法是答辩前三天冻结代码只做PPT和演练。把跑通的notebook导出成HTML万一现场环境起不来直接展示HTML里的输出结果。最后说一个习惯每次课设结束后把docker-compose.yml和README单独存一份下次做新项目直接复用。我现在的模板已经迭代了五版从最初的单机Spark到现在的容器化集群省下来的时间够多跑两组对比实验。希望帮到你。本文还有配套的精品资源点击获取