简介本资源是一套基于YOLOv5与DeepSort融合算法实现的驾驶员分心行为实时预警系统面向本科毕业设计、课程设计及深度学习实践者聚焦驾驶安全场景下的头部姿态、视线偏移、闭眼、打哈欠等典型分心行为识别与告警。压缩包共59个文件含20个核心Python源码如mydetect.py、myfatigue.py、main.py、18个YOLO配置yaml文件支持s/m/l/x多模型切换、13个编译缓存pyc、1个详细说明文档.docx、1个演示视频.mp4及1个Docker部署脚本整体118.04MB结构清晰、模块解耦便于理解目标检测、多目标跟踪与疲劳判据逻辑。已有194人学习下载代码全程中文注释配套人脸关键点检测dat模型与预训练权重best.pt开箱即用适合深度学习入门者快速上手并拓展二次开发。1. 为什么用 YOLOv5 DeepSort 做分心驾驶检测不是“炫技”而是工程上最稳的起点你见过司机一边开车一边刷短视频、低头找手机、甚至扭头跟后排说话吗这些动作在高速场景下0.8 秒的视线偏移就可能引发追尾——而传统基于方向盘/踏板信号的判断漏检率高、无视觉语义纯光流或姿态估计算法在车内光照突变、遮挡频繁、座椅晃动时直接失效。我们真正需要的是一个能在车载低算力设备如 Jetson Nano 或树莓派 5上稳定跑 15 FPS、对“打电话”“吃东西”“抽烟”“转头”四类高频分心行为给出帧级定位ID追踪持续时长统计的系统。YOLOv5 提供轻量、鲁棒的目标检测基线尤其 v5s/v5n 在 416×416 输入下仅 2.3M 参数DeepSort 补足跨帧 ID 一致性——它不依赖重识别模型靠卡尔曼滤波预测余弦距离度量外观特征对驾驶员短时遮挡如手部遮脸、低头进视野盲区容忍度远高于纯 IoU 匹配。这不是论文里“SOTA 指标好看就行”的方案而是我去年在某商用车 ADAS 前装项目中实测过在 32℃ 车内高温、前挡风玻璃反光、夜间红外补光不均等真实工况下连续 72 小时运行无 ID 跳变误报率压到 0.023 次/小时以下。如果你正要落地一个可交付、可过车规测试、且 Python 生态链完整OpenCV PyTorch NumPy 全栈可控的预警系统YOLOv5 DeepSort 不是“之一”而是当前阶段收敛最快、调试路径最透明、出问题能快速定位到具体模块的技术组合。2. 从零搭建分心驾驶检测流水线环境、数据、模型三件套落地2.1 环境配置避开 conda 与 pip 混用的“玄学崩溃”YOLOv5 官方推荐 conda 环境但 DeepSort 的filterpy和scipy在某些 conda-forge 镜像下会触发 OpenBLAS 冲突导致卡尔曼滤波矩阵运算 NaN。我的血泪经验是全程用 pip venv禁用 conda。以下是经 5 次重装验证的最小可行命令集Ubuntu 20.04 / Windows 10 WSL2 均通过# 创建纯净虚拟环境Python 3.8.10 是 YOLOv5 v6.0 最稳版本 python3.8 -m venv driver_distraction_env source driver_distraction_env/bin/activate # Windows 用 driver_distraction_env\Scripts\activate # 安装 PyTorchCUDA 11.3 cuDNN 8.2适配 RTX 30 系显卡 pip install torch1.10.2cu113 torchvision0.11.3cu113 torchaudio0.10.2cu113 -f https://download.pytorch.org/whl/torch_stable.html # 安装核心依赖注意 opencv-python-headless避免 GUI 窗口在无桌面环境崩溃 pip install opencv-python-headless4.5.5.64 numpy1.21.6 scipy1.7.3 scikit-learn1.0.2 # 安装 YOLOv5 官方库必须指定 commitv6.0 后部分 API 变更导致 DeepSort 接口断裂 git clone https://github.com/ultralytics/yolov5 cd yolov5 git checkout 6a95e3b9c5d1e5a5e5a5e5a5e5a5e5a5e5a5e5a5 # v6.0 release commit pip install -e . # 安装 DeepSort不用 pip install deepsort官方包已停更用 GitHub 最新稳定版 cd .. git clone https://github.com/nwojke/deep_sort cd deep_sort pip install -e .提示若pip install -e .报ModuleNotFoundError: No module named filterpy请先单独执行pip install filterpy1.4.5—— 这是 DeepSort 的硬依赖但 setup.py 未声明容易被跳过。2.2 数据准备把“分心行为”变成 YOLO 格式标注的 3 个硬步骤YOLOv5 要求每张图对应一个.txt标注文件格式为class_id center_x center_y width height归一化到 0~1。但分心驾驶数据集如 Distracted Driver Dataset 或自采视频原始标注多为 bounding box 坐标像素值 行为类别如phone_call,eating。转换不能靠手动必须脚本化。以下是关键逻辑统一图像尺寸车载摄像头分辨率常为 1280×720但 YOLOv5 训练需固定输入如 640×640。先用 OpenCV 缩放并保持宽高比letterbox再记录缩放系数用于坐标映射行为类别映射定义class_names [normal, phone_call, eating, smoking, talking_to_passenger]共 5 类。注意normal是负样本必须存在否则模型无法学习“非分心”状态生成 YOLO 标注文件对每帧检测框计算归一化中心点与宽高。# convert_to_yolo.py import cv2 import os import numpy as np def letterbox(img, new_shape(640, 640), color(114, 114, 114)): # YOLOv5 官方 letterbox 实现保持宽高比并填充灰边 shape img.shape[:2] # original shape if isinstance(new_shape, int): new_shape (new_shape, new_shape) r min(new_shape[0] / shape[0], new_shape[1] / shape[1]) new_unpad int(round(shape[1] * r)), int(round(shape[0] * r)) dw, dh new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1] dw / 2 dh / 2 if shape[::-1] ! new_unpad: img cv2.resize(img, new_unpad, interpolationcv2.INTER_LINEAR) top, bottom int(round(dh - 0.1)), int(round(dh 0.1)) left, right int(round(dw - 0.1)), int(round(dw 0.1)) img cv2.copyMakeBorder(img, top, bottom, left, right, cv2.BORDER_CONSTANT, valuecolor) return img, r, (dw, dh) def convert_bbox_to_yolo(xyxy, img_shape, new_shape(640, 640)): # xyxy: [x1, y1, x2, y2] in pixel; img_shape: (h, w) h, w img_shape r min(new_shape[0] / h, new_shape[1] / w) pad_w, pad_h (new_shape[1] - w * r) / 2, (new_shape[0] - h * r) / 2 # 归一化到 new_shape 尺寸下的坐标 x1, y1, x2, y2 xyxy x1 (x1 * r pad_w) / new_shape[1] y1 (y1 * r pad_h) / new_shape[0] x2 (x2 * r pad_w) / new_shape[1] y2 (y2 * r pad_h) / new_shape[0] # 转为中心点宽高 cx (x1 x2) / 2 cy (y1 y2) / 2 bw x2 - x1 bh y2 - y1 return [cx, cy, bw, bh] # 示例处理单帧 img_path data/raw/frames/frame_001.jpg label_path data/raw/labels/frame_001.txt # 原始像素坐标标注格式class_name x1 y1 x2 y2 img cv2.imread(img_path) img_letter, r, (dw, dh) letterbox(img) # 读原始标注 with open(label_path, r) as f: lines f.readlines() class_names [normal, phone_call, eating, smoking, talking_to_passenger] yolo_lines [] for line in lines: parts line.strip().split() cls_name, x1, y1, x2, y2 parts[0], float(parts[1]), float(parts[2]), float(parts[3]), float(parts[4]) cls_id class_names.index(cls_name) xyxy [x1, y1, x2, y2] yolo_bbox convert_bbox_to_yolo(xyxy, img.shape[:2]) yolo_lines.append(f{cls_id} { .join(map(str, yolo_bbox))}\n) # 写入 YOLO 标注文件 yolo_label_path data/yolo/labels/frame_001.txt os.makedirs(os.path.dirname(yolo_label_path), exist_okTrue) with open(yolo_label_path, w) as f: f.writelines(yolo_lines)参数说明letterbox中的color(114,114,114)是 YOLOv5 默认灰边值必须一致convert_bbox_to_yolo函数里的r和pad_w/pad_h必须与训练时val.py的预处理完全相同否则验证 mAP 失真。这是新手最容易翻车的点——标注和推理用不同 letterbox 逻辑模型“看懂了图却看不懂框”。2.3 模型训练YOLOv5 分心检测专用超参调优策略YOLOv5 默认配置models/yolov5s.yaml针对通用 COCO 数据集直接训分心行为会过拟合小目标如手机、香烟。必须调整 3 处核心超参参数默认值分心驾驶推荐值原因anchorsCOCO 9 锚点替换为[[10,13, 16,30, 33,23], [30,61, 62,45, 59,119], [116,90, 156,198, 373,326]]手机/香烟尺寸集中在 20×20~50×50 像素原锚点过大导致小目标召回率 60%nc805类别数必须与class_names严格一致否则model.names错位DeepSort 特征提取器拿到错误类别 IDhyp.yaml中scale0.50.15分心行为尺度变化小驾驶员头部基本固定降低尺度扰动防止模型学歪训练命令以yolov5s为例python train.py \ --img 640 \ --batch 16 \ --epochs 100 \ --data data/driver_distraction.yaml \ # 自定义数据配置文件 --cfg models/yolov5s_custom.yaml \ # 修改了 anchors 和 nc 的 yaml --weights \ # 从零训练不加载预训练权重避免类别 mismatch --name yolov5s_distraction \ --cachedata/driver_distraction.yaml内容示例train: ../data/yolo/images/train val: ../data/yolo/images/val nc: 5 names: [normal, phone_call, eating, smoking, talking_to_passenger]注意--cache参数必须开启分心数据集通常只有 2k~5k 张图启用内存缓存后训练速度提升 3.2 倍实测且避免 IO 瓶颈导致的 batch 丢帧。3. DeepSort 驾驶员 ID 追踪绕开“人脸 ID 混淆”的 3 个定制化改造3.1 为什么不能直接用 DeepSort 官方 demoDeepSort 原生设计追踪“行人”其外观特征提取器gated_metric在deep_sort/deep/reid/model.py中使用 ResNet50 BNNeck输入是 128×64 的裁剪图。但驾驶员在车内头部占比大占整图 1/3躯干常被方向盘遮挡光照不均前窗强光 vs 座椅阴影导致同一人不同帧特征向量距离 0.8多人同车时如副驾乘客ResNet50 无法区分“驾驶员”与“乘客”——它只认“人”不认“驾驶位”。直接跑官方代码ID 切换率高达 37%预警系统形同虚设。3.2 改造 1用 YOLO 检测框置信度加权外观特征DeepSort 的gated_metric默认对所有检测框一视同仁。但分心检测中“打电话”框置信度常低于“正常”框因手部遮挡若强行用低置信度框更新轨迹ID 易漂移。我们在deep_sort/deep/reid/extractor.py的extract_crops方法后插入置信度门控# deep_sort/deep/reid/extractor.py def extract_crops(self, im_crops, confidences): # im_crops: list of cropped images (H,W,3) # confidences: list of detection confidences [0.1, 0.92, ...] if not im_crops: return np.array([]) # 只保留置信度 0.5 的 crop 进行特征提取分心行为阈值设为 0.5正常行为设为 0.7 valid_idx [i for i, c in enumerate(confidences) if c (0.5 if self.is_distraction else 0.7)] if not valid_idx: return np.array([]) # 无有效框返回空特征 valid_crops [im_crops[i] for i in valid_idx] features self._forward(valid_crops) # 原特征提取 # 对特征向量按置信度加权高置信度特征权重更大 weights np.array([confidences[i] for i in valid_idx]) weights weights / weights.sum() if weights.sum() 0 else np.ones(len(weights)) / len(weights) weighted_features (features.T * weights).T # (N, 128) - 加权后仍为 (N, 128) return weighted_features逻辑说明confidences来自 YOLOv5 输出的pred[:, 4]置信度列self.is_distraction是在初始化 tracker 时传入的布尔值用于区分分心/正常行为的置信度阈值。加权操作让高置信度检测主导 ID 更新抑制低质量框噪声。3.3 改造 2引入“驾驶位空间约束”过滤误匹配DeepSort 的nn_matching模块仅用余弦距离匹配外观但车内空间固定驾驶员始终在图像左 1/3 区域假设左舵车。我们在deep_sort/tracker.py的update方法中加入空间先验# deep_sort/tracker.py def update(self, detections): # ... 原有匹配逻辑 ... # 新增空间约束过滤 for track in self.tracks: if not track.is_confirmed() or track.time_since_update 1: continue # track.mean[0] 是卡尔曼预测的 bbox 中心 x 坐标归一化到 0~1 if track.mean[0] 0.4: # 驾驶员 x 中心应在 0~0.4 区间 # 强制将该 track 的匹配得分置为 -inf禁止与右半区检测框匹配 for i, detection in enumerate(detections): if detection.tlwh[0] detection.tlwh[2]/2 0.4: cost_matrix[track.index, i] np.inf # ... 后续匹配 ...参数说明track.mean[0]是卡尔曼滤波器预测的归一化中心横坐标0.4是经验值实测 0.35~0.45 区间最优覆盖绝大多数左舵车驾驶员位置。此约束使副驾乘客 ID 无法抢走驾驶员轨迹ID 切换率从 37% 降至 4.1%。3.4 改造 3分心行为持续时长统计的轨迹状态机预警系统核心是“持续 2 秒以上分心才触发警报”而非单帧检测。DeepSort 原生Track类无行为时长字段需扩展# deep_sort/track.py class Track(object): def __init__(self, mean, covariance, track_id, n_init, max_age, featureNone, class_idNone): # ... 原有初始化 ... self.class_id class_id # 新增记录当前检测类别 ID self.distraction_duration 0.0 # 新增分心行为累计时长秒 self.last_distraction_frame -1 # 新增上一次分心帧索引 self.frame_rate 30.0 # 假设视频 30 FPS实际应从视频流获取 def update(self, detection): # ... 原有 update ... if detection.class_id in [1, 2, 3, 4]: # phone_call/eating/smoking/talking if self.last_distraction_frame detection.frame_id - 1: self.distraction_duration 1.0 / self.frame_rate else: self.distraction_duration 1.0 / self.frame_rate self.last_distraction_frame detection.frame_id else: self.distraction_duration 0.0 # 正常行为清零关键点detection.frame_id需在detection.py中从视频流帧序号注入不能依赖系统时间戳因解码延迟抖动。这是保证时长统计精确到 ±0.03 秒的核心。4. 预警逻辑与实时部署从检测到声音/灯光告警的端到端链路4.1 分心行为判定的三级阈值策略单靠distraction_duration 2.0触发警报太粗糙。真实车载场景需平衡误报与漏报Level 1提醒distraction_duration 1.5s→ 仪表盘黄灯闪烁低干扰Level 2警告distraction_duration 2.5s→ 蜂鸣器“滴”一声中干扰Level 3紧急distraction_duration 3.5s且class_id 1打电话→ 方向盘震动 语音播报“请勿手持电话”高干扰。实现逻辑嵌入tracker.py的predict循环后# 在主循环中detector.py for frame_id, im0 in enumerate(video_stream): # ... YOLO 检测 DeepSort 追踪 ... for track in tracker.tracks: if track.is_confirmed() and track.time_since_update 0: if track.distraction_duration 3.5 and track.class_id 1: trigger_emergency_alert(im0) # 震动语音 elif track.distraction_duration 2.5: trigger_warning_alert() elif track.distraction_duration 1.5: trigger_reminder_alert()4.2 树莓派 5 部署用 TensorRT 加速 YOLOv5 推理树莓派 58GB RAM RP1 GPU原生跑 PyTorch YOLOv5s 仅 8 FPS无法满足实时性。必须转 TensorRT 引擎# 在 x86 服务器上导出 ONNX需安装 onnx-simplifier python export.py --weights yolov5s_distraction.pt --include onnx --img 640 --batch 1 # 使用 onnx-simplifier 简化去除冗余节点 python -m onnxsim yolov5s_distraction.onnx yolov5s_distraction_sim.onnx # 在树莓派 5 上用 trtexec 构建引擎需安装 TensorRT 8.6 /usr/src/tensorrt/bin/trtexec \ --onnxyolov5s_distraction_sim.onnx \ --saveEngineyolov5s_distraction.engine \ --fp16 \ --workspace2048 \ --optShapesinput:1x3x640x640避坑--optShapes必须与训练时--img一致否则推理输出 shape 错误--fp16开启半精度树莓派 5 GPU 仅支持 FP16INT8 会报错。4.3 预警硬件联动GPIO 控制蜂鸣器与 LED树莓派 GPIO 引脚控制物理告警设备需用RPi.GPIO库import RPi.GPIO as GPIO import time # GPIO 引脚定义 BUZZER_PIN 18 LED_PIN 23 GPIO.setmode(GPIO.BCM) GPIO.setup(BUZZER_PIN, GPIO.OUT) GPIO.setup(LED_PIN, GPIO.OUT) def trigger_warning_alert(): GPIO.output(BUZZER_PIN, GPIO.HIGH) GPIO.output(LED_PIN, GPIO.HIGH) time.sleep(0.1) GPIO.output(BUZZER_PIN, GPIO.LOW) GPIO.output(LED_PIN, GPIO.LOW) def trigger_emergency_alert(im0): # 方向盘震动需外接电机驱动模块此处模拟 for _ in range(3): GPIO.output(BUZZER_PIN, GPIO.HIGH) time.sleep(0.05) GPIO.output(BUZZER_PIN, GPIO.LOW) time.sleep(0.05) # 语音播报调用 espeak import os os.system(espeak -v zhf3 请勿手持电话 2/dev/null)注意espeak中文语音需提前安装sudo apt install espeak-ng并下载中文语音包sudo apt install espeak-ng-data-zh否则静音。5. 避坑指南YOLOv5DeepSort 分心检测的 5 个真实翻车现场5.1 现象训练 loss 下降但验证 mAP 为 0原因data/driver_distraction.yaml中train/val路径写错实际加载的是空目录验证集无图mAP 计算时除零。解决在val.py开头添加路径检查assert os.path.exists(opt.data), fData config {opt.data} not found data_dict check_dataset(opt.data) # check_dataset 会校验 train/val 路径是否存在且非空5.2 现象DeepSort 追踪 ID 在驾驶员低头时瞬间切换原因卡尔曼滤波预测步长过大max_age30低头 1 秒后轨迹被删除抬头时新建 ID。解决将max_age从 30 降至 15对应 0.5 秒并在track.py中增强预测稳定性# 在 Track.predict() 中限制预测 bbox 宽高不超过前 5 帧均值的 1.5 倍 if len(self.history) 5: avg_w np.mean([h[2] for h in self.history[-5:]]) avg_h np.mean([h[3] for h in self.history[-5:]]) self.mean[2] min(self.mean[2], avg_w * 1.5) # 宽 self.mean[3] min(self.mean[3], avg_h * 1.5) # 高5.3 现象树莓派 5 上 TensorRT 引擎加载失败报Segmentation fault原因ONNX 模型含Hardswish激活函数TensorRT 8.6 不支持需替换为SiLU。解决修改models/common.py中Hardswish类训练前重导出 ONNXclass Hardswish(nn.Module): # export-friendly version of nn.Hardswish() staticmethod def forward(x): # return x * F.hardsigmoid(x) # for TorchScript and CoreML return x * F.silu(x) # 替换为 SiLUTRT 8.6 原生支持5.4 现象夜间红外模式下YOLO 检测框大量漂移DeepSort ID 频繁跳变原因红外图像对比度低YOLO 的focus层切片操作在低纹理区域产生伪影。解决在models/yolov5s_custom.yaml中将focus替换为Conv牺牲少量参数换稳定性# 原 focus 层 - [-1, 1, Focus, [64, 3]], # 0-P1/2 # 改为 - [-1, 1, Conv, [64, 3, 2]], # stride2 卷积替代 focus5.5 现象多摄像头同时运行时CPU 占用 100%预警延迟 2 秒原因OpenCV 默认使用多线程解码与 PyTorch 的 CUDA 上下文冲突。解决强制 OpenCV 单线程解码并绑定 CPU 核心import cv2 cv2.setNumThreads(1) # 关闭 OpenCV 多线程 # 在启动脚本中绑定进程到特定 CPU 核 # taskset -c 0-3 python detector.py6. 进阶技巧用“分心行为热力图”定位高危时段与场景预警系统不止于“响一下”更要回答“司机在哪段路、什么时间、因为什么最易分心”。我在detector.py中埋入帧级行为统计生成热力图数据6.1 按时间维度聚合每分钟分心次数直方图# 初始化计数器 minute_counter defaultdict(lambda: defaultdict(int)) # {minute: {class_id: count}} # 在主循环中 current_minute int(frame_id / 30 / 60) # 假设 30 FPS for track in tracker.tracks: if track.is_confirmed() and track.class_id in [1,2,3,4]: minute_counter[current_minute][track.class_id] 1 # 导出 CSV供 Grafana 可视化 with open(distraction_by_minute.csv, w) as f: f.write(minute,phone_call,eating,smoking,talking\n) for minute in sorted(minute_counter.keys()): row [str(minute)] for cls_id in [1,2,3,4]: row.append(str(minute_counter[minute].get(cls_id, 0))) f.write(,.join(row) \n)6.2 按空间维度聚合分心行为在图像中的分布热力图驾驶员分心常伴随视线偏移统计每类行为 bbox 中心坐标的二维直方图import numpy as np import matplotlib.pyplot as plt # 初始化 100x100 网格归一化坐标 heatmap np.zeros((100, 100)) # 在 track.update() 后 if track.class_id in [1,2,3,4]: cx_norm track.mean[0] # 归一化中心 x cy_norm track.mean[1] # 归一化中心 y x_bin int(cx_norm * 99) # 0~99 y_bin int(cy_norm * 99) if 0 x_bin 100 and 0 y_bin 100: heatmap[y_bin, x_bin] 1 # 保存热力图 plt.imshow(heatmap, cmaphot, interpolationnearest) plt.savefig(distraction_heatmap.png)实战价值某物流车队实测发现phone_call热点集中在图像右上角副驾侧说明司机习惯将手机放在副驾储物格talking_to_passenger热点在图像中央偏右印证乘客多坐右侧。据此优化车载支架位置3 个月内分心报警下降 41%。6.3 用“分心熵”量化驾驶员状态稳定性单看次数不够要看行为切换频率。定义分心熵 $$ H -\sum_{i1}^{4} p_i \log_2 p_i $$ 其中 $p_i$ 是第 $i$ 类分心行为在最近 60 秒内的占比。$H$ 越高说明司机行为越混乱如 10 秒打电话、5 秒吃东西、3 秒转头风险指数级上升。from collections import deque recent_classes deque(maxlen1800) # 60 秒 * 30 FPS # 每帧追加 if track.class_id in [1,2,3,4]: recent_classes.append(track.class_id) # 每秒计算一次熵 if frame_id % 30 0 and len(recent_classes) 0: from collections import Counter cnt Counter(recent_classes) probs [cnt[i]/len(recent_classes) for i in [1,2,3,4]] entropy -sum(p * np.log2(p) for p in probs if p 0) if entropy 1.8: # 经验阈值 log_warning(fHigh distraction entropy: {entropy:.2f})我坚持在每个新项目启动前先跑 10 分钟热力图和熵分析——它比任何 mAP 数字都更能暴露数据偏差和场景盲区。比如曾发现某模型在隧道出口处报警激增热力图显示全是normal类别追查发现是隧道内外光照突变导致 YOLO 置信度批量下跌DeepSort 误将低置信度框当新 ID 处理。这种问题只有在真实数据流里泡过才能一眼识破。希望帮到你。本文还有配套的精品资源点击获取