简介360张带有完整标注的热红外无人机图像组成一套可直接用于yolo系列目标检测模型训练与验证的数据集适合正在学习yolov5、yolov8、yolov10等算法的开发者使用。包内文件总数1081个包括360张jpg原图、360份yolo格式txt标签、360份voc格式xml标签以及1个data.yaml数据集配置文件压缩包大小6.72MB。标签格式说明已在资源描述中给出中心点坐标与宽高均采用归一化比例可直接配合官方训练脚本使用。数据集已预先划分好训练集与验证集免去手动整理目录的麻烦同时提供yolo与voc两种标签方便在不同框架间切换测试。目前已有81人学习下载适合需要热红外场景数据或希望快速上手yolo系列检测流程的开发者。1. 热红外无人机数据集360张带标签图能训练出什么样的YOLO模型第一反应是360张太少但如果你把它当作“给YOLO算法做热红外领域适配”的素材这个规模恰好卡在一个关键位置足够把可见光预训练模型迁移到热红外场景又小到逼你认真对待数据划分、标注质量和验证方法。热红外图像依赖目标与环境的温差成像没有颜色和纹理信息无人机视角下目标尺度小、背景杂直接把COCO预训练权重拿来推理掉点速度会让你以为代码写错了。这套流程适合做无人机视觉感知、电力巡检、搜救和交通监测的算法工程师也适合正在找带标签热红外数据做预研的团队。下面从数据格式、目录整理、训练参数到五折验证把360张图的完整落地路径拆开讲。2. 热红外成像与可见光的本质差异为什么YOLO在热红外上掉点2.1 单通道、低纹理、温差对比度热红外图像的三个核心特征热红外传感器输出的本质是温度分布经量化后保存成图像时每个像素反映的是目标与背景的辐射温差而不是可见光下的反射亮度。这意味着YOLO的骨干网络在ImageNet或COCO上学到的纹理特征——车身反光、衣服条纹、植被颜色——在热红外图像里全部失效网络中大量卷积核在空转这是迁移掉点的根本原因。第二个特征是低纹理。可见光图像里边缘通常伴随颜色突变和纹理梯度目标识别可以靠“看起来像什么”热红外图像里只有温度梯度形成的轮廓如果目标和背景温差小轮廓本身都模糊。白天日照下屋顶和车辆温度接近对比度很低夜间建筑余热和地面温差大反而清晰。这种一天之内对比度剧烈波动的特性让热红外检测成了项目交付时最容易出幺蛾子的环节我一般会把它当成一个独立预处理问题来对待而不是指望模型自己适应。第三个特征是数据位深。很多热红外相机输出14bit或16bit辐射数据导出成8位JPG时已经做了一次压缩映射细节丢掉不少。常见做法是拿到数据后先做CLAHE直方图均衡把低对比度区域的梯度拉出来但要注意这个预处理必须和部署时的推理管线完全一致否则训练时指标好看、上线时全部失效。我习惯在数据加载阶段统一做CLAHE并把参数固定写入配置文件而不是依赖训练时的随机增强去“碰运气”。2.2 从zip包看标签结构先别训练先看标注格式和类别分布拿到zip先解压打开目录确认标注格式。热红外无人机数据集里最常见的两种标注VOC XML用左上角和右下角的绝对像素坐标YOLO TXT用归一化后的中心点坐标加宽高。两者坐标系统完全不同差一个转换动作模型训练出来就是废的。第二步是写个小脚本统计类别数量和框尺寸分布这一步能直接决定后面的训练策略。把labels目录下所有txt读一遍统计每个类别的目标数、每张图的平均目标数、框面积的归一化分布。如果发现某个类别只有十几张图、或者框大面积小于图像的1%后面就要针对性地调整输入分辨率和增强策略而不是直接开训。第三件必做的事是人工抽样目检标注质量。热红外图像目标边缘模糊标注员经常凭温度梯度勾框把背景过渡区一起包进去。把标注框画到图上随机翻二三十张如果发现框普遍松一圈或紧一圈先修标注再训练。这一步看起来耽误几天时间实际上能省掉后面定位不准、验证指标虚高的一大堆麻烦。2.3 小目标与先验框360张图上重新统计框分布无人机视角下目标集中在图像中下部、尺度很小、形状接近正方形这和COCO数据集的先验分布差异很大。YOLOv8已经改成anchor-free架构不需要像YOLOv5那样跑anchor聚类但如果你的工具链还是YOLOv5或者检测效果里小目标漏检率偏高这一步不能跳。YOLOv5重聚类anchor的命令是python utils/autoanchor.py --cfg models/yolov5s.yaml --data data/thermal.yaml它会统计训练集标签里的框宽高分布用k-means聚出新的anchor尺寸并写回yaml。热红外无人机场景下聚类结果通常集中在几个小尺度、近似正方形的anchor框上和COCO默认值差别非常大不重聚类的话小目标会大面积漏检。YOLOv8没有手动anchor参数提升小目标召回主要靠两个手段把输入分辨率从640提到960或1280或者把检测头从P3-P5扩展到P2-P5。P2是2倍下采样的浅层特征图对小目标更敏感但显存开销和训练时间都会涨。360张图的规模下直接用1280输入很容易过拟合我一般先用640跑通baseline再在小验证集上对比一次高分辨率的效果用数据决定要不要上。训练前先用脚本看框分布import numpy as np from pathlib import Path widths, heights, areas [], [], [] for lbl in Path(labels).glob(*.txt): for line in lbl.read_text().strip().splitlines(): _, cx, cy, bw, bh map(float, line.split()) widths.append(bw) heights.append(bh) areas.append(bw * bh) print(box count:, len(widths)) print(median w h:, round(np.median(widths), 4), round(np.median(heights), 4)) print(area 0.01 ratio:, round(np.mean(np.array(areas) 0.01), 3))这段代码统计的是归一化框宽高和面积占比。面积小于1%的框占比如果超过一半说明小目标占主导输入分辨率宁可上960也不要硬用640。归一化坐标的好处是不依赖图像原始尺寸可以直接对比不同批次的标注质量。3. 把360张带标签图整理成YOLOv8数据集目录结构、转换脚本与配置文件3.1 统一目录结构images、labels、train、val怎么摆YOLO系列对数据目录的要求非常固定与其在训练参数上报错不如一次性把目录结构摆对。常见做法是images和labels两个顶级目录下面各分train和val标签文件名必须和图片名完全一致只是扩展名从.jpg变成.txt。dataset/ ├── images/ │ ├── train/ │ │ ├── img_001.jpg │ │ └── ... │ └── val/ ├── labels/ │ ├── train/ │ │ ├── img_001.txt │ │ └── ... │ └── val/ └── thermal.yaml图片和标签的对应关系靠文件名建立目录路径里不能有任何中文字符和空格否则Ultralytics在解析路径时容易出莫名其妙的问题。划分脚本我一般这样写from pathlib import Path import random, shutil src_img Path(raw_images) src_lbl Path(raw_labels) dst Path(dataset) img_files list(src_img.glob(*.jpg)) list(src_img.glob(*.png)) random.seed(3407) random.shuffle(img_files) val_ratio 0.2 split_idx int(len(img_files) * (1 - val_ratio)) for i, img_path in enumerate(img_files): split train if i split_idx else val shutil.copy(img_path, dst / images / split / img_path.name) lbl src_lbl / (img_path.stem .txt) if lbl.exists(): shutil.copy(lbl, dst / labels / split / lbl.name) else: print(missing label:, img_path.name)这段代码的关键在random.seed固定随机种子保证每次运行划分结果一致便于复现实验。但直接random.shuffle有个隐患如果这些图像来自同一架次的连续航拍帧相邻帧高度相似随机划分会把几乎相同的图像同时放进train和val验证指标虚高。正确做法是先按架次或采集场景分组再对组做shuffle这个坑第5章会展开讲。3.2 标签格式转换从VOC XML到YOLO TXT的Python脚本如果zip里给的是VOC XML标注训练前必须转成YOLO txt。转换的核心是坐标换算XML里是左上角和右下角的像素坐标YOLO需要归一化到0-1之间的中心点x、中心点y、宽、高。转换脚本不可跳过它的正确性直接决定模型能不能收敛。import xml.etree.ElementTree as ET from pathlib import Path class_names [person, car, building] # 顺序即类别ID必须与data.yaml一致 def voc_to_yolo(xml_file, out_txt): tree ET.parse(xml_file) root tree.getroot() size root.find(size) w, h int(size.find(width).text), int(size.find(height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) x_center ((xmin xmax) / 2) / w y_center ((ymin ymax) / 2) / h bw (xmax - xmin) / w bh (ymax - ymin) / h # 把越界坐标约束到[0,1]区间避免训练时索引越界 x_center min(max(x_center, 0), 1) y_center min(max(y_center, 0), 1) bw min(max(bw, 0), 1) bh min(max(bh, 0), 1) lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {bw:.6f} {bh:.6f}) Path(out_txt).parent.mkdir(parentsTrue, exist_okTrue) Path(out_txt).write_text(\n.join(lines)) for xml_path in Path(annotations).glob(*.xml): voc_to_yolo(xml_path, flabels/{xml_path.stem}.txt)脚本里class_names的顺序就是类别ID必须与后面data.yaml里的names列表严格一致否则第0类是车、模型学到的却是人预测结果全部错位。另外注意越界约束热红外图像的标注框偶尔会超出图像边缘YOLO训练时如果遇到负坐标或大于1的宽高会直接报错这里用min/max把坐标约束到[0,1]做兜底。转换完成后要抽样验证任意打开一个生成的txt解析它的坐标并还原成矩形画回原图确认位置正确。我用得最多的验证方式是随机抽取5张图把转换后的坐标用OpenCV画出来直接目检这一步比任何自动化校验都可靠。3.3 数据集配置类别个数与data.yaml写法data.yaml是训练入口内容只有几行但每一行都有讲究。拿360张图、三个类别来举例path: /absolute/path/to/dataset train: images/train val: images/val nc: 3 names: [person, car, building]path字段建议写绝对路径。Ultralytics的相对路径解析以当前工作目录为基准不同机器、不同脚本启动方式下很容易踩路径坑写绝对路径能省掉这部分排查时间。train和val是相对path的子路径指向images目录而不是labels目录yolo会自动在labels目录里找同名txt对应文件这一点新手容易搞错。nc是类别总数names是类别名列表。转换脚本里的class_names顺序、这里names的顺序、模型输出的类别索引三者必须完全一致。另一个容易忽略的是空标注文件某些图像可能没有任何目标属于负样本YOLO接受空的txt文件但文件本身必须存在否则训练时会报告图片没有对应标签需要检查一下labels目录里是否缺少空文件。4. 用360张图训练YOLOv8模型选型、超参数和数据增强策略4.1 模型选型360张图面前n、s、m的取舍360张图的数据量决定了模型不能大主流的选型范围是YOLOv8n和YOLOv8s。n模型参数量在320万左右s模型在1100万左右两者在热红外小目标上的差距通常也就2-3个点mAP但n的推理速度几乎是s的两倍部署在Jetson Nano或树莓派这类设备上时差距会非常明显。模型参数量级360张图的定位适用场景YOLOv8n约3.2M首选边缘端部署、快速迭代YOLOv8s约11.2M备选有GPU服务器、追求多几个点mAPYOLOv8m约25.9M不建议数据量撑不起这个容量必过拟合m以上的模型在360张图上基本是过拟合重灾区训练集loss一路下降验证mAP却来回震荡最后选出来的best.pt往往只是刚好在验证集上运气好。如果你真的需要在热红外场景追求最高精度正确做法是用这个360张数据在小模型上跑通流程然后再收集数据扩充到几千张而不是一开始就换大模型。训练时必须加载预训练权重不要从零开始。yolov8n.pt是COCO预训练权重虽然热红外和可见光特征分布差异大但骨干网络前几层学到的边缘、角点、基础形状特征是通用的迁移起点比随机初始化高很多。360张图从零训练几乎不可能收敛这一点没有悬念。4.2 超参数搭配batch、epoch、imgsz与冻结策略训练命令是Ultralytics的标准接口但参数值得是针对热红外数据集重新调的。我的基线配置是这样yolo detect train \ modelyolov8n.pt \ datadataset/thermal.yaml \ epochs150 \ imgsz640 \ batch16 \ freeze10 \ patience30 \ optimizerAdamW \ lr00.001 \ cos_lrTrue \ projectruns/thermal \ namebaselineepochs设150配合patience30做早停如果连续30轮验证指标没有提升就自动停止训练过程会自动保存best.pt和last.pt。freeze10是冻结骨干网络前10层这是个在数据量小时很关键的参数——可见光预训练特征在骨干浅层是通用的冻结住它们可以让有限的360张图只去更新检测头和更深层的特征降低过拟合风险。imgsz640是平衡方案。热红外小目标多理论上960或1280更好但360张图的规模撑不住高分辨率带来的参数空间膨胀容易过拟合。我一般先640跑通再用同样配置把imgsz提到960跑一轮对比验证集mAP50-95后再决定是否换。lr0设0.001比默认值略低因为迁移学习场景下学习率过高会把预训练权重里的通用特征冲掉。optimizer用AdamW在数据量小、需要快速收敛时表现更稳SGD也不是不行但要配更长的训练轮数。4.3 数据增强哪些增强对热红外有效、哪些是帮倒忙Ultralytics默认开了mosaic、mixup、hsv变化等增强但热红外图像没有颜色信息直接套默认配置会浪费时间。我的习惯是显式关掉和颜色相关的增强把增强预算留给真正有用的变换。yolo detect train \ modelyolov8n.pt \ datadataset/thermal.yaml \ epochs150 imgsz640 batch16 freeze10 \ hsv_h0.0 hsv_s0.0 hsv_v0.3 \ degrees0.0 translate0.1 scale0.3 fliplr0.5 \ mosaic1.0 mixup0.2 copy_paste0.1hsv_h和hsv_s在热红外图像上没有物理意义直接设为0hsv_v保留0.3它模拟的是亮度对比度波动对应一天中不同时段温差变化这是热红外数据增强里性价比最高的一项。degrees设为0因为无人机航拍图像有固定方位随机旋转90度会让模型学到错误的朝向特征。translate0.1模拟目标在画面中的位置扰动scale0.3模拟飞行高度变化带来的目标尺度变化这两项对无人机场景都非常有效。mosaic保持开启因为拼接多张图能把360张数据变成更多样化的训练样本mixup和copy_paste在目标数量稀疏的场景很管用热红外图像往往一张图里只有一两个目标copy_paste把不同图的目标拼到一起能有效弥补“单图目标少”的问题。fliplr水平翻转保留0.5除非你的任务有严格的左右方向属性比如区分左右机翼否则水平翻转一般不引入错误先验。5. 热红外无人机数据集训练避坑指南5个让mAP虚高的常见问题5.1 伪彩色三通道训练指标很好看部署现场却翻车现象训练和验证mAP都有0.8以上模型看起来一切正常但部署到实际热红外相机流上时检测率直接腰斩误检和漏检同时爆发。原因数据包里的图像被保存成了伪彩色JPG通常是直接用OpenCV的applyColorMap把单通道温度图映射成彩色图。模型在训练时学到的并不是目标的形状和温差特征而是特定颜色映射下的颜色规律——比如车辆在伪彩色下呈现为黄色亮斑。部署时如果用的是原始灰度流或不同colormap的伪彩色图颜色规律全部失效。解决训练前把图像统一转成单通道灰度再复制成三通道输入模型或者在数据加载阶段固定用同一个colormap映射保证训练和部署的预处理管线完全一致。我会优先选择单通道灰度方案因为伪彩色colormap只是可视化工具它不会增加任何模型需要的信息反而引入了部署时难以保证一致的额外变量。5.2 同一架次的相似帧同时进了训练集和验证集现象训练过程loss曲线正常验证mAP高达0.9项目方看到指标很开心结果到现场实测同一个场景检测率低得没法看。原因360张图如果来自同一架次的连续拍摄相邻帧之间的重叠度可能超过80%。随机划分数据时这些高度相似的帧会同时出现在训练集和验证集模型等于提前见过验证集答案指标自然好看。这种情况在无人机航拍数据里极其常见因为采集逻辑就是连续录像按帧提取。解决划分前先按架次或按文件夹分组同一组的数据要么全进训练集、要么全进验证集。脚本里不要用random.shuffle直接打乱全部图片要先构造“架次分组”列表对组做shuffle再按组分配。如果zip包里没有架次信息可以按文件名前缀分组或者按拍摄时间间隔聚类总的原则是保证验证集和训练集没有连续性重叠。5.3 标注框边缘过松mAP50高、mAP50-95低现象验证集上mAP50能到0.85以上mAP50-95却只有0.4左右两者差距特别大训练了好几次都是这个模式。原因mAP50只要求预测框和标注框的IoU超过0.5就算正确对框的精确位置不敏感。热红外目标边缘模糊标注员习惯性把框画大一圈把目标周围的温度过渡区域也包进去。模型学到的预测框也跟着偏大结果用宽松的mAP50衡量一切正常一旦用更高IoU阈值的mAP50-95衡量定位偏差就暴露了。解决一是返工标注把过于松弛的框按目标实际温度轮廓收紧这需要人工逐张检查360张图的工作量大约一个下午二是如果整体偏差方向一致可以用脚本对标注框做固定比例收缩比如所有框宽高缩减5%-10%再重新统计分布。此外训练时检查loss曲线里的box_loss如果box_loss降不下去很大程度是标签框本身不干净。5.4 负样本缺失模型在屋顶和水面上乱报现象模型在验证集上表现稳定但一放到实际航拍视频里在屋顶、水面、树冠这些无目标区域频繁误检而且置信度还不低都在0.5以上。原因360张图如果全部是带目标的图像模型在训练过程中从未见过“这张图里什么都没有”的情况。对模型来说目标特征和背景特征的边界是模糊的它倾向于把温度对比度明显的区域都当成目标。无人机热红外视角下房顶、水面、停车场都存在明显的温度梯度和目标的温差轮廓很像误检在所难免。解决最有效的方法是扩充负样本。从航拍视频里抽一些不同高度的无目标帧放进数据集并配空的txt标签文件让模型显式学习“这里没有目标”。如果采集不到也可以用包含目标但背景多样的图像配合高置信度阈值来缓解但这是治标不治本。训练时检查验证集PR曲线如果召回率超过90%但精确率明显偏低负样本缺失基本可以确诊。5.5 全层解冻微调loss下降却伴随着验证指标震荡现象训练时loss稳步下降但验证集mAP波动剧烈——这一轮0.7下一轮0.4再下一轮又0.75完全不稳定最后保存的best.pt也不知道该信哪一轮。原因360张图的数据量不足以支撑全网络所有层的参数更新。骨干网络深层那些针对COCO类别定制的特征在热红外图像上没有对应监督信号全层更新时这些层被小批量数据的梯度推来推去陷入震荡。数据量越小的场景这种现象越明显。解决用freeze参数冻结骨干网络前10层让梯度集中到检测头和后几层特征层上。监控训练日志里验证指标的变化如果解锁全部层之后震荡加重就增加冻结层数或者把学习率降到原来的十分之一。我的一般做法是先冻结10层跑通再用freeze0全解冻做一轮对比两者验证mAP50-95相差不超过2个点的话就选冻结版本因为它的部署稳定性更好。6. K-Fold交叉验证与置信度阈值校准把360张图的性能摸到最透单次划分模型好坏有一定运气成分360张图做一次train/val划分验证集里哪些图被选中对最终mAP影响非常大。我现在拿到小数据集不会直接开训而是先做五折交叉验证——把数据按架次分组后拆成5份每次用4份训练、1份验证轮流5次最后把5次验证指标取平均。这个过程能得到一个更接近真实泛化性能的数字也能看出模型对训练数据组成是否敏感。交叉验证配合阈值校准才有实战意义。YOLO训练完成后默认用conf0.25进行推理但这个阈值并不一定适合热红外场景。热红外图像对比度波动大目标在正午时置信度普遍低于夜间默认阈值可能放过真实目标或放大误检。我用验证集做一个简单扫描from ultralytics import YOLO model YOLO(runs/thermal/baseline/weights/best.pt) for conf in [0.1, 0.15, 0.2, 0.25, 0.3, 0.35, 0.4]: metrics model.val(datadataset/thermal.yaml, confconf, iou0.5, verboseFalse) f1 2 * metrics.box.mp * metrics.box.mr / (metrics.box.mp metrics.box.mr 1e-9) print(fconf{conf:.2f} P{metrics.box.mp:.3f} R{metrics.box.mr:.3f} F1{f1:.3f})把每个置信度下的精确率和召回率打出来选F1最高的那个conf作为部署阈值。注意这里不能直接用训练时的val集来选阈值因为best.pt已经在这份数据上做过早停会有轻微指标泄漏。更严谨的做法是五折交叉验证时把每一折的validation预测结果汇总后统一扫阈值这样选出来的conf才是真正可以在现场用的值。另外一个验证技巧是可视化抽检。把验证集预测结果画框保存成图片按置信度降序排列前50张高置信度预测里如果混入了明显误检说明模型学到的是伪特征后50张低置信度预测里如果有明显漏检说明阈值选高了。这种目检方法比任何指标都直观也是我判断一个热红外模型可不可交付的最后一道关卡。我现在拿到任何热红外数据集第一件事永远是检查标注质量和负样本比例而不是急着训练这个习惯帮我省掉了大量返工时间。希望帮到你。本文还有配套的精品资源点击获取