尧图网页设计 
简介跨域迁移学习与YOLOv11结合的卫星遥感影像处理专题PDF共38页定位为计算机视觉与遥感领域的学习参考资料适合研究者、算法工程师及有目标检测基础的读者阅读。文档从迁移学习基本概念出发逐步展开YOLOv11的网络结构、目标检测机制、卫星图像预处理与数据增强方法并重点讲解建筑物提取和多时期变化检测的完整实现流程最后通过实验对比与结果评估验证效果目录结构清晰支持章节快速跳转。配套文件为单个PDF文档压缩包大小约1.95MB内容覆盖“跨域迁移理论—模型原理—遥感数据处理—实验评估”全链路可支撑相关课题研读、论文撰写与毕业设计参考。已有78人学习浏览适合希望快速建立遥感目标检测知识框架并了解YOLOv11实践应用的读者。1. 跨域迁移学习 YOLOv11先看懂这份 38 页文档解决什么问题跨域迁移学习、YOLOv11、卫星遥感图像、建筑物提取与变化检测四个词叠在一起乍看像实验室的课题申报书。我拆完这份 38 页的文档后改了看法它把两件事讲透了——为什么自然图像上训练好的模型放到遥感图像上会掉点以及怎么用 YOLOv11 把建筑物框出来、再对比多时期图像找出变化。对做遥感目标检测的人来说最痛的是标注数据稀缺标一景高分遥感图像里的建筑比标一千张自然照片还费劲。这份文档给的路线是先跨域迁移搬知识、再 YOLOv11 做检测、最后多时期对比做变化检测。适合要复现 YOLOv11 迁移学习的工程师也适合被遥感标注折磨的从业者。2. 跨域迁移学习基础三条迁移路线在遥感任务里怎么选2.1 先分清领域和任务跨域迁移到底迁什么文档在 2.1 节用一组数学定义把迁移学习框住了一个领域由特征空间 X 和边缘概率分布 P(X) 共同构成记作 D{X,P(X)}一个任务由标签空间 Y 和条件概率分布 P(Y|X) 构成记作 T{Y,P(Y|X)}。迁移学习做的事情就是在源域 D_S、源任务 T_S 已知的情况下借助这些知识去改善目标域 D_T 上目标任务 T_T 的学习效果。这组定义看着抽象落到遥感里非常具体。我做建筑物提取时遇到过最典型的场景源域是用航空影像标注好的城市建筑框目标域是同一城市另一颗卫星拍的多光谱影像。两颗卫星的波段设置、分辨率、成像时间都不一样直接用源域模型去推理目标域检测框要么偏移、要么置信度全面崩掉。原因就是 P(X) 变了同一个「建筑物」在不同传感器下呈现的像素分布完全不同。文档 2.2 节把跨域迁移的特点归纳成三条数据分布差异大、标注数据稀缺、特征空间差异。这三条放在遥感场景里几乎每一条都命中所以跨域迁移不是可选项而是刚需。2.2 基于特征的迁移Autoencoder 压缩对齐基于特征的迁移思路很直白既然源域和目标域的原始特征分布对不上那就找一个公共特征空间把两个域的数据都映射进去让分布尽量靠近。文档里给的例子是核主成分分析和自动编码器其中 Autoencoder 更常用因为不需要标签遥感数据里大量未标注影像都能用上。下面这个是文档里配套的 PyTorch 实现我按可运行版本整理过import torch import torch.nn as nn import torch.optim as optim class Autoencoder(nn.Module): def __init__(self, input_size, hidden_size): super().__init__() self.encoder nn.Sequential( nn.Linear(input_size, hidden_size), nn.ReLU() ) self.decoder nn.Sequential( nn.Linear(hidden_size, input_size), nn.Sigmoid() ) def forward(self, x): return self.decoder(self.encoder(x)) # input_size 是原始特征维度hidden_size 是压缩后的维度 model Autoencoder(input_size10, hidden_size5) criterion nn.MSELoss() optimizer optim.Adam(model.parameters(), lr0.001) for epoch in range(100): output model(data) # data 是源域和目标域混合的特征矩阵 loss criterion(output, data) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch 1) % 10 0: print(fEpoch [{epoch1}/100], Loss: {loss.item():.4f})逻辑上 encoder 负责把高维输入压缩成低维表示decoder 负责从低维表示重建原始输入强迫中间层保留两个域共有的结构信息。训练完成后取 model.encoder 的输出作为对齐后的特征再喂给下游检测器。参数上要注意 input_size 取决于你喂进去的特征维度hidden_size 我一般取原始维度的 1/2 到 1/4太小会丢掉细节太大又起不到对齐作用。lr0.001、epoch100 是文档里的默认配置实际遥感特征量大我习惯把 batch 调到 128 以上epoch 降到 50 左右就够收敛。2.3 基于模型的迁移预训练权重微调基于模型的迁移是三条路线里落地最快的做法就是复用源域训练好的模型参数在目标域上微调。深度学习里最常见的例子是把 ImageNet 上预训练的 ResNet 拿过来改掉最后的全连接层再在自己的数据集上训几个 epoch。文档里给了这样一段标准代码import torch import torch.nn as nn import torchvision # 加载预训练 ResNet-18 model torchvision.models.resnet18(pretrainedTrue) # 替换最后一层全连接层适配新的类别数 num_ftrs model.fc.in_features model.fc nn.Linear(num_ftrs, 10) # 10 是目标域类别数 # 冻结 backbone 前几层只微调后面的层 for param in model.parameters(): param.requires_grad False for param in model.fc.parameters(): param.requires_grad True关键动作是替换 model.fc因为源域的类别数跟目标域不一样。遥感建筑提取一般只有一类但如果你做的是建筑、道路、水体多类提取输出节点就要对应改。微调时有个很实用的策略冻结前面的骨干层只解冻靠近输出的层等 loss 开始下降后再逐步解冻更多层。这样既能保留源域学到的通用特征又不会在目标域样本量小的时候把参数带偏。文档在 5.3 节讲模型优化时也提到超参数调优其中学习率是个敏感点迁移微调的学习率通常要比从头训练小一个数量级我一般用 0.0001 起步。2.4 三条路线选型对比遥感场景下怎么取舍三条迁移路线各有适用边界文档里分别讲了原理但没给选型建议这里按我实际项目里的经验补一张对比表迁移路线核心思想遥感场景适用性标注需求基于特征学习公共特征空间源域和目标域传感器差异大、波段不一致时效果好低可用无监督数据基于模型复用预训练参数后微调最常用从自然图像预训练权重迁移到遥感时落地快中目标域仍需少量标注基于实例挑选相似样本并加权源域里有大量与目标域相似区域的场景可用低依赖源域标注质量选型时我自己的判断标准是如果源域和目标域是同一颗卫星拍的不同城市基于模型的迁移就够了如果源域是自然图像、目标域是遥感影像光做微调容易翻车需要先做特征对齐也就是特征迁移和模型迁移叠加使用。基于实例的迁移在遥感里用得少因为高分影像的实例相似度计算本身就很贵除非源域里恰好有目标区域的旧时相影像否则性价比不高。文档里虽然没有明确给这个结论但 2.4 节讲应用潜力时提到的「在标注丰富的地区训练、迁移到标注稀缺地区」场景按我经验走模型迁移最顺。3. YOLOv11 原理拆解Backbone、Neck、Head 和损失函数3.1 从 YOLOv1 到 YOLOv11单阶段检测的演进逻辑YOLO 系列从诞生起就把目标检测当成回归问题做一次前向传播直接输出边界框和类别这也是「只看一次」名字的由来。文档 3.1 节按版本过了一遍演进史YOLOv1 把图像分成 S×S 网格每个网格预测 B 个框和置信度速度快但小目标检测差YOLOv2 引入批量归一化和 AnchorBoxes召回率上来了YOLOv3 做多尺度检测用不同尺度的特征图分别预测YOLOv4 和 YOLOv5 加了一堆工程优化比如自适应锚框和数据增强策略。YOLOv11 的改进在 3.4 节里归纳成三点更高的检测精度、更快的检测速度、更好的小目标检测能力。这三点放到遥感建筑物提取场景里前两点是通用收益第三点才是关键。遥感影像里建筑物密集城中村里大量建筑在 1024×1024 的 patch 里可能只占几十个像素YOLOv11 在小目标上的针对性优化是它比前代更适合这个任务的直接原因。3.2 Backbone残差加注意力机制YOLOv11 的骨干网络负责从输入图像里提取特征文档里明确提到了两个组件残差模块和注意力机制。残差模块解决的是深度网络梯度消失问题让网络可以堆得更深而不至于训不动注意力机制则是让网络自动关注图像里的重要区域。文档举的例子是类似 SE 模块的做法对特征图做全局平均池化得到每个通道的统计信息再用两个全连接层学习通道重要性权重最后把这个权重乘回特征图。通道注意力对遥感影像特别有用因为建筑的光谱特征往往集中在特定波段上比如近红外波段对植被和建筑的区分度很高注意力机制相当于自动把这类关键波段的权重拉高。如果你在遥感数据上做微调backbone 这部分参数值得优先保留它是迁移价值最高的部分。3.3 NeckFPN 加 PANet 特征融合Neck 的作用是处理 backbone 输出的多层特征。YOLOv11 的 Neck 把 FPN 和 PANet 串起来用FPN 自顶向下传递语义信息让深层特征知道细节在哪里PANet 再自底向上走一遍把浅层的纹理细节重新补充回来。两条路径一结合不同尺度的目标就都能拿到足够的特征。遥感建筑物提取对 Neck 的依赖比自然图像检测更重。自然图像里的目标尺度相对集中而遥感影像从整栋厂房到城中村的小平房尺度跨度可以到几十倍。FPN 和 PANet 的多尺度融合能力决定了模型能不能同时照顾到大建筑和小建筑。文档在 3.4.3 节说 YOLOv11 对小目标检测做了专门优化实际落地的靠的就是 Neck 部分的多尺度特征融合加更细的锚框划分。3.4 检测头与损失函数三部分损失怎么配检测头负责在 Neck 输出的多尺度特征图上预测边界框、类别和置信度。锚框机制仍然是基础模型预测的是每个锚框相对真实框的偏移量训练时根据锚框和真实框的 IoU 决定哪个锚框来负责检测。损失函数分成三块import torch.nn as nn # 边界框损失衡量预测框和真实框的坐标差异 def bbox_loss(pred_bbox, target_bbox): return nn.MSELoss()(pred_bbox, target_bbox) # 类别损失多分类用交叉熵 def class_loss(pred_class, target_class): return nn.CrossEntropyLoss()(pred_class, target_class) # 置信度损失判断框内是否有目标用二分类交叉熵 def confidence_loss(pred_conf, target_conf): return nn.BCELoss()(pred_conf, target_conf)这三部分按权重加在一起才是总的损失。实际使用中边界框损失在遥感任务里容易出问题因为建筑物框的长宽比变化很大MSE 对大小不同的框一视同仁导致大框和小框的误差权重失衡。文档里也提到可以用 GIoU Loss 替代 MSE我在遥感建筑提取时用 GIoU 的效果确实更好对小框的定位精度提升明显。类别损失和置信度损失在单类建筑提取任务里相对简单但如果背景里有大量和建筑物颜色接近的裸地或道路置信度损失的收敛就会变慢。3.5 NMS 后处理参数阈值怎么调NMS 是检测后处理的标准步骤用来去掉同一个目标上的重复框。文档给了一段纯 NumPy 实现逻辑很清楚按置信度排序选最高的框删掉与其 IoU 超过阈值的其他框循环处理。import numpy as np def nms(boxes, scores, threshold): if len(boxes) 0: return [] x1, y1 boxes[:, 0], boxes[:, 1] x2, y2 boxes[:, 2], boxes[:, 3] areas (x2 - x1 1) * (y2 - y1 1) order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) xx1 np.maximum(x1[i], x1[order[1:]]) yy1 np.maximum(y1[i], y1[order[1:]]) xx2 np.minimum(x2[i], x2[order[1:]]) yy2 np.minimum(y2[i], y2[order[1:]]) w np.maximum(0.0, xx2 - xx1 1) h np.maximum(0.0, yy2 - yy1 1) inter w * h ovr inter / (areas[i] areas[order[1:]] - inter) inds np.where(ovr threshold)[0] order order[inds 1] return keepthreshold 是核心参数自然图像检测一般取 0.45但遥感密集建筑场景我会调低到 0.3 左右。原因很简单密集建筑之间的真实框 IoU 本身就很高阈值设得太大NMS 会把相邻的两栋建筑当成同一目标删掉一个。调低阈值能保住更多候选框代价是后面需要人工筛掉一些重叠的误检。如果你用 Ultralytics 的 YOLOv11 仓库这个参数就是预测时的 iou 参数不用自己写 NMS。4. 遥感图像处理与数据集构建从辐射校正到数据增强4.1 数据源怎么选分辨率决定你能检测到什么卫星数据源的选型直接决定建筑物提取的上限。文档 4.1.1 节给了几类典型卫星的对比这些参数对实际项目很有参考价值卫星全色分辨率多光谱分辨率重访周期适合场景WorldView-30.31 米1.24 米商业卫星按需建筑轮廓精细提取Landsat-815 米30 米数十年时间序列长期变化检测Sentinel-210 米最高 10 米约 5 天周期性变化监测空间分辨率决定了你能检测的最小建筑。0.31 米的 WorldView-3 图像里一栋民房可能占几百个像素检测起来很轻松10 米的 Sentinel-2 图像里小建筑基本就只有几个像素YOLOv11 的小目标优化也用不上力。所以做建筑物提取项目第一步不是选模型而是选数据源这个顺序别搞反。4.2 辐射校正与几何校正不做预处理等于白训遥感图像的原始像素值不能直接用大气散射、传感器响应差异都会让同一地物的像素值在不同时间、不同影像里不一致。文档把预处理分成两步辐射校正消除大气和传感器带来的辐射误差几何校正消除轨道和地形引起的几何畸变。辐射校正里最常用的简化做法是增益和偏移校正直接用 Rasterio 就能跑import rasterio # 读取遥感图像 with rasterio.open(input_image.tif) as src: img src.read() profile src.profile # 增益和偏移校正由传感器定标参数决定 gain 1.0 offset 0.0 corrected_img gain * img offset # 保存校正结果保持原始元数据 with rasterio.open(corrected_image.tif, w, **profile) as dst: dst.write(corrected_img)Gain 和 offset 通常能从影像元数据里读到实际项目里如果没有定标参数也可以用暗像元法估算拿影像里的水体或阴影区作为暗像元假设其反射率接近 0反推大气路径辐射。几何校正用 GDAL 加地面控制点来做from osgeo import gdal gcp_list [ gdal.GCP(0, 0, 0, 100, 200), gdal.GCP(100, 0, 0, 200, 200), # 至少需要 4 个均匀分布的控制点 ] # 创建输出影像并写入 GCP ds gdal.GetDriverByName(GTiff).Create(georeferenced_image.tif, 1000, 1000, 3) ds.SetGCPs(gcp_list) ds None注意控制点至少要 4 个而且要均匀分布在图像四角否则校正后边缘区域会明显拉伸。文档里还提到基于 DEM 的地形校正那是针对山区的方案平原城市建筑提取不做也能接受。4.3 数据增强策略别把遥感图像当自然图像用文档 4.4 节列了三种增强图像翻转与旋转、亮度与对比度调整、噪声添加。这三类在遥感场景里各有讲究。翻转和旋转对所有目标检测任务都有效但对建筑要注意阴影方向训练集里如果全是同一个方向的阴影模型会把阴影当特征学进去换个季节的影像就失效。我一般会做随机翻转加 90 度旋转让模型对建筑朝向不敏感。亮度与对比度调整用来模拟不同季节、不同太阳高度角下的成像差异。卫星影像受大气影响同一地区冬夏两季的亮度能差出 30% 以上训练时把亮度扰动范围设大一点推理时对跨时相影像会更稳。噪声添加我建议用高斯噪声模拟传感器的热噪声但幅度别太大否则把建筑边缘的细节盖掉了。文档在 7.2.3 节专门做了不同数据增强策略的对比实验结论方向也是增强策略对最终 mAP 的影响比模型结构微调更明显这块值得花时间调。5. 避坑指南跨域迁移 YOLOv11 的 5 个常见问题5.1 预训练权重直接训遥感图loss 不降反升现象加载 ImageNet 预训练权重后直接训练前 20 个 epoch loss 几乎不动验证集 mAP 一直低于 0.05甚至出现 loss 不降反升的情况。原因遥感影像的波段、成像角度和自然图像差异太大backbone 前三层学到的是自然图像的边缘、纹理、颜色特征这些特征在遥感图像里基本不适用。尤其当你要处理单波段或 RGBN 四波段数据时通道数都对不上预训练权重里对应通道的卷积核完全失效。解决先做通道适配和归一化把遥感影像的像素分布映射到 ImageNet 统计范围附近训练时冻结 backbone 前 3 个 stage只让 neck 和 head 参与梯度更新等 loss 开始下降后再解冻 backbone 后半部分。这个过程我一般会先用 1/10 的数据量做一次小样本训练验证迁移方向对了再上全量。5.2 负迁移源域选得不对比不迁移还差现象用了某个预训练权重后检测精度反而比从零初始化训练低了 3 到 5 个点。这个是最坑的白白浪费了训练时间。原因源域和目标域之间分布差距过大模型把源域里有用的先验变成了目标域里的噪音。比如拿医学影像上预训练的模型迁移到遥感建筑提取两个域的特征空间几乎没有交集。解决做迁移之前先算一下源域和目标域的特征分布距离MMD 或者简单的均值方差对比都可以。我用过一个土办法把两个域的样本各抽 1000 张用预训练模型提取特征降维后画散点图如果两个簇基本重叠迁移靠谱如果完全分离不如从头训练。文档 2.3.1 提到的基于特征的对齐方法也是解决这类负迁移的思路。5.3 密集小建筑漏检严重召回率上不去现象城中村这类密集建筑区域模型漏检的全是面积不足几十像素的小房子整体召回率不到 40%但大建筑的检测精度正常。原因遥感影像下采样后小建筑的特征信息被大目标淹没。YOLOv11 虽然优化了小目标检测但默认输入尺寸 640×640 下小建筑的有效特征像素太少。解决把输入尺寸从 640 提到 1280把大图切成 1024×1024 的 patch 训练推理时用滑窗加重叠再用 NMS 合并重叠区域的重复框。文档 3.4.3 讲的 YOLOv11 小目标优化主要在网络结构层面但工程层面切图和增大输入尺寸带来的提升往往更直接。5.4 跨域标注规范不一致训练指标看着好但实际不可用现象源域用的是水平矩形框目标域标注里有旋转框训练时 loss 曲线正常但验证集上同一栋建筑有时出两个框有时一个框套住三栋建筑。原因标注规范冲突。水平框和旋转框的回归目标不一样模型来回学习两套坐标表示最后哪套都没学透。另外不同标注人员对建筑边界的理解也可能不一致有的标到屋顶边缘有的标到墙脚。解决统一标注规范跨域实验前先跑一个标注统计脚本检查每个类别的框宽高比分布、框面积分布把异常标注清洗掉。规则定下来后不要反复改一次改动会让之前所有标注的统计分布失效。5.5 显存不够batch size 上不去现象单卡 12GB 显存batch size 设 16 直接 OOM降到 4 才能跑起来但收敛速度明显变慢。原因高分遥感大图直接输入一张 1.2 万×1.2 万像素的影像放进显存空间直接占满。这不是模型的问题是数据工程的问题。解决切 patch 训练是标准做法patch 大小 1024×1024相邻 patch 重叠 20% 防止建筑被切断。推理时同样滑窗滑窗间的重复检测用 NMS 合并。文档 4.2.3 讲图像裁剪与拼接时提到的就是这个思路它在实践里也是必然选择。6. 进阶一条可复现的 YOLOv11 建筑物提取与验证流水线前面几章把原理和坑讲完最后给一条我实际用下来比较顺的完整流水线。它覆盖了从环境配置到变化检测对比的闭环适合直接照抄改参数。第一步是环境配置。文档里没有指定运行框架但 Ultralytics 系列是当前 YOLO 系列最主流的工程实现环境配置很简单# 安装 ultralytics自带推理和训练命令行 pip install ultralytics第二步是准备数据集。把遥感影像切好的 patch 按 YOLO 格式整理标注文件是每个 patch 对应的 txt每行一个框类别 x_center y_center width height坐标都归一化到 0 到 1。接着写数据配置文件我这里以单类建筑提取为例# building.yaml path: datasets/building train: images/train val: images/val names: 0: building第三步是训练。关键是 imgsz 参数文档里反复强调小目标检测所以这里要按 5.3 节的经验把输入尺寸拉高# nano 权重起步先验证流程imgsz 1280 适配遥感小建筑 yolo detect train modelweights/yolo11n.pt databuilding.yaml epochs100 imgsz1280 batch8batch 大小根据显存调12GB 卡上 batch8 配合 1280 输入尺寸是比较稳妥的起点。epochs 不需要一上来就 100先跑 10 个 epoch 看 loss 是否下降确认迁移方向没问题再放开。权重文件从官方仓库下载 nano 版即可训练完的最优权重会保存在 runs/detect/train/weights/best.pt。第四步是推理和保存结果。YOLOv11 预测后保存结果有两种需求一是保存可视化图二是保存坐标文本供后续变化检测对比用# save_txt 保存坐标文本save_conf 保存置信度save 保存标注图 yolo detect predict modelruns/detect/train/weights/best.pt \ sourcetest_patches/ save_txtTrue save_confTrue saveTrue第五步是变化检测对比。对同一区域的两个时期影像分别推理然后按 IoU 匹配两个时期的检测框列表没有匹配上的框就是新增或消失的建筑import numpy as np def compute_iou(box1, box2): xx1 max(box1[0], box2[0]) yy1 max(box1[1], box2[1]) xx2 min(box1[2], box2[2]) yy2 min(box1[3], box2[3]) inter max(0, xx2 - xx1) * max(0, yy2 - yy1) area1 (box1[2] - box1[0]) * (box1[3] - box1[1]) area2 (box2[2] - box2[0]) * (box2[3] - box2[1]) return inter / (area1 area2 - inter) def detect_changes(dets_t1, dets_t2, iou_threshold0.3): changes [] for det_t2 in dets_t2: matched False for det_t1 in dets_t1: if compute_iou(det_t1[:4], det_t2[:4]) iou_threshold: matched True break if not matched: changes.append(det_t2) return changesIoU 匹配阈值这里取 0.3和 NMS 阈值保持一致。匹配时要注意两个时期的影像必须先做过几何配准否则同一栋建筑在两个时期的框位置偏移超过建筑本身尺寸匹配逻辑就全乱了。文档 6.2 节专门强调过配准和辐射校正这一步不做变化检测结果里会全是假变化。这套流程我最早是拿某个沿海城市的两期影像跑通的第一次全流程走完大约花了两天其中一半时间花在标注清洗和 patch 重叠参数调整上。从那以后我每次做跨域迁移的检测任务都强制先拿 200 张小样本验证迁移方向是否有效再决定要不要全量训练。这个习惯帮我避开了好几次负迁移和训练资源浪费的坑省下的时间远比多花的验证时间多。希望帮到你。本文还有配套的精品资源点击获取 跨域迁移学习结合YOLOv11的遥感建筑物提取与变化检测实战
简介跨域迁移学习与YOLOv11结合的卫星遥感影像处理专题PDF共38页定位为计算机视觉与遥感领域的学习参考资料适合研究者、算法工程师及有目标检测基础的读者阅读。文档从迁移学习基本概念出发逐步展开YOLOv11的网络结构、目标检测机制、卫星图像预处理与数据增强方法并重点讲解建筑物提取和多时期变化检测的完整实现流程最后通过实验对比与结果评估验证效果目录结构清晰支持章节快速跳转。配套文件为单个PDF文档压缩包大小约1.95MB内容覆盖“跨域迁移理论—模型原理—遥感数据处理—实验评估”全链路可支撑相关课题研读、论文撰写与毕业设计参考。已有78人学习浏览适合希望快速建立遥感目标检测知识框架并了解YOLOv11实践应用的读者。1. 跨域迁移学习 YOLOv11先看懂这份 38 页文档解决什么问题跨域迁移学习、YOLOv11、卫星遥感图像、建筑物提取与变化检测四个词叠在一起乍看像实验室的课题申报书。我拆完这份 38 页的文档后改了看法它把两件事讲透了——为什么自然图像上训练好的模型放到遥感图像上会掉点以及怎么用 YOLOv11 把建筑物框出来、再对比多时期图像找出变化。对做遥感目标检测的人来说最痛的是标注数据稀缺标一景高分遥感图像里的建筑比标一千张自然照片还费劲。这份文档给的路线是先跨域迁移搬知识、再 YOLOv11 做检测、最后多时期对比做变化检测。适合要复现 YOLOv11 迁移学习的工程师也适合被遥感标注折磨的从业者。2. 跨域迁移学习基础三条迁移路线在遥感任务里怎么选2.1 先分清领域和任务跨域迁移到底迁什么文档在 2.1 节用一组数学定义把迁移学习框住了一个领域由特征空间 X 和边缘概率分布 P(X) 共同构成记作 D{X,P(X)}一个任务由标签空间 Y 和条件概率分布 P(Y|X) 构成记作 T{Y,P(Y|X)}。迁移学习做的事情就是在源域 D_S、源任务 T_S 已知的情况下借助这些知识去改善目标域 D_T 上目标任务 T_T 的学习效果。这组定义看着抽象落到遥感里非常具体。我做建筑物提取时遇到过最典型的场景源域是用航空影像标注好的城市建筑框目标域是同一城市另一颗卫星拍的多光谱影像。两颗卫星的波段设置、分辨率、成像时间都不一样直接用源域模型去推理目标域检测框要么偏移、要么置信度全面崩掉。原因就是 P(X) 变了同一个「建筑物」在不同传感器下呈现的像素分布完全不同。文档 2.2 节把跨域迁移的特点归纳成三条数据分布差异大、标注数据稀缺、特征空间差异。这三条放在遥感场景里几乎每一条都命中所以跨域迁移不是可选项而是刚需。2.2 基于特征的迁移Autoencoder 压缩对齐基于特征的迁移思路很直白既然源域和目标域的原始特征分布对不上那就找一个公共特征空间把两个域的数据都映射进去让分布尽量靠近。文档里给的例子是核主成分分析和自动编码器其中 Autoencoder 更常用因为不需要标签遥感数据里大量未标注影像都能用上。下面这个是文档里配套的 PyTorch 实现我按可运行版本整理过import torch import torch.nn as nn import torch.optim as optim class Autoencoder(nn.Module): def __init__(self, input_size, hidden_size): super().__init__() self.encoder nn.Sequential( nn.Linear(input_size, hidden_size), nn.ReLU() ) self.decoder nn.Sequential( nn.Linear(hidden_size, input_size), nn.Sigmoid() ) def forward(self, x): return self.decoder(self.encoder(x)) # input_size 是原始特征维度hidden_size 是压缩后的维度 model Autoencoder(input_size10, hidden_size5) criterion nn.MSELoss() optimizer optim.Adam(model.parameters(), lr0.001) for epoch in range(100): output model(data) # data 是源域和目标域混合的特征矩阵 loss criterion(output, data) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch 1) % 10 0: print(fEpoch [{epoch1}/100], Loss: {loss.item():.4f})逻辑上 encoder 负责把高维输入压缩成低维表示decoder 负责从低维表示重建原始输入强迫中间层保留两个域共有的结构信息。训练完成后取 model.encoder 的输出作为对齐后的特征再喂给下游检测器。参数上要注意 input_size 取决于你喂进去的特征维度hidden_size 我一般取原始维度的 1/2 到 1/4太小会丢掉细节太大又起不到对齐作用。lr0.001、epoch100 是文档里的默认配置实际遥感特征量大我习惯把 batch 调到 128 以上epoch 降到 50 左右就够收敛。2.3 基于模型的迁移预训练权重微调基于模型的迁移是三条路线里落地最快的做法就是复用源域训练好的模型参数在目标域上微调。深度学习里最常见的例子是把 ImageNet 上预训练的 ResNet 拿过来改掉最后的全连接层再在自己的数据集上训几个 epoch。文档里给了这样一段标准代码import torch import torch.nn as nn import torchvision # 加载预训练 ResNet-18 model torchvision.models.resnet18(pretrainedTrue) # 替换最后一层全连接层适配新的类别数 num_ftrs model.fc.in_features model.fc nn.Linear(num_ftrs, 10) # 10 是目标域类别数 # 冻结 backbone 前几层只微调后面的层 for param in model.parameters(): param.requires_grad False for param in model.fc.parameters(): param.requires_grad True关键动作是替换 model.fc因为源域的类别数跟目标域不一样。遥感建筑提取一般只有一类但如果你做的是建筑、道路、水体多类提取输出节点就要对应改。微调时有个很实用的策略冻结前面的骨干层只解冻靠近输出的层等 loss 开始下降后再逐步解冻更多层。这样既能保留源域学到的通用特征又不会在目标域样本量小的时候把参数带偏。文档在 5.3 节讲模型优化时也提到超参数调优其中学习率是个敏感点迁移微调的学习率通常要比从头训练小一个数量级我一般用 0.0001 起步。2.4 三条路线选型对比遥感场景下怎么取舍三条迁移路线各有适用边界文档里分别讲了原理但没给选型建议这里按我实际项目里的经验补一张对比表迁移路线核心思想遥感场景适用性标注需求基于特征学习公共特征空间源域和目标域传感器差异大、波段不一致时效果好低可用无监督数据基于模型复用预训练参数后微调最常用从自然图像预训练权重迁移到遥感时落地快中目标域仍需少量标注基于实例挑选相似样本并加权源域里有大量与目标域相似区域的场景可用低依赖源域标注质量选型时我自己的判断标准是如果源域和目标域是同一颗卫星拍的不同城市基于模型的迁移就够了如果源域是自然图像、目标域是遥感影像光做微调容易翻车需要先做特征对齐也就是特征迁移和模型迁移叠加使用。基于实例的迁移在遥感里用得少因为高分影像的实例相似度计算本身就很贵除非源域里恰好有目标区域的旧时相影像否则性价比不高。文档里虽然没有明确给这个结论但 2.4 节讲应用潜力时提到的「在标注丰富的地区训练、迁移到标注稀缺地区」场景按我经验走模型迁移最顺。3. YOLOv11 原理拆解Backbone、Neck、Head 和损失函数3.1 从 YOLOv1 到 YOLOv11单阶段检测的演进逻辑YOLO 系列从诞生起就把目标检测当成回归问题做一次前向传播直接输出边界框和类别这也是「只看一次」名字的由来。文档 3.1 节按版本过了一遍演进史YOLOv1 把图像分成 S×S 网格每个网格预测 B 个框和置信度速度快但小目标检测差YOLOv2 引入批量归一化和 AnchorBoxes召回率上来了YOLOv3 做多尺度检测用不同尺度的特征图分别预测YOLOv4 和 YOLOv5 加了一堆工程优化比如自适应锚框和数据增强策略。YOLOv11 的改进在 3.4 节里归纳成三点更高的检测精度、更快的检测速度、更好的小目标检测能力。这三点放到遥感建筑物提取场景里前两点是通用收益第三点才是关键。遥感影像里建筑物密集城中村里大量建筑在 1024×1024 的 patch 里可能只占几十个像素YOLOv11 在小目标上的针对性优化是它比前代更适合这个任务的直接原因。3.2 Backbone残差加注意力机制YOLOv11 的骨干网络负责从输入图像里提取特征文档里明确提到了两个组件残差模块和注意力机制。残差模块解决的是深度网络梯度消失问题让网络可以堆得更深而不至于训不动注意力机制则是让网络自动关注图像里的重要区域。文档举的例子是类似 SE 模块的做法对特征图做全局平均池化得到每个通道的统计信息再用两个全连接层学习通道重要性权重最后把这个权重乘回特征图。通道注意力对遥感影像特别有用因为建筑的光谱特征往往集中在特定波段上比如近红外波段对植被和建筑的区分度很高注意力机制相当于自动把这类关键波段的权重拉高。如果你在遥感数据上做微调backbone 这部分参数值得优先保留它是迁移价值最高的部分。3.3 NeckFPN 加 PANet 特征融合Neck 的作用是处理 backbone 输出的多层特征。YOLOv11 的 Neck 把 FPN 和 PANet 串起来用FPN 自顶向下传递语义信息让深层特征知道细节在哪里PANet 再自底向上走一遍把浅层的纹理细节重新补充回来。两条路径一结合不同尺度的目标就都能拿到足够的特征。遥感建筑物提取对 Neck 的依赖比自然图像检测更重。自然图像里的目标尺度相对集中而遥感影像从整栋厂房到城中村的小平房尺度跨度可以到几十倍。FPN 和 PANet 的多尺度融合能力决定了模型能不能同时照顾到大建筑和小建筑。文档在 3.4.3 节说 YOLOv11 对小目标检测做了专门优化实际落地的靠的就是 Neck 部分的多尺度特征融合加更细的锚框划分。3.4 检测头与损失函数三部分损失怎么配检测头负责在 Neck 输出的多尺度特征图上预测边界框、类别和置信度。锚框机制仍然是基础模型预测的是每个锚框相对真实框的偏移量训练时根据锚框和真实框的 IoU 决定哪个锚框来负责检测。损失函数分成三块import torch.nn as nn # 边界框损失衡量预测框和真实框的坐标差异 def bbox_loss(pred_bbox, target_bbox): return nn.MSELoss()(pred_bbox, target_bbox) # 类别损失多分类用交叉熵 def class_loss(pred_class, target_class): return nn.CrossEntropyLoss()(pred_class, target_class) # 置信度损失判断框内是否有目标用二分类交叉熵 def confidence_loss(pred_conf, target_conf): return nn.BCELoss()(pred_conf, target_conf)这三部分按权重加在一起才是总的损失。实际使用中边界框损失在遥感任务里容易出问题因为建筑物框的长宽比变化很大MSE 对大小不同的框一视同仁导致大框和小框的误差权重失衡。文档里也提到可以用 GIoU Loss 替代 MSE我在遥感建筑提取时用 GIoU 的效果确实更好对小框的定位精度提升明显。类别损失和置信度损失在单类建筑提取任务里相对简单但如果背景里有大量和建筑物颜色接近的裸地或道路置信度损失的收敛就会变慢。3.5 NMS 后处理参数阈值怎么调NMS 是检测后处理的标准步骤用来去掉同一个目标上的重复框。文档给了一段纯 NumPy 实现逻辑很清楚按置信度排序选最高的框删掉与其 IoU 超过阈值的其他框循环处理。import numpy as np def nms(boxes, scores, threshold): if len(boxes) 0: return [] x1, y1 boxes[:, 0], boxes[:, 1] x2, y2 boxes[:, 2], boxes[:, 3] areas (x2 - x1 1) * (y2 - y1 1) order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) xx1 np.maximum(x1[i], x1[order[1:]]) yy1 np.maximum(y1[i], y1[order[1:]]) xx2 np.minimum(x2[i], x2[order[1:]]) yy2 np.minimum(y2[i], y2[order[1:]]) w np.maximum(0.0, xx2 - xx1 1) h np.maximum(0.0, yy2 - yy1 1) inter w * h ovr inter / (areas[i] areas[order[1:]] - inter) inds np.where(ovr threshold)[0] order order[inds 1] return keepthreshold 是核心参数自然图像检测一般取 0.45但遥感密集建筑场景我会调低到 0.3 左右。原因很简单密集建筑之间的真实框 IoU 本身就很高阈值设得太大NMS 会把相邻的两栋建筑当成同一目标删掉一个。调低阈值能保住更多候选框代价是后面需要人工筛掉一些重叠的误检。如果你用 Ultralytics 的 YOLOv11 仓库这个参数就是预测时的 iou 参数不用自己写 NMS。4. 遥感图像处理与数据集构建从辐射校正到数据增强4.1 数据源怎么选分辨率决定你能检测到什么卫星数据源的选型直接决定建筑物提取的上限。文档 4.1.1 节给了几类典型卫星的对比这些参数对实际项目很有参考价值卫星全色分辨率多光谱分辨率重访周期适合场景WorldView-30.31 米1.24 米商业卫星按需建筑轮廓精细提取Landsat-815 米30 米数十年时间序列长期变化检测Sentinel-210 米最高 10 米约 5 天周期性变化监测空间分辨率决定了你能检测的最小建筑。0.31 米的 WorldView-3 图像里一栋民房可能占几百个像素检测起来很轻松10 米的 Sentinel-2 图像里小建筑基本就只有几个像素YOLOv11 的小目标优化也用不上力。所以做建筑物提取项目第一步不是选模型而是选数据源这个顺序别搞反。4.2 辐射校正与几何校正不做预处理等于白训遥感图像的原始像素值不能直接用大气散射、传感器响应差异都会让同一地物的像素值在不同时间、不同影像里不一致。文档把预处理分成两步辐射校正消除大气和传感器带来的辐射误差几何校正消除轨道和地形引起的几何畸变。辐射校正里最常用的简化做法是增益和偏移校正直接用 Rasterio 就能跑import rasterio # 读取遥感图像 with rasterio.open(input_image.tif) as src: img src.read() profile src.profile # 增益和偏移校正由传感器定标参数决定 gain 1.0 offset 0.0 corrected_img gain * img offset # 保存校正结果保持原始元数据 with rasterio.open(corrected_image.tif, w, **profile) as dst: dst.write(corrected_img)Gain 和 offset 通常能从影像元数据里读到实际项目里如果没有定标参数也可以用暗像元法估算拿影像里的水体或阴影区作为暗像元假设其反射率接近 0反推大气路径辐射。几何校正用 GDAL 加地面控制点来做from osgeo import gdal gcp_list [ gdal.GCP(0, 0, 0, 100, 200), gdal.GCP(100, 0, 0, 200, 200), # 至少需要 4 个均匀分布的控制点 ] # 创建输出影像并写入 GCP ds gdal.GetDriverByName(GTiff).Create(georeferenced_image.tif, 1000, 1000, 3) ds.SetGCPs(gcp_list) ds None注意控制点至少要 4 个而且要均匀分布在图像四角否则校正后边缘区域会明显拉伸。文档里还提到基于 DEM 的地形校正那是针对山区的方案平原城市建筑提取不做也能接受。4.3 数据增强策略别把遥感图像当自然图像用文档 4.4 节列了三种增强图像翻转与旋转、亮度与对比度调整、噪声添加。这三类在遥感场景里各有讲究。翻转和旋转对所有目标检测任务都有效但对建筑要注意阴影方向训练集里如果全是同一个方向的阴影模型会把阴影当特征学进去换个季节的影像就失效。我一般会做随机翻转加 90 度旋转让模型对建筑朝向不敏感。亮度与对比度调整用来模拟不同季节、不同太阳高度角下的成像差异。卫星影像受大气影响同一地区冬夏两季的亮度能差出 30% 以上训练时把亮度扰动范围设大一点推理时对跨时相影像会更稳。噪声添加我建议用高斯噪声模拟传感器的热噪声但幅度别太大否则把建筑边缘的细节盖掉了。文档在 7.2.3 节专门做了不同数据增强策略的对比实验结论方向也是增强策略对最终 mAP 的影响比模型结构微调更明显这块值得花时间调。5. 避坑指南跨域迁移 YOLOv11 的 5 个常见问题5.1 预训练权重直接训遥感图loss 不降反升现象加载 ImageNet 预训练权重后直接训练前 20 个 epoch loss 几乎不动验证集 mAP 一直低于 0.05甚至出现 loss 不降反升的情况。原因遥感影像的波段、成像角度和自然图像差异太大backbone 前三层学到的是自然图像的边缘、纹理、颜色特征这些特征在遥感图像里基本不适用。尤其当你要处理单波段或 RGBN 四波段数据时通道数都对不上预训练权重里对应通道的卷积核完全失效。解决先做通道适配和归一化把遥感影像的像素分布映射到 ImageNet 统计范围附近训练时冻结 backbone 前 3 个 stage只让 neck 和 head 参与梯度更新等 loss 开始下降后再解冻 backbone 后半部分。这个过程我一般会先用 1/10 的数据量做一次小样本训练验证迁移方向对了再上全量。5.2 负迁移源域选得不对比不迁移还差现象用了某个预训练权重后检测精度反而比从零初始化训练低了 3 到 5 个点。这个是最坑的白白浪费了训练时间。原因源域和目标域之间分布差距过大模型把源域里有用的先验变成了目标域里的噪音。比如拿医学影像上预训练的模型迁移到遥感建筑提取两个域的特征空间几乎没有交集。解决做迁移之前先算一下源域和目标域的特征分布距离MMD 或者简单的均值方差对比都可以。我用过一个土办法把两个域的样本各抽 1000 张用预训练模型提取特征降维后画散点图如果两个簇基本重叠迁移靠谱如果完全分离不如从头训练。文档 2.3.1 提到的基于特征的对齐方法也是解决这类负迁移的思路。5.3 密集小建筑漏检严重召回率上不去现象城中村这类密集建筑区域模型漏检的全是面积不足几十像素的小房子整体召回率不到 40%但大建筑的检测精度正常。原因遥感影像下采样后小建筑的特征信息被大目标淹没。YOLOv11 虽然优化了小目标检测但默认输入尺寸 640×640 下小建筑的有效特征像素太少。解决把输入尺寸从 640 提到 1280把大图切成 1024×1024 的 patch 训练推理时用滑窗加重叠再用 NMS 合并重叠区域的重复框。文档 3.4.3 讲的 YOLOv11 小目标优化主要在网络结构层面但工程层面切图和增大输入尺寸带来的提升往往更直接。5.4 跨域标注规范不一致训练指标看着好但实际不可用现象源域用的是水平矩形框目标域标注里有旋转框训练时 loss 曲线正常但验证集上同一栋建筑有时出两个框有时一个框套住三栋建筑。原因标注规范冲突。水平框和旋转框的回归目标不一样模型来回学习两套坐标表示最后哪套都没学透。另外不同标注人员对建筑边界的理解也可能不一致有的标到屋顶边缘有的标到墙脚。解决统一标注规范跨域实验前先跑一个标注统计脚本检查每个类别的框宽高比分布、框面积分布把异常标注清洗掉。规则定下来后不要反复改一次改动会让之前所有标注的统计分布失效。5.5 显存不够batch size 上不去现象单卡 12GB 显存batch size 设 16 直接 OOM降到 4 才能跑起来但收敛速度明显变慢。原因高分遥感大图直接输入一张 1.2 万×1.2 万像素的影像放进显存空间直接占满。这不是模型的问题是数据工程的问题。解决切 patch 训练是标准做法patch 大小 1024×1024相邻 patch 重叠 20% 防止建筑被切断。推理时同样滑窗滑窗间的重复检测用 NMS 合并。文档 4.2.3 讲图像裁剪与拼接时提到的就是这个思路它在实践里也是必然选择。6. 进阶一条可复现的 YOLOv11 建筑物提取与验证流水线前面几章把原理和坑讲完最后给一条我实际用下来比较顺的完整流水线。它覆盖了从环境配置到变化检测对比的闭环适合直接照抄改参数。第一步是环境配置。文档里没有指定运行框架但 Ultralytics 系列是当前 YOLO 系列最主流的工程实现环境配置很简单# 安装 ultralytics自带推理和训练命令行 pip install ultralytics第二步是准备数据集。把遥感影像切好的 patch 按 YOLO 格式整理标注文件是每个 patch 对应的 txt每行一个框类别 x_center y_center width height坐标都归一化到 0 到 1。接着写数据配置文件我这里以单类建筑提取为例# building.yaml path: datasets/building train: images/train val: images/val names: 0: building第三步是训练。关键是 imgsz 参数文档里反复强调小目标检测所以这里要按 5.3 节的经验把输入尺寸拉高# nano 权重起步先验证流程imgsz 1280 适配遥感小建筑 yolo detect train modelweights/yolo11n.pt databuilding.yaml epochs100 imgsz1280 batch8batch 大小根据显存调12GB 卡上 batch8 配合 1280 输入尺寸是比较稳妥的起点。epochs 不需要一上来就 100先跑 10 个 epoch 看 loss 是否下降确认迁移方向没问题再放开。权重文件从官方仓库下载 nano 版即可训练完的最优权重会保存在 runs/detect/train/weights/best.pt。第四步是推理和保存结果。YOLOv11 预测后保存结果有两种需求一是保存可视化图二是保存坐标文本供后续变化检测对比用# save_txt 保存坐标文本save_conf 保存置信度save 保存标注图 yolo detect predict modelruns/detect/train/weights/best.pt \ sourcetest_patches/ save_txtTrue save_confTrue saveTrue第五步是变化检测对比。对同一区域的两个时期影像分别推理然后按 IoU 匹配两个时期的检测框列表没有匹配上的框就是新增或消失的建筑import numpy as np def compute_iou(box1, box2): xx1 max(box1[0], box2[0]) yy1 max(box1[1], box2[1]) xx2 min(box1[2], box2[2]) yy2 min(box1[3], box2[3]) inter max(0, xx2 - xx1) * max(0, yy2 - yy1) area1 (box1[2] - box1[0]) * (box1[3] - box1[1]) area2 (box2[2] - box2[0]) * (box2[3] - box2[1]) return inter / (area1 area2 - inter) def detect_changes(dets_t1, dets_t2, iou_threshold0.3): changes [] for det_t2 in dets_t2: matched False for det_t1 in dets_t1: if compute_iou(det_t1[:4], det_t2[:4]) iou_threshold: matched True break if not matched: changes.append(det_t2) return changesIoU 匹配阈值这里取 0.3和 NMS 阈值保持一致。匹配时要注意两个时期的影像必须先做过几何配准否则同一栋建筑在两个时期的框位置偏移超过建筑本身尺寸匹配逻辑就全乱了。文档 6.2 节专门强调过配准和辐射校正这一步不做变化检测结果里会全是假变化。这套流程我最早是拿某个沿海城市的两期影像跑通的第一次全流程走完大约花了两天其中一半时间花在标注清洗和 patch 重叠参数调整上。从那以后我每次做跨域迁移的检测任务都强制先拿 200 张小样本验证迁移方向是否有效再决定要不要全量训练。这个习惯帮我避开了好几次负迁移和训练资源浪费的坑省下的时间远比多花的验证时间多。希望帮到你。本文还有配套的精品资源点击获取