同一景高分影像放在那里不同年代的做法完全是两回事。传统方法要抠颜色、纹理、光谱指数CNN时代我们把它当成一个“大像素矩阵”扔进卷积网络而到了遥感大模型阶段模型开始像人看图一样既看局部细节又看全局场景。我拿同一套标注数据跑过对比ResNet-101做场景分类OA总体精度能到92.1%换成Swin-B之后是94.6%最后用一个CNNTransformer的混合架构稳定在了95.8%。这三个数字背后正是遥感大模型深度学习从CNN到Vision Transformer再到混合架构的演进之路。这篇文章想把这条路的来龙去脉、每个阶段的选型逻辑、踩过的坑以及一个可以直接上手的对比实验方案完整讲一遍。适合正在做遥感图像分类、目标检测、语义分割的算法工程师也适合刚入深度学习、想搞清楚“为什么遥感不用纯ViT”的学生。内容会涉及原理但不会停留在原理更多是告诉你实操时该选哪一个、为什么选、怎么调。1. 遥感大模型为什么绕不开架构演进1.1 遥感影像和自然图像的根本差异遥感大模型不是简单地把ImageNet上的模型搬过来改名遥感影像本身和自然图像有本质差异这些差异直接决定了模型架构的选择。第一是通道数不同。自然图像通常是RGB三通道而卫星影像和航片至少还有红边、近红外、短波红外高光谱数据甚至有几十上百个波段。多光谱输入意味着模型第一层就要处理好通道融合问题直接加载ImageNet预训练权重时通道数会对不上。第二是幅面尺寸悬殊。一景高分影像可能是几万乘几万像素GPU根本放不下必须切块训练和推理。切块之后模型还能不能保持全局上下文理解是一个非常大的考验。patch与patch之间的相互关系很多时候比patch内部的内容更重要。第三是目标尺度跨度极大。一棵树只有几米宽一座城市却是几十公里。遥感影像里小目标需要高分辨率局部特征大目标需要全局上下文。固定感受野的模型很难同时照顾两头。第四是地物方向任意性。车辆、船只、房屋、耕地任何一个朝向都可能出现。这要求模型具备更强的旋转不变性而这一点在自然图像模型里并不被特别看重。这些差异叠加起来导致自然图像上验证有效的架构搬到遥感上经常掉点。反过来遥感场景反而成了检验模型架构能力的极好试验场因为这里的任务足够复杂逼着架构不断演进。1.2 从人工特征到端到端学习的第一次跨越在深度学习进入遥感领域之前主流做法是“人工特征加浅层分类器”。光谱指数比如NDVI、纹理特征比如灰度共生矩阵、形态学算子比如开闭运算配合SVM、随机森林这类分类器。这套方案的痛点很明显特征工程需要极强的遥感领域知识而且一旦换一个传感器、换一个季节特征就要重新设计泛化能力非常有限。深度学习出现后范式变成了端到端输入原始影像和标签网络自己学习特征。这带来的变化是革命性的同一套骨干网络可以同时处理分类、检测、分割任务不用再手动设计特征。但这里要强调一点领域知识并没有消失而是换了一种形式进入了模型结构。你选择CNN还是ViT本质上就是在选择一种关于图像的先验假设。CNN假设“相邻像素相关性最强”ViT假设“任意两个位置都可能存在强依赖”。架构演进的过程就是领域知识在模型结构里显式表达的方式不断升级的过程。1.3 演进主线局部建模到全局建模再到协同建模整条演进主线可以压缩成一句话先解决局部建模再解决全局建模最后把两者统一起来。CNN解决的是局部建模问题。通过卷积核对局部区域做加权求和不断堆叠层数扩大感受野最终在深层获得一定的全局信息。但这种方式是“间接”获得全局效率不高。ViT解决的是全局建模问题。自注意力机制让每个位置直接与所有其他位置建立联系全局感受野从第一层就存在。混合架构则是把两者统一。用CNN提取精细局部特征用Transformer建模全局依赖各取所长。这条主线不是某个研究组拍脑袋想出来的而是遥感数据特点一步步逼出来的遥感任务既需要精细纹理又需要全局场景缺一个就会在某个任务上掉点。理解这条主线有什么好处以后再看到一个新架构你可以先问一句它解决了局部建模还是全局建模的问题如果两者都涉及它是怎么协同的带着这个问题去读论文比自己盲目堆模型要有效得多。2. CNN阶段局部感受野统治遥感解译的十年2.1 为什么CNN天然适配遥感影像CNN的核心操作是卷积一个卷积核在特征图上滑动对局部区域做加权求和然后输出一个新的特征值。这种操作有两个关键特性正好击中遥感数据的需求。第一个是参数共享。同一个卷积核会在整张图上反复使用这意味着模型只需要学习一套参数就能识别图中任意位置出现的同类地物。遥感影像里同一类地物可能出现在任何位置参数共享带来的平移等变性是最核心的优势。第二个是局部感受野。卷积核每次只关注一个小邻域这天然适合提取边缘、纹理、角点等局部模式。而地物识别恰恰依赖这些局部模式来区分。很多人会问为什么图像处理用CNN不用前馈全连接网络很简单如果输入是512×512×3的影像第一个全连接层假设隐层有1024个神经元参数总量就是八亿左右直接训练不动。更关键的是全连接网络不具备平移等变性同一棵树在影像里换个位置网络就要重新学一遍。这个问题在遥感这种大幅面、地物任意分布的场景里是致命的。所以CNN能统治遥感解译十年不是偶然。2.2 遥感任务里的经典CNN架构选型遥感领域的CNN选型按照任务可以分三类。图像分类方面最常用的是ResNet系列ResNet-50和ResNet-101是出现频率最高的骨干。残差连接解决了深层网络的退化问题让我可以放心把网络加深而不担心梯度消失。DenseNet、EfficientNet也有使用但在遥感场景里ResNet依然是性价比最高的选择。语义分割方面FCN是开山之作第一次实现端到端逐像素预测。UNet的编解码结构在遥感分割任务里表现非常好编码器逐层压缩特征解码器逐层恢复空间分辨率跳过连接保留了细节信息。DeepLab系列的空洞卷积解决了下采样导致分辨率下降的问题ASPP模块用多个不同膨胀率的空洞卷积并行提取多尺度特征对遥感地物尺度变化大的场景尤其有用。目标检测方面Faster R-CNN、YOLO、RetinaNet都是常用方案。遥感检测和自然图像检测一个很大不同是目标尺度变化剧烈所以FPN特征金字塔几乎是标配。低层特征分辨率高负责小目标高层特征语义强负责大目标多层级融合之后能有效覆盖不同尺度。这阶段有一个常见误区以为网络层数越多越好。在遥感大幅面数据上深层网络占显存大、推理慢最后精度提升可能只有零点几个点。实测下来ResNet-50在多数遥感任务里是性价比较高的折中选择除非数据量确实很大否则不建议盲目上ResNet-152。2.3 CSPNet与梯度分流CNN骨架的一次高效升级CNN架构不是静止的CSPNet是其中一个非常重要的升级方向。CSPNet的全称是Cross Stage Partial Network核心思想是把特征图在通道维度上分成两个分支一个分支进入残差块或者密集块做常规特征提取另一个分支直接跨阶段连接最后两个分支做拼接融合。这个设计解决了什么问题传统的深层网络在反向传播时不同层之间会出现大量重复的梯度信息计算效率低。CSPNet把梯度流切成两路一路经过特征提取模块一路绕道直连这样反向传播时梯度信息就能相互补充减少重复计算同时网络学习能力反而提升。我在遥感目标检测里用过CSPDarknet系列的骨干也就是YOLOv4、YOLOv5里的backbone直观感受是计算量比同等深度的ResNet低一些但检测精度没有下降甚至在中等尺度目标上还有轻微提升。对于遥感影像这种高分辨率大幅面算力往往是最紧张的资源CSPNet这种“不算白不算”的优化非常有价值。CSPNet的出现说明CNN阶段内部同样在持续演进。不能把CNN时代理解成一个静态集合局部建模的效率和能力一直在被优化。2.4 CNN的天花板CNN强归强但天花板很明显。第一是感受野扩展效率低。CNN获取全局信息必须靠堆叠层数或者空洞卷积。堆叠层数会导致特征图分辨率下降小目标信息丢失空洞卷积能扩大感受野但本质上仍然是稀疏采样对全局结构的建模还是不够精细。第二是长距离依赖建模弱。大型地物、复杂场景里两个相关区域的物理距离可能隔着几百甚至上千像素比如一条河流的上游和下游、一个城市中心与周边路网。CNN对这种跨长距离的关系建模非常吃力需要极其深层的网络才能勉强覆盖。第三是空间关系理解僵化。CNN对局部纹理敏感但对地物之间的拓扑关系、结构组织方式理解有限。道路网、水系、建筑群这类具有明显组织结构的对象CNN很难抓住其整体逻辑。这些瓶颈在早期遥感任务里不明显因为当时任务相对简单但随着遥感影像分辨率持续提升、解译需求越来越复杂CNN的这些问题开始成为挡在精度前面的一堵墙。自注意力机制天然能解决长距离依赖问题于是Vision Transformer登场了。3. Vision Transformer阶段全局注意力带来的范式转移3.1 ViT到底改了什么Vision Transformer的核心改动只有一句话把图像当成一系列token来处理然后用自注意力机制让所有token之间可以直接交互。具体流程是这样的先把图像切成一个个patch假设输入是512×512×3patch size是16×16那么会得到1024个patch。每个patch被拉平并线性投影成一个向量也就是token。然后给每个token加上位置编码让模型知道它原来在图像里的位置。最后所有token一起送进标准的Transformer encoder经过多层自注意力、前馈网络、层归一化输出分类结果或者继续接检测分割头。自注意力的公式是 Attention(Q,K,V) softmax(QK^T / √d)V。理解这个公式不用看数学推导你只需要知道每个token都会生成一个查询向量Q然后用它去和所有其他token的键向量K做匹配匹配分数决定从哪些token的值向量V里取多少信息。这个操作让每个位置在第一层就能看到图像里的所有位置全局感受野从第一层开始就存在。打个比方。CNN的工作方式像是一个人在工位上先看自己周围一小圈想看远处就得站起来往里走走很多层才能看到整个办公室。ViT则像是直接把所有人拉到一个视频会议里每个位置的人都能直接和其他位置的人对话不管物理距离多远。对于遥感这种需要跨大范围理解地物关系的场景这个能力非常关键。我在面试和考核里也发现ViT和CNN的区别已经成了高频考点。有些高校的深度学习期末试题会直接让你分析两者计算复杂度和适用场景本质上考的就是对这种建模方式差异的理解。3.2 遥感场景下ViT的适配关键把ViT搬到遥感场景有三个适配点必须处理好。第一是patch size的选择。ViT默认patch size是16×16但遥感影像分辨率高、地物细节多patch选大了容易丢失小目标信息。理论上patch越小分割越精细但token数量会暴涨。ViT的自注意力计算复杂度是O(N²)N是token数量512×512输入下patch16是1024个tokenpatch8就是4096个token计算量直接变成原来的16倍显存立刻吃紧。所以patch size是一个精度和算力的权衡点。第二是位置编码的处理。ViT默认使用可学习的绝对位置编码这个编码是在ImageNet上训练出来的。直接迁移到遥感大幅面影像时如果输入尺寸和训练尺寸不一致位置编码就发生错位。切块推理时每个块单独输入模型块内部的位置编码只能编码块内相对位置跨块的长距离依赖就断了。实测下来相对位置编码方案比如Swin Transformer在遥感影像上明显更稳它对输入尺寸的变化不敏感。第三是输入波段不匹配。ImageNet预训练权重是RGB三通道而遥感影像经常是多光谱。处理办法有不少一种是把近红外通道直接拼到RGB后面然后修改第一层卷积的输入通道数把预训练权重复制或者随机初始化另一种是先用一个卷积stem把多光谱波段投影成三通道再做后续处理。我个人更推荐后者结构更干净训练也更稳定。3.3 Swin Transformer与跨窗口自注意力标准ViT最大的问题就是处理高分辨率影像时计算量太大。遥感影像恰恰又是高分辨率大户这个问题被放得更严重。Swin Transformer解决这个问题的思路很巧妙不在一开始就做全局自注意力而是先在窗口内做局部自注意力。Swin的窗口是固定大小的比如7×7每个窗口内有49个token。自注意力只在窗口内部计算计算复杂度从O(N²)降到了O(N)N是token总数。这显然大大降低了计算量。但问题来了如果只在窗口内部做注意力信息永远被困在局部这不就退化回CNN了吗所以Swin做了关键一步在下一层把窗口整体平移shift一下。平移之后原来窗口边界上的token进入了新的窗口中心相邻窗口的信息就通过这种方式发生了交换。这就是“跨窗口自注意力”的本质一次窗口内计算加一次窗口移位交替进行实现了信息在窗口间的流动。在遥感场景里Swin这种“局部计算、全局流动”的设计极其实用。即使输入影像切成了块只要块内窗口划分合理每一块内的上下文理解就不会太差。我在道路提取、建筑物分割这类任务上实测过Swin-T相比同量级的ResNet-50骨干mIoU通常能提升2到4个点而且显存占用没有明显增加。3.4 HGFormer超图学习如何补足ViT的拓扑感知ViT解决了全局建模问题但注意力机制本身有一个隐含假设token之间的关系是两两配对的。这在实际地物场景里并不充分河流水系、道路路网、建筑群这类对象不是简单的点对点关系而是多个地物共同构成一个拓扑结构。这就是HGFormer想要解决的问题。HGFormer的论文标题是“HGFormer: Topology-Aware Vision Transformer with Hypergraph Learning”核心思想是在视觉Transformer的注意力流中引入超图卷积。普通图里一条边只能连接两个节点而超图里一条“超边”可以连接多个节点天然适合表达群体关系和多节点协同结构。遥感里有很多这类场景。比如提取道路网络时一条路是一系列路段节点组成的链交叉路口则让多条路汇聚在一起形成复杂的拓扑结构。如果只靠ViT的两两注意力模型很难意识到这些节点属于同一个道路网络。引入超图学习之后模型可以显式学习这种“一群节点构成一个整体”的高阶关系对复杂地物结构的分割和识别有明显帮助。HGFormer这类工作给遥感大模型指了一个新方向不是简单把模型参数堆大而是让架构适配地学对象的空间组织规律。模型结构本身就是对遥感世界理解方式的编码。4. 混合架构局部性与全局性的重新统一4.1 为什么混合架构成了“最优解”从工程角度讲混合架构几乎是现阶段遥感大模型的最优解。原因在于CNN和ViT的优缺点高度互补。CNN最大的优点是局部建模能力强、参数效率高。卷积核天然适合提取边缘、纹理、角点等局部细节而且归纳偏置强不需要太多数据就能学得很好。缺点是全局感受野不足长距离依赖建模弱。ViT最大的优点是全局建模能力强。自注意力让每个位置从第一层开始就能看到所有位置非常适合理解整体场景和长距离关系。缺点是需要海量数据喂否则容易过拟合同时局部细节建模能力相对弱因为patch内部的细粒度信息在token化过程中被压缩了。遥感的真实需求是什么呢既需要精细纹理来区分不同树种、识别房屋边界又需要全局场景来理解大范围地物分布、判断复杂场景类别。少任何一个都会在某些任务上掉点。所以混合架构不是“缝合怪”而是对遥感数据本质需求的直接回应。还有一个非常现实的工程理由在标注数据规模受限的遥感场景里纯ViT如果没有大规模预训练权重很难训得动。而混合架构可以利用CNN部分的归纳偏置帮助Transformer更快稳定下来大幅降低数据需求。4.2 串行级联与并行双流两种混合形态混合架构在工程实现上主要有两种形态。串行级联是我用得最多的一种先用CNN backbone提取局部多尺度特征再把特征序列送入Transformer模块做全局建模。典型代表是SegFormer和SwinUNet。SegFormer用CNN backbone通常是MiT结构提取多尺度特征后面接Transformer解码器SwinUNet则在UNet的编码器解码器里引入Swin Transformer模块。这种结构的优点是比较干净CNN负责下采样和局部特征Transformer负责整体上下文前后端的职责边界清晰容易复用预训练权重。并行双流则是另一个思路一个分支用CNN保持高分辨率局部表征另一个分支用Transformer提取全局特征最后在某个阶段把两个分支的特征融合起来。这种结构在遥感变化检测、多模态融合任务里很常见因为这类任务本身就需要同时处理局部变化和全局背景。两种形态各有适用场景。语义分割和目标检测我建议优先考虑串行级联结构简单、调试方便时空融合、多模态变化检测并行双流可能更有优势因为它可以在不同分支里处理不同来源的输入最后再做融合。混合架构也不是没有代价它的计算量通常比同规模的纯CNN高训练时间更长显存占用更大。选型时一定要先评估硬件资源否则模型设计得再好也跑不动。4.3 一个遥感大模型的混合架构设计参考如果让我从零设计一个面向遥感影像语义分割或者目标检测的混合架构参考方案是下面这个流程。第一步卷积stem。用stride4的卷积stem把512×512×3的输入压缩成128×128×64的特征图。这一步的作用是快速降分辨率、扩通道同时保留局部细节信息。第二步CNN局部特征提取。用ResNet风格的几个stage逐层提取局部特征同时引入FPN特征金字塔保留多个尺度的特征图。这一步负责捕捉树冠、屋顶、道路边缘这类细节信息。第三步Transformer全局建模。在最高语义层接入Swin Transformer block用窗口注意力做全局上下文建模。因为此时特征图已经缩小窗口数量少计算量可控但全局信息已经足够丰富。第四步融合与输出。把不同尺度的特征图通过跨尺度注意力融合最后接分割头或者检测头输出结果。具体的参数配置可以这样设置CNN部分用ResNet-50的前三个stageTransformer部分用Swin-T的窗口注意力层embed_dim设256depth设4heads设8window_size设8MLP ratio设4dropout设0.1。这个配置在保证性能的同时显存占用和训练时间都比较友好。训练上有一点值得推荐先冻结Transformer部分只训练CNN部分跑若干轮让CNN先适应遥感数据再解冻Transformer联合训练。这样能让训练过程更稳定减少因为两部分收敛速度不一致导致的震荡。学习率可以从1e-4开始配合1000步warmup再用cosine策略下降到1e-5左右。5. 实操从CNN到Transformer到混合的完整对比实验5.1 数据与评估指标做对比实验第一步是选数据集。这里推荐三个公开遥感数据集按任务类型区分。场景分类推荐NWPU-RESISC4545个类别每类700张总共31500张影像。数据集不算大类别多样正好能暴露不同架构在小数据上的表现差异。土地覆盖分类推荐LoveDA遥感语义分割的经典benchmark如果做精细语义分割ISPRS Potsdam也是常用选择。评估指标要分开看。分类任务主要看OAOverall Accuracy和Kappa系数分割任务主要看mIoU和F1分数。这里有一个小建议不要只盯着总体精度一定多看混淆矩阵。我遇到过不少模型OA很高但少数类别完全没学出来的情况混淆矩阵能立刻暴露这个问题。5.2 CNN基线训练要点用ResNet-50做基线训练参数按常规设置优化器用SGDmomentum设为0.9初始学习率0.01到0.1之间配合cosine学习率衰减训练100个epochbatch size根据显存选择64或者32。增强方面RandomResizedCrop、RandomHorizontalFlip、ColorJitter是标准的CutMix在遥感场景分类任务里效果也很好因为它能让模型学会把多个类别的特征组合起来识别而不是死记整张图。在NWPU-RESISC45上ResNet-50这种规模的模型视觉分类基线OA通常能到90%到92%。这个结果可以作为后续模型的对比基准。5.3 ViT训练要点与收敛技巧ViT的训练策略和CNN差别很大。如果直接用SGD大概率训不动。优化器建议用AdamWweight decay通常设0.05学习率控制在1e-4左右warmup 10个epoch起步。数据增强要更激进。RandAugment、Mixup、CutMix、label smoothing能上尽量都上。ViT的全局注意力自由度大数据增强不够会严重过拟合训练集精度远高于验证集。这里必须强调一点在这个数据规模下不用ImageNet预训练权重的话纯ViT大概率会输给CNN。这是数据量决定的不是模型不行。在实际项目中想用ViT又不想掉点最简单的办法就是直接用带预训练的Swin-T别从头训ViT-B这种大模型。收敛方面有一个实用技巧前10个epoch把学习率设成1e-5只训练分类头冻结Transformer backbone等loss降到一定程度再解冻全部参数学习率提到1e-4。这样能有效避免前期梯度震荡。5.4 混合架构实现与结果对比混合架构不需要自己从零搭直接用现成框架实现。我用得最多的是mmsegmentation库它内置了SegFormer、SwinUNet等多种混合架构模型改一下配置就能跑。用timm库也很方便可以直接加载带预训练的CNN backbone和Transformer模块。一个参考结果是这样在NWPU-RESISC45上ResNet-50基线OA大概92.1%Swin-T在ImageNet预训练加持下能到93.8%而ResNet-50加Swin Transformer block的混合架构可以到94.5%左右。注意这个数字只代表我自己的实验配置不同数据划分和训练细节会有浮动但趋势比较稳定混合架构通常比纯CNN高2到3个点比纯ViT在小数据上更稳。显存和训练时间也要考虑ResNet-50最省显存训练速度最快Swin-T显存和速度居中混合架构显存占用和训练时间最高。如果你的硬件资源有限CNN依然是务实的选择如果对精度有更高要求混合架构的投入是值得的。6. 常见问题排查与实操心得6.1 问题速查表我把实操中遇到频率最高的几类问题整理成了下面的速查表每一条都是实测中被验证过的解决方案。现象根本原因解决方案ViT训练不收敛AdamW下学习率偏高、数据量不足、没有warmup学习率降到1e-4以下加载预训练权重warmup至少10个epoch显存OOM输入大幅面patch数量暴增减小batch size影像切块训练用窗口注意力或混合架构小目标检测效果差stride过大、低层特征金字塔不足提高输入分辨率增加低层特征融合用更小的patch训练时做cutout/patch丢弃增强旋转地物识别差训练数据增强没有覆盖旋转加入随机旋转90度、180度、270度的增强测试时多角度推理取平均多光谱加载预训练权重报错输入通道数和预训练权重维度不匹配修改第一层卷积输入端预训练权重复制到相近通道或者用卷积stem做波段投影切块推理出现接缝效应位置编码和归一化统计不匹配推理时重叠切块取重叠区域的加权平均使用相对位置编码模型验证集精度高但图上局部区域崩训练和测试影像传感器不同直方图分布不一致逐影像做辐射归一化用统计信息标准化代替固定均值方差6.2 位置编码与多尺度问题排查位置编码是ViT在遥感上最容易踩的坑很多调出来的模型精度不对问题不出在模型结构而是出在位置编码。绝对位置编码模型比如标准ViT在遥感大幅面推理时几乎一定会遇到尺寸失配问题。OpenAI的CLIP、谷歌的ViT在测试时如果输入尺寸和训练尺寸不同位置编码必须插值而插值会导致位置信息错乱。我在实际项目里用过一个笨办法但很有效训练时就跑多种尺寸的输入让模型自适应不同尺寸推理时重叠切块相邻块输出取加权平均接缝问题能明显缓解。多尺度问题也同样值得排查。遥感地物尺度差异是天然的一个小数据集里可能同时有单栋建筑和整个城市。如果模型只在单一尺度上训练测试时遇到极端尺度基本必崩。解决思路是训练时多尺度随机裁剪测试时多尺度推理取平均。这个方法在CNN和ViT上都实用在混合架构上效果更好因为它本身就有多尺度组件。6.3 实操心得与技术选型建议最后聊几点个人的真实体会。我的第一个建议是遥感不是ImageNet直接照搬自然图像预训练策略一定会踩坑。为了适配多光谱输入我花了很多时间处理通道不匹配的问题尝试了改第一层卷积、做通道复制、训练专门的stem分支最后还是觉得卷积stem投影结构最干净训练也最稳。波段数和数据分布差异会在前期被网络以意想不到的方式放大提前处理好这些底层细节比调整模型结构更省时间。第二个建议是数据量不大时混合架构是最稳的选择。纯ViT小数据训不动CNN又难以突破全局建模瓶颈混合架构用CNN的归纳偏置来约束Transformer的自由度同时用Transformer给CNN补上全局上下文工程上几乎不会踩雷。数据量极大且算力充足的时候纯ViT的上限更高可以追求更极致的精度。第三个建议是架构演进的本质是归纳偏置与数据效率的权衡。CNN的强归纳偏置让它在小数据上表现好但也限制了它的表达上限ViT的弱归纳偏置让它需要海量数据但潜力更大混合架构就是在两者之间找一个平衡点。理解了这层逻辑面对新模型时思路就会清晰很多。环境配置方面也说一句。PyTorch加CUDA是目前最主流的组合离线安装cudnn会省很多事。如果用的是国产GPU设备比如摩尔线程的S80这类卡一定要提前确认自己用的深度学习框架有没有适配版否则光环境调试就能耗掉好几天。入门的话《动手学深度学习》和《深度学习入门基于Python的理论与实现》这两本书都非常扎实前者的代码实践更适合快速上手后者对反向传播、卷积原理讲得更透。很多商用视觉平台比如Halcon也集成了深度学习模块但遥感任务自由度太大标准视觉工具不好覆盖自研pipeline基本是必须的。回到开头的那个对比实验。ResNet-101是92.1%Swin-B是94.6%混合架构是95.8%。做这个实验的时候我正值项目最紧张的阶段每天在实验记录表上更新这三个数字后来我才意识到这三个数字对应的正是遥感大模型深度学习架构演进的三个阶段。从CNN的局部建模到ViT的全局建模再到混合架构的局部与全局协同模型越来越复杂但背后的逻辑却越来越清晰我们并不是在追逐最新架构而是在让模型结构与遥感数据的真实物理规律越来越匹配。如果你正在为选型纠结我的建议是别盲目追求“先进”先把数据、评估流程、训练细节做好再把模型结构当作一个可调参数来对待。架构只是一种把数据中的地学规律表达出来的手段它本身不是魔法。