尧图网页设计 
简介本资源面向三维视觉、自动驾驶与机器人感知方向的研究者和开发者聚焦如何借助注意力机制提升3D点云语义分割性能适合具备一定深度学习基础、希望深入理解点云特征学习的中高级学习者。压缩包共195个文件约1.95MB以89个Python源码文件为核心涵盖体素与点云分支网络、注意力层等模块实现另有98个pyc编译文件、若干txt说明、jpg与png可视化结果图及1份md文档便于快速复现与二次开发。项目围绕空间注意力与通道注意力两条主线展开从空间和通道维度强化关键点云特征、抑制干扰信息并在SemanticKITTI、Street3D等数据集上给出分割效果对比与可视化结果。已有231人学习下载读者可获取完整项目源码、网络结构实现与实验验证思路用于课程设计、科研复现或工程落地参考。1. 从稀疏点云到逐点分类这套注意力分割源码能跑出什么做自动驾驶感知的同行大概率都经历过这种场景激光雷达扫回来一帧几万个点稀疏、无序、密度还不均匀你想把路面、车辆、行人、植被逐点分开用传统聚类或者基于体素的方法调半天边界还是糊成一团。这套项目源码要解决的正是这个痛点——在 3D 点云语义分割流程里引入注意力机制让网络自己去判断哪些点、哪些通道更值得关注从而把逐点分类的精度往上抬一截。它面向的是已经了解点云基本表示、想动手复现注意力模块并观察分割质量变化的开发者和研究者。源码包里能看到spvcnn_lfa_voxel.py、spvcnn_pt_voxel.py、layers.py这些核心文件还有 SemanticKITTI 和 Street3D 两个数据集的可视化结果图说明作者是在真实户外场景上验证过的不是玩具 demo。下面我按「这是什么 → 怎么用 → 坑在哪」的顺序把这份资源拆开讲透。2. 注意力机制在点云分割里到底加在哪空间与通道两条线2.1 为什么点云分割需要注意力而不是堆卷积点云和图像最大的区别在于它没有规则的网格结构。图像上做卷积每个像素的邻居是固定的 3×3 或 5×5点云里每个点的邻居数量和空间分布都在变远处点稀疏、近处点密集直接套 2D 卷积那套会丢失几何关系。传统做法是先把点云体素化再在体素上跑 3D 卷积但体素化本身会引入量化误差而且计算量随分辨率立方增长。注意力机制的价值在于它不依赖固定邻域而是通过计算点与点、通道与通道之间的相关性权重动态决定信息聚合的强度。换句话说网络不再一视同仁地处理所有输入而是学会「哪里重要看哪里」。这在点云这种信息密度极不均匀的数据上尤其关键——路面点占了很大比例但语义单一行人和车辆点数少却是分割重点注意力能让模型把容量倾斜到后者。2.2 空间注意力与通道注意力的分工项目里采用的注意力通常分两支。空间注意力关注的是「哪些位置重要」它会在点的局部邻域内学习一个权重分布把几何上更有判别力的点比如物体边缘、角点放大把平坦区域的冗余点抑制。通道注意力关注的是「哪些特征维度重要」它给每个特征通道算一个权重让网络对区分性强的通道更敏感。两者结合相当于同时在空间维度和特征维度做了一次软性筛选。从源码文件命名看spvcnn_lfa_voxel.py里的 lfa 很可能指局部特征聚合Local Feature Aggregation配合体素分支使用spvcnn_pt_voxel.py则是点分支与体素分支的融合。这种双分支设计在点云分割里是常见思路点分支保留原始几何精度体素分支提供更大的感受野注意力模块负责把两边的特征按重要性加权融合。2.3 从文件结构看模块划分拿到源码包先别急着跑花十分钟把文件关系理清楚能省后面很多时间。layers.py通常是基础层定义里面会有注意力模块的具体实现比如自注意力的 QKV 计算、多头拼接、通道重标定这些。spvcnn_lfa_voxel.py和spvcnn_pt_voxel.py是两个主干网络文件前者处理体素化后的特征后者处理原始点特征。README.md 里一般会写环境依赖和训练命令但根据我的经验这类项目 README 往往只给最简步骤真正的参数细节得去代码里翻。可视化结果图Results_SemanticKITTI_val_set.png和Results_Street3D.png是判断模型是否正常工作的第一手材料——如果跑出来的结果和这两张图差距很大先别怀疑代码大概率是数据预处理或类别映射出了问题。3. 把源码跑起来环境、数据与训练命令的实操路径3.1 环境依赖与版本对齐点云深度学习项目最怕的就是版本不对齐。PyTorch、CUDA、spconv 这三个东西的版本必须严格匹配否则编译 spconv 那一步就能卡你半天。常见做法是先用conda建一个干净环境再按 README 里给的版本装。如果 README 没写清楚我一般会按 PyTorch 1.10 CUDA 11.3 spconv 2.x 这个组合试因为这是 SemanticKITTI 相关项目里出现频率较高的搭配。# 创建独立环境避免污染已有工程 conda create -n pointseg python3.8 -y conda activate pointseg # 安装 PyTorch注意 CUDA 版本要和本机驱动匹配 pip install torch1.10.0cu113 torchvision0.11.0cu113 -f https://download.pytorch.org/whl/torch_stable.html # spconv 是点云稀疏卷积的核心依赖版本选错会直接编译失败 pip install spconv-cu113 # 其余常用依赖 pip install numpy open3d pyyaml tqdm tensorboard这段命令的关键在 spconv 那一行。spconv 2.x 和 1.x 的 API 差异很大如果源码里用的是spconv.pytorch命名空间就必须装 2.x如果用的是spconv.SparseConv3d这种老写法那得退回 1.x。判断方法很简单打开spvcnn_lfa_voxel.py看 import 语句就行。CUDA 版本也要注意cu113对应 CUDA 11.3如果你本机是 CUDA 12.x要么装对应版本的 PyTorch要么用容器隔离别硬混。3.2 数据准备与目录组织SemanticKITTI 和 Street3D 是两个不同的数据集前者是公开 benchmark后者可能是项目自采或特定场景数据。跑之前要确认数据目录结构符合代码预期。SemanticKITTI 的标准结构是dataset/sequences/00/velodyne/放点云 bin 文件dataset/sequences/00/labels/放标签dataset/sequences/00/calib.txt放标定参数。如果代码里写死了路径要么改代码要么建软链接。# 假设数据已下载到 /data/SemanticKITTI # 建立代码期望的目录结构以源码实际路径为准这里给的是常见形式 mkdir -p data/semantickitti/sequences ln -s /data/SemanticKITTI/dataset/sequences/00 data/semantickitti/sequences/00 ln -s /data/SemanticKITTI/dataset/sequences/08 data/semantickitti/sequences/08 # 检查点云文件和标签文件数量是否一致 ls data/semantickitti/sequences/00/velodyne/ | wc -l ls data/semantickitti/sequences/00/labels/ | wc -l两个ls | wc -l的输出必须相等否则训练时会出现标签缺失的报错。这个检查看起来简单但我见过太多人在这上面翻车——数据下载不完整、解压中断、文件名大小写不一致都会导致数量对不上。另外 SemanticKITTI 的标签是 16 位无符号整数每个点一个 label如果代码里按 32 位读类别会全乱。3.3 训练脚本与关键参数训练入口一般在 README 里会写常见形式是python train.py --config config/semantickitti.yaml。配置文件里几个参数直接决定能不能跑出合理结果参数典型值作用调错后果batch_size4~8单卡批大小太大显存溢出太小 BN 统计不稳learning_rate0.001~0.01初始学习率太大 loss 震荡太小收敛慢voxel_size0.05~0.1体素边长米太小显存爆炸太大精度掉num_classes20SemanticKITTI类别数设错直接维度不匹配max_epoch30~50训练轮数太少欠拟合太多过拟合# 以 config 文件里常见的训练循环片段为例 for epoch in range(cfg.max_epoch): model.train() for batch in train_loader: points, labels batch[points].cuda(), batch[labels].cuda() # 前向传播注意力模块在 backbone 内部生效 logits model(points) # 逐点交叉熵ignore_index 通常设为 0 或 255 忽略未标注点 loss criterion(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() # 每个 epoch 后在验证集上算 mIoU这是分割任务的核心指标 miou evaluate(model, val_loader) print(fEpoch {epoch}, mIoU: {miou:.4f})这段代码里ignore_index的设置容易被忽略。SemanticKITTI 里有些点是没有标注的如果不对这些点做 ignoreloss 会被无效标签拉偏mIoU 虚低。另外注意voxel_size和显存的关系——0.05 米的体素在 64 线激光雷达一帧数据上大概产生几万个体素batch_size 开到 8 就需要 11GB 以上显存。如果卡不够大优先降 batch_size 而不是降 voxel_size因为体素变大对精度的伤害更直接。4. 避坑与排查跑不通时先看这几处4.1 现象spconv 导入报 undefined symbol原因spconv 编译时的 CUDA 版本和运行时 PyTorch 的 CUDA 版本不一致。比如 pip 装的是 cu113 的 spconv但 PyTorch 是 cu102 的链接阶段就会找不到符号。解决用python -c import torch; print(torch.version.cuda)确认 PyTorch 的 CUDA 版本然后卸载 spconv 重装对应版本。如果本机 CUDA 驱动太老升级驱动比降 PyTorch 更省事。4.2 现象训练 loss 一直不降mIoU 在 0.1 以下原因最常见的是标签映射错了。SemanticKITTI 原始标签有 20 多类但很多论文只用了 19 类做评估中间有一层 remap 操作。如果 remap 表对不上网络学到的就是噪声。解决找到代码里的learning_map或label_remap字典对照 SemanticKITTI 官方 yaml 逐项核对。另外检查数据加载时有没有做np.array(label, dtypenp.int32)这类转换类型不对也会导致标签值溢出。4.3 现象验证集 mIoU 正常但可视化结果全是同一类原因可视化脚本里的颜色映射表和训练时的类别索引不一致。训练用 0~18 表示 19 类可视化却按 0~255 的原始标签上色出来的图自然不对。解决可视化时统一用训练时的 remap 后标签或者把颜色表按 remap 后的索引重排。项目里的Results_SemanticKITTI_val_set.png可以作为参照如果自己跑出来的图颜色分布和它完全不同先查这一步。4.4 现象多卡训练时 mIoU 比单卡低一截原因BatchNorm 在多卡下默认用sync_bn还是普通 BN 会影响统计量。点云分割的 batch_size 本来就小普通 BN 在单卡上统计就不稳多卡不同步会更糟。解决把 BN 换成SyncBatchNorm或者直接用 GroupNorm 替代。源码里如果没做这个处理可以在模型构建后加一行model torch.nn.SyncBatchNorm.convert_sync_batchnorm(model)。4.5 现象推理时显存够但速度极慢原因注意力模块的计算复杂度随点数平方增长如果推理时没做体素下采样原始点云直接进网络耗时会远超训练。解决推理阶段复用训练时的体素化参数或者对点云做一次 FPS最远点采样降采样。常见做法是推理时把 voxel_size 适当放大牺牲一点精度换速度具体放大多少要看场景对实时性的要求。5. 进阶技巧用注意力权重图反查模型到底在看哪里跑通训练只是第一步这套源码真正有价值的地方在于它能帮你理解注意力机制在点云上到底起了什么作用。我一般会做一件事把注意力模块输出的权重单独抽出来映射回原始点云做可视化。具体做法是在layers.py里找到注意力计算的那几行把 softmax 之后的权重张量存下来然后在推理脚本里按点的索引对应回三维坐标用颜色深浅表示权重大小。# 在注意力模块的 forward 里临时加一行把权重存到全局字典 attn_weights torch.softmax(scores, dim-1) # scores 是 QK^T 的结果 self.attn_cache attn_weights.detach().cpu() # 供外部读取 # 推理脚本里取出权重并映射到点云 import open3d as o3d import numpy as np points np.fromfile(data/semantickitti/sequences/08/velodyne/000000.bin, dtypenp.float32).reshape(-1, 4)[:, :3] weights model.backbone.attn_cache.mean(dim1).numpy() # 多头取平均 weights (weights - weights.min()) / (weights.max() - weights.min()) pcd o3d.geometry.PointCloud() pcd.points o3d.utility.Vector3dVector(points) # 用红色通道表示注意力强度越红说明模型越关注 colors np.zeros((len(points), 3)) colors[:, 0] weights pcd.colors o3d.utility.Vector3dVector(colors) o3d.visualization.draw_geometries([pcd])这段代码的关键在attn_cache的维度处理。多头注意力的权重通常是(B, heads, N, N)或(B, heads, N, N/group)取平均前要确认维度含义。如果权重是稀疏的直接 reshape 会报错得先做 padding 或 gather。可视化出来之后你会看到模型在物体边界处的注意力权重明显高于平坦路面这正好印证了空间注意力的设计意图。如果权重图一片均匀那说明注意力模块没学到东西可能是学习率太大把权重推到了饱和区或者注意力层的初始化有问题。另一个实用技巧是对比实验把注意力模块的输出乘一个系数alpha从 0 到 1 扫描观察 mIoU 的变化曲线。alpha0相当于关掉注意力alpha1是完整模型。如果曲线在中间某处达到峰值说明注意力强度需要调如果单调上升说明注意力越强越好如果单调下降那这个模块可能起了反作用得检查实现是否有 bug。这个扫描不需要重新训练加载 checkpoint 后在验证集上跑几轮就行成本很低但能快速判断注意力模块是否真的在起作用。从那以后我每次拿到带注意力机制的点云分割代码都会先做这个权重可视化再决定要不要花时间精调。希望帮到你。本文还有配套的精品资源点击获取 基于注意力机制的3D点云语义分割源码实战：从稀疏点云到逐点分类
简介本资源面向三维视觉、自动驾驶与机器人感知方向的研究者和开发者聚焦如何借助注意力机制提升3D点云语义分割性能适合具备一定深度学习基础、希望深入理解点云特征学习的中高级学习者。压缩包共195个文件约1.95MB以89个Python源码文件为核心涵盖体素与点云分支网络、注意力层等模块实现另有98个pyc编译文件、若干txt说明、jpg与png可视化结果图及1份md文档便于快速复现与二次开发。项目围绕空间注意力与通道注意力两条主线展开从空间和通道维度强化关键点云特征、抑制干扰信息并在SemanticKITTI、Street3D等数据集上给出分割效果对比与可视化结果。已有231人学习下载读者可获取完整项目源码、网络结构实现与实验验证思路用于课程设计、科研复现或工程落地参考。1. 从稀疏点云到逐点分类这套注意力分割源码能跑出什么做自动驾驶感知的同行大概率都经历过这种场景激光雷达扫回来一帧几万个点稀疏、无序、密度还不均匀你想把路面、车辆、行人、植被逐点分开用传统聚类或者基于体素的方法调半天边界还是糊成一团。这套项目源码要解决的正是这个痛点——在 3D 点云语义分割流程里引入注意力机制让网络自己去判断哪些点、哪些通道更值得关注从而把逐点分类的精度往上抬一截。它面向的是已经了解点云基本表示、想动手复现注意力模块并观察分割质量变化的开发者和研究者。源码包里能看到spvcnn_lfa_voxel.py、spvcnn_pt_voxel.py、layers.py这些核心文件还有 SemanticKITTI 和 Street3D 两个数据集的可视化结果图说明作者是在真实户外场景上验证过的不是玩具 demo。下面我按「这是什么 → 怎么用 → 坑在哪」的顺序把这份资源拆开讲透。2. 注意力机制在点云分割里到底加在哪空间与通道两条线2.1 为什么点云分割需要注意力而不是堆卷积点云和图像最大的区别在于它没有规则的网格结构。图像上做卷积每个像素的邻居是固定的 3×3 或 5×5点云里每个点的邻居数量和空间分布都在变远处点稀疏、近处点密集直接套 2D 卷积那套会丢失几何关系。传统做法是先把点云体素化再在体素上跑 3D 卷积但体素化本身会引入量化误差而且计算量随分辨率立方增长。注意力机制的价值在于它不依赖固定邻域而是通过计算点与点、通道与通道之间的相关性权重动态决定信息聚合的强度。换句话说网络不再一视同仁地处理所有输入而是学会「哪里重要看哪里」。这在点云这种信息密度极不均匀的数据上尤其关键——路面点占了很大比例但语义单一行人和车辆点数少却是分割重点注意力能让模型把容量倾斜到后者。2.2 空间注意力与通道注意力的分工项目里采用的注意力通常分两支。空间注意力关注的是「哪些位置重要」它会在点的局部邻域内学习一个权重分布把几何上更有判别力的点比如物体边缘、角点放大把平坦区域的冗余点抑制。通道注意力关注的是「哪些特征维度重要」它给每个特征通道算一个权重让网络对区分性强的通道更敏感。两者结合相当于同时在空间维度和特征维度做了一次软性筛选。从源码文件命名看spvcnn_lfa_voxel.py里的 lfa 很可能指局部特征聚合Local Feature Aggregation配合体素分支使用spvcnn_pt_voxel.py则是点分支与体素分支的融合。这种双分支设计在点云分割里是常见思路点分支保留原始几何精度体素分支提供更大的感受野注意力模块负责把两边的特征按重要性加权融合。2.3 从文件结构看模块划分拿到源码包先别急着跑花十分钟把文件关系理清楚能省后面很多时间。layers.py通常是基础层定义里面会有注意力模块的具体实现比如自注意力的 QKV 计算、多头拼接、通道重标定这些。spvcnn_lfa_voxel.py和spvcnn_pt_voxel.py是两个主干网络文件前者处理体素化后的特征后者处理原始点特征。README.md 里一般会写环境依赖和训练命令但根据我的经验这类项目 README 往往只给最简步骤真正的参数细节得去代码里翻。可视化结果图Results_SemanticKITTI_val_set.png和Results_Street3D.png是判断模型是否正常工作的第一手材料——如果跑出来的结果和这两张图差距很大先别怀疑代码大概率是数据预处理或类别映射出了问题。3. 把源码跑起来环境、数据与训练命令的实操路径3.1 环境依赖与版本对齐点云深度学习项目最怕的就是版本不对齐。PyTorch、CUDA、spconv 这三个东西的版本必须严格匹配否则编译 spconv 那一步就能卡你半天。常见做法是先用conda建一个干净环境再按 README 里给的版本装。如果 README 没写清楚我一般会按 PyTorch 1.10 CUDA 11.3 spconv 2.x 这个组合试因为这是 SemanticKITTI 相关项目里出现频率较高的搭配。# 创建独立环境避免污染已有工程 conda create -n pointseg python3.8 -y conda activate pointseg # 安装 PyTorch注意 CUDA 版本要和本机驱动匹配 pip install torch1.10.0cu113 torchvision0.11.0cu113 -f https://download.pytorch.org/whl/torch_stable.html # spconv 是点云稀疏卷积的核心依赖版本选错会直接编译失败 pip install spconv-cu113 # 其余常用依赖 pip install numpy open3d pyyaml tqdm tensorboard这段命令的关键在 spconv 那一行。spconv 2.x 和 1.x 的 API 差异很大如果源码里用的是spconv.pytorch命名空间就必须装 2.x如果用的是spconv.SparseConv3d这种老写法那得退回 1.x。判断方法很简单打开spvcnn_lfa_voxel.py看 import 语句就行。CUDA 版本也要注意cu113对应 CUDA 11.3如果你本机是 CUDA 12.x要么装对应版本的 PyTorch要么用容器隔离别硬混。3.2 数据准备与目录组织SemanticKITTI 和 Street3D 是两个不同的数据集前者是公开 benchmark后者可能是项目自采或特定场景数据。跑之前要确认数据目录结构符合代码预期。SemanticKITTI 的标准结构是dataset/sequences/00/velodyne/放点云 bin 文件dataset/sequences/00/labels/放标签dataset/sequences/00/calib.txt放标定参数。如果代码里写死了路径要么改代码要么建软链接。# 假设数据已下载到 /data/SemanticKITTI # 建立代码期望的目录结构以源码实际路径为准这里给的是常见形式 mkdir -p data/semantickitti/sequences ln -s /data/SemanticKITTI/dataset/sequences/00 data/semantickitti/sequences/00 ln -s /data/SemanticKITTI/dataset/sequences/08 data/semantickitti/sequences/08 # 检查点云文件和标签文件数量是否一致 ls data/semantickitti/sequences/00/velodyne/ | wc -l ls data/semantickitti/sequences/00/labels/ | wc -l两个ls | wc -l的输出必须相等否则训练时会出现标签缺失的报错。这个检查看起来简单但我见过太多人在这上面翻车——数据下载不完整、解压中断、文件名大小写不一致都会导致数量对不上。另外 SemanticKITTI 的标签是 16 位无符号整数每个点一个 label如果代码里按 32 位读类别会全乱。3.3 训练脚本与关键参数训练入口一般在 README 里会写常见形式是python train.py --config config/semantickitti.yaml。配置文件里几个参数直接决定能不能跑出合理结果参数典型值作用调错后果batch_size4~8单卡批大小太大显存溢出太小 BN 统计不稳learning_rate0.001~0.01初始学习率太大 loss 震荡太小收敛慢voxel_size0.05~0.1体素边长米太小显存爆炸太大精度掉num_classes20SemanticKITTI类别数设错直接维度不匹配max_epoch30~50训练轮数太少欠拟合太多过拟合# 以 config 文件里常见的训练循环片段为例 for epoch in range(cfg.max_epoch): model.train() for batch in train_loader: points, labels batch[points].cuda(), batch[labels].cuda() # 前向传播注意力模块在 backbone 内部生效 logits model(points) # 逐点交叉熵ignore_index 通常设为 0 或 255 忽略未标注点 loss criterion(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() # 每个 epoch 后在验证集上算 mIoU这是分割任务的核心指标 miou evaluate(model, val_loader) print(fEpoch {epoch}, mIoU: {miou:.4f})这段代码里ignore_index的设置容易被忽略。SemanticKITTI 里有些点是没有标注的如果不对这些点做 ignoreloss 会被无效标签拉偏mIoU 虚低。另外注意voxel_size和显存的关系——0.05 米的体素在 64 线激光雷达一帧数据上大概产生几万个体素batch_size 开到 8 就需要 11GB 以上显存。如果卡不够大优先降 batch_size 而不是降 voxel_size因为体素变大对精度的伤害更直接。4. 避坑与排查跑不通时先看这几处4.1 现象spconv 导入报 undefined symbol原因spconv 编译时的 CUDA 版本和运行时 PyTorch 的 CUDA 版本不一致。比如 pip 装的是 cu113 的 spconv但 PyTorch 是 cu102 的链接阶段就会找不到符号。解决用python -c import torch; print(torch.version.cuda)确认 PyTorch 的 CUDA 版本然后卸载 spconv 重装对应版本。如果本机 CUDA 驱动太老升级驱动比降 PyTorch 更省事。4.2 现象训练 loss 一直不降mIoU 在 0.1 以下原因最常见的是标签映射错了。SemanticKITTI 原始标签有 20 多类但很多论文只用了 19 类做评估中间有一层 remap 操作。如果 remap 表对不上网络学到的就是噪声。解决找到代码里的learning_map或label_remap字典对照 SemanticKITTI 官方 yaml 逐项核对。另外检查数据加载时有没有做np.array(label, dtypenp.int32)这类转换类型不对也会导致标签值溢出。4.3 现象验证集 mIoU 正常但可视化结果全是同一类原因可视化脚本里的颜色映射表和训练时的类别索引不一致。训练用 0~18 表示 19 类可视化却按 0~255 的原始标签上色出来的图自然不对。解决可视化时统一用训练时的 remap 后标签或者把颜色表按 remap 后的索引重排。项目里的Results_SemanticKITTI_val_set.png可以作为参照如果自己跑出来的图颜色分布和它完全不同先查这一步。4.4 现象多卡训练时 mIoU 比单卡低一截原因BatchNorm 在多卡下默认用sync_bn还是普通 BN 会影响统计量。点云分割的 batch_size 本来就小普通 BN 在单卡上统计就不稳多卡不同步会更糟。解决把 BN 换成SyncBatchNorm或者直接用 GroupNorm 替代。源码里如果没做这个处理可以在模型构建后加一行model torch.nn.SyncBatchNorm.convert_sync_batchnorm(model)。4.5 现象推理时显存够但速度极慢原因注意力模块的计算复杂度随点数平方增长如果推理时没做体素下采样原始点云直接进网络耗时会远超训练。解决推理阶段复用训练时的体素化参数或者对点云做一次 FPS最远点采样降采样。常见做法是推理时把 voxel_size 适当放大牺牲一点精度换速度具体放大多少要看场景对实时性的要求。5. 进阶技巧用注意力权重图反查模型到底在看哪里跑通训练只是第一步这套源码真正有价值的地方在于它能帮你理解注意力机制在点云上到底起了什么作用。我一般会做一件事把注意力模块输出的权重单独抽出来映射回原始点云做可视化。具体做法是在layers.py里找到注意力计算的那几行把 softmax 之后的权重张量存下来然后在推理脚本里按点的索引对应回三维坐标用颜色深浅表示权重大小。# 在注意力模块的 forward 里临时加一行把权重存到全局字典 attn_weights torch.softmax(scores, dim-1) # scores 是 QK^T 的结果 self.attn_cache attn_weights.detach().cpu() # 供外部读取 # 推理脚本里取出权重并映射到点云 import open3d as o3d import numpy as np points np.fromfile(data/semantickitti/sequences/08/velodyne/000000.bin, dtypenp.float32).reshape(-1, 4)[:, :3] weights model.backbone.attn_cache.mean(dim1).numpy() # 多头取平均 weights (weights - weights.min()) / (weights.max() - weights.min()) pcd o3d.geometry.PointCloud() pcd.points o3d.utility.Vector3dVector(points) # 用红色通道表示注意力强度越红说明模型越关注 colors np.zeros((len(points), 3)) colors[:, 0] weights pcd.colors o3d.utility.Vector3dVector(colors) o3d.visualization.draw_geometries([pcd])这段代码的关键在attn_cache的维度处理。多头注意力的权重通常是(B, heads, N, N)或(B, heads, N, N/group)取平均前要确认维度含义。如果权重是稀疏的直接 reshape 会报错得先做 padding 或 gather。可视化出来之后你会看到模型在物体边界处的注意力权重明显高于平坦路面这正好印证了空间注意力的设计意图。如果权重图一片均匀那说明注意力模块没学到东西可能是学习率太大把权重推到了饱和区或者注意力层的初始化有问题。另一个实用技巧是对比实验把注意力模块的输出乘一个系数alpha从 0 到 1 扫描观察 mIoU 的变化曲线。alpha0相当于关掉注意力alpha1是完整模型。如果曲线在中间某处达到峰值说明注意力强度需要调如果单调上升说明注意力越强越好如果单调下降那这个模块可能起了反作用得检查实现是否有 bug。这个扫描不需要重新训练加载 checkpoint 后在验证集上跑几轮就行成本很低但能快速判断注意力模块是否真的在起作用。从那以后我每次拿到带注意力机制的点云分割代码都会先做这个权重可视化再决定要不要花时间精调。希望帮到你。本文还有配套的精品资源点击获取