简介多模态情感分析方向的项目资料主要面向从事多模态表示学习、特征融合与情感识别研究的开发者也适合用于毕业设计或课程项目。整合了Multimodal-Infomax、MISA、BBFN、Hfusion等主流模型并提供MELD、MUStARD、M2H2等公开数据集覆盖文本、音频、视觉三种模态的特征提取与融合以及下游情感分析任务的完整训练与评估流程可对照论文复现实验也可作为新模型的对比基线。资源包共计185个文件以Python源代码、CSV/ARFF数据文件、pickle与H5序列化数据为主另外包含文档、配置、图片等辅助内容压缩包约285.97MB体积适中便于离线学习。其中ARFF文件直接给出了文本/音频/视觉特征训练与测试划分脚本则覆盖数据加载、模型构建、训练与评估等关键环节目录结构清晰适合基于PyTorch、Keras或TensorFlow开展二次开发。目前已有1495人学习下载能有效节省从零搭建多模态实验环境的时间。1. 多模态情感分析资源拆解一份压缩包里的完整实验链做多模态情感分析最怕的不是模型跑不起来而是拿到一个资源包之后对着几十个文件夹不知道先看哪一层的代码。这份资源恰好把整条链路收拢在了一起多模态表示学习、多模态融合、情感分析下游任务外加对应的数据集、特征提取脚本和实验评估代码。换个说法它不是给你一个单点算法让你调参而是给了你一条从原始文本、视频、音频到最终情感分数的主线。适合两类人。一类是毕业设计选了多模态情感分析方向但还没定具体方案的学生可以把它当基线库先跑通一个结果再决定改哪个模块另一类是想做对比实验的从业者多模态融合算法、特征提取方式、评估指标这段都能直接复用。它能解决的核心问题是不用再花两周时间满世界搜论文、翻开源项目慢慢拼了拿到手先把链路跑通剩下的精力留给改融合模块。2. 表示学习与特征提取让三种模态在一个维度上对话多模态情感分析的第一步不是搭融合模型而是把文本、视觉、音频三种原始输入变成机器能算的向量。这一步出了问题后面所有融合模块都是白搭。2.1 文本、视觉、音频各走各的编码器文本模态在情感分析里通常是语义权重最高的那一支因为情感倾向、否定关系、程度修饰基本都落在语言里。常见做法是拿 BERT 这一系列预训练模型做编码器取[CLS]位置的向量作为整段文本的表示。为什么不建议用 word2vec 加 LSTM多模态情感数据里大量存在“不是不好是太好了”这种句式静态词向量抓不住这种转折语气预训练模型对上下文的理解力强得多。代码上用transformers库几行就能完成from transformers import AutoTokenizer, AutoModel import torch tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) model AutoModel.from_pretrained(bert-base-uncased) def extract_text_feature(texts, max_len64): encoded tokenizer( texts, paddingTrue, truncationTrue, max_lengthmax_len, return_tensorspt, ) with torch.no_grad(): outputs model(**encoded) # 取[CLS]向量作为整段文本的表示形状为[B, 768] return outputs.last_hidden_state[:, 0, :]逻辑说明paddingTrue让一个 batch 里的句子补齐到同样长度truncationTrue把超长句子裁到max_len。取[CLS]而不是把全部 token 做均值池化因为 BERT 的[CLS]在设计上就是为下游分类任务服务的聚合表示。参数上max_len建议先看数据集中句子的长度分布再定多模态数据集里的文本通常比较短64 够用设太长反而拖慢训练。视觉和音频两路的路数不太一样。视觉一般是对视频抽帧每帧过 ResNet 或 ViT 提取特征音频要么走 opensmile 这类手工特征提取特征维度常常上千要么用带预训练的语音模型直接拿表示。资源里大多数情况已经把这三路特征提好存成了 npy 或 pkl你要做的是先加载进来检查形状而不是重新提一遍import numpy as np text_feat np.load(features/text_feat.npy) # [N, 768] video_feat np.load(features/video_feat.npy) # [N, 35, 2048] audio_feat np.load(features/audio_feat.npy) # [N, 35, 1582] print(text:, text_feat.shape) print(video:, video_feat.shape) print(audio:, audio_feat.shape)注意文本是二维[N, 768]视觉和音频是三维[N, seq_len, feature_dim]这个序列维度对应视频的帧数。如果直接拿这两个形状做融合维度对不上是必然的所以下一步必须要做模态对齐。2.2 模态对齐序列长度、采样率与 mask 的统一齐是所有多模态任务最容易翻车的地方。视频通常是 25fps 抽帧音频特征按帧窗提取一段 10 秒的样本视觉可能有 249 帧音频特征可能有 1000 多帧而文本只有 20 个 token。三个序列长度完全对不上融合前必须先对齐。常见的做法是以文本 token 为锚点把视觉和音频特征重采样到和文本一样的序列长度或者用一个固定长度统一收口。我一般会先把三路都压到同一个长度 L具体用哪种策略取决于资源里特征的存储形式。下面是一个简单可用的对齐函数import numpy as np def align_sequence(feature, target_len, modeuniform): feature: [seq_len, feat_dim] target_len: 目标长度 mode: uniform 均匀采样取帧 / pad 后补零 seq_len feature.shape[0] if seq_len target_len: return feature if seq_len target_len: # 均匀采样到目标长度 idx np.linspace(0, seq_len - 1, target_len).astype(int) return feature[idx] # 序列太短时后补零 pad_size target_len - seq_len return np.vstack([feature, np.zeros((pad_size, feature.shape[1]))])逻辑说明当视觉帧数大于文本 token 数时用linspace生成的索引均匀取帧保留下采样后的时间分布当序列比目标长度短时补零填充。这里有个隐藏问题——补零部分在后续注意力计算里如果不做 mask模型会把这些 padding 当成真实帧去计算注意力权重直接把融合结果带偏。所以 align 完还要生成一个 mask真实位置为 1padding 位置为 0在注意力打分时把 padding 位置的分数置成负无穷。我踩过一次这个坑对齐后没做 mask模型训练到第 3 个 epoch 时验证集指标突然断崖下跌排查了两天才发现是 padding 位置的 zero 向量参与了所有注意力权重的归一化把梯度搅乱了。从那以后我拿到这套数据先看一件事mask 矩阵是不是跟特征一起生了。2.3 数据集模块MOSI/MOSEI 的任务定义与划分约定多模态情感分析实验跑得最多的是 CMU 发布的 MOSI 和 MOSEI 两个数据集。它们都是视频里的人在说话标签是连续的情感强度分数通常落在[-3, 3]区间正负二分类按分数是否大于 0 切分也常见按这个范围切成 7 分类。资源里的数据集目录一般会有 README 写明标签范围和划分文件先读它而不是先跑代码。划分是另一个大坑。同一个数据集随机划分和官方划分的结果能差出好几个点。资源里如果带train_split.txt、val_split.txt、test_split.txt这类文件训练前要确认代码读的是哪一份划分。如果是自己随机划分注意按样本 ID 而不是按样本顺序直接切避免同一个人说话的前后两段被分到训练集和测试集里造成数据泄漏。with open(data/mosei_train.txt) as f: train_ids [line.strip() for line in f] with open(data/mosei_test.txt) as f: test_ids [line.strip() for line in f] train_mask np.isin(sample_ids, train_ids) test_mask np.isin(sample_ids, test_ids) train_feat text_feat[train_mask], video_feat[train_mask], audio_feat[train_mask]加载的时候按样本 ID 做掩码索引比直接按比例split靠谱得多因为多模态数据集的样本 ID 通常对应同一个视频的不同片段按顺序切很容易把属于同一视频的片段同时留在训练集和测试集。这部分检查做完表示学习这一步才算真正结束可以进融合模块了。3. 融合算法选型拼接、注意力到跨模态 Transformer 的取舍在这一章之前你手里已经有三路特征。融合模块要做的事情就是把这三路表示合成一个能预测情感分数的向量。融合点选在哪一层、用哪种交互方式直接决定了模型的上限。3.1 早期融合与晚期融合先想清楚融合点再动手如果你在搜多模态融合论文做对比会发现大部分工作都在回答同一个问题在哪个阶段融合。早期融合是把三路特征在输入层直接拼接后面接一个全连接网络实现最简单但三路特征维度差异大、对齐误差会直接传导到分类器。晚期融合是三路各自出预测结果再融合比如三个分类器投票或加权平均对单模态缺失更鲁棒但模态间的细粒度交互完全丢失了在情感分析这种语义和语气强耦合的任务上效果通常不如中间融合。融合方式优点缺点适用场景早期拼接最简单、易实现维度爆炸、依赖对齐质量快速跑通流程晚期融合对模态缺失鲁棒缺少模态间交互模态质量参差时中间融合交互充分、主流方案实现复杂、参数多论文对比、追求指标多模态情感分析的主流选择是中间融合先让每个模态单独编码再做模态间的交互最后融合输出。资源包里那堆模型十有八九都在这个范畴里。判断方法是看它的 forward 函数里modal-specific 编码器和融合网络之间有没有明确的边界。3.2 注意力融合模块最常见的跨模态交互写法跨模态注意力是资源里最值得抄的部分核心思路是用一个模态的表示当 query去另一个模态的表示里检索有用信息。在情感分析场景我一般用文本当 query视觉和音频当 key/value理由是语义信息通常最可靠文本应该主动去吸收语气线索。一个可以落地的精简实现import torch.nn as nn import torch class CrossModalAttention(nn.Module): def __init__(self, hidden_dim): super().__init__() self.hidden_dim hidden_dim self.text_proj nn.Linear(hidden_dim, hidden_dim) self.video_proj nn.Linear(hidden_dim, hidden_dim) self.audio_proj nn.Linear(hidden_dim, hidden_dim) self.out_proj nn.Linear(hidden_dim * 2, hidden_dim) def forward(self, text_h, video_h, audio_h): # text_h: [B, T, D] video_h/audio_h: [B, T, D] q self.text_proj(text_h) k self.video_proj(video_h) v self.audio_proj(audio_h) attn_weights torch.softmax( q k.transpose(-1, -2) / (self.hidden_dim ** 0.5), dim-1 ) context attn_weights v # [B, T, D] fused torch.cat([text_h, context], dim-1) # [B, T, 2D] return self.out_proj(fused)逻辑说明q k.transpose(-1, -2)算出的是每个文本位置对每个视觉位置的注意力分数除以sqrt(hidden_dim)是防止点积结果过大导致 softmax 梯度消失。注意力权重作用在音频特征v上相当于用文本的语义去音频序列里挑选跟当前情感表达相关的片段。out_proj把拼接结果压回hidden_dim。这个写法有一个参数要提醒hidden_dim必须和输入特征维度一致。如果你加载进来的视频特征是 2048 维、音频是 1582 维直接用hidden_dim768会报维度错误。常规做法是先对每一路加一个投影层把三个模态统一映射到同一个维度再进注意力模块。资源里的实现一般会多带一层 LayerNorm 和 FFN接近一个简化版 Transformer block但核心就是这套 query-key-value 交互。3.3 分类头与回归头融合输出到情感分数的最后一段融合模块输出一个向量后任务形式决定最后一层怎么接。MOSI/MOSEI 里有两种常见设置回归预测[-3, 3]情感强度和分类正负二分类或 7 分类。head 的写法很简单但 loss 的选择经常有人写错class SentimentHead(nn.Module): def __init__(self, hidden_dim, taskregression, num_classes7): super().__init__() self.task task if task regression: self.predictor nn.Linear(hidden_dim, 1) elif task binary: self.predictor nn.Linear(hidden_dim, 2) else: self.predictor nn.Linear(hidden_dim, num_classes) def forward(self, fused): logits self.predictor(fused.mean(dim1)) # 全局平均池化(Global Average Pooling) return logitsfused.mean(dim1)把序列维度池化成一个向量因为情感预测是整段视频级别的任务不是帧级别。回归任务接nn.MSELoss二分类接nn.CrossEntropyLoss这里最常踩的坑是二分类时有人把输出维度设成 1再接一个什么激活函数最后用 BCE——不是不行是后续跟论文指标对比的时候要换算预测值平白多一层麻烦。直接输出 2 维 logits 配 CrossEntropyLoss逻辑最简单。4. 实验评估与对比基线指标、划分与可复现训练模型搭完最耗时间的是把实验跑对。多模态情感分析的评估和普通分类任务不完全一样不能只看准确率还要把回归指标一起看才能跟论文里的表格对齐。4.1 评估指标选择ACC、F1、MAE、Corr 各管什么指标用途说明ACC分类准确率二分类见常用7 分类时信息量有限Macro-F1类别均衡下的平均 F1类别不平衡时比 ACC 更有说服力MAE回归平均绝对误差预测情感强度与真实分数的平均差距Corr预测与真实的皮尔逊相关系数衡量趋势一致性不看绝对误差论文里的 MOSI/MOSEI 结果表通常同时报分类和回归两套指标比如二分类 ACC/F1 加上 MAE/Corr。实验记录里我建议四列全记因为评审或导师很可能会问“你这个 MAE 怎么比人家高”这种问题。注意 F1 在类别不平衡时一定要用 macro 而不是 weighted取平均方式不同数值差异可能很大。4.2 数据划分与随机种子可复现的前提多模态训练涉及到的随机性比单模态更多模型权重初始化、数据加载顺序、Dropout、注意力层数值计算。固定随机种子是复现结果的第一步import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark FalsedeterministicTrue是让 cuDNN 选择固定算法benchmarkFalse是禁止它按输入尺寸自动寻找最快算法这两行缺一不可否则同一个 seed 跑两遍结果也可能不一样。资源里如果自带训练脚本先检查里面有没有类似开头的 seed 设置没有的话就自己补上这一段。除了随机种子梯度裁剪和早停也要提前定好。Transformer 类融合模型在训练初期经常出现梯度范数突然变大建议grad_clip设为 1.0早停设在验证集指标连续 5 到 8 个 epoch 不升就停。4.3 对比实验怎么排单模态、融合与消融毕设或者小论文里对比实验最少要有三组单模态基线三路各自跑、多模态融合模型、以及消融实验去掉一个模态或换一种融合方式。这个资源的结构正好覆盖这些点单模态的特征提取脚本已经有了融合模型也有了你要做的只是把实验矩阵跑满。实验组输入模态融合方式预期结论Text-only文本无语义基线Video-only视觉无非语言信息基线Audio-only音频无语气信息基线Concat三模态拼接MLP简单融合上限Attention三模态跨模态注意力交互融合效果每一组建议至少跑 3 个随机种子报告均值加减标准差。很多论文只报一个最优 seed数值好看但不真实你自己做对比实验时用 3-seed 平均说服力强得多。5. 避坑与排查多模态训练里五个常见的翻车现场多模态训练翻车频率远高于单模态而且报错信息往往很隐蔽。下面这几条是我实际踩过或者帮别人排查过的按“现象 → 原因 → 解决”写清楚。5.1 显存 OOM视频帧全塞进 GPU 直接爆训练到第一个 batch 就报CUDA out of memory或者快训练完一个 epoch 才爆。原因是视觉模态直接喂了原始帧三维特征加注意力计算把显存撑爆了。做法是先确认数据流里有没有提前把视频帧换成预提取特征如果特征是预提取的把batch_size从 32 降到 8 先试跑再不行就把视频特征改成fp16存储。我一般先降 batch size 到能跑通再逐步加回去找上限而不是直接开梯度累积。5.2 特征维度对不上训练到一半才报错前向传播在torch.cat或线性层处报维度错误。原因是三路特征的尺寸不一致比如文本过完模型是[B, 768]视觉是[B, 35, 2048]直接把二维和三维拼到一起维度完全错位。在代码入口处先加一个调试断言assert text_feat.dim() video_feat.dim()然后把三路特征统一到[B, T, D]结构后再拼。还有一种隐蔽情况两个文件都是 35 帧但一个实际是 34 帧的序列补零到了 35另一个是原始 35 帧数值含义不一样也会造成对齐错误。5.3 验证 loss 不降反升融合模块大概率接错了训练集 loss 降得很顺验证集在第二个 epoch 开始一路漂移。常见原因是融合模块里没有对 padding 位置做 mask或者 Dropout 加在注意力权重上而不是特征上。检查步骤先把 Dropout 全部关掉如果问题消失说明 Dropout 位置不对再检查 mask 是否在注意力 softmax 前应用。资源里的模型如果跑出这种现象优先怀疑这两个位置。5.4 复现不出论文指标划分和预处理差一点就差很多用资源的代码和数据怎么跑都差论文结果三五个点。原因大概率是数据划分文件没加载对或者特征是从不同预处理版本里来的。先核对给训练脚本喂的是不是 README 指定的划分文件再查特征加载路径里有没有混入自己生成的另一份特征。这属于资源包最常见的坑一套代码里混了几种特征版本文件名相近但内容不一样。5.5 样本缺模态个别样本没有文本或音频训练到某个 epoch 数据加载器突然报返回了空张量或者某个样本的三路特征少了一路。原因是原始数据集里本身就存在缺失比如自动转录的文本为空、音频文件损坏。解决方法是加载时先做完整性过滤valid [i for i, t in enumerate(texts) if len(t.strip()) 0]把缺失样本剔除后再走后续流程。千万不要用全零向量硬补缺失的文本全零文本特征会给模型错误的语义信号。6. 进阶用法离线特征加轻量融合半小时验证一个新想法资源用顺了之后你会发现它最能提效的工作流不是“改模型”而是把特征提取和融合训练彻底分开。我拿到手的第一天就把三路特征全部落盘成 npy之后所有实验都只跑融合头和下游分类器一个 epoch 从原来要等十几分钟变成几十秒验证新想法的周期一下子短了非常多。# 特征已离线存好训练循环里只加载 npy X_text np.load(feat/text.npy) # [N, 768] X_video np.load(feat/video.npy) # [N, 35, 2048] X_audio np.load(feat/audio.npy) # [N, 35, 1582] y np.load(feat/label.npy) # [N, 1] # 三路特征各过一个投影层再拼接后续接融合和分类头 proj_dim 256 text_proj nn.Linear(768, proj_dim) video_proj nn.Linear(2048, proj_dim) audio_proj nn.Linear(1582, proj_dim) # 同一份特征换一种融合方式就是在 main.py 里替换 fusion module这样做的另一个好处是做消融实验时不需要重新提特征。去掉音频数据就是把X_audio从输入列表里摘出去融合维度同步改一下就行训练时间完全不受影响。资源如果是拿来做毕业设计的话这个拆分能把实验周期压缩掉一大半。第二件事是跑任何新思路前先用 16 个样本的小子集验证梯度流通畅别一上来就全量训练。我见过有人把跨模态注意力模块加进去训练了十个 epochloss 纹丝不动原因不是没写对而是新加的模块参数初始化成零了。小样本能快速暴露这种问题。记得有一次我往融合模块里加了一个门控觉得稳了直接开全量训练结果白跑了三小时。从此之后我拿到任何多模态资源包第一件事就是先离线提特征再跑一个最小训练循环确认梯度是通的最后才上全量。这个习惯帮我省下的时间远比多写几行检查代码多。希望帮到你。本文还有配套的精品资源点击获取