尧图网页设计 
最近在研究两个方向时发现不少同学会把 LSTM 和 Diffusion Model 当成两条完全不相干的技术线一条是处理“序列到序列”的时序建模一条是“从噪声生成图像”的生成模型。但实际上这两者正在越来越多地被组合进同一个跨模态系统里。比如用 LSTM 提取一段人体动作序列、传感器时序或股价走势的特征再用 Diffusion Model 生成对应的图像、姿态或未来场景。这种组合方式在学术论文里已经很常见工程落地的需求也越来越多。这篇文章我会从两个模型的核心原理讲起给出 LSTM 的时序预测完整示例再手写一个最小可运行的 Diffusion 图像生成模型最后拆解“LSTM 编码时序条件 Diffusion 生成图像”的组合思路。代码会按文件拆分尽量做到复制后能直接跑起来。无论你是刚开始接触深度学习还是已经在做多模态项目都可以把它当作一份系统笔记来用。1. 为什么把 LSTM 和 Diffusion 放在一起学1.1 两个技术的定位完全不同但天然互补LSTM 是循环神经网络的一种改进结构它解决的问题是“如何建模序列数据中的长期依赖”。比如一句话里后面的词依赖前面的词一段股价走势依赖过去几十天的变化一段人体动作依赖前几帧的姿态。LSTM 通过门控机制决定哪些历史信息要保留哪些要遗忘从而在时间维度上进行建模。Diffusion Model扩散模型则是生成模型的一种。它解决的问题是“如何从随机噪声中生成一张真实图像”。它的思路是先把图像逐步加噪直到变成纯噪声再训练一个神经网络学会反过来去噪从而把噪声还原为图像。Stable Diffusion 就是基于这种思路的大规模应用。所以两者听起来毫无关系LSTM 处理时间维Diffusion 处理空间维。但放到一个更大的框架里看它们正好互补LSTM 负责把“时序信号”压缩成一个语义特征向量Diffusion 负责把这个语义特征向量“解码”成可感知的图像内容。这正是跨模态生成的基础结构。1.2 跨模态搭配的真实应用场景这类组合在工业界和学术界的应用越来越多常见的有人体动作序列生成姿态图输入一段骨架关键点序列用 LSTM 编码时序信息再用条件 Diffusion 生成对应动作的视频帧或姿态热力图。医学图像跨模态生成例如从 MRI 序列生成 CT 图像或者用零样本互信息引导扩散完成跨模态医学图像转换。金融时序可视化基于 LSTM 与注意力机制做股价预测同时用生成模型把预测结果渲染成 K 线或趋势图像。机器人决策规划Diffusion Policy 这类方法利用扩散模型生成动作轨迹而动作轨迹本身是时序数据可以和 LSTM 类编码器协同使用。文本/语音驱动的图像生成文本或语音先被编码为时序特征再作为扩散模型的条件控制图像内容。这些场景都有一个共同点输入侧的原始数据是序列输出侧的目标是图像或视觉内容。靠单一模型很难同时建模两种模态所以组合是更合理的技术路线。1.3 本文你能带走什么学完本文你会得到以下收获理解 LSTM 的门控机制和计算公式能独立搭建一个时序预测模型。理解扩散模型的前向加噪、反向去噪、训练目标能用手写代码在 MNIST 上训练一个最小扩散生成模型。掌握 LSTM 与 Diffusion 组合的条件生成思路知道在代码层面要改哪些地方。了解训练过程中的常见坑以及工程落地的建议。下面我们按“先原理再环境再代码再组合”的顺序展开。2. LSTM 时序建模核心原理2.1 RNN 的短板与 LSTM 的引入传统 RNN循环神经网络在设计上允许信息沿着时间步传递但实际训练时容易遇到梯度消失和梯度爆炸问题。原因是反向传播时梯度需要沿着时间步连乘步数一多梯度要么趋近于零要么爆炸。也就是说RNN 很难真正记住很久以前的信息。LSTMLong Short-Term Memory长短期记忆网络通过引入“记忆单元”和“门控机制”来解决这个问题。它不像 RNN 那样把每个时间步的信息直接覆盖而是用一个独立的细胞状态cell state来存储长时间信息并通过门来控制信息的流入、流出和遗忘。简单理解LSTM 在序列处理过程中有三个“开关”。遗忘门决定过去的信息要保留多少。输入门决定新的输入要写入多少。输出门决定当前时刻要输出多少。2.2 LSTM 的门结构LSTM 在时间步 t 的输入是当前输入 x_t 和上一个时间步的隐状态 h_{t-1}输出是当前隐状态 h_t同时更新细胞状态 c_t。三个门以及候选记忆的计算方式如下遗忘门forget gate [ f_t \sigma(W_f \cdot [h_{t-1}, x_t] b_f) ] 输出值在 0 到 1 之间0 表示完全遗忘1 表示完全保留。输入门input gate [ i_t \sigma(W_i \cdot [h_{t-1}, x_t] b_i) ] 决定新信息写入细胞状态的比例。候选记忆 [ \tilde{c}t \tanh(W_c \cdot [h{t-1}, x_t] b_c) ] 这是当前时刻产生的候选信息取值范围在 -1 到 1 之间。细胞状态更新 [ c_t f_t \odot c_{t-1} i_t \odot \tilde{c}_t ] 旧记忆先被遗忘门缩放再加入新的候选记忆。输出门output gate [ o_t \sigma(W_o \cdot [h_{t-1}, x_t] b_o) ]最终隐状态 [ h_t o_t \odot \tanh(c_t) ]这里的 (\odot) 表示逐元素相乘(\sigma) 是 sigmoid 激活函数。2.3 单向 LSTM 与双向 LSTM单向 LSTM 只从前往后读取序列每个时间步只依赖过去的信息。适合股票预测、传感器读数预测这类“未来不可见”的任务。双向 LSTMBiLSTM会增加一个从后往前的方向每个时间步同时看到过去和未来的信息。适合自然语言理解、命名实体识别、语音识别等离线任务因为整个序列都已知。从 PyTorch 代码来看nn.LSTM中设置bidirectionalTrue就能得到双向 LSTM但要注意输出维度会翻倍。比如隐层大小是hidden_size双向后每个时间步的输出维度是hidden_size * 2。后续接全连接层时输入维度要对应调整。3. Diffusion Model 图像生成核心原理3.1 生成模型家族里的 Diffusion 处在什么位置目前主流生成模型大致分为四类GAN生成对抗网络生成器与判别器对抗训练生成速度快但训练不稳定容易模式崩塌。VAE变分自编码器通过编码器把图像压缩到隐空间再解码重建训练稳定但生成图像容易模糊。自回归模型逐像素预测效果精细但生成速度慢。Diffusion Model模拟从噪声逐步去噪的过程训练稳定生成质量高代价是采样速度较慢。Diffusion 模型有两个关键过程前向扩散过程和反向去噪过程。3.2 前向扩散过程逐步加噪前向过程是固定的不需要训练。给定一张真实图像 (x_0)我们按照一个预设的噪声调度表逐步加入高斯噪声经过 T 步后图像变成接近标准正态分布的纯噪声。每一步可以表示为 [ x_t \sqrt{1 - \beta_t} \cdot x_{t-1} \sqrt{\beta_t} \cdot \epsilon ] 其中 (\epsilon \sim \mathcal{N}(0, I))(\beta_t) 是预先设定的噪声系数通常从小到大线性增长或按余弦曲线变化。由于高斯分布的叠加性质我们可以直接从 (x_0) 跳到任意第 t 步 [ x_t \sqrt{\bar{\alpha}_t} \cdot x_0 \sqrt{1 - \bar{\alpha}_t} \cdot \epsilon ] 其中 (\bar{\alpha}t \prod{i1}^{t} (1 - \beta_i))。这个公式非常实用。训练时不需要把 T 步全部走一遍只需要随机采一个时间步 t加一次噪声就能作为训练样本。3.3 反向去噪过程学习逆转换如果我们可以学习到前向过程的逆过程就能从纯噪声逐步还原出图像。反向过程也是一个马尔可夫链每一步要根据当前的 (x_t) 和时间步 t 去预测 (x_{t-1})。实际中网络并不直接预测 (x_{t-1})而是预测加入的噪声 (\epsilon)或者预测 (x_0) 再换算。最经典的 DDPMDenoising Diffusion Probabilistic Models采用预测噪声的方式。训练目标可以写成 [ L \mathbb{E}{x_0, t, \epsilon} \left[ | \epsilon - \epsilon\theta(x_t, t) |^2 \right] ] 其中 (\epsilon_\theta) 是带时间步条件的神经网络通常用 U-Net 结构。3.4 U-Net、CLIP 与 Classifier-Free Guidance 在实践里的角色在 Stable Diffusion 这类大规模模型里去噪网络的核心是 U-Net。U-Net 的结构类似编码器-解码器编码器逐步下采样提取高层特征解码器逐步上采样恢复空间分辨率中间通过跳连skip connection保留细节。由于扩散模型需要知道“当前是第几步”U-Net 需要接收时间步 t 的嵌入向量。这个嵌入向量通常用正弦位置编码生成然后通过 MLP 映射到与特征图相同的维度。如果想要控制生成内容还需要条件信息。Stable Diffusion 使用 CLIP 文本编码器把文字转换为向量再通过交叉注意力机制注入 U-Net。此外Classifier-Free GuidanceCFG是常用的采样技巧训练时随机丢弃条件采样时同时预测条件输出和无条件输出再外推两者差值从而增强条件对生成结果的控制力。CFG 的参数越高图像越贴近提示词但过高的值会导致颜色过饱和或伪影。近期的研究也在不断改进 CFG例如基于控制信号的 CFG-Ctrl 等方法目的都是让条件控制更精准、更稳定。3.5 为什么生成阶段比训练阶段更讲究训练阶段网络只需要学会“去噪”这一件事。但生成阶段从随机噪声出发我们需要反复执行 T 步去噪。每一步计算量都不小所以 Diffusion 生成速度比 GAN 慢。为了加速采样业界有很多优化方案DDIM 采样减少采样步数从 1000 步降到 20~50 步。DPM-Solver基于微分方程求解器减少步数。LCM/LCM-LoRA一致性模型蒸馏实现几步采样。理解 DDPM 基础原理后再接触这些加速方案会容易得多。4. 环境准备与版本说明4.1 本机环境本文示例以常见深度学习环境为例重点演示代码思路。实际版本需要根据你的项目调整。推荐环境操作系统Windows 10/11、Ubuntu 20.04 或 macOSPython3.10 或更高版本深度学习框架PyTorch 2.xCUDA如果有 NVIDIA 显卡建议安装对应版本的 CUDA 和 cuDNN没有显卡也能跑 CPU 版本只是训练更慢开发工具VS Code、Jupyter Notebook 或 PyCharm 均可4.2 安装 PyTorch 与依赖库建议先创建虚拟环境conda create -n cross_modal python3.10 -y conda activate cross_modal安装 PyTorch 时可以根据自己的显卡情况选择官网命令。如果没有特殊需求先安装 CPU 版本也能完成本文的示例。接着安装其他依赖pip install numpy matplotlib torchvision4.3 项目目录结构为了让代码更有条理我们按下面的目录组织项目cross_modal_ai/ ├── lstm_demo/ │ ├── data_utils.py │ ├── model.py │ └── train.py ├── diffusion_demo/ │ ├── ddpm.py │ ├── model.py │ ├── train.py │ └── sample.py └── cross_modal_demo/ └── README.mdLSTM 部分我们先单独跑通Diffusion 部分单独训练一个最小模型最后在跨模态部分给出组合思路和关键代码改动。5. 源码拆解先跑通一个 LSTM 股票预测示例时序建模的方向很多这里选一个直观的任务使用过去 24 个时间步的数据预测下一点。为了让示例可复现且不需要外部数据我们用正弦函数叠加随机噪声生成模拟数据。如果你想用真实股票数据只需要把数据集替换成 CSV 中的价格序列。5.1 生成模拟时间序列数据# 文件路径lstm_demo/data_utils.py import numpy as np def create_sine_dataset(seq_len24, sample_num1000): np.random.seed(42) t np.linspace(0, 8 * np.pi, sample_num) data np.sin(t) 0.05 * np.random.randn(sample_num) # Min-Max 归一化帮助模型更快收敛 min_val, max_val data.min(), data.max() data (data - min_val) / (max_val - min_val) X, y [], [] for i in range(len(data) - seq_len): X.append(data[i:i seq_len]) y.append(data[i seq_len]) X np.array(X).reshape(-1, seq_len, 1) y np.array(y).reshape(-1, 1) return X, y, min_val, max_val这里有一个关键点LSTM 的输入形状是(batch_size, seq_len, input_size)。我们设置seq_len24表示用 24 个历史点预测下一点。为什么需要归一化因为 LSTM 内部使用 tanh 和 sigmoid 激活函数对输入取值范围比较敏感。把数据缩放到 0 到 1 之间可以避免梯度计算出现极端值。5.2 定义 LSTM 预测模型# 文件路径lstm_demo/model.py import torch import torch.nn as nn class LSTMPredictor(nn.Module): def __init__(self, input_size1, hidden_size32, num_layers1): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue ) self.fc nn.Linear(hidden_size, 1) def forward(self, x): # x 形状: (batch_size, seq_len, input_size) out, (h_n, c_n) self.lstm(x) # 取最后一个时间步的输出 last_out out[:, -1, :] y_pred self.fc(last_out) return y_pred关键点在于out[:, -1, :]。out包含所有时间步的隐状态但我们做的是单点预测所以只需要最后一个时间步的信息。nn.LSTM返回的h_n, c_n是最后时刻的隐状态和细胞状态也可以用来替代out[:, -1, :]效果相似。batch_firstTrue表示输入的第一个维度是 batch。这是 PyTorch 中非常容易忽略的细节不设置的话输入形状是(seq_len, batch_size, input_size)。5.3 训练并观察损失和预测效果训练代码如下# 文件路径lstm_demo/train.py import torch import torch.nn as nn import numpy as np from data_utils import create_sine_dataset from model import LSTMPredictor X, y, min_val, max_val create_sine_dataset(seq_len24, sample_num1000) # 划分训练集和测试集 train_len int(len(X) * 0.8) X_train, y_train X[:train_len], y[:train_len] X_test, y_test X[train_len:], y[train_len:] X_train torch.tensor(X_train, dtypetorch.float32) y_train torch.tensor(y_train, dtypetorch.float32) X_test torch.tensor(X_test, dtypetorch.float32) y_test torch.tensor(y_test, dtypetorch.float32) model LSTMPredictor(input_size1, hidden_size32, num_layers1) loss_fn nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3) batch_size 64 epochs 100 for epoch in range(epochs): model.train() total_loss 0 for i in range(0, len(X_train), batch_size): x_batch X_train[i:i batch_size] y_batch y_train[i:i batch_size] pred model(x_batch) loss loss_fn(pred, y_batch) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() if (epoch 1) % 20 0: print(fEpoch {epoch 1}, Loss: {total_loss / (len(X_train) // batch_size):.6f}) # 测试集评估 model.eval() with torch.no_grad(): test_pred model(X_test) test_loss loss_fn(test_pred, y_test) print(fTest Loss: {test_loss.item():.6f})这个示例输出会显示一个不断下降的 MSE Loss。测试 Loss 在 0.001 左右说明模型基本学到了序列的变化规律。如果你想用真实股票数据只要把create_sine_dataset替换为自己的数据加载函数并保持输出的形状符合(batch_size, seq_len, input_size)即可。6. 源码拆解从零实现一个最小 Diffusion 图像生成模型理解了扩散模型的原理后我们直接动手实现一个可以在 MNIST 上训练出效果的最小 DDPM 示例。为了保证代码简洁我们不会写完整的 Stable Diffusion而是保留最核心的加噪、U-Net 去噪、训练和采样逻辑。MNIST 是 28x28 的灰度手写数字数据集类别为 0-9。用它训练扩散模型CPU 上也能较快跑出效果。6.1 数据准备# 文件路径diffusion_demo/data_utils.py import torch from torchvision import datasets, transforms def load_mnist(batch_size128): transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_dataset datasets.MNIST( root./data, trainTrue, transformtransform, downloadTrue ) train_loader torch.utils.data.DataLoader( train_dataset, batch_sizebatch_size, shuffleTrue ) return train_loaderNormalize((0.5,), (0.5,))会把像素值从 [0,1] 映射到 [-1,1]这是因为扩散模型假设数据分布是标准正态分布附近的分布输入范围更匹配。6.2 时间步嵌入扩散模型必须知道当前处于哪个时间步。我们使用 Transformer 中常见的正弦位置编码# 文件路径diffusion_demo/model.py import torch import torch.nn as nn import math class SinusoidalPositionEmbeddings(nn.Module): def __init__(self, dim): super().__init__() self.dim dim def forward(self, time): device time.device half_dim self.dim // 2 embeddings math.log(10000) / (half_dim - 1) embeddings torch.exp(torch.arange(half_dim, devicedevice) * -embeddings) embeddings time[:, None] * embeddings[None, :] embeddings torch.cat((embeddings.sin(), embeddings.cos()), dim-1) return embeddingstime是形状为(batch_size,)的时间步张量。输出形状是(batch_size, dim)。6.3 简化的 U-Net 去噪网络严格意义上的 U-Net 包含下采样、上采样和中间层。为了在教程里控制代码篇幅我们写一个“简化版 U-Net”它保留了核心思路先用卷积提取特征再通过几个卷积块处理最后输出与输入同形状的噪声预测图。# 文件路径diffusion_demo/model.py续 class SimpleUNet(nn.Module): def __init__(self, in_channels1, time_dim128): super().__init__() self.time_mlp nn.Sequential( SinusoidalPositionEmbeddings(time_dim), nn.Linear(time_dim, time_dim), nn.ReLU(), nn.Linear(time_dim, time_dim) ) self.conv1 nn.Conv2d(in_channels, 64, kernel_size3, padding1) self.conv2 nn.Conv2d(64, 128, kernel_size3, padding1) self.conv3 nn.Conv2d(128, 256, kernel_size3, padding1) self.conv4 nn.Conv2d(256, 128, kernel_size3, padding1) self.conv5 nn.Conv2d(128, 64, kernel_size3, padding1) self.out nn.Conv2d(64, in_channels, kernel_size1) self.act nn.ReLU() def forward(self, x, t): # x: (batch, in_channels, 28, 28) t_emb self.time_mlp(t) # (batch, time_dim) h self.act(self.conv1(x)) h self.act(self.conv2(h)) h self.act(self.conv3(h)) # 把时间嵌入通过全连接映射到通道数然后加到特征图上 t_emb t_emb[:, :, None, None] t_emb t_emb.expand(-1, -1, h.shape[2], h.shape[3]) # 这里为了演示直接把时间嵌入 broadcast 后加到 h 上 # 更严谨的做法是用 FiLM 或注意力机制 h h t_emb[:, :h.shape[1], :, :] h self.act(self.conv4(h)) h self.act(self.conv5(h)) return self.out(h)这段代码是教学演示的核心片段目的是让你理解“时间步影响生成过程”这一关键机制。工业级的 U-Net 要复杂得多包括残差连接、注意力模块、上采样层等。6.4 前向加噪与训练循环DDPM 的训练比 GAN 简单因为它不需要对抗训练。我们只需要随机采样时间步加噪并让网络预测噪声。# 文件路径diffusion_demo/ddpm.py import torch def linear_beta_schedule(timesteps1000, beta_start1e-4, beta_end0.02): return torch.linspace(beta_start, beta_end, timesteps) class DDPM: def __init__(self, timesteps1000): self.timesteps timesteps self.betas linear_beta_schedule(timesteps) self.alphas 1.0 - self.betas self.alpha_bars torch.cumprod(self.alphas, dim0) def q_sample(self, x_0, t, noiseNone): 前向加噪x_t sqrt(alpha_bar_t) * x_0 sqrt(1 - alpha_bar_t) * noise if noise is None: noise torch.randn_like(x_0) sqrt_alpha_bar torch.sqrt(self.alpha_bars[t])[:, None, None, None] sqrt_one_minus_alpha_bar torch.sqrt(1 - self.alpha_bars[t])[:, None, None, None] return sqrt_alpha_bar * x_0 sqrt_one_minus_alpha_bar * noise, noise训练循环# 文件路径diffusion_demo/train.py import torch import torch.nn as nn from data_utils import load_mnist from model import SimpleUNet from ddpm import DDPM device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader load_mnist(batch_size128) ddpm DDPM(timesteps1000) model SimpleUNet(in_channels1).to(device) optimizer torch.optim.Adam(model.parameters(), lr2e-4) loss_fn nn.MSELoss() epochs 20 model.train() for epoch in range(epochs): total_loss 0 for x_0, _ in train_loader: x_0 x_0.to(device) batch_size_now x_0.shape[0] t torch.randint(0, ddpm.timesteps, (batch_size_now,), devicedevice) noise torch.randn_like(x_0) x_t, noise ddpm.q_sample(x_0, t, noise) predicted_noise model(x_t, t) loss loss_fn(predicted_noise, noise) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch 1}, Loss: {total_loss / len(train_loader):.6f})t是随机采样的所以每个 batch 会有不同的噪声强度。网络在同一个模型里要处理不同程度的噪声这是扩散模型训练最重要的设计。6.5 采样生成训练完成后我们要从纯噪声出发逐步去噪生成图像。下面实现 DDPM 的采样过程# 文件路径diffusion_demo/sample.py import torch from model import SimpleUNet from ddpm import DDPM from torchvision.utils import save_image torch.no_grad() def sample(model, ddpm, num_images16, img_size28, devicecpu): model.eval() x_t torch.randn(num_images, 1, img_size, img_size).to(device) for t in reversed(range(ddpm.timesteps)): t_tensor torch.full((num_images,), t, devicedevice, dtypetorch.long) predicted_noise model(x_t, t_tensor) alpha ddpm.alphas[t][:, None, None, None] alpha_bar ddpm.alpha_bars[t][:, None, None, None] beta ddpm.betas[t][:, None, None, None] # 计算均值 mean (1 / torch.sqrt(alpha)) * ( x_t - (beta / torch.sqrt(1 - alpha_bar)) * predicted_noise ) if t 0: noise torch.randn_like(x_t) sigma torch.sqrt(beta) x_t mean sigma * noise else: x_t mean # 把 [-1,1] 映射到 [0,1] x_t (x_t.clamp(-1, 1) 1) / 2 save_image(x_t, generated.png, nrow4) print(Saved generated.png) if __name__ __main__: device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleUNet().to(device) # 这里需要加载训练好的权重 model.load_state_dict(torch.load(ddpm_model.pth, map_locationdevice)) sample(model, DDPM(timesteps1000), devicedevice)训练多轮后generated.png里会出现类似手写数字的模糊图案。如果只是训练 1-2 轮效果会比较噪训练 20 轮左右MNIST 上就能出现可辨识的数字轮廓。7. 跨模态组合LSTM 编码时序条件Diffusion 生成对应图像7.1 为什么需要条件生成无条件的 Diffusion 生成结果是随机的你无法控制它生成“数字 3”还是“数字 7”。为了让生成内容可控我们必须在去噪过程中加入条件信息。条件可以是类别标签、文本向量、图像特征也可以是时序特征。当我们把 LSTM 编码得到的向量作为条件注入扩散模型时就实现了“输入一段序列生成一张对应的图像”的跨模态能力。7.2 用 LSTM 提取时序特征的两种方式第一种方式是直接使用 LSTM 最后一个时间步的隐状态作为整体序列特征。这种方式适合“整段序列对应一张图”的场景比如根据一段心电图信号生成心脏图像。第二种方式是使用注意力机制把 LSTM 所有时间步的输出加权求和。这种方式适合“序列中不同位置对生成结果的影响不同”的场景比如生成人体动作图像时某些关键帧更重要。代码层面的差异如下# 直接取最后一步 seq_feat lstm_out[:, -1, :] # (batch, hidden_size) # 使用注意力加权 attn_weights torch.softmax(attn_linear(lstm_out), dim1) seq_feat torch.sum(attn_weights * lstm_out, dim1) # (batch, hidden_size)7.3 一个可行的跨模态训练流程假设我们要实现的任务是输入一段长度为 24 的传感器序列生成一张表示系统状态的 28x28 灰度图像。整体流程如下LSTM 编码阶段输入序列(batch, 24, 1)得到特征seq_feat (batch, hidden_size)。条件映射阶段用一个全连接层把seq_feat映射到与时间嵌入相同的维度。扩散生成阶段把条件向量与时间步嵌入合并作为 U-Net 的输入条件。损失函数预测噪声的 MSE Loss与无条件扩散模型一致。7.4 代码层面的关键改动在之前的SimpleUNet中我们只是简单地把时间嵌入加到特征图上。要加入 LSTM 条件需要把条件向量拼接到时间嵌入后或者用 FiLM 方式对特征图进行缩放和平移。这里给出一个关键改动示例需要注意这是核心片段需要放入对应文件中调整class ConditionalUNet(nn.Module): def __init__(self, cond_dim32, time_dim128): super().__init__() self.time_mlp nn.Sequential( SinusoidalPositionEmbeddings(time_dim), nn.Linear(time_dim, time_dim), nn.ReLU(), nn.Linear(time_dim, time_dim), ) # 把 LSTM 特征映射到 time_dim self.cond_proj nn.Linear(cond_dim, time_dim) # 你的卷积层定义... def forward(self, x, t, cond): # cond 来自 LSTM: (batch, cond_dim) t_emb self.time_mlp(t) c_emb self.cond_proj(cond) # 按元素相加让条件影响整个去噪过程 cond_emb t_emb c_emb # 后续网络使用 cond_emb 代替原来的 t_emb # ...训练时把每段序列先过 LSTM 得到cond再过扩散模型seq torch.randn(batch_size, 24, 1) # 示例输入序列 cond lstm_encoder(seq) # (batch, cond_dim) x_t, noise ddpm.q_sample(x_0, t) pred_noise conditional_unet(x_t, t, cond) loss loss_fn(pred_noise, noise)这个结构虽然简化但你已经掌握了跨模态生成的核心思路先把时序信号压缩成条件向量再把条件向量注入扩散模型的去噪网络。至于条件注入方式可以用相加、FiLM、交叉注意力等更复杂的机制这是工程调优的后续方向。8. 常见问题与排查思路训练这类模型时大家容易遇到下面几个问题。我整理了一个排查表问题现象常见原因解决思路LSTM Loss 不下降学习率过高/过低或数据未归一化检查学习率确认输入数据已归一化尝试减小 batch sizeLSTM 预测结果滞后真实值一拍模型偏向于复制上一步值窗口太短增大seq_len或使用注意力机制强化关键时间步Diffusion 训练 Loss 下降很慢时间步嵌入维度不足或网络太浅增大time_dim增加卷积层和通道数生成图像全是噪声训练轮数不足或采样步数太少增加训练 epoch或提高采样步数检查加噪公式是否正确生成图像模糊但有轮廓U-Net 表达能力不够或没有使用跳连换成标准 U-Net 结构添加上采样层和跳连显存不足batch size 太大或图像分辨率太高降低 batch size使用梯度累积降采样图像梯度爆炸模型结构深或学习率过高使用梯度裁剪如clip_grad_norm_(model.parameters(), 1.0)组合模型训练时梯度无法回传到 LSTM扩散模型直接使用cond.detach()去掉detach()让梯度可以反向传播到 LSTM9. 最佳实践与工程建议9.1 数据与预处理时序数据标准化LSTM 对输入尺度敏感建议先做 Min-Max 归一化或 Z-score 标准化。训练集/测试集划分不能随机洗牌时序数据有先后顺序随机洗牌会引入未来信息泄漏导致评估失真。图像数据要归一化到 [-1,1]扩散模型通常在这个范围内效果最好。9.2 模型训练稳定性设置固定随机种子保证结果可复现import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed)使用梯度裁剪防止 RNN 梯度爆炸。Diffusion 训练建议使用学习率调度器例如余弦退火。有条件时使用 EMA指数移动平均保存模型权重通常能提升生成质量。9.3 工程化相关配置外置把序列长度、batch size、学习率、扩散步数等都写到 YAML 配置文件里方便实验对比。日志记录记录每个 epoch 的 Loss、学习率和显卡占用推荐使用 TensorBoard。模型保存与恢复保存state_dict时要同时保存配置和归一化参数否则推理时容易出问题。设备管理代码里统一使用device变量避免在 CPU/GPU 之间出现张量设备不一致的报错。9.4 合规与安全下载预训练权重时请使用官方或可信来源不要使用破解版、非官方整合包避免引入恶意代码和版权风险。生成图像前注意版权与平台规定。不要用生成模型制作虚假信息、冒充他人或绕过平台水印。很多平台对生成内容有明确标识要求生产环境落地时务必遵守。10. 总结与下一步学习路线到这里我们完整梳理了 LSTM 与 Diffusion Model 的核心原理并跑通了两个最小示例一个用于时序预测的 LSTM 模型一个用于图像生成的 DDPM。最后的跨模态组合演示展示了如何把 LSTM 编码的序列特征作为条件注入去噪网络实现“序列 图像”的跨模态生成。如果你从零开始接触这部分内容建议按下面的路线继续深入把本文的 LSTM 示例换到真实数据集上比如股票、电力负荷或传感器数据理解窗口长度、批大小和归一化对结果的影响。把本文的简单 U-Net 替换为标准 U-Net加入残差连接、注意力机制和上采样层在 CIFAR-10 上训练一个更完整的 DDPM。阅读 DDPM 原论文Denoising Diffusion Probabilistic Models重点理解公式推导和采样过程。研究 DDIM 和 DPM-Solver掌握加速采样的方法。阅读 Classifier-Free Guidance 原论文理解条件控制的细节。参考 Stable Diffusion 系列论文理解 CLIP 文本编码器、VAE 和 U-Net 是如何协同工作的。最后再回头做跨模态组合可以参考人体动作生成、医学图像跨模态生成、Diffusion Policy 等方向的最新论文。动手永远比只看书有效。建议你先跑通本文的两个独立示例再进行组合改造。遇到报错不要慌先确认版本、数据形状和设备是否一致再逐层排查。如果本文对你有帮助可以收藏备用也可以分享给正在学习时序建模和扩散模型的朋友。下一篇我打算拆解一个更完整的 Stable Diffusion 系列源码包括文本编码、VAE 和采样器的工程实现欢迎持续关注。 LSTM与Diffusion Model组合：跨模态时序生成实战指南
最近在研究两个方向时发现不少同学会把 LSTM 和 Diffusion Model 当成两条完全不相干的技术线一条是处理“序列到序列”的时序建模一条是“从噪声生成图像”的生成模型。但实际上这两者正在越来越多地被组合进同一个跨模态系统里。比如用 LSTM 提取一段人体动作序列、传感器时序或股价走势的特征再用 Diffusion Model 生成对应的图像、姿态或未来场景。这种组合方式在学术论文里已经很常见工程落地的需求也越来越多。这篇文章我会从两个模型的核心原理讲起给出 LSTM 的时序预测完整示例再手写一个最小可运行的 Diffusion 图像生成模型最后拆解“LSTM 编码时序条件 Diffusion 生成图像”的组合思路。代码会按文件拆分尽量做到复制后能直接跑起来。无论你是刚开始接触深度学习还是已经在做多模态项目都可以把它当作一份系统笔记来用。1. 为什么把 LSTM 和 Diffusion 放在一起学1.1 两个技术的定位完全不同但天然互补LSTM 是循环神经网络的一种改进结构它解决的问题是“如何建模序列数据中的长期依赖”。比如一句话里后面的词依赖前面的词一段股价走势依赖过去几十天的变化一段人体动作依赖前几帧的姿态。LSTM 通过门控机制决定哪些历史信息要保留哪些要遗忘从而在时间维度上进行建模。Diffusion Model扩散模型则是生成模型的一种。它解决的问题是“如何从随机噪声中生成一张真实图像”。它的思路是先把图像逐步加噪直到变成纯噪声再训练一个神经网络学会反过来去噪从而把噪声还原为图像。Stable Diffusion 就是基于这种思路的大规模应用。所以两者听起来毫无关系LSTM 处理时间维Diffusion 处理空间维。但放到一个更大的框架里看它们正好互补LSTM 负责把“时序信号”压缩成一个语义特征向量Diffusion 负责把这个语义特征向量“解码”成可感知的图像内容。这正是跨模态生成的基础结构。1.2 跨模态搭配的真实应用场景这类组合在工业界和学术界的应用越来越多常见的有人体动作序列生成姿态图输入一段骨架关键点序列用 LSTM 编码时序信息再用条件 Diffusion 生成对应动作的视频帧或姿态热力图。医学图像跨模态生成例如从 MRI 序列生成 CT 图像或者用零样本互信息引导扩散完成跨模态医学图像转换。金融时序可视化基于 LSTM 与注意力机制做股价预测同时用生成模型把预测结果渲染成 K 线或趋势图像。机器人决策规划Diffusion Policy 这类方法利用扩散模型生成动作轨迹而动作轨迹本身是时序数据可以和 LSTM 类编码器协同使用。文本/语音驱动的图像生成文本或语音先被编码为时序特征再作为扩散模型的条件控制图像内容。这些场景都有一个共同点输入侧的原始数据是序列输出侧的目标是图像或视觉内容。靠单一模型很难同时建模两种模态所以组合是更合理的技术路线。1.3 本文你能带走什么学完本文你会得到以下收获理解 LSTM 的门控机制和计算公式能独立搭建一个时序预测模型。理解扩散模型的前向加噪、反向去噪、训练目标能用手写代码在 MNIST 上训练一个最小扩散生成模型。掌握 LSTM 与 Diffusion 组合的条件生成思路知道在代码层面要改哪些地方。了解训练过程中的常见坑以及工程落地的建议。下面我们按“先原理再环境再代码再组合”的顺序展开。2. LSTM 时序建模核心原理2.1 RNN 的短板与 LSTM 的引入传统 RNN循环神经网络在设计上允许信息沿着时间步传递但实际训练时容易遇到梯度消失和梯度爆炸问题。原因是反向传播时梯度需要沿着时间步连乘步数一多梯度要么趋近于零要么爆炸。也就是说RNN 很难真正记住很久以前的信息。LSTMLong Short-Term Memory长短期记忆网络通过引入“记忆单元”和“门控机制”来解决这个问题。它不像 RNN 那样把每个时间步的信息直接覆盖而是用一个独立的细胞状态cell state来存储长时间信息并通过门来控制信息的流入、流出和遗忘。简单理解LSTM 在序列处理过程中有三个“开关”。遗忘门决定过去的信息要保留多少。输入门决定新的输入要写入多少。输出门决定当前时刻要输出多少。2.2 LSTM 的门结构LSTM 在时间步 t 的输入是当前输入 x_t 和上一个时间步的隐状态 h_{t-1}输出是当前隐状态 h_t同时更新细胞状态 c_t。三个门以及候选记忆的计算方式如下遗忘门forget gate [ f_t \sigma(W_f \cdot [h_{t-1}, x_t] b_f) ] 输出值在 0 到 1 之间0 表示完全遗忘1 表示完全保留。输入门input gate [ i_t \sigma(W_i \cdot [h_{t-1}, x_t] b_i) ] 决定新信息写入细胞状态的比例。候选记忆 [ \tilde{c}t \tanh(W_c \cdot [h{t-1}, x_t] b_c) ] 这是当前时刻产生的候选信息取值范围在 -1 到 1 之间。细胞状态更新 [ c_t f_t \odot c_{t-1} i_t \odot \tilde{c}_t ] 旧记忆先被遗忘门缩放再加入新的候选记忆。输出门output gate [ o_t \sigma(W_o \cdot [h_{t-1}, x_t] b_o) ]最终隐状态 [ h_t o_t \odot \tanh(c_t) ]这里的 (\odot) 表示逐元素相乘(\sigma) 是 sigmoid 激活函数。2.3 单向 LSTM 与双向 LSTM单向 LSTM 只从前往后读取序列每个时间步只依赖过去的信息。适合股票预测、传感器读数预测这类“未来不可见”的任务。双向 LSTMBiLSTM会增加一个从后往前的方向每个时间步同时看到过去和未来的信息。适合自然语言理解、命名实体识别、语音识别等离线任务因为整个序列都已知。从 PyTorch 代码来看nn.LSTM中设置bidirectionalTrue就能得到双向 LSTM但要注意输出维度会翻倍。比如隐层大小是hidden_size双向后每个时间步的输出维度是hidden_size * 2。后续接全连接层时输入维度要对应调整。3. Diffusion Model 图像生成核心原理3.1 生成模型家族里的 Diffusion 处在什么位置目前主流生成模型大致分为四类GAN生成对抗网络生成器与判别器对抗训练生成速度快但训练不稳定容易模式崩塌。VAE变分自编码器通过编码器把图像压缩到隐空间再解码重建训练稳定但生成图像容易模糊。自回归模型逐像素预测效果精细但生成速度慢。Diffusion Model模拟从噪声逐步去噪的过程训练稳定生成质量高代价是采样速度较慢。Diffusion 模型有两个关键过程前向扩散过程和反向去噪过程。3.2 前向扩散过程逐步加噪前向过程是固定的不需要训练。给定一张真实图像 (x_0)我们按照一个预设的噪声调度表逐步加入高斯噪声经过 T 步后图像变成接近标准正态分布的纯噪声。每一步可以表示为 [ x_t \sqrt{1 - \beta_t} \cdot x_{t-1} \sqrt{\beta_t} \cdot \epsilon ] 其中 (\epsilon \sim \mathcal{N}(0, I))(\beta_t) 是预先设定的噪声系数通常从小到大线性增长或按余弦曲线变化。由于高斯分布的叠加性质我们可以直接从 (x_0) 跳到任意第 t 步 [ x_t \sqrt{\bar{\alpha}_t} \cdot x_0 \sqrt{1 - \bar{\alpha}_t} \cdot \epsilon ] 其中 (\bar{\alpha}t \prod{i1}^{t} (1 - \beta_i))。这个公式非常实用。训练时不需要把 T 步全部走一遍只需要随机采一个时间步 t加一次噪声就能作为训练样本。3.3 反向去噪过程学习逆转换如果我们可以学习到前向过程的逆过程就能从纯噪声逐步还原出图像。反向过程也是一个马尔可夫链每一步要根据当前的 (x_t) 和时间步 t 去预测 (x_{t-1})。实际中网络并不直接预测 (x_{t-1})而是预测加入的噪声 (\epsilon)或者预测 (x_0) 再换算。最经典的 DDPMDenoising Diffusion Probabilistic Models采用预测噪声的方式。训练目标可以写成 [ L \mathbb{E}{x_0, t, \epsilon} \left[ | \epsilon - \epsilon\theta(x_t, t) |^2 \right] ] 其中 (\epsilon_\theta) 是带时间步条件的神经网络通常用 U-Net 结构。3.4 U-Net、CLIP 与 Classifier-Free Guidance 在实践里的角色在 Stable Diffusion 这类大规模模型里去噪网络的核心是 U-Net。U-Net 的结构类似编码器-解码器编码器逐步下采样提取高层特征解码器逐步上采样恢复空间分辨率中间通过跳连skip connection保留细节。由于扩散模型需要知道“当前是第几步”U-Net 需要接收时间步 t 的嵌入向量。这个嵌入向量通常用正弦位置编码生成然后通过 MLP 映射到与特征图相同的维度。如果想要控制生成内容还需要条件信息。Stable Diffusion 使用 CLIP 文本编码器把文字转换为向量再通过交叉注意力机制注入 U-Net。此外Classifier-Free GuidanceCFG是常用的采样技巧训练时随机丢弃条件采样时同时预测条件输出和无条件输出再外推两者差值从而增强条件对生成结果的控制力。CFG 的参数越高图像越贴近提示词但过高的值会导致颜色过饱和或伪影。近期的研究也在不断改进 CFG例如基于控制信号的 CFG-Ctrl 等方法目的都是让条件控制更精准、更稳定。3.5 为什么生成阶段比训练阶段更讲究训练阶段网络只需要学会“去噪”这一件事。但生成阶段从随机噪声出发我们需要反复执行 T 步去噪。每一步计算量都不小所以 Diffusion 生成速度比 GAN 慢。为了加速采样业界有很多优化方案DDIM 采样减少采样步数从 1000 步降到 20~50 步。DPM-Solver基于微分方程求解器减少步数。LCM/LCM-LoRA一致性模型蒸馏实现几步采样。理解 DDPM 基础原理后再接触这些加速方案会容易得多。4. 环境准备与版本说明4.1 本机环境本文示例以常见深度学习环境为例重点演示代码思路。实际版本需要根据你的项目调整。推荐环境操作系统Windows 10/11、Ubuntu 20.04 或 macOSPython3.10 或更高版本深度学习框架PyTorch 2.xCUDA如果有 NVIDIA 显卡建议安装对应版本的 CUDA 和 cuDNN没有显卡也能跑 CPU 版本只是训练更慢开发工具VS Code、Jupyter Notebook 或 PyCharm 均可4.2 安装 PyTorch 与依赖库建议先创建虚拟环境conda create -n cross_modal python3.10 -y conda activate cross_modal安装 PyTorch 时可以根据自己的显卡情况选择官网命令。如果没有特殊需求先安装 CPU 版本也能完成本文的示例。接着安装其他依赖pip install numpy matplotlib torchvision4.3 项目目录结构为了让代码更有条理我们按下面的目录组织项目cross_modal_ai/ ├── lstm_demo/ │ ├── data_utils.py │ ├── model.py │ └── train.py ├── diffusion_demo/ │ ├── ddpm.py │ ├── model.py │ ├── train.py │ └── sample.py └── cross_modal_demo/ └── README.mdLSTM 部分我们先单独跑通Diffusion 部分单独训练一个最小模型最后在跨模态部分给出组合思路和关键代码改动。5. 源码拆解先跑通一个 LSTM 股票预测示例时序建模的方向很多这里选一个直观的任务使用过去 24 个时间步的数据预测下一点。为了让示例可复现且不需要外部数据我们用正弦函数叠加随机噪声生成模拟数据。如果你想用真实股票数据只需要把数据集替换成 CSV 中的价格序列。5.1 生成模拟时间序列数据# 文件路径lstm_demo/data_utils.py import numpy as np def create_sine_dataset(seq_len24, sample_num1000): np.random.seed(42) t np.linspace(0, 8 * np.pi, sample_num) data np.sin(t) 0.05 * np.random.randn(sample_num) # Min-Max 归一化帮助模型更快收敛 min_val, max_val data.min(), data.max() data (data - min_val) / (max_val - min_val) X, y [], [] for i in range(len(data) - seq_len): X.append(data[i:i seq_len]) y.append(data[i seq_len]) X np.array(X).reshape(-1, seq_len, 1) y np.array(y).reshape(-1, 1) return X, y, min_val, max_val这里有一个关键点LSTM 的输入形状是(batch_size, seq_len, input_size)。我们设置seq_len24表示用 24 个历史点预测下一点。为什么需要归一化因为 LSTM 内部使用 tanh 和 sigmoid 激活函数对输入取值范围比较敏感。把数据缩放到 0 到 1 之间可以避免梯度计算出现极端值。5.2 定义 LSTM 预测模型# 文件路径lstm_demo/model.py import torch import torch.nn as nn class LSTMPredictor(nn.Module): def __init__(self, input_size1, hidden_size32, num_layers1): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue ) self.fc nn.Linear(hidden_size, 1) def forward(self, x): # x 形状: (batch_size, seq_len, input_size) out, (h_n, c_n) self.lstm(x) # 取最后一个时间步的输出 last_out out[:, -1, :] y_pred self.fc(last_out) return y_pred关键点在于out[:, -1, :]。out包含所有时间步的隐状态但我们做的是单点预测所以只需要最后一个时间步的信息。nn.LSTM返回的h_n, c_n是最后时刻的隐状态和细胞状态也可以用来替代out[:, -1, :]效果相似。batch_firstTrue表示输入的第一个维度是 batch。这是 PyTorch 中非常容易忽略的细节不设置的话输入形状是(seq_len, batch_size, input_size)。5.3 训练并观察损失和预测效果训练代码如下# 文件路径lstm_demo/train.py import torch import torch.nn as nn import numpy as np from data_utils import create_sine_dataset from model import LSTMPredictor X, y, min_val, max_val create_sine_dataset(seq_len24, sample_num1000) # 划分训练集和测试集 train_len int(len(X) * 0.8) X_train, y_train X[:train_len], y[:train_len] X_test, y_test X[train_len:], y[train_len:] X_train torch.tensor(X_train, dtypetorch.float32) y_train torch.tensor(y_train, dtypetorch.float32) X_test torch.tensor(X_test, dtypetorch.float32) y_test torch.tensor(y_test, dtypetorch.float32) model LSTMPredictor(input_size1, hidden_size32, num_layers1) loss_fn nn.MSELoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3) batch_size 64 epochs 100 for epoch in range(epochs): model.train() total_loss 0 for i in range(0, len(X_train), batch_size): x_batch X_train[i:i batch_size] y_batch y_train[i:i batch_size] pred model(x_batch) loss loss_fn(pred, y_batch) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() if (epoch 1) % 20 0: print(fEpoch {epoch 1}, Loss: {total_loss / (len(X_train) // batch_size):.6f}) # 测试集评估 model.eval() with torch.no_grad(): test_pred model(X_test) test_loss loss_fn(test_pred, y_test) print(fTest Loss: {test_loss.item():.6f})这个示例输出会显示一个不断下降的 MSE Loss。测试 Loss 在 0.001 左右说明模型基本学到了序列的变化规律。如果你想用真实股票数据只要把create_sine_dataset替换为自己的数据加载函数并保持输出的形状符合(batch_size, seq_len, input_size)即可。6. 源码拆解从零实现一个最小 Diffusion 图像生成模型理解了扩散模型的原理后我们直接动手实现一个可以在 MNIST 上训练出效果的最小 DDPM 示例。为了保证代码简洁我们不会写完整的 Stable Diffusion而是保留最核心的加噪、U-Net 去噪、训练和采样逻辑。MNIST 是 28x28 的灰度手写数字数据集类别为 0-9。用它训练扩散模型CPU 上也能较快跑出效果。6.1 数据准备# 文件路径diffusion_demo/data_utils.py import torch from torchvision import datasets, transforms def load_mnist(batch_size128): transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_dataset datasets.MNIST( root./data, trainTrue, transformtransform, downloadTrue ) train_loader torch.utils.data.DataLoader( train_dataset, batch_sizebatch_size, shuffleTrue ) return train_loaderNormalize((0.5,), (0.5,))会把像素值从 [0,1] 映射到 [-1,1]这是因为扩散模型假设数据分布是标准正态分布附近的分布输入范围更匹配。6.2 时间步嵌入扩散模型必须知道当前处于哪个时间步。我们使用 Transformer 中常见的正弦位置编码# 文件路径diffusion_demo/model.py import torch import torch.nn as nn import math class SinusoidalPositionEmbeddings(nn.Module): def __init__(self, dim): super().__init__() self.dim dim def forward(self, time): device time.device half_dim self.dim // 2 embeddings math.log(10000) / (half_dim - 1) embeddings torch.exp(torch.arange(half_dim, devicedevice) * -embeddings) embeddings time[:, None] * embeddings[None, :] embeddings torch.cat((embeddings.sin(), embeddings.cos()), dim-1) return embeddingstime是形状为(batch_size,)的时间步张量。输出形状是(batch_size, dim)。6.3 简化的 U-Net 去噪网络严格意义上的 U-Net 包含下采样、上采样和中间层。为了在教程里控制代码篇幅我们写一个“简化版 U-Net”它保留了核心思路先用卷积提取特征再通过几个卷积块处理最后输出与输入同形状的噪声预测图。# 文件路径diffusion_demo/model.py续 class SimpleUNet(nn.Module): def __init__(self, in_channels1, time_dim128): super().__init__() self.time_mlp nn.Sequential( SinusoidalPositionEmbeddings(time_dim), nn.Linear(time_dim, time_dim), nn.ReLU(), nn.Linear(time_dim, time_dim) ) self.conv1 nn.Conv2d(in_channels, 64, kernel_size3, padding1) self.conv2 nn.Conv2d(64, 128, kernel_size3, padding1) self.conv3 nn.Conv2d(128, 256, kernel_size3, padding1) self.conv4 nn.Conv2d(256, 128, kernel_size3, padding1) self.conv5 nn.Conv2d(128, 64, kernel_size3, padding1) self.out nn.Conv2d(64, in_channels, kernel_size1) self.act nn.ReLU() def forward(self, x, t): # x: (batch, in_channels, 28, 28) t_emb self.time_mlp(t) # (batch, time_dim) h self.act(self.conv1(x)) h self.act(self.conv2(h)) h self.act(self.conv3(h)) # 把时间嵌入通过全连接映射到通道数然后加到特征图上 t_emb t_emb[:, :, None, None] t_emb t_emb.expand(-1, -1, h.shape[2], h.shape[3]) # 这里为了演示直接把时间嵌入 broadcast 后加到 h 上 # 更严谨的做法是用 FiLM 或注意力机制 h h t_emb[:, :h.shape[1], :, :] h self.act(self.conv4(h)) h self.act(self.conv5(h)) return self.out(h)这段代码是教学演示的核心片段目的是让你理解“时间步影响生成过程”这一关键机制。工业级的 U-Net 要复杂得多包括残差连接、注意力模块、上采样层等。6.4 前向加噪与训练循环DDPM 的训练比 GAN 简单因为它不需要对抗训练。我们只需要随机采样时间步加噪并让网络预测噪声。# 文件路径diffusion_demo/ddpm.py import torch def linear_beta_schedule(timesteps1000, beta_start1e-4, beta_end0.02): return torch.linspace(beta_start, beta_end, timesteps) class DDPM: def __init__(self, timesteps1000): self.timesteps timesteps self.betas linear_beta_schedule(timesteps) self.alphas 1.0 - self.betas self.alpha_bars torch.cumprod(self.alphas, dim0) def q_sample(self, x_0, t, noiseNone): 前向加噪x_t sqrt(alpha_bar_t) * x_0 sqrt(1 - alpha_bar_t) * noise if noise is None: noise torch.randn_like(x_0) sqrt_alpha_bar torch.sqrt(self.alpha_bars[t])[:, None, None, None] sqrt_one_minus_alpha_bar torch.sqrt(1 - self.alpha_bars[t])[:, None, None, None] return sqrt_alpha_bar * x_0 sqrt_one_minus_alpha_bar * noise, noise训练循环# 文件路径diffusion_demo/train.py import torch import torch.nn as nn from data_utils import load_mnist from model import SimpleUNet from ddpm import DDPM device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader load_mnist(batch_size128) ddpm DDPM(timesteps1000) model SimpleUNet(in_channels1).to(device) optimizer torch.optim.Adam(model.parameters(), lr2e-4) loss_fn nn.MSELoss() epochs 20 model.train() for epoch in range(epochs): total_loss 0 for x_0, _ in train_loader: x_0 x_0.to(device) batch_size_now x_0.shape[0] t torch.randint(0, ddpm.timesteps, (batch_size_now,), devicedevice) noise torch.randn_like(x_0) x_t, noise ddpm.q_sample(x_0, t, noise) predicted_noise model(x_t, t) loss loss_fn(predicted_noise, noise) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch 1}, Loss: {total_loss / len(train_loader):.6f})t是随机采样的所以每个 batch 会有不同的噪声强度。网络在同一个模型里要处理不同程度的噪声这是扩散模型训练最重要的设计。6.5 采样生成训练完成后我们要从纯噪声出发逐步去噪生成图像。下面实现 DDPM 的采样过程# 文件路径diffusion_demo/sample.py import torch from model import SimpleUNet from ddpm import DDPM from torchvision.utils import save_image torch.no_grad() def sample(model, ddpm, num_images16, img_size28, devicecpu): model.eval() x_t torch.randn(num_images, 1, img_size, img_size).to(device) for t in reversed(range(ddpm.timesteps)): t_tensor torch.full((num_images,), t, devicedevice, dtypetorch.long) predicted_noise model(x_t, t_tensor) alpha ddpm.alphas[t][:, None, None, None] alpha_bar ddpm.alpha_bars[t][:, None, None, None] beta ddpm.betas[t][:, None, None, None] # 计算均值 mean (1 / torch.sqrt(alpha)) * ( x_t - (beta / torch.sqrt(1 - alpha_bar)) * predicted_noise ) if t 0: noise torch.randn_like(x_t) sigma torch.sqrt(beta) x_t mean sigma * noise else: x_t mean # 把 [-1,1] 映射到 [0,1] x_t (x_t.clamp(-1, 1) 1) / 2 save_image(x_t, generated.png, nrow4) print(Saved generated.png) if __name__ __main__: device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleUNet().to(device) # 这里需要加载训练好的权重 model.load_state_dict(torch.load(ddpm_model.pth, map_locationdevice)) sample(model, DDPM(timesteps1000), devicedevice)训练多轮后generated.png里会出现类似手写数字的模糊图案。如果只是训练 1-2 轮效果会比较噪训练 20 轮左右MNIST 上就能出现可辨识的数字轮廓。7. 跨模态组合LSTM 编码时序条件Diffusion 生成对应图像7.1 为什么需要条件生成无条件的 Diffusion 生成结果是随机的你无法控制它生成“数字 3”还是“数字 7”。为了让生成内容可控我们必须在去噪过程中加入条件信息。条件可以是类别标签、文本向量、图像特征也可以是时序特征。当我们把 LSTM 编码得到的向量作为条件注入扩散模型时就实现了“输入一段序列生成一张对应的图像”的跨模态能力。7.2 用 LSTM 提取时序特征的两种方式第一种方式是直接使用 LSTM 最后一个时间步的隐状态作为整体序列特征。这种方式适合“整段序列对应一张图”的场景比如根据一段心电图信号生成心脏图像。第二种方式是使用注意力机制把 LSTM 所有时间步的输出加权求和。这种方式适合“序列中不同位置对生成结果的影响不同”的场景比如生成人体动作图像时某些关键帧更重要。代码层面的差异如下# 直接取最后一步 seq_feat lstm_out[:, -1, :] # (batch, hidden_size) # 使用注意力加权 attn_weights torch.softmax(attn_linear(lstm_out), dim1) seq_feat torch.sum(attn_weights * lstm_out, dim1) # (batch, hidden_size)7.3 一个可行的跨模态训练流程假设我们要实现的任务是输入一段长度为 24 的传感器序列生成一张表示系统状态的 28x28 灰度图像。整体流程如下LSTM 编码阶段输入序列(batch, 24, 1)得到特征seq_feat (batch, hidden_size)。条件映射阶段用一个全连接层把seq_feat映射到与时间嵌入相同的维度。扩散生成阶段把条件向量与时间步嵌入合并作为 U-Net 的输入条件。损失函数预测噪声的 MSE Loss与无条件扩散模型一致。7.4 代码层面的关键改动在之前的SimpleUNet中我们只是简单地把时间嵌入加到特征图上。要加入 LSTM 条件需要把条件向量拼接到时间嵌入后或者用 FiLM 方式对特征图进行缩放和平移。这里给出一个关键改动示例需要注意这是核心片段需要放入对应文件中调整class ConditionalUNet(nn.Module): def __init__(self, cond_dim32, time_dim128): super().__init__() self.time_mlp nn.Sequential( SinusoidalPositionEmbeddings(time_dim), nn.Linear(time_dim, time_dim), nn.ReLU(), nn.Linear(time_dim, time_dim), ) # 把 LSTM 特征映射到 time_dim self.cond_proj nn.Linear(cond_dim, time_dim) # 你的卷积层定义... def forward(self, x, t, cond): # cond 来自 LSTM: (batch, cond_dim) t_emb self.time_mlp(t) c_emb self.cond_proj(cond) # 按元素相加让条件影响整个去噪过程 cond_emb t_emb c_emb # 后续网络使用 cond_emb 代替原来的 t_emb # ...训练时把每段序列先过 LSTM 得到cond再过扩散模型seq torch.randn(batch_size, 24, 1) # 示例输入序列 cond lstm_encoder(seq) # (batch, cond_dim) x_t, noise ddpm.q_sample(x_0, t) pred_noise conditional_unet(x_t, t, cond) loss loss_fn(pred_noise, noise)这个结构虽然简化但你已经掌握了跨模态生成的核心思路先把时序信号压缩成条件向量再把条件向量注入扩散模型的去噪网络。至于条件注入方式可以用相加、FiLM、交叉注意力等更复杂的机制这是工程调优的后续方向。8. 常见问题与排查思路训练这类模型时大家容易遇到下面几个问题。我整理了一个排查表问题现象常见原因解决思路LSTM Loss 不下降学习率过高/过低或数据未归一化检查学习率确认输入数据已归一化尝试减小 batch sizeLSTM 预测结果滞后真实值一拍模型偏向于复制上一步值窗口太短增大seq_len或使用注意力机制强化关键时间步Diffusion 训练 Loss 下降很慢时间步嵌入维度不足或网络太浅增大time_dim增加卷积层和通道数生成图像全是噪声训练轮数不足或采样步数太少增加训练 epoch或提高采样步数检查加噪公式是否正确生成图像模糊但有轮廓U-Net 表达能力不够或没有使用跳连换成标准 U-Net 结构添加上采样层和跳连显存不足batch size 太大或图像分辨率太高降低 batch size使用梯度累积降采样图像梯度爆炸模型结构深或学习率过高使用梯度裁剪如clip_grad_norm_(model.parameters(), 1.0)组合模型训练时梯度无法回传到 LSTM扩散模型直接使用cond.detach()去掉detach()让梯度可以反向传播到 LSTM9. 最佳实践与工程建议9.1 数据与预处理时序数据标准化LSTM 对输入尺度敏感建议先做 Min-Max 归一化或 Z-score 标准化。训练集/测试集划分不能随机洗牌时序数据有先后顺序随机洗牌会引入未来信息泄漏导致评估失真。图像数据要归一化到 [-1,1]扩散模型通常在这个范围内效果最好。9.2 模型训练稳定性设置固定随机种子保证结果可复现import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed)使用梯度裁剪防止 RNN 梯度爆炸。Diffusion 训练建议使用学习率调度器例如余弦退火。有条件时使用 EMA指数移动平均保存模型权重通常能提升生成质量。9.3 工程化相关配置外置把序列长度、batch size、学习率、扩散步数等都写到 YAML 配置文件里方便实验对比。日志记录记录每个 epoch 的 Loss、学习率和显卡占用推荐使用 TensorBoard。模型保存与恢复保存state_dict时要同时保存配置和归一化参数否则推理时容易出问题。设备管理代码里统一使用device变量避免在 CPU/GPU 之间出现张量设备不一致的报错。9.4 合规与安全下载预训练权重时请使用官方或可信来源不要使用破解版、非官方整合包避免引入恶意代码和版权风险。生成图像前注意版权与平台规定。不要用生成模型制作虚假信息、冒充他人或绕过平台水印。很多平台对生成内容有明确标识要求生产环境落地时务必遵守。10. 总结与下一步学习路线到这里我们完整梳理了 LSTM 与 Diffusion Model 的核心原理并跑通了两个最小示例一个用于时序预测的 LSTM 模型一个用于图像生成的 DDPM。最后的跨模态组合演示展示了如何把 LSTM 编码的序列特征作为条件注入去噪网络实现“序列 图像”的跨模态生成。如果你从零开始接触这部分内容建议按下面的路线继续深入把本文的 LSTM 示例换到真实数据集上比如股票、电力负荷或传感器数据理解窗口长度、批大小和归一化对结果的影响。把本文的简单 U-Net 替换为标准 U-Net加入残差连接、注意力机制和上采样层在 CIFAR-10 上训练一个更完整的 DDPM。阅读 DDPM 原论文Denoising Diffusion Probabilistic Models重点理解公式推导和采样过程。研究 DDIM 和 DPM-Solver掌握加速采样的方法。阅读 Classifier-Free Guidance 原论文理解条件控制的细节。参考 Stable Diffusion 系列论文理解 CLIP 文本编码器、VAE 和 U-Net 是如何协同工作的。最后再回头做跨模态组合可以参考人体动作生成、医学图像跨模态生成、Diffusion Policy 等方向的最新论文。动手永远比只看书有效。建议你先跑通本文的两个独立示例再进行组合改造。遇到报错不要慌先确认版本、数据形状和设备是否一致再逐层排查。如果本文对你有帮助可以收藏备用也可以分享给正在学习时序建模和扩散模型的朋友。下一篇我打算拆解一个更完整的 Stable Diffusion 系列源码包括文本编码、VAE 和采样器的工程实现欢迎持续关注。