尧图网页设计 
简介面向人工智能音乐创作者与深度学习研究者这份基于 Bi-LSTM 与 CNN-GAN 的 Python/Jupyter 项目包完整覆盖了从 MIDI 数据预处理、模型构建训练到古典音乐风格生成与效果评估的端到端流程主要面向巴洛克、古典、浪漫与现代主义四个时代并通过音高直方图、FID 分数、最近邻及人工调查等指标分别与集体评估生成效果。资源共 1516 个文件压缩包约 62.49MB包含 1494 个 MIDI 乐谱文件、4 个 Python 脚本、3 个 Jupyter 笔记本预处理、最近邻、FID 评估、4 个 Markdown 说明文档以及巴洛克、古典、浪漫、现代主义与贝多芬风格笔记和 PDF 参考资料目录结构清晰便于按模块查阅。已有 480 人学习下载。下载后可获得可直接运行的建模与评估代码、完整 MIDI 数据集以及 README 提供的数据处理、训练调参、评价方法和 MuseScore 播放/转 mp3 指引适合希望将生成对抗网络和循环神经网络落地到音乐生成任务的中高级学习者参考实践。1. 构建 Bi-LSTM 和 CNN-GAN 模型创作时代化古典音乐难点不在模型堆叠标题里的任务可以拆成两句话用 CNN-GAN 把“某个时代听起来像什么”画成钢琴卷帘再用 Bi-LSTM 把“时间上顺不顺”管起来。直接生成 MIDI 事件流会让模型面对长度和时值双不确定性问题反过来把每个音符变成一个 0/1 格子音乐就成了高 84、宽几十步的矩阵生成问题就变成了带标签的图像生成问题。巴赫的复调句法、莫扎特规整的终止式、肖邦的装饰音、德彪西的平行和弦最终都落在音符密度、音高分布和和声节奏这些可计算的量上。这套方案适合手上有 MIDI 数据集、想在 Jupyter Notebook 里跑通完整代码做实验的算法工程师也适合需要快速验证“风格条件生成”思路的研究者。用标签 embedding 做条件控制、用损失权重控制风格强度全程不涉及音频层面的合成单卡就能训练。下面从表示方式讲起逐步落到可复现的 Python 代码上。2. 为什么是 Bi-LSTM CNN-GAN古典音乐生成的两个核心问题CNN-GAN 擅长生成结构上合理的东西但它默认处理的是固定尺寸的网格Bi-LSTM 擅长发现序列中的长程依赖可它不擅长直接生成一张有空间关系的图。把两者拼起来之前先要清楚古典音乐在建模时到底需要哪种“结构感”。2.1 钢琴卷帘把音乐变成二维矩阵才让 CNN-GAN 有了用武之地MIDI 是一串事件流note_on、note_off、时间偏移、力度。事件流的问题在于序列长度随时间变化同一时刻可能有多个音同时发声写成文本序列后很难处理“多音同时开始、不同时长结束”的对齐关系。比较直观的替代方案是钢琴卷帘piano roll矩阵行是音高列是时间格子里的数值表示这个音是否正在发声。用 pretty_midi 读取 MIDI 时get_piano_roll(fs4)可以把每首曲子按每四分音符 4 个十六分音符的分辨率重采样成二维矩阵。常见参数是pitch_start24、pitch_num84即覆盖 MIDI 音符 24 到 107约 7 个八度。训练前把矩阵切成固定长度片段得到形状(batch, time_steps, pitch_num)。如果采样率提高到fs8切同样时长的片段会让 time_steps 翻倍模型参数和显存占用都会随之上涨如果降到fs2三十二分音符和短倚音这类装饰性细节会被抹掉巴洛克和浪漫主义时期的区别会变模糊。图像化之后卷积核天然适合捕捉相邻音高上的同时发音关系比如密集的和弦纹理转置卷积可以把低维噪声张量逐步上采样成一张完整的钢琴卷帘。这也是为什么后面生成器直接用 CNN而不是一层层去预测下一个音符。2.2 双向 LSTM 处理“回声式”的和声依赖双向不能解决在线生成LSTM 在音乐生成里通常被当成自回归解码器一个时间步接一个时间步地预测下一个音。但这里用 Bi-LSTM 的目的是“理解”而不是“生成”判断一段旋律是否属于某个时代需要同时参考前文和后文。典型的例子是古典时期的终止式 V-I 进行前一个和弦决定了后一个和弦该落在哪而后一个和弦出现后乐句的重音位置和时值组合反过来让人判断前一个和弦是半终止还是正格终止。单向 LSTM 只能记住前面已经发生的事件对后续事件的依赖无能为力。Bi-LSTM 在 PyTorch 里只需要设置bidirectionalTrue输出维度会翻倍便于把两个方向的隐层拼接起来。但它有个限制训练时它能看到完整片段推理时也必须有完整片段没法像自回归模型那样一个音符一个音符地流式生成。所以这个架构里的常见分工是生成靠 GAN监督靠 Bi-LSTM而不是让 Bi-LSTM 去逐音生成。bidirectionalTrue之后有一个容易踩的坑如果直接取最后一个时间步的隐层作为整段音乐的表征得到的只是正向末尾和反向开头两个点的信息前半段的大量细节都被丢弃了。保险的做法是对所有时间步做 mean pooling 或 max pooling再送入分类头。2.3 时代风格条件化的三种做法与选择要让一个模型生成“不同时代”的音乐风格标签必须参与生成和判别两个过程。有三种常见接法条件化方式注入位置优点需要注意的问题标签 embedding 拼接生成器输入噪声向量后拼接实现最简单训练稳定风格信息容易和噪声纠缠类别间可能混叠AC-GAN 式辅助分类判别器额外输出一个风格分类头风格信号直接参与对抗训练时代区分更明显分类权重太大会挤压真假判别导致生成纹理粗糙特征匹配/感知损失用 Bi-LSTM 中间特征做 MSE 约束能缓解模式坍缩风格过渡更连续需要额外网络显存和调参成本增加我一般把 AC-GAN 辅助分类和特征匹配一起用主判别器判断真假的同时给出风格分类另一条旁路用训练好的 Bi-LSTM 提取真实样本和生成样本的特征做回归对齐。这样风格条件不会只停留在输入层而是深入到监督信号里。具体损失分配在第 4 章讲训练循环时展开。2.4 环境依赖在 Python 虚拟环境里安装 PyTorch 与 Jupyter正式写模型前先把运行环境确定下来。这个项目不涉及音频文件解码依赖并不多比较干净python -m venv .venv source .venv/bin/activate pip install --upgrade pip pip install torch pretty_midi numpy pandas matplotlib jupyterlabpretty_midi负责 MIDI 读取和回写matplotlib用来可视化钢琴卷帘pytorch承担模型定义和训练。如果你是在找 python 安装教程或者 Jupyter Notebook 安装步骤上面这段已经足够跑通整个项目如果希望代码全部在浏览器里编辑装完jupyterlab后执行jupyter lab就能打开交互界面。这里有两个常见问题一是 torch 装到了系统 Python 而 Jupyter 内核用的是虚拟环境两者互相找不到二是pretty_midi依赖numpy先装numpy2再装pretty_midi有时会有版本冲突建议把依赖一次性安装。3. 用 Python 把不同时代的 MIDI 预处理成训练张量模型结构决定上限数据决定模型能学到什么。这一步的目标是把巴赫、莫扎特、肖邦、德彪西的 MIDI 文件统一成形状相同的张量并准备好风格标签。处理过程中要尽量保留装饰音和踏板效果又不能让矩阵过于稀疏。3.1 用 pretty_midi 将 MIDI 读入并按 16 分音符量化切块训练不需要整首曲子的完整长度一个乐句长度通常 8 拍也就是 32 个 16 分音符时间步。下面这个函数把 MIDI 文件按片段切分输出(time_steps, pitch_num)的 0/1 矩阵import numpy as np import pretty_midi def midi_to_clips(path, fs4, pitch_start24, pitch_num84, beats_per_clip8, min_density0.02): midi pretty_midi.PrettyMIDI(path) clips [] for inst in midi.instruments: if inst.is_drum: continue roll inst.get_piano_roll(fsfs) # 行是音高列是时间 roll roll[pitch_start:pitch_start pitch_num, :] clip_len fs * beats_per_clip # 4 * 8 32 个时间步 for start in range(0, roll.shape[1] - clip_len 1, clip_len): clip roll[:, start:start clip_len] clip (clip 0).astype(np.float32) clip clip.T # (time, pitch) if clip.mean() min_density: # 滤掉全空白片段 clips.append(clip) return np.stack(clips)fs4表示每四分音符 4 个采样点相当于十六分音符网格。get_piano_roll返回的矩阵行是音高列是时间转置后变成 (time, pitch) 是为了符合后面模型里时间步在前的使用习惯。min_density0.02过滤掉休止符过多的片段这类片段对和声学习的贡献很小。注意这段函数没有做力度归一化二值化后会丢失音量信息对风格学习影响不大因为古典时期的强弱更多由织体决定而不是单音力度。3.2 时代标签映射、按作曲家划分数据避免类别泄漏训练标签按时代分成四类每类对应一个整数。算上风格编码映射关系如下style_idx时代典型特征示例作曲家0巴洛克复调织体、持续低音、装饰音密集巴赫、亨德尔1古典主义规整乐句、主调织体、和弦伴奏莫扎特、海顿2浪漫主义旋律宽广、和声半音化、钢琴织体丰富肖邦、李斯特3现代/印象派全音阶、平行和弦、模糊调性德彪西、拉威尔划分训练集和验证集时尽量不要按文件名随机切分而是按作曲家分组。同一首曲子的多个片段极其相似随机切分会让验证集分数虚高。类别不平衡是这个项目最常见的坑浪漫主义时期的 MIDI 数量远多于巴洛克训练时用WeightedRandomSampler按类别权重采样比修改损失函数更直接。3.3 在 Jupyter Notebook 里可视化检查每个时代的钢琴卷帘数据准备好之后应该先花一分钟看图而不是直接开训练import matplotlib.pyplot as plt fig, axes plt.subplots(1, 4, figsize(16, 4)) for idx, style_name in enumerate([baroque, classical, romantic, modern]): sample clips_by_style[style_name][0].T # (pitch, time) axes[idx].imshow(sample, aspectauto, originlower, cmapmagma) axes[idx].set_title(style_name) axes[idx].set_xlabel(time step) axes[idx].set_ylabel(pitch) plt.tight_layout() plt.show()originlower让低音区显示在图片下方符合读谱习惯。四种时代最直观的区别是图像纹理巴洛克片段里多根旋律线同时横向延伸出现多条平行横线古典主义片段能看到明显的旋律在上、和弦伴奏在下的分区浪漫主义在伴奏区出现更密集的连续八度现代作品则常有整体较宽的音块移动。如果你在 Jupyter Notebook 里执行这段单元格没有任何反应先确认有没有运行过%matplotlib inline再检查内核是否还连着虚拟环境。3.4 统计音符密度与音高范围为训练调参做基线训练前记录数据统计量训练中随时对比能防止模型生成出密度完全离谱的东西def clip_stats(clip): density clip.mean() active_pitches np.where(clip.max(axis0) 0)[0] pitch_range active_pitches.max() - active_pitches.min() return density, pitch_range for style_idx, clips in grouped_clips.items(): densities [clip_stats(c)[0] for c in clips] print(style_idx, np.mean(densities), np.std(densities))每个时代的平均音符密度会明显不同复调织体的片段往往伴奏声部持续发音密度更高浪漫主义抒情旋律片段则有大量留白。这些数字在训练时用来判断生成样本是否落到合理区间。如果生成片段密度只有真实数据的一半第一反应不应该是调损失函数而是先看生成器的 Sigmoid 输出是不是被压到了接近 0 的位置。4. 搭建 CNN-GAN 与 Bi-LSTM 联合训练模型模型的核心是三个模块条件生成器、辅助分类判别器、Bi-LSTM 风格监督网络。生成器负责合成钢琴卷帘判别器既要分辨真假也要判断时代Bi-LSTM 则用特征匹配损失把生成样本往真实样本的时间结构上拉近。4.1 生成器标签 embedding 与转置卷积的拼接写法生成器接收一个噪声向量z和风格标签标签先经过 embedding 层转成向量再和噪声拼接。这样做比 one-hot 直接拼接多一层可学习的映射风格之间可以有共享的语义空间import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, z_dim128, num_styles4, embed_dim16, base64, time_steps32, pitch_num84): super().__init__() self.embed nn.Embedding(num_styles, embed_dim) self.fc nn.Linear(z_dim embed_dim, base * 8 * 4 * 4) self.deconv nn.Sequential( nn.ConvTranspose2d(base * 8, base * 4, 4, 2, 1), nn.BatchNorm2d(base * 4), nn.ReLU(True), nn.ConvTranspose2d(base * 4, base * 2, 4, 2, 1), nn.BatchNorm2d(base * 2), nn.ReLU(True), nn.ConvTranspose2d(base * 2, base, 4, 2, 1), nn.BatchNorm2d(base), nn.ReLU(True), ) self.head nn.Sequential( nn.Conv2d(base, 1, 3, padding1), nn.Sigmoid() ) self.time_steps time_steps self.pitch_num pitch_num def forward(self, z, style): style_emb self.embed(style) x torch.cat([z, style_emb], dim1) x self.fc(x).view(x.size(0), -1, 4, 4) x self.deconv(x) x nn.functional.interpolate( x, size(self.time_steps, self.pitch_num), modebilinear, align_cornersFalse ) return self.head(x)转置卷积把特征图从 4x4 逐步放大到 32x32最后用插值统一到 (32, 84)避免因音高数 84 不是 2 的幂导致尺寸对不上的问题。Sigmoid把输出压到 0~1 之间和真实钢琴卷帘的二值分布有差异但这样的软取值可以表示模型对“这个音是否发声”的置信度。embed_dim一般取 16 到 32太小装不下四个时代的差异太大容易和噪声结合后过拟合到训练集的特定片段。4.2 判别器与 Bi-LSTM 风格监督网络判别器沿用 DCGAN 风格卷积层逐步下采样末端分成两个头。另一个分支的 Bi-LSTM 网络对真实和生成样本提取特征不直接参与真假判别而是给生成器提供一个时间维度的特征对齐目标class Discriminator(nn.Module): def __init__(self, num_styles4): super().__init__() self.conv nn.Sequential( nn.Conv2d(1, 32, 4, 2, 1), nn.LeakyReLU(0.2), nn.Conv2d(32, 64, 4, 2, 1), nn.LeakyReLU(0.2), nn.Conv2d(64, 128, 4, 2, 1), nn.LeakyReLU(0.2), nn.Conv2d(128, 256, 4, 2, 1), nn.LeakyReLU(0.2), ) self.real_head nn.Linear(256 * 2 * 2, 1) self.style_head nn.Linear(256 * 2 * 2, num_styles) def forward(self, x): h self.conv(x) h h.view(h.size(0), -1) return self.real_head(h), self.style_head(h) class StyleCritic(nn.Module): def __init__(self, pitch_num84, hidden256, num_styles4): super().__init__() self.lstm nn.LSTM( input_sizepitch_num, hidden_sizehidden, num_layers2, batch_firstTrue, bidirectionalTrue, dropout0.2 ) self.classifier nn.Sequential( nn.Linear(hidden * 2, 128), nn.ReLU(), nn.Linear(128, num_styles) ) def forward(self, x): out, _ self.lstm(x) # (B, T, 2*hidden) feat out.mean(dim1) # 时间步池化 return self.classifier(feat), featStyleCritic输入是(batch, time_steps, pitch_num)每个时间步的特征是 84 维的音高向量。LSTM 输出用mean(dim1)做平均而不是取最后一步。原因在 2.2 里提过双向 LSTM 的最后一步只有正向末尾和反向开头的信息对整段音乐的表征而言偏差过大。dropout0.2只作用于多层 LSTM 的层间连接不会影响单层网络的稳定性。4.3 训练循环里三个损失的权重怎么配训练采用 Hinge loss 作为对抗损失并叠加风格分类损失和特征匹配损失z_dim 128 G Generator(z_dim) D Discriminator() S StyleCritic() opt_g torch.optim.Adam(G.parameters(), lr2e-4, betas(0.5, 0.999)) opt_d torch.optim.Adam(D.parameters(), lr2e-4, betas(0.5, 0.999)) for epoch in range(200): for real, style in loader: batch real.size(0) z torch.randn(batch, z_dim) fake G(z, style) # 判别器Hinge 风格分类 real_score, style_real D(real) fake_score, _ D(fake.detach()) d_loss (torch.mean(nn.functional.relu(1 - real_score)) torch.mean(nn.functional.relu(1 fake_score))) d_style nn.CrossEntropyLoss()(style_real, style) d_total d_loss 0.3 * d_style opt_d.zero_grad() d_total.backward() opt_d.step() # 生成器对抗 风格 Bi-LSTM 特征匹配 fake_score, style_fake D(fake) g_adv -torch.mean(fake_score) g_style nn.CrossEntropyLoss()(style_fake, style) _, feat_fake S(fake.squeeze(1)) _, feat_real S(real.squeeze(1)) g_feat nn.functional.mse_loss(feat_fake, feat_real) g_total g_adv 0.5 * g_style 10.0 * g_feat opt_g.zero_grad() g_total.backward() opt_g.step()损失权重来自经验值0.3保证判别器不会为了风格分类牺牲真假判断生成器侧0.5让风格约束足够强但不超过对抗主导特征匹配的10.0在三者中偏高它像一个平滑的“蒸馏信号”防止生成器在低维流形上钻牛角尖。特征匹配权重建议从 1.0 起步往上调过大会导致生成的片段在 Bi-LSTM 特征空间贴近真实样本但钢琴卷帘图像本身模糊不清。完整训练超参数可以参照下面这张表参数取值说明z_dim128噪声维度过小模式单一过大难以收敛embed_dim16风格标签向量的维度batch_size32显存不足时降到 16 并相应调低学习率lr2e-4Adam 适用于 GAN 的常用取值betas(0.5, 0.999)第二项取 0.5 能减少训练震荡训练轮数200数据集小时 100 轮就能看到明显风格差异梯度裁剪5.0可加在backward()后防止 LSTM 梯度爆炸4.4 训练中的模式坍缩信号与参数止损模式坍缩最直观的信号不是损失值变小而是同一时代下不同歧义样本的生成结果越来越像。每隔几个 epoch 用同一组噪声加不同风格标签各生成一批片段统计它们两两之间的平均余弦相似度这个值持续上升就要注意了。另一个信号是生成样本的钢琴卷帘密度突然暴跌说明生成器找到了一个“让判别器放松警惕”的稀疏空白区。止损手段有三个优先级先把判别器的更新频率改成比生成器多一次让判别器保持足够强的分辨能力然后降低特征匹配损失权重从 10.0 降到 3.0让生成器有更多自由探索空间最后考虑给真实样本加轻微高斯噪声破坏判别器对训练集的过拟合。一般来说前两个手段能解决大部分坍缩问题。5. 生成结果评估、MIDI 导出与 Jupyter 代码整理训练完成后需要一套客观验证方法而不是只靠耳朵听。这里用训练好的StyleCritic给生成样本打分再把它导出成 MIDI 文件最后整理成可以下载复现的 Notebook。5.1 用风格熵和音符密度做量化验证def evaluate_generation(G, S, z_dim, num_samples256): z torch.randn(num_samples, z_dim) style torch.randint(0, 4, (num_samples,)) with torch.no_grad(): fake G(z, style) probs, _ S(fake.squeeze(1)) probs torch.softmax(probs, dim-1) ent -(probs * torch.log(probs 1e-8)).sum(-1) density fake.mean(dim(1, 2)) return ent.mean().item(), density.mean().item()风格熵反映模型对生成样本时代归属的犹豫程度。真实样本的风格熵通常在 0.3 以下生成样本如果超过 0.8说明风格条件没有真正生效此时要回看 4.3 里的g_style权重而不是盲目加大训练轮数。音符密度则用来和 3.4 算出的真实数据基线对比偏离 20% 以上时需要检查生成器输出层的偏置。5.2 把钢琴卷帘写回 MIDI 并渲染成音频生成结果是 (time, pitch) 的二值矩阵写回 MIDI 时按列扫描每个音高上连续的“1”段落每个段落就是一个音符import pretty_midi def roll_to_midi(roll, fs4, pitch_start24, tempo120, program0): midi pretty_midi.PrettyMIDI(initial_tempotempo) inst pretty_midi.Instrument(programprogram) time_per_step 60.0 / tempo / fs for pitch_idx in range(roll.shape[1]): col np.where(roll[:, pitch_idx] 0.5)[0] if len(col) 0: continue splits np.split(col, np.where(np.diff(col) ! 1)[0] 1) for seg in splits: note pretty_midi.Note( velocity90, pitchpitch_start pitch_idx, startseg[0] * time_per_step, end(seg[-1] 1) * time_per_step ) inst.notes.append(note) midi.instruments.append(inst) midi.write(generated.mid)np.diff(col) ! 1找到断开点把连续的 1 切分成多个音符end加一个时间步是为了避免零时长音符。program0是钢琴音色tempo120决定每秒对应多少拍。渲染成音频时用fluidsynth配合一个 SoundFont 即可这一步和训练无关只用于试听。5.3 固定随机种子与依赖清单让下载代码可复现发布 Jupyter Notebook 前在第一个单元格里固定所有随机源同时约定requirements.txtpip freeze requirements.txt再补一条导出命令把 Notebook 转成 HTML 方便不带 Python 环境的读者直接看结果jupyter nbconvert --to html train.ipynbtrain.ipynb里除了模型代码还建议保留 3.3 的可视化图、4.3 训练循环的损失曲线以及 5.2 生成的generated.mid文件路径。这样下载代码的人可以在不跑训练的情况下用导出的 HTML 先看效果再决定是否重新训练。本文还有配套的精品资源点击获取 Bi-LSTM与CNN-GAN生成时代化古典音乐：从钢琴卷帘到MIDI实现
简介面向人工智能音乐创作者与深度学习研究者这份基于 Bi-LSTM 与 CNN-GAN 的 Python/Jupyter 项目包完整覆盖了从 MIDI 数据预处理、模型构建训练到古典音乐风格生成与效果评估的端到端流程主要面向巴洛克、古典、浪漫与现代主义四个时代并通过音高直方图、FID 分数、最近邻及人工调查等指标分别与集体评估生成效果。资源共 1516 个文件压缩包约 62.49MB包含 1494 个 MIDI 乐谱文件、4 个 Python 脚本、3 个 Jupyter 笔记本预处理、最近邻、FID 评估、4 个 Markdown 说明文档以及巴洛克、古典、浪漫、现代主义与贝多芬风格笔记和 PDF 参考资料目录结构清晰便于按模块查阅。已有 480 人学习下载。下载后可获得可直接运行的建模与评估代码、完整 MIDI 数据集以及 README 提供的数据处理、训练调参、评价方法和 MuseScore 播放/转 mp3 指引适合希望将生成对抗网络和循环神经网络落地到音乐生成任务的中高级学习者参考实践。1. 构建 Bi-LSTM 和 CNN-GAN 模型创作时代化古典音乐难点不在模型堆叠标题里的任务可以拆成两句话用 CNN-GAN 把“某个时代听起来像什么”画成钢琴卷帘再用 Bi-LSTM 把“时间上顺不顺”管起来。直接生成 MIDI 事件流会让模型面对长度和时值双不确定性问题反过来把每个音符变成一个 0/1 格子音乐就成了高 84、宽几十步的矩阵生成问题就变成了带标签的图像生成问题。巴赫的复调句法、莫扎特规整的终止式、肖邦的装饰音、德彪西的平行和弦最终都落在音符密度、音高分布和和声节奏这些可计算的量上。这套方案适合手上有 MIDI 数据集、想在 Jupyter Notebook 里跑通完整代码做实验的算法工程师也适合需要快速验证“风格条件生成”思路的研究者。用标签 embedding 做条件控制、用损失权重控制风格强度全程不涉及音频层面的合成单卡就能训练。下面从表示方式讲起逐步落到可复现的 Python 代码上。2. 为什么是 Bi-LSTM CNN-GAN古典音乐生成的两个核心问题CNN-GAN 擅长生成结构上合理的东西但它默认处理的是固定尺寸的网格Bi-LSTM 擅长发现序列中的长程依赖可它不擅长直接生成一张有空间关系的图。把两者拼起来之前先要清楚古典音乐在建模时到底需要哪种“结构感”。2.1 钢琴卷帘把音乐变成二维矩阵才让 CNN-GAN 有了用武之地MIDI 是一串事件流note_on、note_off、时间偏移、力度。事件流的问题在于序列长度随时间变化同一时刻可能有多个音同时发声写成文本序列后很难处理“多音同时开始、不同时长结束”的对齐关系。比较直观的替代方案是钢琴卷帘piano roll矩阵行是音高列是时间格子里的数值表示这个音是否正在发声。用 pretty_midi 读取 MIDI 时get_piano_roll(fs4)可以把每首曲子按每四分音符 4 个十六分音符的分辨率重采样成二维矩阵。常见参数是pitch_start24、pitch_num84即覆盖 MIDI 音符 24 到 107约 7 个八度。训练前把矩阵切成固定长度片段得到形状(batch, time_steps, pitch_num)。如果采样率提高到fs8切同样时长的片段会让 time_steps 翻倍模型参数和显存占用都会随之上涨如果降到fs2三十二分音符和短倚音这类装饰性细节会被抹掉巴洛克和浪漫主义时期的区别会变模糊。图像化之后卷积核天然适合捕捉相邻音高上的同时发音关系比如密集的和弦纹理转置卷积可以把低维噪声张量逐步上采样成一张完整的钢琴卷帘。这也是为什么后面生成器直接用 CNN而不是一层层去预测下一个音符。2.2 双向 LSTM 处理“回声式”的和声依赖双向不能解决在线生成LSTM 在音乐生成里通常被当成自回归解码器一个时间步接一个时间步地预测下一个音。但这里用 Bi-LSTM 的目的是“理解”而不是“生成”判断一段旋律是否属于某个时代需要同时参考前文和后文。典型的例子是古典时期的终止式 V-I 进行前一个和弦决定了后一个和弦该落在哪而后一个和弦出现后乐句的重音位置和时值组合反过来让人判断前一个和弦是半终止还是正格终止。单向 LSTM 只能记住前面已经发生的事件对后续事件的依赖无能为力。Bi-LSTM 在 PyTorch 里只需要设置bidirectionalTrue输出维度会翻倍便于把两个方向的隐层拼接起来。但它有个限制训练时它能看到完整片段推理时也必须有完整片段没法像自回归模型那样一个音符一个音符地流式生成。所以这个架构里的常见分工是生成靠 GAN监督靠 Bi-LSTM而不是让 Bi-LSTM 去逐音生成。bidirectionalTrue之后有一个容易踩的坑如果直接取最后一个时间步的隐层作为整段音乐的表征得到的只是正向末尾和反向开头两个点的信息前半段的大量细节都被丢弃了。保险的做法是对所有时间步做 mean pooling 或 max pooling再送入分类头。2.3 时代风格条件化的三种做法与选择要让一个模型生成“不同时代”的音乐风格标签必须参与生成和判别两个过程。有三种常见接法条件化方式注入位置优点需要注意的问题标签 embedding 拼接生成器输入噪声向量后拼接实现最简单训练稳定风格信息容易和噪声纠缠类别间可能混叠AC-GAN 式辅助分类判别器额外输出一个风格分类头风格信号直接参与对抗训练时代区分更明显分类权重太大会挤压真假判别导致生成纹理粗糙特征匹配/感知损失用 Bi-LSTM 中间特征做 MSE 约束能缓解模式坍缩风格过渡更连续需要额外网络显存和调参成本增加我一般把 AC-GAN 辅助分类和特征匹配一起用主判别器判断真假的同时给出风格分类另一条旁路用训练好的 Bi-LSTM 提取真实样本和生成样本的特征做回归对齐。这样风格条件不会只停留在输入层而是深入到监督信号里。具体损失分配在第 4 章讲训练循环时展开。2.4 环境依赖在 Python 虚拟环境里安装 PyTorch 与 Jupyter正式写模型前先把运行环境确定下来。这个项目不涉及音频文件解码依赖并不多比较干净python -m venv .venv source .venv/bin/activate pip install --upgrade pip pip install torch pretty_midi numpy pandas matplotlib jupyterlabpretty_midi负责 MIDI 读取和回写matplotlib用来可视化钢琴卷帘pytorch承担模型定义和训练。如果你是在找 python 安装教程或者 Jupyter Notebook 安装步骤上面这段已经足够跑通整个项目如果希望代码全部在浏览器里编辑装完jupyterlab后执行jupyter lab就能打开交互界面。这里有两个常见问题一是 torch 装到了系统 Python 而 Jupyter 内核用的是虚拟环境两者互相找不到二是pretty_midi依赖numpy先装numpy2再装pretty_midi有时会有版本冲突建议把依赖一次性安装。3. 用 Python 把不同时代的 MIDI 预处理成训练张量模型结构决定上限数据决定模型能学到什么。这一步的目标是把巴赫、莫扎特、肖邦、德彪西的 MIDI 文件统一成形状相同的张量并准备好风格标签。处理过程中要尽量保留装饰音和踏板效果又不能让矩阵过于稀疏。3.1 用 pretty_midi 将 MIDI 读入并按 16 分音符量化切块训练不需要整首曲子的完整长度一个乐句长度通常 8 拍也就是 32 个 16 分音符时间步。下面这个函数把 MIDI 文件按片段切分输出(time_steps, pitch_num)的 0/1 矩阵import numpy as np import pretty_midi def midi_to_clips(path, fs4, pitch_start24, pitch_num84, beats_per_clip8, min_density0.02): midi pretty_midi.PrettyMIDI(path) clips [] for inst in midi.instruments: if inst.is_drum: continue roll inst.get_piano_roll(fsfs) # 行是音高列是时间 roll roll[pitch_start:pitch_start pitch_num, :] clip_len fs * beats_per_clip # 4 * 8 32 个时间步 for start in range(0, roll.shape[1] - clip_len 1, clip_len): clip roll[:, start:start clip_len] clip (clip 0).astype(np.float32) clip clip.T # (time, pitch) if clip.mean() min_density: # 滤掉全空白片段 clips.append(clip) return np.stack(clips)fs4表示每四分音符 4 个采样点相当于十六分音符网格。get_piano_roll返回的矩阵行是音高列是时间转置后变成 (time, pitch) 是为了符合后面模型里时间步在前的使用习惯。min_density0.02过滤掉休止符过多的片段这类片段对和声学习的贡献很小。注意这段函数没有做力度归一化二值化后会丢失音量信息对风格学习影响不大因为古典时期的强弱更多由织体决定而不是单音力度。3.2 时代标签映射、按作曲家划分数据避免类别泄漏训练标签按时代分成四类每类对应一个整数。算上风格编码映射关系如下style_idx时代典型特征示例作曲家0巴洛克复调织体、持续低音、装饰音密集巴赫、亨德尔1古典主义规整乐句、主调织体、和弦伴奏莫扎特、海顿2浪漫主义旋律宽广、和声半音化、钢琴织体丰富肖邦、李斯特3现代/印象派全音阶、平行和弦、模糊调性德彪西、拉威尔划分训练集和验证集时尽量不要按文件名随机切分而是按作曲家分组。同一首曲子的多个片段极其相似随机切分会让验证集分数虚高。类别不平衡是这个项目最常见的坑浪漫主义时期的 MIDI 数量远多于巴洛克训练时用WeightedRandomSampler按类别权重采样比修改损失函数更直接。3.3 在 Jupyter Notebook 里可视化检查每个时代的钢琴卷帘数据准备好之后应该先花一分钟看图而不是直接开训练import matplotlib.pyplot as plt fig, axes plt.subplots(1, 4, figsize(16, 4)) for idx, style_name in enumerate([baroque, classical, romantic, modern]): sample clips_by_style[style_name][0].T # (pitch, time) axes[idx].imshow(sample, aspectauto, originlower, cmapmagma) axes[idx].set_title(style_name) axes[idx].set_xlabel(time step) axes[idx].set_ylabel(pitch) plt.tight_layout() plt.show()originlower让低音区显示在图片下方符合读谱习惯。四种时代最直观的区别是图像纹理巴洛克片段里多根旋律线同时横向延伸出现多条平行横线古典主义片段能看到明显的旋律在上、和弦伴奏在下的分区浪漫主义在伴奏区出现更密集的连续八度现代作品则常有整体较宽的音块移动。如果你在 Jupyter Notebook 里执行这段单元格没有任何反应先确认有没有运行过%matplotlib inline再检查内核是否还连着虚拟环境。3.4 统计音符密度与音高范围为训练调参做基线训练前记录数据统计量训练中随时对比能防止模型生成出密度完全离谱的东西def clip_stats(clip): density clip.mean() active_pitches np.where(clip.max(axis0) 0)[0] pitch_range active_pitches.max() - active_pitches.min() return density, pitch_range for style_idx, clips in grouped_clips.items(): densities [clip_stats(c)[0] for c in clips] print(style_idx, np.mean(densities), np.std(densities))每个时代的平均音符密度会明显不同复调织体的片段往往伴奏声部持续发音密度更高浪漫主义抒情旋律片段则有大量留白。这些数字在训练时用来判断生成样本是否落到合理区间。如果生成片段密度只有真实数据的一半第一反应不应该是调损失函数而是先看生成器的 Sigmoid 输出是不是被压到了接近 0 的位置。4. 搭建 CNN-GAN 与 Bi-LSTM 联合训练模型模型的核心是三个模块条件生成器、辅助分类判别器、Bi-LSTM 风格监督网络。生成器负责合成钢琴卷帘判别器既要分辨真假也要判断时代Bi-LSTM 则用特征匹配损失把生成样本往真实样本的时间结构上拉近。4.1 生成器标签 embedding 与转置卷积的拼接写法生成器接收一个噪声向量z和风格标签标签先经过 embedding 层转成向量再和噪声拼接。这样做比 one-hot 直接拼接多一层可学习的映射风格之间可以有共享的语义空间import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, z_dim128, num_styles4, embed_dim16, base64, time_steps32, pitch_num84): super().__init__() self.embed nn.Embedding(num_styles, embed_dim) self.fc nn.Linear(z_dim embed_dim, base * 8 * 4 * 4) self.deconv nn.Sequential( nn.ConvTranspose2d(base * 8, base * 4, 4, 2, 1), nn.BatchNorm2d(base * 4), nn.ReLU(True), nn.ConvTranspose2d(base * 4, base * 2, 4, 2, 1), nn.BatchNorm2d(base * 2), nn.ReLU(True), nn.ConvTranspose2d(base * 2, base, 4, 2, 1), nn.BatchNorm2d(base), nn.ReLU(True), ) self.head nn.Sequential( nn.Conv2d(base, 1, 3, padding1), nn.Sigmoid() ) self.time_steps time_steps self.pitch_num pitch_num def forward(self, z, style): style_emb self.embed(style) x torch.cat([z, style_emb], dim1) x self.fc(x).view(x.size(0), -1, 4, 4) x self.deconv(x) x nn.functional.interpolate( x, size(self.time_steps, self.pitch_num), modebilinear, align_cornersFalse ) return self.head(x)转置卷积把特征图从 4x4 逐步放大到 32x32最后用插值统一到 (32, 84)避免因音高数 84 不是 2 的幂导致尺寸对不上的问题。Sigmoid把输出压到 0~1 之间和真实钢琴卷帘的二值分布有差异但这样的软取值可以表示模型对“这个音是否发声”的置信度。embed_dim一般取 16 到 32太小装不下四个时代的差异太大容易和噪声结合后过拟合到训练集的特定片段。4.2 判别器与 Bi-LSTM 风格监督网络判别器沿用 DCGAN 风格卷积层逐步下采样末端分成两个头。另一个分支的 Bi-LSTM 网络对真实和生成样本提取特征不直接参与真假判别而是给生成器提供一个时间维度的特征对齐目标class Discriminator(nn.Module): def __init__(self, num_styles4): super().__init__() self.conv nn.Sequential( nn.Conv2d(1, 32, 4, 2, 1), nn.LeakyReLU(0.2), nn.Conv2d(32, 64, 4, 2, 1), nn.LeakyReLU(0.2), nn.Conv2d(64, 128, 4, 2, 1), nn.LeakyReLU(0.2), nn.Conv2d(128, 256, 4, 2, 1), nn.LeakyReLU(0.2), ) self.real_head nn.Linear(256 * 2 * 2, 1) self.style_head nn.Linear(256 * 2 * 2, num_styles) def forward(self, x): h self.conv(x) h h.view(h.size(0), -1) return self.real_head(h), self.style_head(h) class StyleCritic(nn.Module): def __init__(self, pitch_num84, hidden256, num_styles4): super().__init__() self.lstm nn.LSTM( input_sizepitch_num, hidden_sizehidden, num_layers2, batch_firstTrue, bidirectionalTrue, dropout0.2 ) self.classifier nn.Sequential( nn.Linear(hidden * 2, 128), nn.ReLU(), nn.Linear(128, num_styles) ) def forward(self, x): out, _ self.lstm(x) # (B, T, 2*hidden) feat out.mean(dim1) # 时间步池化 return self.classifier(feat), featStyleCritic输入是(batch, time_steps, pitch_num)每个时间步的特征是 84 维的音高向量。LSTM 输出用mean(dim1)做平均而不是取最后一步。原因在 2.2 里提过双向 LSTM 的最后一步只有正向末尾和反向开头的信息对整段音乐的表征而言偏差过大。dropout0.2只作用于多层 LSTM 的层间连接不会影响单层网络的稳定性。4.3 训练循环里三个损失的权重怎么配训练采用 Hinge loss 作为对抗损失并叠加风格分类损失和特征匹配损失z_dim 128 G Generator(z_dim) D Discriminator() S StyleCritic() opt_g torch.optim.Adam(G.parameters(), lr2e-4, betas(0.5, 0.999)) opt_d torch.optim.Adam(D.parameters(), lr2e-4, betas(0.5, 0.999)) for epoch in range(200): for real, style in loader: batch real.size(0) z torch.randn(batch, z_dim) fake G(z, style) # 判别器Hinge 风格分类 real_score, style_real D(real) fake_score, _ D(fake.detach()) d_loss (torch.mean(nn.functional.relu(1 - real_score)) torch.mean(nn.functional.relu(1 fake_score))) d_style nn.CrossEntropyLoss()(style_real, style) d_total d_loss 0.3 * d_style opt_d.zero_grad() d_total.backward() opt_d.step() # 生成器对抗 风格 Bi-LSTM 特征匹配 fake_score, style_fake D(fake) g_adv -torch.mean(fake_score) g_style nn.CrossEntropyLoss()(style_fake, style) _, feat_fake S(fake.squeeze(1)) _, feat_real S(real.squeeze(1)) g_feat nn.functional.mse_loss(feat_fake, feat_real) g_total g_adv 0.5 * g_style 10.0 * g_feat opt_g.zero_grad() g_total.backward() opt_g.step()损失权重来自经验值0.3保证判别器不会为了风格分类牺牲真假判断生成器侧0.5让风格约束足够强但不超过对抗主导特征匹配的10.0在三者中偏高它像一个平滑的“蒸馏信号”防止生成器在低维流形上钻牛角尖。特征匹配权重建议从 1.0 起步往上调过大会导致生成的片段在 Bi-LSTM 特征空间贴近真实样本但钢琴卷帘图像本身模糊不清。完整训练超参数可以参照下面这张表参数取值说明z_dim128噪声维度过小模式单一过大难以收敛embed_dim16风格标签向量的维度batch_size32显存不足时降到 16 并相应调低学习率lr2e-4Adam 适用于 GAN 的常用取值betas(0.5, 0.999)第二项取 0.5 能减少训练震荡训练轮数200数据集小时 100 轮就能看到明显风格差异梯度裁剪5.0可加在backward()后防止 LSTM 梯度爆炸4.4 训练中的模式坍缩信号与参数止损模式坍缩最直观的信号不是损失值变小而是同一时代下不同歧义样本的生成结果越来越像。每隔几个 epoch 用同一组噪声加不同风格标签各生成一批片段统计它们两两之间的平均余弦相似度这个值持续上升就要注意了。另一个信号是生成样本的钢琴卷帘密度突然暴跌说明生成器找到了一个“让判别器放松警惕”的稀疏空白区。止损手段有三个优先级先把判别器的更新频率改成比生成器多一次让判别器保持足够强的分辨能力然后降低特征匹配损失权重从 10.0 降到 3.0让生成器有更多自由探索空间最后考虑给真实样本加轻微高斯噪声破坏判别器对训练集的过拟合。一般来说前两个手段能解决大部分坍缩问题。5. 生成结果评估、MIDI 导出与 Jupyter 代码整理训练完成后需要一套客观验证方法而不是只靠耳朵听。这里用训练好的StyleCritic给生成样本打分再把它导出成 MIDI 文件最后整理成可以下载复现的 Notebook。5.1 用风格熵和音符密度做量化验证def evaluate_generation(G, S, z_dim, num_samples256): z torch.randn(num_samples, z_dim) style torch.randint(0, 4, (num_samples,)) with torch.no_grad(): fake G(z, style) probs, _ S(fake.squeeze(1)) probs torch.softmax(probs, dim-1) ent -(probs * torch.log(probs 1e-8)).sum(-1) density fake.mean(dim(1, 2)) return ent.mean().item(), density.mean().item()风格熵反映模型对生成样本时代归属的犹豫程度。真实样本的风格熵通常在 0.3 以下生成样本如果超过 0.8说明风格条件没有真正生效此时要回看 4.3 里的g_style权重而不是盲目加大训练轮数。音符密度则用来和 3.4 算出的真实数据基线对比偏离 20% 以上时需要检查生成器输出层的偏置。5.2 把钢琴卷帘写回 MIDI 并渲染成音频生成结果是 (time, pitch) 的二值矩阵写回 MIDI 时按列扫描每个音高上连续的“1”段落每个段落就是一个音符import pretty_midi def roll_to_midi(roll, fs4, pitch_start24, tempo120, program0): midi pretty_midi.PrettyMIDI(initial_tempotempo) inst pretty_midi.Instrument(programprogram) time_per_step 60.0 / tempo / fs for pitch_idx in range(roll.shape[1]): col np.where(roll[:, pitch_idx] 0.5)[0] if len(col) 0: continue splits np.split(col, np.where(np.diff(col) ! 1)[0] 1) for seg in splits: note pretty_midi.Note( velocity90, pitchpitch_start pitch_idx, startseg[0] * time_per_step, end(seg[-1] 1) * time_per_step ) inst.notes.append(note) midi.instruments.append(inst) midi.write(generated.mid)np.diff(col) ! 1找到断开点把连续的 1 切分成多个音符end加一个时间步是为了避免零时长音符。program0是钢琴音色tempo120决定每秒对应多少拍。渲染成音频时用fluidsynth配合一个 SoundFont 即可这一步和训练无关只用于试听。5.3 固定随机种子与依赖清单让下载代码可复现发布 Jupyter Notebook 前在第一个单元格里固定所有随机源同时约定requirements.txtpip freeze requirements.txt再补一条导出命令把 Notebook 转成 HTML 方便不带 Python 环境的读者直接看结果jupyter nbconvert --to html train.ipynbtrain.ipynb里除了模型代码还建议保留 3.3 的可视化图、4.3 训练循环的损失曲线以及 5.2 生成的generated.mid文件路径。这样下载代码的人可以在不跑训练的情况下用导出的 HTML 先看效果再决定是否重新训练。本文还有配套的精品资源点击获取