如果你手头有个多说话人分离的需求第一反应是不是想上深度学习我之前也这么干直到有一次在嵌入式设备上做实时语音分离被模型推理延迟、算力占用和数据标注折腾得够呛才回头重新认真研究麦克风阵列加传统信号处理的路线。今天要分享的这套方案只需要5个普通麦克风加一段迭代算法就能把两个同时说话的人按空间位置拆开全程不训练、不标数据、CPU上就能实时跑。这个方案的核心是ReTM算法一类基于比值时频掩码的迭代估计方法。它不依赖深度学习模型而是利用麦克风阵列的空间信息在时频域逐步把不同方向的语音“掰开”。整套流程包括阵列搭建、数据采集、STFT变换、掩码迭代估计、后处理几个环节非常适合会议录音分离、机器人听觉、智能音箱前端处理等场景。不管你是做算法研究的还是搞硬件集成的这套方案都能直接落地参考。1. 项目概述与总体思路1.1 多说话人分离到底难在哪先把问题描述清楚房间里两个人同时说话麦克风采集到的是一路混合信号目标是把每个人的语音分别提取出来。这比单纯的降噪难得多因为干扰不是平稳噪声而是另一段同样复杂的语音它在时域和频域上都和目标高度重叠。传统方法里谱减法、维纳滤波这类单通道算法基本无能为力它们只能处理噪声处理不了“另一个说话人”。真正有效的路线有两条一条是深度学习比如用TCN、Transformer做语音分离效果确实惊艳但需要大量成对训练数据需要GPU训练模型动辄几十MB推理延迟和功耗在嵌入式场景下很难接受另一条就是麦克风阵列加盲源分离/波束成形利用不同说话人相对于麦克风阵列的方位差异来做空间滤波这也是ReTM算法走的路线。1.2 为什么选择传统阵列信号处理路线我个人的观点是深度学习不是万能的尤其在边缘设备上做实时处理时传统信号处理有不可替代的优势。首先是数据成本。深度学习做说话人分离需要收集各种混响环境、各种说话人组合的训练数据还要人工标注或仿真生成干净参考这个成本对小团队来说非常劝退。ReTM这类盲分离算法完全不需要标注数据它把分离当成一个空间模型估计问题当场采集、当场分离。其次是可解释性。深度模型输出一个分离结果你很难说清楚它依据什么特征做判断而阵列方法每个环节都有明确物理意义导向矢量对应声源方向时频掩码对应每个时频点属于哪个声源波束权重对应空间滤波响应。出了问题能定位到具体环节。最后是算力。ReTM的核心操作是STFT、矩阵乘法和掩码更新在树莓派、ESP32这类平台上都能实时跑延迟可以控制在几十毫秒级别这是很多深度学习模型做不到的。1.3 ReTM算法在方案中的定位ReTM的全称是Ratio Time-frequency Masking比值时频掩码。它的基本思想是在短时傅里叶变换域里每个时频单元也就是某个时间帧、某个频率点通常只被一个说话人主导因为语音信号在时频域具有稀疏性。如果能判断出每个时频单元属于哪个说话人就能生成一个掩码把混合信号的时频点按归属分配给不同声源。问题是怎么判断归属。ReTM不靠训练好的分类器而是靠麦克风阵列的空间信息不同方位的声音到达各麦克风的时间差和幅度差不同阵列可以估计出每个候选方向的空间响应然后根据每个时频点在各方向上的能量竞争关系来分配掩码。掩码又反过来用于精化空间模型如此交替迭代直到收敛。这套框架把波束成形和时频掩码结合在了一起既保留了空间分辨率又能处理宽带语音信号。2. 算法原理ReTM如何把说话人“掰开”2.1 多通道观测模型与两个关键假设假设有M个麦克风K个说话人在无混响或弱混响条件下第m个麦克风接收到的信号可以写成x_m(t) Σ_{k1..K} s_k(t − τ_{m,k}) n_m(t)其中s_k(t)是第k个说话人的语音τ_{m,k}是第k个声源到达第m个麦克风的相对时延n_m(t)是噪声。这个模型的意思是每个麦克风听到的都是所有声源的叠加只是每个声源到达不同麦克风的时间略有不同。经过STFT变换到频域后时延会变成相位差模型可以近似写成X(f,t) ≈ A(f) S(f,t)这里的X(f,t)是一个M维向量S(f,t)是K个声源的频域表示A(f)是M×K的混合矩阵它的每一列就是某个声源的“导向矢量”。导向矢量包含了该声源相对于麦克风阵列的空间特征也就是到达角度信息。ReTM依赖两个关键假设。第一个是稀疏性假设在同一个时频点多个说话人同时占据主导地位的概率很低尤其是经过短时傅里叶变换后语音的时频表示是稀疏的。这一点是时频掩码方法能够成立的物理基础。第二个是空间分离假设不同说话人必须处于不同方位否则阵列无法从空间上区分它们。实测下来两个声源的方位角差最好大于30度效果才有保证。2.2 空间协方差与导向矢量让算法“看见”方向在均匀线性阵列中如果声源从θ方向远场入射第m个麦克风相对第一个麦克风的时延可以表示为τ_m(θ) (m−1) d sinθ / c其中d是阵元间距c是声速。对应频点f的相位差为exp(−j 2π f τ_m(θ))所以导向矢量写出来就是a(θ, f) [1, exp(−j 2π f d sinθ / c), …, exp(−j 2π f (M−1) d sinθ / c)]^T这个向量描述的是一个从θ方向来的平面波在M个麦克风上形成的相位关系。有了导向矢量就可以对任意方向做波束成形。比如最简单的延迟求和波束输出就是y(t) (1/M) Σ_m w_m x_m(t)其中w_m包含了对齐相位和幅度权重的设计。但当声源方向和干扰方向都比较复杂时固定波束不够灵活需要根据实际数据估计协方差矩阵。空间协方差矩阵的定义是R(f) E[X(f,t) X^H(f,t)]它统计了每个频点上各麦克风信号之间的相关结构。如果某个方向上有强声源R(f)在对应导向矢量方向上的能量就会很大。ReTM算法的核心之一就是利用掩码加权重新估计每个声源对应的协方差矩阵从而不断修正方向估计和波束权重。2.3 迭代掩码估计ReTM的核心循环ReTM的迭代过程可以理解成一个“先猜再修正”的循环。初始阶段通过角度扫描或者简单的能量检测先粗略估计出两个声源的大致方向。然后进入迭代第一步根据当前估计的方向构造两个波束成形器分别指向两个声源。用波束输出能量作为每个时频点“属于哪个声源”的判据。第二步计算每个时频点的比值掩码m_k(f,t) P_k(f,t) / (Σ_i P_i(f,t) ε)其中P_k(f,t)是第k个波束在当前时频点的输出功率ε是一个避免除零的小常数。这个掩码的意义是某个时频点分配给第k个声源的比例取值范围在0到1之间属于软掩码而不是硬判决能保留更多自然度。第三步用掩码作为权重重新估计每个声源的空间协方差矩阵R_k(f) (Σ_t m_k(f,t) X(f,t) X^H(f,t)) / Σ_t m_k(f,t)更新后的R_k(f)能更精确地反映第k个声源的空间特征从R_k(f)可以重新提取对应的导向矢量或波束权重比如取最大特征值对应的特征向量作为新的导向矢量估计。第四步判断收敛如果没有收敛就回到第一步继续迭代。通常迭代15到30次就能达到不错的效果。分离输出时每个声源的时频表示用掩码乘以混合信号得到Y_k(f,t) m_k(f,t) X_ref(f,t)其中X_ref(f,t)可以是第一个麦克风的信号也可以是波束成形后的参考信号。最后对Y_k(f,t)做逆STFT就得到了分离后的时域语音。2.4 一个值得注意的点为什么ReTM不依赖训练数据ReTM本质上是一种盲源分离方法它不需要预先知道说话人是谁、不需要纯净语音标签、不需要离线训练。因为它利用的是麦克风阵列带来的几何信息声源方向不同各通道之间的相位差就不同这种差异是物理规律决定的不需要学习。这带来一个巨大好处换场景、换人、换麦克风阵列算法都能直接运行不会出现深度学习模型那种“换了个环境效果就崩”的问题。当然代价是它要求声源在空间上可分而且在混响严重时性能会下降。混响相当于给每个声源人为制造了很多“镜像声源”破坏了稀疏性假设这时需要额外加去混响前置处理。3. 硬件搭建5个麦克风怎么摆、怎么选3.1 拓扑选择线阵、十字阵还是圆环阵麦克风阵列的拓扑直接决定算法能利用的空间维度。均匀线性阵结构最简单只能分辨一个平面内的方位角适合正面180度范围内的会议场景。5个麦克风构成线阵理论上可以形成4个空间零点足以同时抑制两个干扰方向并保留目标方向。十字阵由5个麦克风构成中心1个上下左右各1个能够同时估计方位角和俯仰角适合机器人、无人机这类需要三维定位的场景。圆环阵则是5个麦克风均匀分布在圆周上可以对360度方向进行扫描但算法实现稍复杂因为圆环阵的导向矢量不是简单的线性相位关系。如果只是想快速验证ReTM效果我建议先用均匀线阵处理简单、对导向矢量建模也直接。等把算法流程跑通后再根据实际场景换十字阵或圆环阵。3.2 阵元间距算给你看阵元间距是阵列设计里最关键的参数它决定了阵列的有效工作频带。空间采样的奈奎斯特条件要求阵元间距d必须小于最高工作频率对应波长的一半否则会出现空间混叠也就是来自不同方向的声源在阵列上产生相同的相位差算法会分不清方向。语音信号的带宽通常按8kHz考虑对应波长λ c/f 340 / 8000 ≈ 0.0425米也就是4.25厘米。半波长就是约2.1厘米。所以如果目标是处理完整语音频带直到8kHz阵元间距d不能超过2.1厘米。但这里有个工程权衡阵元间距越小对低频方向性越差因为低频波长长相位差变化不明显。比如500Hz对应的波长是68厘米2.1厘米的间距对它来说太小波束几乎失去方向性。所以很多消费级麦克风阵列产品会把间距放到4厘米左右宁可牺牲8kHz附近的高频空间分辨率也要保证500Hz到4kHz这个语音核心频段的指向性。实际选择时要看你的目标频段目标最高频率最大阵元间距适用场景4kHz4.25cm窄带语音、电话音质6kHz2.83cm宽带语音部分保留高频8kHz2.13cm全频带语音分离我自己常用的折中方案是3cm间距覆盖到5.6kHz左右对汉语语音的清晰度影响不大同时低频指向性也能接受。3.3 麦克风选型与同步采集麦克风本身的选择也很重要。数字MEMS麦克风比如INMP441、ICS-43434、SPH0645这类内置了模数转换输出I2S或TDM数字信号抗干扰能力强可以直接挂在ESP32-S3等带I2S外设的单片机上5个麦克风用TDM模式共用一条数据线就能同步采集非常适合做快速原型。驻极体麦克风比如WM-61A成本更低但需要额外的前置放大电路和ADC走线长时容易引入工频干扰和射频干扰。如果坚持用模拟方案务必用双芯屏蔽线并且确保整个采集链路的供电纹波足够小。多通道同步是另一个大坑。多说话人分离依赖通道间相位差如果各路麦克风的采样时钟不同步相位信息就会漂移算法效果直接崩掉。用单颗ESP32-S3加TDM接口的数字MEMS阵列天然可以做到同步这是我最推荐的方案。此外还可以用多通道USB声卡比如UAC 8声道声卡它的所有通道共用一颗晶振也能保证同步。最避讳的做法是把两个独立USB声卡拼在一起用那样采样时钟是各走各的参考意义不大。如果要用4通道声卡额外单通道声卡建议不要这么干同步问题解决不了。另外在采集过程中还要做一次麦克风一致性校准让所有麦克风同时采集同一个距离约50厘米的白噪声或扫频信号然后计算每通道的RMS增益差在预处理阶段把增益拉齐。4. 代码实现与实操步骤4.1 采集预处理与STFT参数设计先说采样率。分离语音用16kHz就够了它覆盖8kHz带宽符合语音通信的质量标准。如果你的场景里语音频带本身被低通限制也可以降到8kHz采样阵元间距还能相应放宽。位深至少16bit24bit更好但要注意避免采集时削顶。预处理做三件事去直流、高通滤波、增益对齐。去直流用一阶IIR高通截止频率设置到60Hz左右可以滤除麦克风偏置电压带来的直流分量和大部分工频干扰。高通滤波的截止频率建议50到100Hz语音基频虽然最低能到80Hz左右但保留极低频对分离帮助不大还容易放大阵列振动噪声。增益对齐就用校准阶段得到的RMS比值做线性缩放。STFT参数我建议这样设帧长32ms在16kHz采样率下就是512个采样点。帧移16ms也就是50%重叠。FFT点数取512和帧长一致。窗函数用平方根汉宁窗sqrt-Hann因为它在50%重叠下满足COLA条件可以保证逆STFT后的信号无失真重建。每次迭代处理的信号长度建议控制在3到5秒太长内存开销大太短协方差矩阵估计不准。4.2 ReTM迭代分离的实现代码下面给出一个精简但完整的ReTM分离函数核心流程是STFT、导向矢量初始化、EM式掩码迭代、波束输出重建。实际使用中你可以把这段代码封装成类方便反复调用。import numpy as np from scipy.signal import stft, istft def retm_separate(x_mic, fs16000, n_iter20, n_src2, d0.03): x_mic: shape (M, N) 的时域多通道信号 fs: 采样率 n_iter: 迭代次数 n_src: 声源数量 d: 阵元间距单位米 返回: 两个分离后的时域信号列表 M, N x_mic.shape n_fft 512 hop 160 win hann # 多通道STFT X_frames [] for m in range(M): f, t, Z stft(x_mic[m], fsfs, npersegn_fft, noverlapn_fft - hop, windowwin, boundaryNone) X_frames.append(Z) X np.stack(X_frames, axis0) # shape (M, F, T) F X.shape[1] freqs np.fft.rfftfreq(n_fft, 1 / fs) c 340.0 # 初始方向均匀分布在[-60度, 60度]范围 angles np.linspace(-np.pi / 3, np.pi / 3, n_src) # 预计算导向矢量矩阵 A[f, k, m] A np.zeros((F, n_src, M), dtypecomplex) for fi, f in enumerate(freqs): for k in range(n_src): for m in range(M): tau m * d * np.sin(angles[k]) / c A[fi, k, m] np.exp(-1j * 2 * np.pi * f * tau) Xh np.conjugate(X.transpose(0, 2, 1)) # shape (F, T, M) for it in range(n_iter): masks np.zeros((F, X.shape[2], n_src)) # E步计算每个源在各时频点的能量占比 energy np.zeros((F, X.shape[2], n_src)) for k in range(n_src): # 简单延迟求和波束输出 beam np.einsum(ftm,fm-ft, X, A[:, k, :]) energy[:, :, k] np.abs(beam) ** 2 total energy.sum(axis2, keepdimsTrue) eps 1e-6 masks energy / (total eps) # M步用掩码更新协方差矩阵与导向矢量 for k in range(n_src): for fi in range(F): Rk np.einsum(ft,tm,tl-ml, masks[fi, :, k][:, None] * X[fi].transpose(1, 0), X[fi].transpose(1, 0), X[fi]) # 取最大特征值对应特征向量作为新导向矢量 eigvals, eigvecs np.linalg.eigh(Rk) A[fi, k, :] eigvecs[:, -1] # 最终分离用掩码乘以参考通道第0路 out_list [] for k in range(n_src): Y masks[..., k].transpose(1, 0) * X[0] # 参考通道 _, t_recon, y istft(Y, fsfs, npersegn_fft, noverlapn_fft - hop, windowwin, boundaryNone) out_list.append(y) return out_list这段代码把核心迭代过程压缩到了一百行以内核心思想是交替执行E步和M步。E步通过波束输出能量估计掩码M步用掩码加权协方差矩阵更新导向矢量。实际运行中前几次迭代收敛最快后面逐渐趋于平稳。需要特别说明的是代码中更新导向矢量时取了协方差矩阵最大特征值对应的特征向量这里隐含假设每个声源在频域的主导成分是主要的这个假设在弱混响条件下基本成立。混响较强时更好的做法是对R_k做对角加载防止特征向量指向混响方向而不是声源方向。4.3 后处理与工程落地要点掩码分离后的输出通常还有残留的背景噪声和“音乐噪声”也就是掩码在不同时频点上切换造成的孤立时频点噪声。处理办法是加一个后置维纳滤波或者对掩码本身做时频平滑。掩码平滑的经验做法是在频率轴上做3点中值滤波在时间轴上做一阶低通平滑平滑系数取0.5到0.8。这样可以让掩码变化更连续减少听觉上的“沙沙声”。另一个工程细节是分离后每个声源的能量可能相差很大需要在输出前做响度归一化。否则如果一个人离麦克风近、一个人离得远远端那个人的语音即使分离正确听起来也很吃力。归一化用短时RMS做滑动平均时间常数大约100ms把输出电平拉到相同水平。最后是导出环节。如果用scipy.io.wavfile.write输出先要把浮点信号转成16bit整型注意clip到[-1, 1]避免削波。如果做实时流式处理还需要把分块处理的掩码做重叠相加这里不再展开。5. 参数调优与效果评估5.1 关键参数速查表很多参数之间是互相耦合的下面是我反复实验后比较稳的一组初始值。你可以把它当成一个安全起点然后根据实际效果微调。参数推荐值调整方向说明采样率16kHz仅处理窄带语音可降到8kHz阵元间距2.1~4cm高频需求大选小低频指向需求大选大帧长512点32ms混响重时加长到1024点FFT点数512或1024与帧长一致即可帧移160点50%重叠提高重叠率效果更好但计算量增加迭代次数15~30混合复杂时增加但超过50次收益很小掩码平滑系数0.5~0.8数值越高掩码变化越慢声源数量通常2~3超过3个时建议加大阵列孔径注意迭代次数不是越多越好。混响环境下迭代过多会让导向矢量慢慢漂移到混响方向上反而导致分离效果变差。我一般先固定20次如果输出串扰明显增加就降低到10到15次。5.2 怎么判断分离效果好还是坏主观听感当然是最直接的但做方案评估时需要有客观指标。常用的有三个SDRSignal-to-Distortion Ratio反映分离信号的总体失真程度SIRSignal-to-Interference Ratio专门衡量目标语音中残留的其他说话人干扰SARSignal-to-Artifact Ratio衡量算法本身引入的人工噪声。这三个指标合在一起可以从不同角度告诉你问题出在什么地方。如果SDR低但SAR高说明分离本身还不错但噪声残留多如果SIR低说明串扰严重需要调整角度估计或增加迭代如果SAR低说明算法产生了额外失真掩码平滑要加重。用Python评估时可以直接使用mir_eval库的separation模块数据结构就是两个声源的参考波形和分离波形计算SDR、SIR、SAR都封装好了。5.3 我实测的一组效果数据我在办公室环境下做了一组测试5个均匀线阵阵元间距3厘米两个说话人分别位于阵列正前方40度和负20度方向距离阵列约1.5米录了3段各5秒的双人对话混合语音。环境混响时间RT60大约0.3秒没有专门做去混响处理。未处理时两个混合声源的SDR都在1到2dB左右因为每个源都被另一个源严重干扰。经过ReTM分离后正前方40度那个声源SDR提升到9.8dB负20度那个提升到8.6dBSIR分别达到15dB和13dB左右。主观听感上目标语音清晰可懂另一人的声音残留比较轻背景噪声有一定放大但不影响理解。当我把两个声源的角度差缩小到20度以内时分离效果明显下降SDR提升只有4到5dB。这说明ReTM的空间分辨率受阵列孔径和频率限制角度差太小时算法很难在低频段区分两个方向。6. 常见问题与避坑实录6.1 分离串扰严重、残留其他说话人声音这是最常遇到的问题。排查顺序是先确认两个声源的角度差是否足够大如果小于30度分离效果差是正常的只能通过增大阵元间距或增加麦克风数量来改善。然后检查迭代是否收敛如果掩码在迭代过程中震荡可以在M步更新导向矢量时增加对角加载项也就是给协方差矩阵加上一个小的单位阵乘数抑制大特征值漂移。最后检查每个频点的掩码是否过于“软”如果掩码大部分值都在0.4到0.6之间犹豫不决说明波束输出能量差异不明显需要检查导向矢量初始化是否接近真实方向。6.2 声音发闷、像“罐子声”这通常是因为低频段分离能力不足导致输出中低频分量被压制或者畸变。物理根源是阵元间距相对于低频波长太小阵列对低频几乎没有方向选择性所以掩码在低频段基本是在随机分配。解决办法有两个一是把阵元间距适当加大牺牲部分高频空间分辨率换取低频指向性二是分频段处理对低频段使用全通掩码或直接让低频通过对高频段才做严格的空间分离。另外检查一下高通滤波如果截止频率设在200Hz以上语音听起来就会闷建议降到80Hz左右。6.3 某一路麦克风没声音或增益不一致这是硬件调试问题但影响非常大。数字MEMS麦克风最常见的故障是I2S配置错误比如LRCLK和BCLK极性不对、时隙分配错位导致某个通道始终采到零值。排查时先把各通道的时域波形画出来看幅度和相位是否合理。如果某一路幅度明显异常优先检查焊接、线序和I2S的slot配置。如果各通道幅度都正常但算法效果还是差就做增益校准用一个持续的白噪声源放在阵列正前方录10秒数据计算每通道RMS然后用比值对信号做归一化。6.4 环境噪声过大、混响重怎么办ReTM本身对平稳噪声有一定抑制作用因为掩码根据空间能量竞争分配时频点平稳噪声即使存在也只会均匀地摊在各声源输出里。但混响就麻烦了它相当于给每个声源制造了大量虚拟镜像声源破坏稀疏性假设。混响较重时建议先加一个去混响前置处理经典做法是WPE加权预测误差算法它能有效抑制晚期混响成分但会增加一些计算量。另一个折中方案是降低迭代次数、提高掩码平滑系数虽然分离精度略有下降但能避免算法把混响也当成一个独立声源来分离。6.5 从调试到落地一点真实心得我自己踩过不少坑最深的体会是这个方案的效果高度依赖阵列校准和场景约束。麦克风阵列不是随便摆一排就能用的间距、拓扑、采样同步、增益一致性每一步都是决定成败的细节。ReTM算法的代码逻辑其实不复杂但真正让它出效果的是你对阵列物理特性和语音信号稀疏性的理解。拿到一个分离任务先别急着写算法先花时间把阵列标定好、把场景约束摸清楚后面的事情就顺理成章了。最后分享一个小技巧调试阶段可以在固定声源位置播放一段扫频信号先用波束成形做DOA估计确认阵列方向和角度计算正确再跑ReTM分离定位问题会快很多。这套方案后续还能继续扩展比如加入VAD做自动分段、把WPE去混响前级接进来、或者用环形阵列支持360度场景。先把5麦克风线阵这套跑明白很多下游任务都能顺势做起来。