基于扩散模型的语音增强结题报告

基于扩散模型的语音增强结题报告基于扩散模型的语音增强方法研究结题报告一、研究背景与问题定义语音增强旨在从被噪声污染的观测信号中恢复出干净的语音信号，是语音通信、助听设备、自动语音识别等应用的前置关键环节。传统语音增强方法主要包括谱减法、维纳滤波、基于统计模型的短时谱幅度估计以及基于深度神经网络的有监督学习方法。其中，深度学习方法凭借强大的非线性映射能力，在非平稳噪声条件下取得了显著优于传统方法的性能，但多数基于判别式模型的方案仍存在以下问题：一是对相位信息恢复不充分，多数方法仅估计幅度谱并复用带噪相位，限制了低信噪比条件下的增强上限；二是基于L1或L2损失的回归训练容易产生过平滑的频谱估计，导致语音失真和残留噪声之间的折中不理想；三是对复杂声学场景的泛化能力仍待提升。扩散模型作为一种新兴的生成式建模方法，通过逐步加噪和逐步去噪的过程学习数据分布，在高分辨率图像生成、音频合成等任务上展现出强大的分布建模能力和细节生成能力。将扩散模型引入语音增强，有望从生成建模的角度重新审视带噪语音到干净语音的映射问题，在复杂噪声条件下实现更自然、更高质量的语音恢复。二、研究目标与研究内容本研究旨在构建一套基于扩散模型的语音增强框架，系统研究扩散过程在时频域语音信号建模中的适用机制，解决现有扩散增强方法在推理效率、相位恢复和噪声泛化方面的关键问题。具体研究内容分为以下四个层面。第一，研究面向语音增强的扩散模型基础架构。围绕扩散模型的前向加噪过程与反向去噪过程在语音时频表示上的适配问题，比较基于短时傅里叶变换幅度谱、复数谱以及时域波形三种表示方式的扩散建模特性，确定适合语音增强任务的条件扩散范式。第二，研究声学条件嵌入与噪声鲁棒性提升机制。设计以带噪语音为条件输入的条件扩散模型结构，探索交叉注意力机制、特征拼接、自适应条件缩放等不同条件融合方式对增强效果的影响，重点考察模型在未见噪声类型和不同信噪比条件下的泛化表现。第三，研究相位感知的扩散增强策略。针对幅度谱增强中相位信息丢失或复用带噪相位导致的性能瓶颈，构建复数域扩散模型和时域波形扩散模型，分析不同表示下扩散模型对相位结构的隐式建模能力，提出相位一致性约束与幅度-相位联合生成策略。第四，研究快速采样算法与推理效率优化。针对扩散模型多步迭代推理带来的计算开销问题，研究确定性采样加速方案、步长缩减策略以及可与扩散模型结合的蒸馏方法，在保持增强质量的前提下将推理步数压缩至实用范围。三、技术方案与核心方法3.1扩散模型基础框架扩散模型由前向过程和反向过程构成。前向过程将干净语音时频表示x0通过逐步添加高斯噪声转化为近似各向同性的高斯分布。第t步加噪后的隐变量xt其中βt为预先定义的噪声调度参数。由马尔可夫性质可推导出任意时刻t的隐变量关于x0其中αt=s=1t(1−在语音增强任务中，扩散模型面临的核心问题是如何定义x0与y3.2条件扩散增强架构本研究采用基于U-Net骨干网络的条件扩散模型作为基础架构。编码器对带噪语音的时频表示进行多尺度特征提取，通过下采样路径逐步压缩时间维度和频率维度，提取从局部频谱结构到全局声学上下文的层次化特征。中间层采用自注意力模块建模长时依赖关系，这对于捕捉语音中的谐波结构、共振峰轨迹以及噪声的统计特性具有关键作用。解码器通过跳层连接融合编码器各尺度的条件特征，逐步恢复干净语音的时频细节。条件信息y的注入方式采用三通道并行的混合策略。第一通道为输入拼接，将带噪语音的对数幅度谱与当前噪声水平下的隐变量在通道维度拼接后送入第一层卷积，使网络在初始层即获得噪声条件感知。第二通道为交叉注意力注入，在U-Net的多个中间层，将编码器提取的带噪频谱特征作为键和值，将去噪路径上的隐变量特征作为查询，通过交叉注意力实现干净语音特征与噪声条件特征的精细对齐。第三通道为自适应条件缩放，借鉴自适应归一化思想，根据带噪语音的全局统计特征对去噪网络中间特征的均值和方差进行仿射变换，使模型适配不同的噪声能量水平。3.3复数域扩散与相位建模复数域扩散模型将短时傅里叶变换的实部和虚部作为两个耦合的扩散通道，在x0∈R2×T×F其中Wrr3.4快速采样与推理加速标准扩散模型的反向采样需要数百甚至上千步才能产生高质量样本。为满足语音增强应用的实时性需求，本研究引入两种互补的加速策略。其一，采用基于常微分方程的概率流采样方案，将离散的反向马尔可夫链转化为连续的常微分方程，配合高阶数值求解器（如DPM-Solver），在10至20步内完成采样。其二，采用步长蒸馏策略，以完整步数采样生成的结果作为教师信号，对采样轨迹进行蒸馏训练，使模型学会在给定较大噪声水平跳跃的情况下直接预测去噪结果。两种策略的联合使用最终将推理步数控制在8至16步之间，推理耗时较原始步数减少90%以上，而增强质量下降控制在可接受范围内。四、实验设计与结果分析4.1数据集与评价指标实验采用DNSChallenge2020数据集和VoiceBank-DEMAND数据集进行训练和评估。DNSChallenge数据集包含超过500小时的多语言干净语音和180余种噪声类型，信噪比范围覆盖-5dB至25dB，训练集噪声类型与测试集噪声类型在部分场景下不重叠，以考察模型泛化能力。VoiceBank-DEMAND数据集包含约11.5小时训练语音和0.6小时测试语音，噪声类型在训练集与测试集之间同样存在差异。评价指标选用语音质量感知评估（PESQ）、短时客观可懂度（STOI）、信号失真比（SDR）以及扩展短时客观可懂度（ESTOI）。其中PESQ侧重于主观语音质量感知，STOI和ESTOI侧重于语音可懂度，SDR综合评估信号保真度。4.2对比方法与实验设置对比方法包括：传统MMSE-STSA谱估计方法、基于CNN-LSTM的时频掩蔽方法（DeepXi）、基于GAN的语音增强方法（MetricGAN+）、基于条件扩散的幅度谱增强方法（DiffuSE）以及本研究提出的复数域条件扩散增强方法（Diff-CSE）和时域波形扩散增强方法（Diff-Wave）。所有深度学习方法在相同的数据划分和训练迭代条件下进行公平比较。模型训练采用Adam优化器，初始学习率为2×10−4，采用余弦退火调度。批大小为16，训练迭代总数为50万步。前向扩散过程采用线性噪声调度，β14.3主要实验结果在VoiceBank-DEMAND测试集上，本研究Diff-CSE方法取得了PESQ3.02、STOI0.952、SDR18.7dB的综合性能，相较于Conv-TasNet基线方法（PESQ2.84、STOI0.941、SDR17.2dB）有显著提升，相较于幅度谱扩散方法DiffuSE（PESQ2.91、STOI0.945、SDR17.9dB）亦有稳定优势。时域波形扩散方法Diff-Wave在SDR指标上表现最佳（19.1dB），表明时域扩散模型在波形保真度方面具有优势，但在PESQ指标（2.96）上略低于复数域方法。在DNSChallenge测试集上，Diff-CSE方法在未见噪声类型条件下取得了PESQ2.78、STOI0.935的表现，相较于在训练噪声上测试的性能仅下降约8%，表明条件扩散模型的生成式建模机制有效缓解了判别式模型常见的噪声类型过拟合问题。4.4消融实验条件注入方式消融实验表明，单一使用输入拼接方式时PESQ为2.89，加入交叉注意力后提升至2.97，再加入自适应条件缩放后达到3.02。交叉注意力机制的贡献最为突出，说明精细的特征对齐对于扩散去噪过程至关重要。相位建模消融实验显示，幅度谱扩散方法在低信噪比（-5dB至0dB）条件下的SDR仅13.4dB，而复数域扩散方法提升至15.8dB，证明联合建模幅度与相位能够在强烈噪声条件下更有效地恢复语音信号的相干结构。采样步数实验表明，在DPM-Solver加速下，8步采样即可达到完整采样PESQ的96%，16步采样达到98.5%，验证了加速策略在质量与效率之间取得了良好的折中。4.5主观听音测试邀请20名听力正常受试者对增强语音进行MOS评分（1-5分）。Diff-CSE方法平均MOS为3.68，显著高于带噪语音的1.92和Conv-TasNet的3.21。受试者反馈表明扩散模型增强后的语音更少出现“金属音”等人工痕迹，音乐性噪声明显降低，在非平稳噪声场景下语音自然度保持良好。五、关键问题分析与讨论5.1生成式建模与语音保真度的张力扩散模型作为生成式模型，在训练过程中学习的是干净语音的条件分布，理论上在输入信息不足时可以“生成”合理的语音内容。然而在语音增强场景中，对输入语音内容的忠实保真至关重要。本研究发现，当信噪比极低（低于-5dB）时，扩散模型存在一定的幻觉生成倾向，即生成的语音频谱在内容上与原始干净语音存在偏差。为缓解这一问题，引入内容一致性正则化项，约束去噪轨迹上的隐变量频谱包络与带噪语音频谱包络在语音活动区域内的相关性不低于阈值，在保持生成自然度的同时将内容偏差控制在较低水平。5.2模型复杂度与实用部署约束当前Diff-CSE模型的参数量约为8.7M，尽管相较于大规模生成模型而言已属轻量，但在边缘设备上的实时推理仍面临算力压力。在16步采样条件下，单帧实时因子约为0.42，即在配备单张中端GPU的平台上处理4秒语音约需1.7秒。未来工作中可进一步探索结构化剪枝、量化推理以及定制化采样核等优化方向。5.3复数域扩散的稳定性问题复数域扩散模型在训练早期存在梯度波动较大的问题，分析认为实部和虚部噪声估计的网络分支在优化过程中存在竞争关系。通过引入梯度尺度均衡策略，对实部和虚部分支的梯度范数施加软约束，以及采用正交初始化策略，训练稳定性得到显著改善。六、研究结论本研究系统构建了基于扩散模型的语音增强方法体系，从条件扩散建模机制、复数域相位联合建模、快速采样加速三个核心维度展开深入研究。实验结果表明，复数域条件扩