数字语音信息处理 课件 第9章 语音增强

语音增强Speechenhancement请输入您的学校名称目录CONTENTS01信号模型与评价指标02单通道方法03多通道方法04混响环境下的语音增强请输入您的学校名称信号模型与评价指标PART01麦克风信号模型信号模型与评价指标单通道方法多通道方法混响环境下的语音增强麦克风接收信号模型的数学表达式为:

语音信号评价指标信号模型与评价指标单通道方法多通道方法混响环境下的语音增强优点缺点评价指标举例特点主观评价指标直接、易于理解需要大量测试者，耗时耗力MOS测试者打分，然后求平均客观评价指标快速便捷非直接感受SNR整段语音信号中语音与噪声强度比值SegSNR分段语音信号中语音与噪声强度比值PESQ与MOS分相关度最高STOI计算原始语音与增强语音的相似度请输入您的学校名称单通道方法PART02谱减法信号模型与评价指标单通道方法多通道方法混响环境下的语音增强时频域麦克风信号可表示为:

计算信号功率：

引入功率谱概念:

可估计信号功率谱！谱减法信号模型与评价指标单通道方法多通道方法混响环境下的语音增强谱减法流程图：谱减法效果维纳滤波法信号模型与评价指标单通道方法多通道方法混响环境下的语音增强

维纳滤波法信号模型与评价指标单通道方法多通道方法混响环境下的语音增强维纳滤波法流程图：维纳滤波法效果深度学习方法信号模型与评价指标单通道方法多通道方法混响环境下的语音增强

提取声学特征定义训练目标：纯净语音/掩蔽定义损失函数设计合适的神经网络时域深度学习方法U-Net信号模型与评价指标单通道方法多通道方法混响环境下的语音增强U型网络结构：编码器提取语音特征/

解码器对特征上采样编码器与解码器对称，跳跃连接每层编码器由卷积层、ReLU层、池化层组成每层解码器由反卷积层、ReLU层、池化层组成时域深度学习方法SEGAN信号模型与评价指标单通道方法多通道方法混响环境下的语音增强结构与U-Net类似采用跨步卷积频域深度学习方法：基于映射信号模型与评价指标单通道方法多通道方法混响环境下的语音增强以对数功率谱为训练目标的神经网络方法流程图：频域深度学习方法：基于掩蔽信号模型与评价指标单通道方法多通道方法混响环境下的语音增强掩蔽类型名称特点理想二值掩蔽(IBM)语音主导记为1；噪声主导记为0理想比值掩蔽(IRM)比值在0与1之间复值理想比值掩蔽(cIRM)针对复数信号的IRM频域幅度掩蔽(SMM)纯净语音和含噪语音的能量比值相位敏感掩蔽(PSM)SMM+纯净语音与含噪语音相位差信号近似(SA)评估目标语音频谱与估计频谱之间的均方误差频域深度学习方法：基于掩蔽信号模型与评价指标单通道方法多通道方法混响环境下的语音增强FullSubNet模型结构图：训练目标为cIRM全带/子带结构建模宽带/窄带信号请输入您的学校名称多通道方法PART03麦克风阵列信号模型信号模型与评价指标单通道方法多通道方法混响环境下的语音增强

麦克风阵列信号特征信号模型与评价指标单通道方法多通道方法混响环境下的语音增强

波束形成信号模型与评价指标单通道方法多通道方法混响环境下的语音增强

最小方差无失真响应波束形成信号模型与评价指标单通道方法多通道方法混响环境下的语音增强

频域麦克风信号表达式：

使用拉格朗日乘子法构造目标函数:

最小化目标函数求得最小方差无失真响应的权值最优解为:

最小方差无失真响应波束形成信号模型与评价指标单通道方法多通道方法混响环境下的语音增强

MVDR波束形成方法流程图：线性约束最小方差波束形成信号模型与评价指标单通道方法多通道方法混响环境下的语音增强核心思想：提取目标方向的信号，并使经过波束形成滤波器输出的信号中来自于与目标信号方向不同方向的其他干扰信号或噪声的功率最小化。与MVDR不同之处：多个线性约束。线性约束最小方差(LCMV)波束形成数学表达式：

线性约束最小方差波束形成信号模型与评价指标单通道方法多通道方法混响环境下的语音增强求解拉格朗日算子可得LCMV滤波器表达式:

LCMV波束形成方法流程图：与MVDR不同之处：结合神经网络的波束形成信号模型与评价指标单通道方法多通道方法混响环境下的语音增强借助IBM与IRM等掩蔽模式更好地估计麦克风信号协方差矩阵：

其中：核心思想：有用的时频点加大权重；无用的时频点减小权重！神经网络方法举例1：信号模型与评价指标单通道方法多通道方法混响环境下的语音增强Beam-GuidedTasNet：/hangtingchen/Beam-Guided-TasNet神经网络方法举例2：信号模型与评价指标单通道方法多通道方法混响环境下的语音增强MCNET：/Audio-WestlakeU/McNet神经网络方法举例3：信号模型与评价指标单通道方法多通道方法混响环境下的语音增强SpatialNet：GitHub-Audio-WestlakeU/NBSS:TheofficialrepoofNBC&SpatialNetformultichannelspeechseparation,denoising,anddereverberation请输入您的学校名称混响环境下的语音增强PART04信号模型信号模型与评价指标单通道方法多通道方法混响环境下的语音增强

另一种表达方式：去混响算法信号模型与评价指标单通道方法多通道方法混响环境下的语