CN119517057A 一种基于时频图卷积网络的语音增强方法及系统 （南京邮电大学）

一种基于时频图卷积网络的语音增强方法本发明公开一种语音信号处理技术领域的后的度量生成对抗网络CMGAN，输出增强语音时进方法包括：将度量生成对抗网络CMGAN的编码卷积网络分别提取待增强的含噪语音数据的长模型参数量和计算量的情况下提高语音增强的2将度量生成对抗网络CMGAN的编码器模块替换为时频图卷积在所述时频图卷积编码器模块中，利用时间卷积网络和图利用损失函数，计算改进后的度量生成对抗网络CMGAN输出的增强语音时域信号与处根据总损失通过反向传播更新改进后的度量生成对抗网络CMlog(1+xm)=pcs·log(1+x'm)（1幅度，xm表示原始纯净语音幅度谱x'm经过感知对比拉伸PCS处理后得到的幅度谱，log损失函数，计算改进后的度量生成对抗网络CMGAN输出的增强语音时域信号与处理后的纯其中表示原始纯净语音，表示表示改进后的度量生成对抗网络CMGAN语音质量评估PESQ分数的鉴别器损失Lcan的权重系数。3预处理模块，用于对所述待增强的含噪语音数据进行短时傅里叶时频图卷积编码器模块，用于根据所述三通道特征图解码器模块，包括幅度解码器和复数解码器，用于基于扩张卷积稠的时频图卷积块和第二卷积块，与多个堆叠的时频图卷积块相连接的第一分支和第二分利用第二分支将所述三通道特征图经过第一卷利用多个堆叠的时频图卷积块提取邻接矩阵和图学习层处理后的特征图以及提升通分支将所述三通道特征图经过图学习层，根据特征图之间的频率维度关系学习邻接矩阵，图学习层处理后的特征图和提升通道数后的特征图的通道数与待增强的含噪语音数据的4所述图卷积层，用于根据图学习层得到的邻接矩阵提取图学习层处5[0002]语音增强旨在从受噪声或其他干扰影响的含噪语音中提取出更高清晰度和可懂基于深度神经网络的语音增强方法在处理非平稳和复杂噪声方面比传统方[0013]进一步地，在将所述待增强的含噪语音数据，输入改进后的度量生成对抗网络[0015]利用损失函数，计算改进后的度量生成对抗网络CMGAN输出的增强语音时域信号6[0018]log(1+xm)=ypcs·log(1+x"m)（1表示幅度，xm表示原始纯净语音幅度谱X'm经过感知对比拉伸PCS处理后得到的幅度谱，的各频带的感知得分。[0021]L=BLt十B2Lm十3Lri十BZLcaw（2数，其中表示原始纯净语音，表示表示改进后的度量生成对抗网络Ln=llxre-Rrell,+lxim-Rml,，xm、xre和xim分别表示原始纯净语音经过感知对范数，Br表示用于提升增强语音的客观语音质量评估PESQ分数的鉴别器损失Lcaw的权重[0029]其中，根据所述三通道特征图提取待增强的含噪语音数据的高维特征表示的方7[0031]利用第二分支将所述三通道特征图经过第一卷积块得到[0032]利用多个堆叠的时频图卷积块提取邻接矩阵和图学习层处理后的特征图以及提保持图学习层处理后的特征图和提升通道数后的特征图的通道数与待增强的含噪语音数[0045]1、本发明将度量生成对抗网络CMGAN的编码器模块替换为时频图卷积编码器模8[0046]2、本发明通过引入稠密残差连接来融合多尺度特征信息，进一步提升了度量生的有效传递和特征的重用，使得度量生成对抗网络CMGAN能够更全面地利用不同层次的特频率信息和长距离时间依赖关系，进一步增强了度量生成对抗网络CMGAN对复杂语音特征量生成对抗网络CMGAN的稳定性和鲁棒性，使本发明提供的方法在实际应用中具有更广泛[0049]图1所示为本发明实施例提供一种基于时频图卷积网络的语音增强方法的流程示[0053]如图1所示，本实施例介绍一种基于时频图卷积网络的语音增强方法，其特征在[0056]在将待增强的含噪语音数据，输入改进后的度量生成对抗网络CMGAN之前，还包9[0059]log(1+xm)=ypcs·log(1+x"m)（1表示幅度，xm表示原始纯净语音幅度谱X'm经过感知对比拉伸PCS处理后得到的幅度谱，的各频带的感知得分。[0061]在本实施例中，基于频带重要性函数BIF推导得到的原始纯净语音幅度谱的各频[0064]利用损失函数，计算改进后的度量生成对抗网络CMGAN输出的增强语音时域信号[0065]L=BLt十B2Lm十3Lri十BZLcaw（2数，其中表示原始纯净语音，表示表示改进后的度量生成对抗网络示重建损失项Lri的权重系数，其中，Lm=lxm-Rmll,，Lrni=Ilxre-Rrell,+lxim-Rmll,，语音质量评估PESQ分数的鉴别器损失Lcan的权重系数。表示矩阵维度为BXTXFX3的实数集合，T和F分别表示三通道特征图时间帧和频率维度,[0088]式中，表示语音特征图H在频率索引i和j对应的特征向量之间的相似度分数，[0091]利用多个堆叠的时频图卷积块提取邻接矩阵和图学习层处理后的特征图以及提[0095]H(+1)=TFGCN(concat(H(I0),H1),…,HI')))（6的特征图，h1)表示第1个时频图卷积块输出的特征矩阵，n()表示第l个时频图卷积块输出习层处理后的特征图和提升通道数后的特征图的通道数与待增强的含噪语音数据的高维[0104]在本实施例中，将待增强的含噪语音数据的高维特[0106]待增强的含噪语音数据的高维特征表示首先进行维度变换得特征图，并重新进行变换维度得到待提取频率依赖的特征图，用于第二个[0107]每个Conformer块包括两个特征维度减半的前馈神经网络，在前馈神经网络之间[0110]在本实施例中，解码器模块以解耦的方式从经过两阶段Conformer块的分离噪声核大小为(2,3)的卷积块。利用亚像素卷积层掩码解码器路径和复数解码器路径都来将频语音的复频谱与复数解码器的输出逐元素相加，获得最终网络输出的增强语音[0119]式中，Rre表示改进的度量生成对抗网络CMGAN输出的增强语音复频谱的实部，Rm表示改进的度量生成对抗网络CMGAN输出的增强语音复频谱的虚部，Rre表示复数解码器输出的增强语音复频谱的实部，R'm表示复数解码器输出[0123]同时，将改进后的度量生成对抗网络CMGAN的参数量和每秒所需要的浮点数运算[0125]将训练改进后的度量生成对抗网络CMGAN的原始纯净语音的音频数据通过裁剪或[0128]将本实施例提供的方法与其他现有技术的方法在VoiceBand+DEMAND数据集上的[0131]SCP_CMGAN、MP_SENet和UPB_CMGAN均是基于CMGAN模型的改进方法。具体而言，SCP_CMGAN通过引入一致性损失函数和自校正优化策略，改进了GAN网络的训练过程；MP_[0135]综上实施例，本发明将度量生成对抗网络CMGAN的编码器模块替换为时频图卷积提高了度量生成对抗网络CMGAN对语音信号特征的学习能力，还显著增强了度量生成对抗效传递和特征的重用，使得度量生成对抗网络CMGAN能够更全面地利用不同层次的特征信[0137]本发明通过引入感知对比拉伸PCS对原始纯净语音进行处理，增强了度量生成对