CN114333893B 一种语音处理方法、装置、电子设备和可读介质 （腾讯科技（深圳）有限公司）

分进行处理，而不再需要针对各类噪声进行训2将所述待处理语音帧的频谱系数输入第一神经网络，所述第一音帧对应的声门特征和所述噪声语音帧对应的去噪语音帧对应的声门特征进行训练得到通过所述第一神经网络对所述待处理语音帧的频谱系数进行增益计将所述各个子带对应的第一声门增益合并作为第一增益，所述第一根据所述待处理语音帧的频谱系数进行激励增益计算，得到第二根据所述待处理语音帧的频谱系数进行补偿预测，得到控制系数，根据所述第一增益、所述第二增益和所述控制系数，对所述待处理将所述待处理语音帧的频谱系数和所述历史语音帧的频谱系数输通过所述第一神经网络对所述待处理语音帧的频谱系数和所述待处理语音帧的基音将所述各个子带对应的第一声门增益和所述第二声门增益合并作为所通过所述第一神经网络根据所述待处理语音帧的频谱系数进行参数预测通过所述第一神经网络根据所述待处理语音帧的频谱系数和所述待处理语音帧的基3将所述第一预测结果和所述第二预测结果合并确定为所将所述待处理语音帧的频谱系数输入第二神经网络，所述第二音帧的激励信号和所述噪声语音帧对应的去噪语音帧的激励信号通过所述第二神经网络对所述待处理语音帧的频谱系数进行语音分解，得到激励信根据所述第一增益对所述第一增强结果中的各个子带进行根据所述第一增益和所述第二增益，对所述待处理语音帧进行增益根据所述增益控制结果和所述待处理语音帧的频谱系数进行补偿预测根据所述待处理语音帧计算所述待处理语音帧对应所述根据所述第一增益、所述第二增益和所述控制系数，对所述待处根据所述第一增益和所述第二增益，对所述待处理语音帧对应的幅度谱进行增益控根据所述补偿后的幅度谱以及所述待处理语音帧对应的相位谱进行逆时频将所述待处理语音帧的频谱系数和所述历史语音帧的频谱系数输述第三神经网络是根据噪声语音帧对应的频谱系数的能量和所述噪声语音帧对应的去噪通过所述第三神经网络根据所述待处理语音帧的频谱系数进行补偿预4第一输入子单元，用于将所述待处理语音帧的频谱系数输入第神经网络是根据噪声语音帧对应的声门特征和所述噪声语音帧对应的去噪语音帧对应的第一增益计算子模块，用于通过所述第一神经网络对所述待激励增益模块，用于根据所述待处理语音帧的频谱系数进行激励增益所述控制系数是根据所述待处理语音帧的频谱系数的其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任意一项理器执行时实现如权利要求1至10中任一项所述的语音56第一神经网络是根据噪声语音帧对应的声门特征和所述噪声语音帧对应的去噪语音帧对[0023]历史帧频谱系数获取模块，用于获取所述待处理语音帧的历史语音帧的频谱系对应于所述待处理语音帧的频谱系数中至少一[0034]第一预测单元，用于通过所述第一神经网络根据所述第一声门参数进行增益预7参数用于表示所述待处理语音帧的频谱系数的[0038]第二预测单元，用于通过所述第一神经网络根据所述第二声门参数进行增益预第二神经网络是根据噪声语音帧的激励信号和所述噪声语音帧对应的去噪语音帧的激励[0044]增益预测子模块，用于通过所述第二神经网络根据所述8[0060]历史频谱系数获取子模块，用于获取所述待处理语音帧的历史语音帧的频谱系述噪声语音帧对应的去噪语音帧对应的频谱系数的能量进行算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质[0073]图5示出了不同信噪比下，根据原始语音信号分解出激励信号和声门滤波器的频9本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，[0084]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对装置在采集到发言人的语音信号后，需要将所采集到的语音信号发送至其他会议参与方，[0090]目前国内云会议主要集中在以SaaS(SoftwareasaService，软件即服务)模式集模块111用于采集语音信号，其可以将采集到的声学信号转换成数字信号；前增强模块[0098]在对本方案进行具体说明之前，首先对基于激励信号的语音生成方法进行介[0099]图2示出了语音信号产生的数字模型的示意图，通过该数字模型可以描述语音信常根据声门参数进行配置。声门滤波器可以采用各类采用源-滤波器模型生成语音的方案[0101]图5示出了不同信噪比下根据原始语音信号分解出激励信号和声门滤波器的频率STFT)。频谱系数的维度通常取决于待处理语音帧的样本点的数量以及STFT变换时所采用[0109]声门增益计算是针对于待处理语音帧所对应的声门滤波器部分计算增益的过含噪的噪声语音帧作为训练样本，并且人工计算去噪后所需要的控制系数作为训练目标，对应的声门特征和噪声语音帧对应的去噪语音帧对应的声门特征进络所输出的第一增益能够使得含噪语音帧的声门特征与去噪语音帧的声门特征之间的差输出的第一增益使得含噪语音帧的声门特征与去噪语音帧的声门特征之间的均方误差满以使得第一神经网络所预测得到的第一增益能够使得待处理语音帧在声门模型(即声门滤实施例示出的第一神经网络的结构示意图，如图7所示，第一神经网络包括三个全连接[0133]声门增益计算的过程可以还可以将待处理语音帧的历史带包括待处理语音帧的频谱系数中的相邻的至少两个维度带。对频域表示所进行的分带可以是对频率进行均匀分带(即每个子带对应的频率宽度相[0140]非均匀分带可以是巴克(Bark)分带。Bark分带是按照Bar[0144]通过第一神经网络对待处理语音帧的频谱系数和待处理语音帧的基音周期进行据含噪语音的频谱系数以及去噪语音的LPC滤波器的配置参数，可以对第一神经网络进行训练，使得第一神经网络预测的第一声门参数与去噪语音的LPC滤波器的配置参数之间的[0156]通过第一神经网络根据待处理语音帧的频谱系数和待处理语音帧的基音周期进门参数配置的LTP滤波器进行进一步的处理来模拟待处理语音帧中的语音。在训练的过程一神经网络进行训练，使得第一神经网络预测的第二声门参数与去噪语音的LTP滤波器的激励信号和噪声语音帧对应的去噪语音帧的激励信号输出的第二增益能够使得含噪语音帧的激励信号与去噪语音帧的激励信号之间的差异满第二增益能够使得待处理语音帧在声门模型下的激励信号与纯净语音在声门模型下的激[0167]通过第二神经网络根据待处理语音帧的频谱系数进行增益预测，得到第二增[0182]在本申请的实施例中，上述图9中所示的第一神经网络和第二神经网络的计算过经网络是根据噪声语音帧对应的频谱系数的能量和噪声语音帧对应的去噪语音帧对应的[0204]以下介绍本申请的装置实施，可以用于执行本申请上述实施例中的语音处理方[0206]声门增益模块1220，用于根据所述待处理语音帧的频谱[0207]激励增益模块1230，用于根据所述待处理语音帧的频谱第一神经网络是根据噪声语音帧对应的声门特征和所述噪声语音帧对应的去噪语音帧对[0214]历史帧频谱系数获取模块，用于获取所述待处理语音帧的历史语音帧的频谱系对应于所述待处理语音帧的频谱系数中至少一[0225]第一预测单元，用于通过所述第一神经网络根据所述第一声门参数进行增益预参数用于表示所述待处理语音帧的频谱系数的长[0229]第二预测单元，用于通过所述第一神经网络根据所述第二声门参数进行增益预第二神经网络是根据噪声语音帧的激励信号和所述噪声语音帧对应的去噪语音帧的激励[0235]增益预测子模块，用于通过所述第二神经网络根据所述[0251]历史频谱系数获取子模块，用于获取所述待处理语音帧的历史语音帧的频谱系述噪声语音帧对应的去噪语音帧对应的频谱系数的能量进行[0257]如图13所示，计算机系统1300包括中央处理单元(CentralProcessingUnit，存部分1308加载到随机访问存储器(RandomAccessMemory，RAM)1303中的程序而执行各种适当的动作和处理。在RAM1303中，还存储有系统操作所需的各种程序和数据。CPU器等的输出部分1307；包括硬盘等的储存部分1308；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质从其上读出的计算机程序根据需要被安装入储存部分1308。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以块或者单元的特征和功能可以进一步划分为由多个模块或者单者适应性