CN114333892B 一种语音处理方法、装置、电子设备和可读介质 （腾讯科技（深圳）有限公司）

21-27.行特征计算，得到待处理语音帧的音频特征向2根据所述待处理语音帧的频谱系数进行特征计算，得到所述待将所述音频特征向量输入第一神经网络，所述第一神经网络是声门特征和所述噪声语音帧对应的去噪语音帧对应的声门特通过所述第一神经网络根据所述音频特征向量进行增益预测根据所述音频特征向量进行激励增益计算，得到第二增益，所根据所述音频特征向量进行补偿预测，得到控制系数，所述控制根据所述第一增益、所述第二增益和所述控制系数，对所述待处理其中，所述通过所述第一神经网络根据所述音频特征向量进通过所述第一神经网络对所述音频特征向量进行增益计算，得到所述将所述各个子带对应的第一声门增益合并作为所通过所述第一神经网络对所述音频特征向量和所述待处理语音帧待处理语音帧的基将所述各个子带对应的第一声门增益和所述第二声门增益合并作为所通过所述第一神经网络根据所述音频特征向量进行参数预述第一声门参数用于表示所述音频特征向量的短时通过所述第一神经网络根据所述音频特征向量和所述待处理语音帧待处理语音帧的将所述第一预测结果和所述第二预测结果合并确定为所3将所述音频特征向量输入第二神经网络，所述第二神经网络是根据信号和所述噪声语音帧对应的去噪语音帧的激通过所述第二神经网络根据所述音频特征向量对应的激励信号进行增将所述待处理语音帧的频谱系数输入到预处理神经网络进行特征语音帧对应的去噪语音帧的频谱系数进行训所述将所述待处理语音帧的频谱系数输入到预处理神经网络进行将所述待处理语音帧的频谱系数和所述历史语音帧的频谱系数输入到所述预处理神根据所述第一增益对所述第一增强结果中的各个子带进行根据所述待处理语音帧计算所述待处理语音帧对应所述根据所述第一增益、所述第二增益和所述控制系数，对所述待处根据所述第一增益和所述第二增益，对所述待处理语音帧对应的幅度谱进行增益控根据所述增强后的幅度谱和所述待处理语音帧对应的相位谱合并，得到第四增强结根据所述待处理语音帧计算所述待处理语音帧对应所述根据所述第一增益、所述第二增益和所述控制系数，对所述待处根据所述第一增益和所述第二增益，对所述待处理语音帧对应的幅度谱进行增益控4第一神经网络子模块，将所述音频特征向量输入第一神经网络根据噪声语音帧对应的声门特征和所述噪声语音帧对应的去噪语音帧对应的声门特征进声门增益预测子模块，用于通过所述第一神经网络根据其中，所述通过所述第一神经网络根据所述音频特征向量进通过所述第一神经网络对所述音频特征向量进行增益计算，得到所述待将所述各个子带对应的第一声门增益合并作为所其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任意一项理器执行时实现如权利要求1至10中任一项所述的语音56经网络是根据噪声语音帧对应的声门特征和所述噪声语音帧对应的去噪语音帧对应的声[0025]增益计算单元，用于通过所述第一神经网络对所述音频[0026]增益生成单元，用于将所述各个子带对应的第一声门增益合并作为所述第一增7经网络是根据噪声语音帧的激励信号和所述噪声语音帧对应的去噪语音帧的激励信号进音帧的频谱系数和所述噪声语音帧对应的去噪语音帧的频谱系数进行谱系数输入到所述预处理神经网络进行特征计算，得到所述待处理语音帧的音频特征向8算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质9[0077]图5示出了不同信噪比下，根据原始语音信号分解出激励信号和声门滤波器的频本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，[0091]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对装置在采集到发言人的语音信号后，需要将所采集到的语音信号发送至其他会议参与方，[0097]目前国内云会议主要集中在以SaaS(SoftwareasaService，软件即服务)模式集模块111用于采集语音信号，其可以将采集到的声学信号转换成数字信号；前增强模块[0105]在对本方案进行具体说明之前，首先对基于激励信号的语音生成方法进行介[0106]图2示出了语音信号产生的数字模型的示意图，通过该数字模型可以描述语音信常根据声门参数进行配置。声门滤波器可以采用各类采用源-滤波器模型生成语音的方案[0108]图5示出了不同信噪比下根据原始语音信号分解出激励信号和声门滤波器的频率STFT)。频谱系数的维度通常取决于待处理语音帧的样本点的数量以及STFT变换时所采用[0118]声门增益计算是针对于待处理语音帧所对应的声门滤波器部分计算增益的过含噪的噪声语音帧作为训练样本，并且人工计算去噪后所需要的控制系数作为训练目标，特征和噪声语音帧对应的去噪语音帧对应的声门经网络所输出的第一增益能够使得含噪语音帧的声门特征与去噪语音帧的声门特征之间使得输出的第一增益使得含噪语音帧的声门特征与去噪语音帧的声门特征之间的均方误程，可以使得第一神经网络所预测得到的第一增益能够使得待处理语音帧在声门模型(即声门滤波器+激励信号)下的声门滤波器与纯净语音在声门模型下的声门滤波器足够相似，带包括音频特征向量中的相邻的至少两个维度带。对频域表示所进行的分带可以是对频率进行均匀分带(即每个子带对应的频率宽度相[0143]非均匀分带可以是巴克(Bark)分带。Bark分带是按照Bar[0147]通过第一神经网络对音频特征向量和待处理语音帧待处理语音帧的基音周期进征向量和基音周期直接输出第二声门增益。第二声门增益对应于声门滤波器中的LTP滤波网络预测的第一声门参数与去噪语音的LPC滤波器的配置参数之间的均方误差满足设定的[0159]通过第一神经网络根据音频特征向量和待处理语音帧待处理语音帧的基音周期第一声门参数配置的LPC滤波器所生成的语音信号通过根据第二声门参数配置的LTP滤波噪语音的音频特征向量以及去噪语音的LTP滤波器的配置参数，可以对第一神经网络进行训练，使得第一神经网络预测的第二声门参数与去噪语音的LTP滤波器的配置参数之间的络所输出的第二增益能够使得含噪语音帧的激励信号与去噪语音帧的激励信号之间的差到的第二增益能够使得待处理语音帧在声门模型下的激励信号与纯净语音在声门模型下(FullConnected，FC)层。输入的F(n)为128维的音频特征向量。第一个FC层的输出为[0175]预处理神经网络是指用于将待处理语音帧的频谱系数转换为音频特征向量的神了该层输出的变量的维度第一卷积层输出[16,127]维的变量，第二卷积层输出[32,62]维层输出[128,5]维的变量，第六卷积层输出[128,1]维的变量，LSTM层输出[128,1]维的变[0182]将待处理语音帧的频谱系数和历史语音帧的频谱系数输入到预处理神经网络进声语音帧对应的频谱系数的能量和所述噪声语音帧对应的去噪语音帧对应的频谱系数的g11(n)，并且调用第二神经网络得到第二增益g12(n)联合用于对频谱系数S(n)进行第一频谱控制(即增益控制)，从而输出第一e2(n)与相位谱Ph(n)合并进行逆时频转换，得到语音帧对应的增强并且补充后的信号s_e实施例示出的第三神经网络的另一结构示意图。如图14所示，预处理神经网络包括5个FC[0224]以下介绍本申请的装置实施，可以用于执行本申请上述实施例中的语音处理方根据噪声语音帧对应的声门特征和噪声语音帧对应的去噪语音帧对应的声门特征进行训[0233]声门增益预测子模块，用于通过第一神经网络根据音频[0249]预测结果合并子单元，用于将第一预测结果和第二预测结果合并确定为第一增数和噪声语音帧对应的去噪语音帧的频谱系数进[0261]第二增强子模块，用于根据第一增益对第一增强结果中的各个子带进行增益运[0269]第一幅度谱能量补偿子模块，用于根据控制系数对第四[0274]第二幅度谱能量补偿子模块，用于根据控制系数对增强后的幅度谱进行能量补[0280]如图16所示，计算机系统1600包括中央处理单元(CentralProcessingUnit，存部分1608加载到随机访问存储器(RandomAccessMemory，RAM)1603中的程序而执行各种适当的动作和处理。在RAM1603中，还存储有系统操作所需的各种程序和数据。CPU器等的输出部分1607；包括硬盘等的储存部分1608；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1610也根据需要连接至I/O接口1605。可拆卸介质从其上读出的计算机程序根据需要被安装入储存部分1608。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以块或者单元的特征和功能可以进一步划分为由多个模块或者单者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识