CN113571079B 语音增强方法、装置、设备及存储介质 （腾讯科技（深圳）有限公司）

语音帧的历史语音帧对应的增益对目标语音帧2根据目标语音帧的频域表示进行声门参数预测，得到所述目标语音帧对应的声门参神经网络预测用于重构所述目标语音帧中原始语根据所述目标语音帧的历史语音帧对应的增益对所述目标语音帧进行增益根据所述目标语音帧的频域表示进行激励信号预测，得到所述目标对所述目标语音帧对应的声门参数、所述目标语音帧对应的增益和所通过所述声门滤波器对所述目标语音帧对应的激励信号进行滤波，得到第一语音信按照所述目标语音帧对应的增益对所述第一语音信号进行放大处理所述通过所述声门滤波器对目标语音帧对应的激励信号进行滤波，得到第一语音信将所述目标语音帧中每个样本点的前K个样本点所对应的激励信号值与所述K阶滤波按照时间顺序组合所述目标语音帧中的全部样本点对应的目标信号值，得将所述目标语音帧的频域表示输入第一神经网络，所述第一神经网由所述第一神经网络根据所述目标语音帧的频域表示输出所述目标语音帧对应的声3将所述目标语音帧的频域表示和所述目标语音帧的历史语音帧对应的声门参数输入声门参数和所述样本语音帧的历史语音帧对应的声门参由所述第一神经网络根据所述目标语音帧的频域表示和所述目标语音帧的历史语音将所述目标语音帧的历史语音帧对应的增益输入第二神经网络；所述由所述第二神经网络根据所述目标语音帧的历史语音帧对应的增益输出所述目标语将所述目标语音帧的频域表示输入第三神经网络；所述第三神经网帧的频域表示和所述样本语音帧所对应激励信号由所述第三神经网络根据所述目标语音帧的频域表示输出所述目标语音帧所对应激获取第二语音信号，所述第二语音信号是采集到的语音信号或者对所述目标语音帧对应的增强语音信号进行播放或者声门参数预测模块，用于根据目标语音帧的频域表示声门参数预测是指通过神经网络预测用于重构所述目标语音帧中原始语音信号的声门参4增益预测模块，用于根据所述目标语音帧的历史语音帧对应的激励信号预测模块，用于根据所述目标语音帧的频域表示进行激励合成模块，用于对所述目标语音帧对应的声门参数、所述目标语音存储器，所述存储器上存储有计算机可读指令，所述计算机算机程序适于由处理器加载并执行如权利要求1_125理以去除噪声部分是现有技术中亟待解决的[0007]根据所述目标语音帧的历史语音帧对应的增益对所述目6于由所述第一神经网络根据所述目标语音帧的频域表示输出所述目标语音帧对应的声门7[0029]而且在本方案中，所预测到的声门参数与语音生成的物理过程的声门特征强相[0034]图3示出了根据一原始语音信号分解出激励信号和声门滤波器的频率响应的示意[0037]图6是根据本申请一实施例示出的通过加窗交叠的方式对语音帧进行短时傅里叶8本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，[0047]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对装置在采集到发言人的语音信号后，需要将所采集到的语音信号发送至其他会议参与方，[0054]目前国内云会议主要集中在以SaaS(SoftwareasaService，软件即服务)模式9[0056]图1是根据一具体实施例示出的VoIP(VoiceoverInternetProtocol，网络电[0062]图2示出了语音信号产生的数字模型的示意图，通过该数字模型可以描述语音信[0065]图3示出了根据一原始语音信号分解出激励信号和声门滤波器的频率响应的示意器的频率响应图中波峰位置，激励信号相当于对该原始语音信号进行LP(Linear来进行语音合成，合成所得到的语音信号相当于该待处理的语音信号中的原始语音信号，[0068]图4是根据本申请的一个实施例示出的语音增强方法的流程图，该方法可以由具声门滤波器为数字滤波器。声门参数可以是线性预测编码(LinearPrediction语音帧所对应声门参数的数量是与声门滤波器的阶数相关的，若所述声门滤波器是K阶滤[0081]从物理意义上讲，P(z)和Q(z)分别代表了声门张开和声门闭合的周期性变化规帧语音帧所对应P(z)的根和所对应Q(z)根来表示。将第n帧语音帧所对应P(z)和Q(z)在复[0084]在步骤410中，所进行的声门参数预测是指预测用于重构目标语音帧中原始语音语音信号进行线性预测分析得到各样本语音帧据所输入语音帧的频域表示准确预测该语音帧中原始语音信号对应的声门参数以将距离目标语音帧较近的历史语音帧对应的声门参数作为参考可以进一步保证预测准[0093]目标语音帧的历史语音帧所对应的声门参数可以是对该历史语音帧进行声门参目标语音帧的频域表示和所述目标语音帧的历史语音帧对应的声门参数输入第一神经网数，如果所输出的预测声门参数与该样本语音帧中原始语音信号对应的声门参数不一致，该语音帧的历史语音帧所对应的声门参数预测用于重构该语音帧中原始语音信号的声门[0097]历史语音帧对应的增益是指用于重构历史语音帧中原始语音信号的增益。同样[0100]样本语音帧所指示的信号可以是根据已知的原始语音信号和已知的噪声信号进[0101]目标语音帧的历史语音帧对应的增益可以是该第二神经网络为该历史语音帧进[0104]步骤430中所进行激励信号预测是指预测用于重构目标语音帧中原始语音信号所[0107]样本语音帧所对应的激励信号是指可以用于重构样本语音帧中原始语音信号的滤波器，然后结合该目标语音帧对应的增益和对应的激励信号按照上述公式(1)进行语音2K过程可以转换到时域进行。则在预测得到目标语音帧所对应激励信号的频域表示的基础上一语音帧中的最后K个样本点的激励信号值来计算该首个样本点对应的目标信号值，同本点的激励信号值和目标语音帧中首个样本点的激励信号值与K阶滤波器进行卷积，得到要目标语音帧的上一语音帧中最后K个样本点所对应的激励信号值的[0121]通过如上步骤510_530实现了根据为目标语音帧所预测到的声门参数、激励信号[0128]短时傅里叶变换中采用加窗交叠的操作来消除帧间不平滑。图6是根据一具体示目标语音帧并按照如上步骤410_440的过程对目标语音帧进行增强，得到目标语音帧的增[0138]在获得第n帧语音帧的频域表示S(n)后，可以通过步骤720来预测到该第n帧语音[0139]在步骤720中，可以是仅将第n帧语音帧的频域表示S(n)作为第一神经网络的输入，还可以将该目标语音帧的历史语音帧对应的声门参数P_pre假设该方法中所进行的短时傅里叶变换采用640个样本点、重叠样本点320个的方式进行。并进一步假设声门参数为线谱频率系数，即第n帧语音帧对应的声门参数为ar(n)为LSF网络包括一层LSTM(Long_ShortTermMemory，长短期记忆网络)层和三层级联的FC(Full神经网络和第二神经网络的结构和降低了模[0156]激励信号预测模块1230，用于根据所述目标语音帧的频域表示进行激励信号预应的激励信号值与所述K阶滤波器进行卷积，得到所述目标语音帧中每个样本点的目标信一神经网络根据所述目标语音帧的频域表示输出所述目标语音帧对应所述目标语音帧的频域表示和所述目标语音帧的历史语音帧对应的声门参数输入第一神由所述第一神经网络根据所述目标语音帧的频域表示和所述目标语音帧的历史语音帧对于由所述第三神经网络根据所述目标语音帧的频域表示输出所述目标语音帧所对应激励[0170]如图13所示，计算机系统1300包括中央处理单元(CentralProcessingUnit，储部分1308加载到随机访问存储器(RandomAccessMe器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质从其上读出的计算机程序根据需要被安装入存储部分1308。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，块或者单元的特征和功能可以进一步划分为由多个模块或者