CN114299918B 声学模型训练与语音合成方法、装置和系统及存储介质 （标贝（北京）科技有限公司）

中关村东升科技园•北领地B-1号楼4本发明提供一种声学模型训练与语音合成始真实声学信息包括初始真实语音或与初始真2获取文本信息和初始真实声学信息，所述文本信息包括训练文本或与的初始真实声学特征序列；所述初始预测声学信息与所述初始真实声学信将所述初始真实声学信息和所述初始预测声学信息分别输入判别器，以获至少基于所述真实判别结果和所述预测判别结果，对所述基于所述初始真实声学信息和所述初始预测声学信息对所述初始真实声学信息分别进行n-1个降采样操作，以分别获得n-1组对所述初始预测声学信息分别进行所述n-1个降采样操作，以分别将所述初始真实声学信息以及所述n-1组降采样真实声学信息一一对应地输入所述n将所述初始预测声学信息以及所述n-1组降采样预测声学信息一一对应地输入所述n3子判别器所对应的子真实判别结果，Dk(G(x))代表第k个子判别器所对应的子预测判别结5.如权利要求3或4所述的方法，其中，所述n-1个降所述基于所述真实损失和所述预测损失计算判别所述基于所述信息损失和所述对抗损失计算生成7.如权利要求2至4任一项所述的方法，将所述初始真实声学信息和所述初始预测声学信息代入均方误差函数或平方绝对误对所述初始真实声学信息分别进行n-1个降采样操作，以分别获得n-1组对所述初始预测声学信息分别进行所述n-1个降采样操作，以分别将所述初始真实声学信息以及所述n-1组降采样真实声学信息一一对应地输入所述n将所述初始预测声学信息以及所述n-1组降采样预测声学信息一一对应地输入所述n4利用通过如权利要求1至8任一项所述的声学模型训练方法训练获得的声学模型对所获取模块，用于获取文本信息和初始真实声学信息，所述文本信息始真实语音相关的初始真实声学特征序列；第一输入模块，用于将所述文本信息输入声学模型，以获第二输入模块，用于将所述初始真实声学信息和所述初始预测声学训练模块，用于至少基于所述真实判别结果和所述预测合成模块，用于利用通过如权利要求1至8任一项所述的声学模指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求9所述的语音合成方56信息以及n-1组降采样真实声学信息一一对应地输入n个子判别器，以获得n个子判别器输信息以及n-1组降采样真实声学信息一一对应地输入n个子判别器，以获得n个子判别器输文本信息和初始真实声学信息，文本信息包括训练文本或与训练文本相关的文本特征序列，初始真实声学信息包括初始真实语音或与初始真实语音相关的初始真实声学特征序7[0030]根据本发明实施例的声学模型训练方法、装置和系统及存储介质与语音合成方8方案有助于进一步提高后续语音合成的准确性，从而可大大提高语音合成系统的用户体[0043]生成对抗网络(GenerativeAdversarialNetwork，简称GAN)是非监督式学习的成器)与判别网络(即判别器)组成。生成网络从潜在空间(l例的声学模型训练方法100的示意性流程图。如图1所示，声学模型训练方法100包括步骤9练文本，初始真实声学信息可以是或者包括与初始真实语音相关的初始真实声学特征序[0051]本文所述的各种声学特征序列(例如初始真实声学特征序列、初始预测声学特征或将来可能出现的语音领域采用的文本特征和声学特征均应落入本[0057]示例性而非限制性地，本文所述的声学模型可以包判别器输出的真实判别结果和预测判别结果，真实判别结果与初始真实声学信息相对应，[0062]判别器用于判断输入的声学信息是真实的还是虚假的(虚假是指由声学模型生息相对应(即所表达的语音内容一致)或者二者不相对应(即所表达的语音内容不一致)的学信息；将初始真实声学信息以及n-1组降采样真实声学信息一一对应地输入n个子判别器，以获得n个子判别器输出的n个子真实判别结果，真实判别结果包括n个子真实判别结[0076]在初始真实声学信息是或者包括初始真实声学特征序列的情况下，n-1组降采样可以是或者包括n-1个降采样预测声学特征序列。算在原始声学信息(例如初始真实声学信息和初始预测声学信息)的采样尺度上，而D2,真实声学信息和初始预测声学信息彼此具有相同的样层以外，子判别器1～n各自包含的剩余网络层(子判别器1是全部网络层)可以具有相同作中的第i个降采样操作用于将初始真实声学信息降采样2i倍。在对初始预测声学信息分别进行n-1个降采样操作时，n-1个降采样操作中的第i个降采样操作用于将初始预测声学真实判别结果包括n个子真实判别结果；以及将初始预测声学信息分别输入n个子判别器，判别器的降采样层进行降采样操作，以获得与当前子判别器相对应的降采样真实声学信并对在k＝1,2,3…n的情况下各自计算的所有最大值结果(共n个最括：将初始真实声学信息和初始预测声学信息代入均方误差(MSE)函数或平方绝对误差[0116]在步骤S320，利用通过上述声学模型训练方法100训练获得的声学模型对待合成特征序列输入通过上述声学模型训练方法100训练获得的声学模型，以获得声学模型输出描述的声学模型训练方法100的各个步骤/功能。以下仅对该声学模型训练装置400的各部[0123]获取模块410用于获取文本信息和初始真实声学信息，文本信息包括训练文本或[0124]第一输入模块420用于将文本信息输入声学模型，以获得声学模型输出的初始预[0125]第二输入模块430用于将初始真实声学信息和初始预测声学信息分别输入判别[0126]训练模块440用于至少基于真实判别结果和预测判别结果，对声学模型和判别器施例的声学模型训练系统500的示意性框图。声学模型训练系统500包括处理器510和存储[0128]所述存储器520存储用于实现根据本发明实施例的声学模型训练方法100中的相所述程序指令被计算机或处理器运行时用于执行本发明实施例的声学模型训练方法100的[0132]如图6所示，根据本发明实施例的语音合成装置600包括获取模块610和合成模块620。所述各个模块可分别执行上文中结合图4描述的语音合成方法400的各个步骤/功能。以下仅对该语音合成装置600的各部件的主要功能进行描述，而省略以上已经描述过的细[0134]分析模块620用于利用通过上述声学模型训练方法100训练获得的声学模型对待[0136]所述存储器720存储用于实现根据本发明实施例的语音合成方法400中的相应步所述程序指令被计算机或处理器运行时用于执行本发明实施例的语音合成方法400的相应如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的声学模型训练系统或语音域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例