CN114420083B 音频生成方法以及相关模型的训练方法和相关装置 （西安讯飞超脑信息科技有限公司）

新区软件新城天谷八路156号云汇谷DRepresentationsforStyConferenceonAcoustics,Speechan音频生成方法以及相关模型的训练方法和本申请公开了一种音频生成方法以及相关标文本编码向量与目标音色对应的目标音色向行合成处理，得到目标文本对应的目标合成频训练的转换模型生成的合成频谱的音色与指定2基于所述样本音色和所述第一预测音色，调整所述转换模型选择所述样本文本和/或样本真实频谱作为本若所述本次训练样本包括所述样本文本，则利用所述样本文本执若所述本次训练样本不包括所述样本文本，则利用所述样本真实频谱基于所述样本真实频谱的实际音色与所述第二预测音色，调整所述音色判别器的参利用所述音色判别器的若干第一卷积组分别对述预测结果包括所述样本合成频谱中各时刻的样本子频谱属于各预设音对所述各时刻的样本子频谱属于各预设音色的第一概率进行统计，确选出所述第二概率满足预设条件的所述预设音色作为所述第一利用所述转换模型的解码器至少基于所述样本文本编码向量和所述样本音色对应的3利用参考变分自编码器对与所述样本文本对应所述利用所述转换模型的解码器至少基于所述样本文本编码向量和所述样本音色对应的样本音色向量进行解码处理，以得到与所述样本音色对应的若干时刻的样本子频谱，利用所述转换模型的变分自编码器对所述样本文本编码向量进行点乘自注意力处理，和/或，所述利用所述参考变分自编码器对与所述样本文本对应的真实频谱进行变分对目标文本进行目标口音的文本编码，得到所述目标口音的目标文本对所述若干时刻的目标子频谱进行合成处理，得到所述目标文本对应的目标合成频利用所述目标口音对应的文本编码器对所述目4对各所述音素的第一原始音素向量进行去音色处理，得到各所述音素的目标音素向在所述获取所述目标文本对应的若干音素的第一原始音素向量之前，所述方法还包所述对所述若干音素的目标音素向量进行编码，得到所述目标口音的利用所述文本编码器的第一循环网络层对所述若干音素的目标音素向量进行编码处对上一时刻的目标子频谱对应的第一频谱特征向量和所述目标音色向量进行融合处所述对所述目标文本编码向量与目标音色对应的目标音色向量进行解码处理获取所述待处理向量的第一统计值和第二统计值，其中，所述5所述利用所述第一融合向量和所述目标文本编码向量，得到当前时刻的目标子频谱，利用解码器的第二循环网络层对所述第二融合向量和所述目标文本编码向量进行处20.根据权利要求9所述的方法，其特征在于，所述音色判别模块，用于利用音色判别器对所述样本合成频谱进行音色模型调整模块，用于基于所述样本音色和所述第一预测音色，调文本编码模块，用于对目标文本进行目标口音的文本编解码模块，用于对所述目标文本编码向量与目标音色对应的目标音色6合成模块，用于对所述若干时刻的目标子频谱进行合成处理，得到程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-8或权利要求9-20中任述程序指令被处理器执行时实现权利要求1-8或权利要求9-20中任一7[0004]本申请主要解决的技术问题是提供一种音频生成方法以及相关模型的训练方法8本编码，而后对得到的目标文本编码向量与目标音色对应的目标音色向量进行解码处理，模型能够生成任意指定音色和任意指定口音的9成频谱对应的音频即为以目标口音和目标音色表[0036]步骤S120：对目标文本编码向量与目标音色对应的目标标文本包含6个音素，这6个音素对应的目标合成频谱可以划分为60个时刻的目标子频谱，次解码操作也就能够得到与目标音色对应的若干时刻频谱合成时还受上文也就是历史合成信息的影响，简单举例说明，目标文本分别为“好事”“事”这一文本内容对应的频谱也是有所区别的，这就是音频受上文的影响造成的。步骤S323中为依次对每个目标音素向量进行编码生成一个目标文本编码向量，最终得到的目标口音的目标文本编码向量包含目标文本的若干音素对应的所有目标文本编码向量，在生成[0073]由于循环网络层在进行处理的过程中能够保留一定历史处理的信息到后续的处[0074]步骤S230：对目标文本编码向量与目标音色对应的目标量即为对待处理向量去音色处理之后得到的结果，此处目标向量即为第一频谱特征向量，处的去音色处理能够使得在生成当前时刻的目标子频谱时不受上一时刻目标子频谱中的的上一时刻目标子频谱的特征向量，能够用于后续对当前时刻的目标子频谱的解码过程[0123]该转换模型的训练方法的步骤可以分为对音色判别器进行训练的步骤和对转换S710和步骤S720为对音色判别器进行一次训练的步骤，步骤S730-步骤S750为对转换模型本对转换模型进行训练会导致转换模型不能够确定输出的频谱应该带有矛盾特征中的何器和转换模型的变分自编码器，那么则可以执行步骤S832-步骤S834以解决上述模型不稳[0142]步骤S832：利用转换模型的变分自编码器对样本文本编[0146]步骤S833：利用参考变分自编码器对与样本文本对应的真实频谱进行变分自编[0149]步骤S9331：利用参考变分自编码器的若干第二卷积组分别对真实频谱进行特征[0154]可以理解的是，步骤S9332中的操作是对于一个第二卷积组对应的特征向量序列[0155]继续以上述真实频谱包括两个时刻的子频谱为例进行说明，第一统计值为平均1和b1模型的解码器对样本文本编码向量、参考句子级编码向量和样本音色向量进行解码处理，[0170]请结合参阅图7和图10，图10是本申请步骤S740另一实施例的流程示意图，步骤[0171]步骤S1041：利用音色判别器的若干第一卷积组分别对样本合成频谱进行特征提[0173]步骤S1042：利用音色判别器的循环网络层对频谱特征进行处理，以得到预测结[0174]需要说明的是，音色判别器的循环网络层会依次对各时刻的样本子频谱进行处型的变分自编码器得到的合成扰动特征与通过参考变分自编码器得到的真实频谱的真实定音色和指定口音对应的转换模型，利用转换模型对目标文本进行目标口音的文本编码，[0197]本实施例中，音频生成装置120包括文本编码模块121、解码模块122和合成模块标文本编码向量。解码模块122用于对目标文本编码向量与目标音色对应的目标音色向量定音色和指定口音对应的转换模型，利用转换模型对目标文本进行目标口音的文本编码，[0201]存储器131用于存储处理器132执行的程序数据以及处理器132在处理过程中的数[0202]处理器132控制电子设备130的操作，处理器132还可以称为为CPU(Central[0204]例如，处理器132可以对目标文本进行目标口音的文本编码得到目标文本编码向定音色和指定口音对应的转换模型，利用转换模型对目标文本进行目标口音的文本编码，[0208]该计算机可读存储介质140具体可以为U盘、移动硬盘、只读存储器(ROM，Read-本编码，而后对得到的目标文本编码向量与目标音色对应的目标音色向量进行解码处理，模型能够生成任意指定音色和任意指定口音的