CN114283783B 语音合成方法、模型训练方法、设备及存储介质 （中国科学技术大学）

待合成文本，输入到训练好的目标语音合成模预训练集对预设的语音合成模型进行预训练得时长预测网络替换语音合成模型的时长预测网集中挑选出目标说话人的同类说话人的语音样练集和加噪语音样本对目标语音合成模型进行能够合成与特定说话人说话风格更为契合的高2获取待合成文本，输入到训练好的目标语音合成模型，确定目标应用场景对应的目标时长预测网络，并采用所述从所述预训练集中获取与所述目标说话人的同类说话人的语音样本根据所述目标训练集和所述加噪语音样本对所述目标语音合成模型根据预训练集对预设的语音合成模型的所述序列到序列网络和时长预测网络进行预所述根据预训练集对预设的语音合成模型的所述序列到序列网络和时长预测网络进将所述预训练集中多个说话人的语音样本输入至预设的语音合成模型中，在所在所述序列到序列网络的解码端增加对噪声的嵌入操基于所述声学特征编码向量、所述音素时长编码向量和所述噪声嵌入根据所述第一损失函数和所述第二损失函数，计算所述预设的语根据所述声学特征编码向量、所述音素时长编码向量和所述3在所述序列到序列网络的解码端对所述融合预测向量进行自回归解码，到序列网络在所述标签为clean标签时学习预测clean声学特征、所述标签为noise标签时加噪语音样本对所述目标语音合成模型进行训练，得到所述训练好的目标语音合成模型，将所述目标训练集中目标说话人的语音样本和所述加噪语音样本输入至所述目标语将所述序列到序列网络的第二损失函数重新定义为结构相似性S根据所述SSIM损失函数重新定义所述目标语音合成从预设语音库中获取多个说话人对应的第一音频数据和所述第根据所述第一音频数据和所述第一音频数据的文本，以及从预设多种应用场景对应的时长预测网络中选取与所述时长预测网络余弦距离最近从预设多种应用场景对应的时长预测网络中匹配目标应用场景对应的时长预测网络，对所述同类说话人的语音样本中的声学特征在时域和频域确定目标应用场景对应的目标时长预测网络，并采用所述从所述预训练集中获取与所述目标说话人的同类说话人的语音样本根据所述目标训练集和所述加噪语音样本对所述目标语音合成模型4所述处理器用于通过运行所述存储器中存储的程序，实现如权利要求1-述的语音合成方法的步骤，或者实现如权利要求11所述的语音合成模型的训练方法的步56发音风格更为契合的音素时长，从而使得训练好的目标语音合成模型合成的语音的韵律，说话人的同类说话人的加噪语音样本是对预训练阶段使用过的目标说话人的同类说话人[0026]图1a是本申请的实施例提供的一种现有fewshot技术构建个性化语音合成系统的7[0027]图1b是本申请的实施例提供的一种现有oneshot技术构建个性化语音合成系统的[0030]图4是本申请的实施例提供的一种对目标说话人的同类说话人的语音样本进行图像集和第二图像集仅仅是为了区分不同的图像集，并不对其先后顺序进行限定。本领域实现输入文本特征序列与输出声学特征序列之间的对齐。此时的注意力权值基于查询8是基于个性化训练集中目标说话人的少量语音样本对预训练语音合成模型再次进行个性9人对应的第一音频数据和第二音频数据，以及第一音频数据对应的文本和第二对应的文[0057]最终根据第一音频数据对应的声学特征和clean标签、第一音频数据的文本对应的声学特征和标签包括多个说话人的第一音频数据的声学特征和clean标签，以及第二音频数据的声学特征和noise标签，多个说话人的音频数据的文本对应的音素时长包括多个说话人的第一音频数据的文本对应的音素时长，以及第二音频数据的文本对应的音素时好的ASR(AutomaticSpeechRecognition)模型将第一音频数据的文本对应的音素序列与及第二音频数据的文本和第二音频数据的文本对应的音素序列，在开源语音识别工具对预设的语音合成模型预训练时有两个目标：一个是自回归无attention机制的sequence2sequence网络学习预测声学特征，一个是时长预测网络学习预测每个音素的持[0070]根据预训练集对自回归无attention机制的sequence2sequence网络和时长预测的声学特征编码向量和音素时长编码向量。以编码端输出的音素时长编码向量作为输入，自回归无attention机制的sequence2sequence网络在输入的标签为clean标签时的目标是[0074]基于编码端输出的声学特征编码向量和音素时长编码向以多个说话人的语音样本中的声学特征作为预测目标，训练自回归无attention机制的[0077]在训练自回归无attention机制的sequence2sequence网络时，获取自回归无练集中的实际声学特征构建自回归无attention机制的sequence2sequence网络的损失函回归解码，以使所述序列到序列网络在所述标签为clean标签时学习预测clean声学特征、sequence2sequence网络将多个说话人的语音样本中的声学特征作为预测目标，在多个说话人的语音样本中的标签为clean标签时学习预测clean声学特征、为noise标签时学习预*表示实际声学特征；机制的sequence2sequence网络用于预测文本的声学特征，时长预测网络用于预测文本的[0092]我们通过预先统计不同说话人的音素时长，发现不同说话人的音素时长存在共话人对应的时长预测网络上微调(微调过程中剔除异常音素时长，例如去除音素时间少于目标说话人的目标应用场景)对应的时长预测网络(定义为目标时长预测网络)，然后采用用客服场景音库级说话人对应的时长预测模型来替换预训练语音合成模型中的时长预测设多种应用场景对应的时长预测网络中选取与所述时长预测网络余弦距离最近的时长预训练集对应的声纹特征与每种应用场景代表性发音人的语音样本对应的声纹特征之间的[0098]确定目标应用场景对应的目标时长预测网络的方式之二其中目标说话人的音频数据可以为目标说话人的一句话的音频文件，满足一定的语音时[0101]步骤S105、从所述预训练集中挑选出所述目标说话人的[0102]其中，由于自回归无attention机制的sequence2sequence网络在训练时，其平滑且前后相关性非常大的特征，在训练数据较少时，自回归无attention机制的sequence2sequence网络非常容易学到将历史信息“搬运”过来预测现在，导致自回归无对所述同类说话人的语音样本中的声学特征在时域和频域[0110]将目标训练集中目标说话人的语音样本和加噪语音样本输入至目标语音合成模回归无attention机制的sequence2sequence网络的损失函数重新定义为SSIM损失函数，yy[0117]随着自回归无attention机制的sequence2sequence网络的损失函数重新定义为是对预训练阶段使用过的目标说话人的同类说话人的语音样本进行mask加噪处理得到的，性化训练集中目标说话人的少量语音样本对预训练语音合成模型再次进行个性化微调训练好的目标语音合成模型能够合成与特定说话人的说话风格更为契合的高质量自然流畅[0131]请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。如图7所单元(CentralProcessingUnit，CPU)或数字信号处理器(DigitalSignalProcessor，机程序时实现上述实施例提供的语音合成方法或语音合成模型的训练方法[0138]在一些实施例中，所述预设的语音合成模型包括序列到序列网络和时长预测网[0139]根据预训练集对预设的语音合成模型的所述序列到序列网络和时长预测网络进述根据预训练集对预设的语音合成模型的所述序列到序列网络和时长预测网络进行预训所述序列到序列网络在所述标签为clean标签时学习预测clean声学特征、所述标签为[0147]将所述目标训练集中目标说话人的语音样本和所述加噪语音样本输入至所述目据所述SSIM损失函数重新定义所述目标语[0151]从预设语音库中获取多个说话人对应的第一音频数据和所述第一音频数据的文[0154]从预设多种应用场景对应的时长预测网络中选取与所述时长预测网络余弦距离景对应的时长预测网络中匹配目标应用场景对应的时长预测网络，作为目标时长预测网说话人的语音样本；从所述