CN114283781B 语音合成方法及相关装置、电子设备和存储介质 （中国科学技术大学）

本申请公开了一种语音合成方法及相关装2获取具有所述第一语音属性的全局韵律特征，并基于所述待合基于所述待合成文本、所述全局韵律特征和所述局部韵律特2.根据权利要求1所述的方法，其特征在于，所述合成语音基于语音合成模型合成得其中，所述第一目标样本语音、所述第二目标样本语音均4.根据权利要求2所述的方法，其特征在于，所述语音合成模型包括全局韵律提取网基于所述第一样本全局韵律特征和所述样本语音对应的样本文基于所述预测第一语音属性与所述样本第一语音属性之间的差5.根据权利要求1所述的方法，其特征在于，所述合成语音基于语音合成模型合成得网络训练收敛之后基于所述样本数据训练得到。3基于所述第一样本局部韵律特征进行预测，得到所述样本语音的预测第二语音属性，基于所述预测第二语音属性和所述样本第二语音属性之间的差异基于所述局部韵律提取网络提取所述样本语音的第三样本局局部韵律预测网络对所述样本语音对应的样本文本和所述样本语音标注的样本语音属性基于所述第三样本局部韵律特征和所述预测局部韵律特征之间的9.根据权利要求1所述的方法，其特征在于，所述合成语音基于语音合成模型合成得所述局部韵律提取网络训练收敛之后基于所述样本数据训练得提取所述第四样本局部韵律特征的样本语音属性特征，并基于所述样基于所述样本文本、所述样本第二语音属性和所述预测语音属性基于所述样本语音属性特征和所述预测语音属性特征之间的差网络分别训练收敛之后基于所述样本数据训练得到。提取所述样本语音的第三样本全局韵律特征和第六样本局部4基于所述样本语音对应的样本文本、所述第三样本全局韵律特征基于所述样本语音和所述样本合成语音之间的差异，至少调整全局韵律模块和局部韵律模块，所述全局韵律模块用于获取具合成模块，用于基于所述待合成文本、所述全局韵律特征和所述有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至13任一项所述的语音述程序指令用于实现权利要求1至13任一项所述的56一方面在合成过程中参考句子级韵律特征信息，能够把控合成语音整体符合第一语音属[0029]在一个实施场景中，情感类别可以从预先设置的若干种预设情感类别中选择得7预设情感类别中选择错误，也能够尽可能地降低对用户体验的影响。如，前述待合成文本[0030]在一个实施场景中，风格类别可以从预先设置的若干种预设风格类别中选择得8到样本语音的预测第一语音属性，以及提取第一样本合成语音的第二样本全局韵律特征。编码器)、CVAE(ConditionalVariationalAutoEncoder，条件变分自编码器)、GST(即9第一语音属性中风格类别)的预测概率值，从而可以取最高预测概率值对应的参考样本语本语音关于第一语音属性中情感类别(和/或第一语音属性中风格类别)的预测概率值来度种方式获取具有第一语音属性的全局韵律特征，有利于进一步提升对不同场景的适应性，(BidirectionalEncoderRepresentationfromTransformers，即双向Transformer的韵律提取网络对第二样本合成语音进行局部韵律提取，得到第二样本局部韵律提取特征。并基于局部韵律预测网络对样本语音对应的样本文本和样本语音标注的样本语音属性进收敛的局部韵律提取网络之后所提取得到的第三样本局部韵律特征作为目标约束局部韵6所示，与前述韵律转换不同的是，迁移学习采用多种风格多种情感多个说话人的混合数语音的第四样本局部韵律特征，基于此再提取第四样本局部韵律特征的样本语音属性特征和第五样本局部韵律特征之间的差异，调整韵律编码网络和文本编码网络的网络参数，据训练得到，样本数据包括标注有样本语音属性的样本语音和样本语音对应的样本文本，示意图。如图8所述，可以提取样本语音的第三样本全局韵律特征和第六样本局部韵律特一方面在合成过程中参考句子级韵律特征信息，能够把控合成语音整体符合第一语音属样本语音的样本全局韵律特征，得到全局韵律特征；全局韵律模块102包括第二获取子模100包括全局提取网络训练模块，全局提取网络训练模块包括第一样本全局韵律提取子模模块包括第一调整子模块，用于基于预测第一语音属性与样本第一语音属性之间的差异，100包括局部提取网络训练模块，局部提取网络训练模块包括第一样本局部韵律提取子模训练得到。网络，以通过训练收敛的局部韵律提取网络来辅助韵律编码网络和文本编码网络的训练，[0077]在一些公开实施例中，样本语音属性包括样本第一语音属性和样本第二语音属法实施例中的步骤。处理器112还可以称为CPU(CentralProcessingUnit，中央处理单SpecificIntegratedCircuit,ASIC)、现场可编程门阵列(Field-ProgrammableGate机可读存储介质120存储有能够被处理器运行的程序指令121，程序指令121用于实现上述单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软