CN119418686A 语音生成方法、模型构建方法、装置、设备、介质和产品 （武汉人工智能研究院）

发区高新大道678号湖北广电传媒大2将所述情感向量和文本向量输入至已训练的情感语音生成成模型输出的与所述文本向量对应的语音令牌，并基于所述语音令牌生成所述情感语音；所述情感语音生成模型是基于大型语言模型基于所述变换情感特征参数，构建所述待生成的情感语音的情感强将所述情感类别向量、所述情感强度向量和情感风格向量进行融合5.根据权利要求1至4中任一项所述的语音生将所述说话人向量、所述情感向量和文本向量输入至到所述情感语音生成模型输出的与所述文本向量6.根据权利要求1至4中任一项所述的语音生成基于情感预训练模型，提取所述第二参考语音的情感特征参数7.根据权利要求1至4中任一项所述的语将所述样本情感向量、所述样本语音对应的样本文本向量和所述样3基于所述样本语音向量与所述预测语音令牌之间的差异，对所参数确定单元，用于确定情感特征参数，所述情感特征参数包语音生成单元，用于将所述情感向量和文本向量输入至已训练的情感语音生成模型，语音预测单元，用于将所述样本情感向量、所述样本语音对应参数迭代单元，用于基于所述样本语音向量与所述预测语音机程序被处理器执行时实现如权利要求1至7任一项所述语音生成方法，或如权利要求8所行时实现如权利要求1至7任一项所述语音生成方法，或如权利要求8所述语音生成模型构45的情感语音生成模型，得到所述情感语音生成模型输出的与所述文本向量对应的语音令将所述说话人向量、所述情感向量和文本向量输入至已训练的情感语音生成模型，得到所述情感语音生成模型输出的与所述文本向量和说话人向量分别对应的语音令所述样本语音向量输入至初始大语言模型，得到所述初始大语言模型输出的预测语音令6器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语音生成方78[0043]将情感特征参数映射到情感特征空间中，得到一个代表音的训练数据集，对大型语言模型进行训练得到的。大型语言模型（LargeLanguageModel，LLM）简称大模型，是指参数规模庞大的自然语言处理（NaturalLanguage[0048]本发明实施例提供的方法，通过情感特征参数构建待生成的情感语音的情感向9式或组合来识别。别的维度赋值为1（或其他显著值其余维度赋值为0（或较小值可以得到一[0059]在一些实施例中，可通过将情感风格向量和情感类别向量拼接后进行非线性变[0060]其中，f)表示向量操作函数即先拼接再进行非线性变换，hemo表示情感向量，在笛卡尔坐标系中，情感特征参数可以表示成坐标,其中da表[0064]则第一坐标系中的坐标可以变换成以M为原点的新坐标ek，ek用公式可以表示[0071]其中f(·)表示先拼接再进行非线性变换。[0072]基于上述任一实施例，步骤130中将情感向量和文本向量输入至已训练的大型语步骤132，将说话人向量、情感向量和文本向量输入至已训练的情感语音生成模[0077]具体地，第二参考语音可以是从语音库中选取的一段或多段带有情感色彩的语数中各个参数的取值范围（如0_1以及对应的情感描述。根据需要生成的情感语音的情[0088]基于上述任一实施例，图2是本发明提供的语音生成模型构建方法的流程示意图[0090]样本语音向量的提取可通过一些开源的音频编码器如Encodec,Funcodec等，将语音生成单元530，用于将所述情感向量和文本向量输入至已训练的情感语音生[0103]本发明实施例提供的装置，通过情感特征参数构建待生成的情感语音的情感向将所述说话人向量、所述情感向量和文本向量输入至已训练的情感语音生成模型，得到所述情感语音生成模型输出的与所述文本向量和说话人向量分别对应的语音令[0115]此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以[0119]计算机程序被处理器执行时实现以执行上述各方法提供的语音生成模型构建方所述样本语音向量输入至初始大语言模型，得到所述初始大语言模型输出的预测语音令以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改，或者对其中部