CN113393828B 一种语音合成模型的训练方法、语音合成的方法及装置 （腾讯科技（深圳）有限公司）

本申请公开了一种基于人工智能技术实现的损失值，对语音合成模型的模型参数进行更果更佳的语音合成模型，提升合成语音的准确2获取待训练样本对，其中，所述待训练样本对包括具有对应关系根据所述第一目标损失值对所述语音合成模型的模型参基于所述待训练文本以及所述第一身份标识，通过所述语音合获取所述第一梅尔谱所对应的M帧预测频率幅度向量，其中，所述量中的每帧预测频率幅度向量对应于所述待训练音频中的一帧音频信号，所述M为大于或获取所述真实梅尔谱所对应的M帧标注频率幅度向量，其中，所述量中的每帧标注频率幅度向量对应于所述待训练音频中的根据所述M帧预测频率幅度向量确定预测频率根据所述M帧标注频率幅度向量确定标注频率获取所述第一音素序列所对应的M帧预测音素向量，其中，所每帧预测音素向量对应于所述待训练音频中的一帧音频信号，所述M为大于或等于1的整获取所述标注音素序列所对应的M帧标注音素向量，其中，所每帧标注音素向量对应于所述待训练音频中的一5.根据权利要求1至4中任一项所述的训练获取待测试文本以及所述待测试文本所对应的第二身份标识3根据所述权重矩阵确定目标音素序列；根据所述第二身份标识与所述预测身份标识之间的损失值，测身份标识之间的损失值，以及所述第二音素序列以及所述目标音素序列之间的损失值，根据所述第二目标损失值对所述语音合成模型的模型参获取所述第二音素序列所对应的N帧预测音素向量，其中，所获取所述目标音素序列所对应的N帧音素向量，其中，根据权利要求1至8中任一项所述的训练方基于所述待合成文本以及所述目标身份标识，通过所述语音合4所述获取模块，具体用于基于所述待训练文本以及所述第一身份标识获取所述第一梅尔谱所对应的M帧预测频率幅度向量，其中，所述量中的每帧预测频率幅度向量对应于所述待训练音频中的一帧音频信号，所述M为大于或获取所述真实梅尔谱所对应的M帧标注频率幅度向量，其中，所述量中的每帧标注频率幅度向量对应于所述待训练音频中的根据所述M帧预测频率幅度向量确定预测频率根据所述M帧标注频率幅度向量确定标注频率获取所述第一音素序列所对应的M帧预测音素向量，其中，所每帧预测音素向量对应于所述待训练音频中的一帧音频信号，所述M为大于或等于1的整获取所述标注音素序列所对应的M帧标注音素向量，其中，所每帧标注音素向量对应于所述待训练音频中的一所述获取模块，还用于在所述训练模块根据所述第一目标损失值对所的模型参数进行更新之后，获取待测试文本以及所述待测试文本所对应的第二身份标识，所述获取模块，还用于基于所述第二梅尔谱，通过所述语音识别模型获5所述训练模块，还用于根据所述第二身份标识与所述预测身份根据所述第二目标损失值对所述语音合成模型的模型参获取所述第二音素序列所对应的N帧预测音素向量，其中，所获取所述目标音素序列所对应的N帧音素向量，其中，所述获取模块，还用于基于所述待合成文本，通过所述获取模块，具体用于基于所述待合成文本以及所述目标身份标识所述处理器用于执行所述存储器中的程序，所述处理器用于根据程所述总线系统用于连接所述存储器以及所述处理器，以使所述存储算机执行如权利要求1至8中任一项所述的训练方法，或，执行如权利要求9或10所述的方67[0002]语音是人们日常交流中非常普遍的一种方式。随着人工智能(Artificial8测频率幅度向量中的每帧预测频率幅度向量对应于待训练音频中的一帧音频信号，M为大标注音素向量对应于待训练音频中的一帧音第一音素序列以及标注音素序列之间的损失值，对语音合成模型的模型参数进行更新之9[0097]TTS技术属于人工智能(ArtificialIntelligence,AI)技术的语音技术(Speech然语言处理技术以及机器学习/深度学习等几数的衣服呢”，调用自然语言处理(NatureLanguageprocessing，NLP)软件开发工具包指的是模型预测的梅尔谱与真实梅尔谱之间的平方差作为模型优化的目标，平方差越小，字的声调为第二声。号，这样可以避免傅里叶变换中数值运算问题，另外还可以1024表示使用尺寸为1024的窗口对输入进行采样，hopsize＝240表示两个相邻窗口之间[0133]本实施例中，语音合成模型训练模型将待训练文本输入至待训练的语音合成模谱与真实梅尔谱和之间的损失值，L2表示第一音素序列以及标注音素序列之间的损失值。最后，以最小化综合损失值作为训练目标，通过随机梯度下降(stochasticgradient(AttentionMechanism)、自回归解码器(AutoregressiveDecoder)以及梅尔谱后处理网更好地预测下一帧频谱。语音合成是一个建立从文本序列到频谱序列的单调映射的任务，则是通过注意力机制来产生。本申请采用的注意力机[0163]自回归解码器是以当前注意力机制产生的内容信息和上一帧预测的频谱来生成[0164]梅尔谱后处理网络可以将解码器预测频谱进行平滑化，以便得到更高质量的频标注音素向量对应于待训练音频中的一帧音音识别网络中预测出来的第一音素序列所对应的概率分布结合计pn表示标注音素序列中第m帧音频信号的标注音素向量，pm表示第一音素序列中第m帧音[0200]在GTA训练阶段完成以后，可以收集大量不在训练集内部的文本以及偏僻不通顺[0216]本实施例中，介绍了一种在freerunning训练阶段中确定第二CE损失值的方二身份标识即为第二对象的标识，而第二对象表示在GAT训练阶段中某个待训练音频所对[0226]本实施例中，介绍了一种在freerunning训练阶段中确定第三CE损失值的方再跟语音识别网络中预测出来的第二音素序列所对应的概率分布结合计算p,表示目标音素序列中第n帧音频信号的音素向量，pm表示第二音素序列中第n帧音频信用声波网络(WaveNet)模型将目标梅尔谱变换为时域波形样本，根据时域波形样本即可得按钮，以此选择一段原始文本直接进行上传。基于用户输入的原始文本或者上传的原始文端设备播放目标合成语音。申请实施例中语音合成模型训练装置的一个实施例示意图，语音合成模型训练装置30包对性训练属于某个说话人的语音，使得最后合成的语音更贴近于某个说话人的真实语音，测频率幅度向量中的每帧预测频率幅度向量对应于待训练音频中的一帧音频信号，M为大预测音素向量中的每帧预测音素向量对应于待训练音频中的一帧音频信号，M为大于或等标注音素向量对应于待训练音频中的一帧音技术和说话人识别技术应用到基于注意力机制的模型训练任务中，通过分阶段式的训练，证技术融入到语音合成模型中，能有效防止因参数更新而对发音人音色发生偏离的现象，识别网络中预测出来的第二音素序列所对应的概率分布结语音合成模型为根据上述实施例提供的训练方而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操[0338]图15示出的是与本申请实施例提供的终端设备相关的智能手机的部分结构的框包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoise上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystemofmobilecommunication，GSM)、通用分组无线服务(generalpacketradioservice，GPRS)、码分多址(codedivisionmultipleaccess，CDMA)、宽带码分多址(widebandcodedivisionmultipleaccess,W[0341]存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620[0342]输入单元630可用于接收输入的数字或字符信息，以及产生与智能手机的用户设[0343]显示单元640可用于显示由用户输入的信息或提供给用户的信息以及智能手机的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显示器(liquid示面板641是作为两个独立的部件来实现智能手机的输入和输入功能，但是在某些实施例面板641和/或背光。作为运动传感器的一种，加轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别智能手机姿态的应用[0346]WiFi属于短距离无线传输技术，智能手机通过WiFi模块670可以帮助用户收发电[0347]处理器680是智能手机的控制中心，利用各种接口和线路连接整个智能手机的各[0360]本申请实施例中还提供一种包括程序的计算机程序产品，当其在计算机上运行[0365]所述集成的单元如果以软件功能单元的形