CN114220414B 语音合成方法以及相关装置、设备 （广州虎牙科技有限公司）

2通过语音合成模型对所述目标对象的音素、音高以及音素时长进为去除了双向GRU模块的tacotron1模型，所述注意力网络内设置有基于位置的注意力机通过所述语音合成模型对所述音色特征矩阵以及所述编码数据进行解将所述梅尔谱输入到深度学习网络中，利用所述深度学习网络提取所述通过语音合成模型对所述目标对象的音素、音高以及音素时长进行编通过所述语音合成模型中的编码器对所述目标对象的音素、音高以及音所述通过所述语音合成模型对所述音色特征矩阵以及所述编码数据进通过所述语音合成模型中的注意力网络以及解码器依次对所述音色特征矩阵以及所所述通过所述语音合成模型中的解码器对所述音色特征矩阵以及所述编码数据进行通过所述语音合成模型中的断句子模型对解码后的数据进行断句，得到所述合成语3将所述样本音频的音素、音高以及音素时长输入到初始模型中的编码器中进行编码，确定所述样本音频的样本梅尔谱，基于所述样本梅尔谱提将所述样本音频的音色特征矩阵以及所述样本编码数据依次输入到初始模型中的注获取模块，用于获取到目标对象的音素、音高以及音素时长，编码模块，用于通过语音合成模型对所述目标对象的音解码模块，用于通过所述语音合成模型对所述音色特征矩阵以及所述编理器执行时实现如权利要求1至7任一项所述的语音456[0033]本实施例的待合成对象可以包括待合成音频或其他包含发音数据的其他语音数7[0038]其中，本步骤与步骤S11的执行顺序不分先后，可以先执行步骤S11再执行步骤及音素时长进行编码，得到编码数据。其中，编码器可以包括AutoEncoder自动编码器、8使得合成语音的音色既能够基于待合成对象的音色进行还原，又能够使合成语音的音素、合成语音能够在实现目标对象的音素、音高以及音素时长的同时还原待合成对象的音色，9[0059]步骤S22：对待合成对象进行分帧加窗以及傅里叶变换，得到待合成对象的线性[0061]在一个具体的应用场景中，可以对待合成对象进行分帧[0062]其中，本步骤的深度学习网络可以包括双向门控循环单元(gatedrecurrentunit，GRU)网络+全连接网络(FullyConnectedLayers，FC)+贝叶斯网络(Bayesian先基于梅尔谱进行音色特征矩阵的提取训练好了的可[0063]其中，本步骤与步骤S21的执行顺序不分先后，可以先执行步骤S21再执行步骤[0067]步骤S24：通过语音合成模型中的注意力网络以及解码器依次对音色特征矩阵以[0068]将编码器输出的编码数据以及步骤S22中提取出的音色特征矩阵共同输入到语音[0069]进一步地，本实施例将原tacotron1模型中的注意力机制BahdanauAttention更时长范围需要涵盖待合成对象相关发音规则中大部分的音素时长。通过上述预设音素范音素时长的特征提取并不需要考虑到上下文信息，因此本实施例去除了tacotron1模型中语音合成模型的语音合成效率。同样最终训练完成的语音合成模型中也去除了双向GRU模[0086]进一步地，本实施例将原tacotron1模型中的注意力机制BahdanauAttention更[0087]在一个具体的应用场景中，初始模型还可以添加StopToken网络，通过Stop[0091]步骤S34：将样本音频的音色特征矩阵以及样本编码数据依次输入到初始模型中至语音生成，且基于音色特征矩阵的设置使得语音合成模型能够学习到不同的音色信息，及解码器的参数进行冻结，然后对没有冻结的模块通过小批量数据进行fine-tune。具体再在训练模型的基础上对解码器进行冻结，然后对编码器以及注意力网络进行训练.中通过保证解码器中各参数的稳定来保证新的特征的迁移训练以及[0105]解码模块44还用于通过语音合成模型中的注意力网络以及解码器对音色特征矩[0106]解码模块44还用于通过语音合成模型中的断句子模型对信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific说对现有技术做出贡献的部分或者该技术方案的全部