CN115050351B 生成时间戳的方法、装置及计算机设备 （腾讯音乐娱乐科技（深圳）有限公司）

司US8131545B1,2012.03.06序列和目标音频的声学特征输入第一语言对齐每帧音频对应的状态确定目标音频中每帧对应2获取所述目标音频对应的音素序列，所述音素序列来自第二语言的调用第一语言对齐模型中的语言模型处理所述音素序列得到所述目标音频对应的状态序列；将所述目标音频对应的状态序列和所述目标音频的声学特征输入所述第一语言对齐模型的声学模型确定所述目标音频中每帧音频对应的多基于预设状态转移概率和所述每帧音频对应的多个状态的概率得到所述目标音频的基于所述每帧音频对应的状态确定所述目标音频中每帧对应将所述第一样本音频的声学特征输入至第二语言识别模型，得到所应的音素序列；基于所述第一样本音频对应的音素序列和所述第一样本音频的语音文本构建所述第基于所述第一语言的发音词典和所述第一语言关联模型确定所述预基于所述第一语言的发音词典和所述每帧音频对应的状态确定所述目标音频中每帧根据所述第一语言的发音词典和所述第二样本音频的语音文本确定所述第二样本音频对应的音素序列；调用所述第一语言对齐模型中的语言模型将所述音素序列转化为第将所述第二样本音频的声学特征输入至所述第一语言对齐模型的声学模型得到第二状态序列；基于所述第一状态序列和所述第二状态序列训练所述第一语言对齐模型将所述目标音频的声学特征输入至所述第二语言识别模型，得到3基于所述目标音频的语音文本和所述第一语言的发音词典确定所述目标音频对应的~7任一项所述的生成时间戳的方法。9.一种计算机可读存储介质，其特征在于，所述计4[0002]自动歌词时间戳是指通过输入歌曲音频和对应的文本内[0008]将目标音频对应的音素序列和目标音频的声学特征输入第一语言对齐模型得到5对应的音素序列和目标音频的声学特征输入第一语言对齐模型得到目标音频的每帧音频6然后，服务器102将将目标音频对应的音素序列和目标音频的声学特征输入第一语言对齐模型得到目标音频的每帧音频对应的状态，最后服务器102基于每帧音频对应的状态确定7间戳的方法为例进行说明。请参见图2，该生成时间戳的方法具体可以包括步骤S201~特征可以用于分析目标音频的特征，可选地，该声学特征可以为梅尔频率倒谱系数特征8实现方式，计算机设备只需要根据目标音频的语音文本即可得到目标音频对应的音素序学特征输入第一语言声学模型得到目标音频的每帧音频对应的状态，具体实现方式可以态转移概率和目标音频中每帧音频对应的多个状态的概率得到目标音频的每帧音频对应为高斯混合模型(GaussianMixtureModel，GMM)或深度神经网络(DeepNeural9确定在第一帧中状态1的概率为50状态2的概率为20％等，第二帧中状态1的概率为据目标音频中的每帧音频对应多个状态的概率和每个状态对应的状态转移概率可以组成[0051]S204、计算机设备基于每帧音频对应的状态确定目标音将第一样本音频的每帧音频对应的多个状态的概率和预设状态转移概率输入至第二语言[0064]S506、计算机设备基于每帧音频对应的状态确定目标音样本音频对应的音素序列。序列。第一状态序列看作为初始化标签，然后不断训练调整第一语言对齐模型的声学模型的参[0077]S607、计算机设备基于每帧音频对应的状态确定目标音[0082]该处理单元701，还用于将目标音频对应的音素序列和目标音频的声学特征输入对应的状态序列和目标音频的声学特征输入第一语言对齐模型的声学模型确定音频数据序列；将第二样本音频的声学特征输入至第一语言对齐模型的声学模型得到第二状态序[0091]根据本申请的另一个实施例，图7所示的生成时间戳装置中的各个单元可以分别行能够执行如图2中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构储介质803存储的程序指令。处理器801(或称CPU(CentralProcessingUnit，中央处理并执行一条或多条指令从而实现相应方法流[0095]在一个实施例中，本申请实施例所述的处理器801可以用于实现生成时间戳的方以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介存储空间中还存放了适于被处理器801加载并执行的一条或多条的指令，这些指令可以是[0100]将目标音频对应的音素序列和目标音频的声学特征输入第一语言对齐模型得到中每帧音频对应的多个状态的概率得到目标音频的每帧音频对素序列和第一样本音频的语音文本构建第一语言的对应的音素序列。的发音词典确定目标音频对应的音素序列。