CN115497449B 基于音频解耦和融合的零样本语音克隆方法及装置 （哈尔滨工业大学（深圳））

基于音频解耦和融合的零样本语音克隆方本发明公开了一种基于音频解耦和融合的采用音频内容编码器和音频音色编码器分别分2采用音色和内容解耦模块分离出声学特征梅尔谱的音色信息和内容将说话人音色嵌入表示和文本输入到零样本语音克隆模型，合成将带有目标说话人音色的梅尔谱输入到声码器中，将带有目标说话人将说话人音色嵌入表示和文本输入到零样本语音克隆模型，合成将说话人音色嵌入表示扩展到和文本一样的长度后和文本隐状态将融合特征输入到变分自适应器预测融合特征的音高、能量以及文本特征的时长信将扩展后的融合特征输入解码器中合成带有目标说将预处理后的音频信号依次进行短时傅里叶变换和梅尔谱变换得个时刻的离散特征向量生成上下文表示，并利用上下文表示预测之后n个时刻的离散特征谱经过一层卷积核大小为8的卷积层进行特征维度转换得到维度转换特征向量；将维度转换特征向量经过6层卷积银行扩大感受野；将扩大感受野后的维度转换特征向量进行平均池化操作得到全局特征向量；将全局特征向量经过2层卷积银行进行特征转换后得到说话3过降低音色和内容解耦模块分离出的音色信息和内容信息之间的互信息来提高音色信息将每个音色向量和音色库的相似度分数取平均进而得到说话人音声学特征梅尔谱获取模块，用于将目标说话人的音频进行音色和内容解耦模块，用于分离出声学特征梅尔谱的音色信音色梅尔普获取模块，用于将说话人音色嵌入表示和文本输入到零样本语音克隆模梅尔谱转换模块，用于将带有目标说话人音色的梅尔谱输入到声码器中将说话人音色嵌入表示和文本输入到零样本语音克隆模型，合成将说话人音色嵌入表示扩展到和文本一样的长度后和文本隐状态将融合特征输入到变分自适应器预测融合特征的音高、能量以及文本特征的时长信将扩展后的融合特征输入解码器中合成带有目标说所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被49.一种计算机可读存储介质，其特征在于，所述56[0012]将预处理后的音频信号依次进行短时傅里叶变换和梅尔谱变换得到声学特征梅输入的声学特征梅尔谱经过一层卷积核大小为8的卷积层进行特征维度转换得到维度转换特征向量进行平均池化操作得到全局特征向量；将全局特征向量经过2层卷积银行进行特7述至少一个处理器能够执行上述基于音频解耦和融合的零样本在被处理器执行时，使得所述处理器执行上述基于音频解耦和融合的零样本语音克隆方[0032](1)现有的零样本语音合成通常没有对提取到的说话人嵌入进行约束，无法得到提供一种基于互信息音频解耦和多参考音频融合的零样本语音[0033](2)零样本语音克隆的关键在于如何从目标说话人提供的音频中快速准确地提取色和内容解耦模块分离出的音色信息和内容信息之间的互信息来提高音色信息和内容信[0034](3)本发明引入了一个音色信息融合模块，相比于只从单一一个音频中去获取说8[0047]优选实施方式中，将目标说话人的音频进行声学特征提输入的声学特征梅尔谱生成连续特征向量；矢量量化层由K个不同的码组成可训练码本E，9及平均池化层，输入的声学特征梅尔谱经过一层卷积核大小为8的卷积层进行特征维度转野后的维度转换特征向量进行平均池化操作得到全局特征向量；将全局特征向量经过2层[0057]步骤212：将步骤211提取得到的连续特征向量输入到矢量量化层(Vectorqk[0079]步骤42：将说话人嵌入表示扩展到和文本一样的长度后(Vocoder)将梅尔谱转换为人耳可听的波形信号，实施例中使用的声码器为开源模型[0085]本发明实施例2所提供的一种基于音频解耦和融合的零样本语音克隆装置500可[0086]图5是本发明实施例2中的一种基于音频解耦和融合的零样本语音克隆装置500的[0087]声学特征梅尔谱获取模块510，用于将目标说话人的音频进行声学特征提取获取[0090]音色梅尔普获取模块540，用于将说话人音色嵌入表示和文本输入到零样本语音[0093]一种基于音频解耦和融合的零样本语音克隆装置500的具体工作过程参照上述基[0097]本发明实施例也可以被实现为计算机可读存储介质。根据实施例4的计算机可读照以上附图描述的根据本发明实施例1的基于音频解耦和融合本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化