CN115497451B 语音处理方法、装置、电子设备和存储介质 （问问智能信息科技有限公司）

和第一掩码信息生成对应第一文本的第一声学2获取第一文本和第一说话人的第一真实语音，所述第一真实语利用预先训练的声学模型基于所述第一文本和所述第一掩码信息生成对应所述第一向量；利用声学模型中的解码器根据第一文本特征向量和第一掩码信息生成第一声学特从所述第一真实语音中提取所述第一说话人的第二根据所述第一声学特征和第二声学特征更新所述所述声学模型根据多个第二说话人的语料训练得利用更新参数后的所述声学模型基于所述第二掩码信息和所述第二文本生成对应所将所述第二声学特征合成为第一语音，所述第一语音的内容与所述获取单元，用于获取第一文本和第一说话人的第一真实语音，所第一声学特征单元，用于利用预先训练的声学模型基于所述第二声学特征单元，用于从所述第一真实语音中提取所述第一说话人的第二声学特3参数更新单元，用于根据所述第一声学特征和第二声学特征更新所述声学模型的参所述声学模型根据多个第二说话人的语料训练得到，所述多个第二说话人的语料包所述获取单元，还用于获取第二文本和预先配置的第二掩码信息所述第一声学特征单元，还用于利用更新参数后的所述声学模型所述第一语音的内容与所述第二文本相同且所述第一语音具备所述第一说话人的音色特令被处理器执行时用于实现权利要求1至4中任一项所4[0002]语音克隆是指计算机自动根据目标说话人已有的声音数据能生成对应说话人任[0007]利用预先训练的声学模型基于所述第一文本和所述第一掩码信息生成对应所述[0012]利用更新参数后的所述声学模型基于所述第二掩码信息和所述第二文本生成对[0017]利用所述声学模型中的解码器根据所述第一文本特征向量和所述第一掩码信息5[0021]基于所述当前频谱帧和所述第一掩码信息执行所述解码[0023]本公开的一些实施方式中，所述声学模型根据多个第二后的所述声学模型基于所述第二掩码信息和所述第二文本生成对应所述第二文本的第二[0036]附图示出了本公开的示例性实施方式，并与其说明一起6[0038]图2是本公开的一个实施方式的采用处理系统的硬件实现方式的语音处理装置的[0047]除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分[0048]在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如7它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏经网络和双向长短期记忆(bi_directionalLSTM)网络，卷积神经网络可以包括依次连接[0054]解码器：包括预处理网络(Pre_Net)、注意力网络(StepwiseAttention)、双层[0056]1)说话人自适应声音克隆，在支持多说话人的语音合成模型(TTS)上自适应地训8[0064]本公开实施例中，第一文本和第一真实语音的数据量可以较少，可以由用户(例[0069]步骤S16，利用预先训练的声学模型基于第一文本和第一掩码信息生成对应第一9[0087]优选地，多个第二说话人的语料中的不同真实语音样本的噪声含量可以各不相[0105]由于本公开实施例仅需要少量且质量要求不高的语料即可实现说话人的声音克[0106]图2是本公开的一个实施方式的采用处理系统的硬件实现方式的语音处理装置置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、[0109]总线300可以是工业标准体系结构(ISA，IndustryStandardArchitecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。[0111]在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实[0114]本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤[0120]第一声学特征单元206，用于利用预先训练的声学模型基于第一文本和第一掩码[0124]第一声学特征单元206，还可用于利用更新参数后的声学模型基于第二掩码信息特征、结构、材料或者特点可以在任一