CN114783414B 声纹识别方法、声纹提取网络的训练方法及相关装置 （讯飞智元信息科技有限公司）

练所述声纹提取网络时所采用的总损失与有监2将所述待识别音频特征输入至训练后的声纹提取网络中，以获得待中，训练所述声纹提取网络时基于有说话人标签的语音数据和无说话人标签的语音数据，个所述第一音频特征和多个所述第二音频特征输入至第二声纹提取网络中以获得每个音基于所述待识别声纹特征确定与所述待识别音频基于所述有监督损失和所述半监督损失获得总损失，并基于响应于达到停止训练条件，将所述第一声纹基于每个所述第二音频样本的第一后验概率获得对应的第一伪说话每个所述第二音频样本的第二后验概率获得对应的第二基于同一所述第二音频样本的第一后验概率和第二伪说话人及基于同一所述第二音频样本的第二后验概率和第一伪说话人标获得所有所述第二音频样本的第一子损失和所述第二子一和值与所述第二音频样本的个数的第一比值作基于每个所述第一音频样本的第一后验概率和对应的说话人及基于每个所述第一音频样本的第二后验概率和对应的说话人标获得所有所述第一音频样本的第三子损失和所述第四子二和值与所述第一音频样本的个数的第二比值作为将所述第一声纹提取网络和所述第二声纹提取网络中的一个作为训练后的声纹提取网络3样本集中包含多个相似度超过阈值且具有不同说话人标签的第基于所述子样本集对应的损失调整训练后的利用训练后的所述声纹提取网络获得与所述第三样本集中每个所述说话人标签对应获得所述第三样本集中每个所述说话人标签的类中心矩阵与其余说话人标签的类中从所述第三样本集中随机选择至少一个说话人标签作为第一目一目标标签的相似度矩阵中获得相似度值较大的至少一个其余说话人标签作为第二目标针对每个所述第二目标标签，随机挑选出具有所述第二目标标调整至少部分所述第三音频样本的音调以形成新三音频样本的说话人标签与调整前的所述第三音频样本的说话基于调整前的所有所述第三音频样本和调整后的所有所述第三音频样本构建所述第对多个所述第一音频样本分别进行特征提取以获得多个第一音频特征述第二音频样本分别进行特征提取以获得多个第将多个所述第一音频特征和多个所述第二音频特征输入至第一声纹提取网络中以获特征输入至第二声纹提取网络中以获得每个音频特征对应基于所有所述第一音频特征的第一后验概率和第二后验概率获得有于所有第二音频特征的第一后验概率和第二后验基于所述有监督损失和所述半监督损失获得总损失，并基于响应于达到停止训练条件，将所述第一声纹4第二提取模块，与所述第一提取模块连接，用于将所述待识与有监督损失和半监督损失相关，所述有监督损失和所述半监督损失基于以下步骤得到：确定模块，与所述第二提取模块连接，用于基于所述待识别用于实现权利要求1至7中任一项所述的声纹识别方法或权利要求8中所述的声纹提取网络5多个所述第二音频特征输入至第二声纹提取网络中以获得每个音频特征对应的第二后验概率；基于所有所述第一音频特征的第一后验概率和第二后验概率获得所述有监督损失、取网络和所述第二声纹提取网络中的一个作为训练后的声纹提取6用较易获取且成本较低的海量无说话人标签的语音数据和少量带说话人标签的语音数据7且训练声纹提取网络时所采用的总损失与有监督损失和半监督[0025]具体地，上述声纹提取网络可以为基于时延神经网络(TDNN)结构的Xvector网络域中有着显著的优势。请参阅图2，图2为Xvector网络模型一实施方式的结构示意图。Xvector网络模型一般包含多层帧级别的TDNN层(例如，图2中包含五层TDNN，分别为话人标签的已有语音数据输入至训练后的声8[0037]S203：将多个第一音频特征和多个第二音频特征输入至第一声纹提取网络10(如二音频特征输入至第二声纹提取网络12(如图4所示)中以获得每个音频特征对应的第二后纹提取网络12组成，且第一声纹提取网络10和第二声纹提取网络12具有相同的网络结构，延神经网络(TDNN)结构的Xvector网络模型，第一声纹提取网络10和第二声纹提取网络12归一化后的网络输出，第二后验概率可以为第二声纹提取网络12中Softmax归一化后的网[0039]S204：基于所有第一音频特征的第一后验概率和第二后验概率获得有监督损失、二子损失的第一和值，并将第一和值与第二音频样本的个数的第一比值作为半监督损失。9[0049]其中，Ls为有监督损失、score1为第一后验概率、label为对应的说话人标签、思路是将同一人所有语音音调调整为原来的N倍，然后认为是一个新的说话人，这里N取集中包含多个相似度超过阈值且具有不同说话人[0061]A、利用训练后的声纹提取网络获得与第三样本集中每个说话人标签对应的类中[0062]B、获得第三样本集中每个说话人标签的类中心矩阵与其余说话人标签的类中心目标标签的相似度矩阵中获得相似度值较大的至少一个其余说话人标签作为第二目标标[0067]具体地，获得子样本集对应的LAM损失，并基于LAM损失调整训练后的声纹提取网损失分别调整第一声纹提取网络和第二声纹提取网络中的参数；响应于达到停止训练条[0073]上述基于所有第一音频特征的第一后验概率和第二后验概率获得有监督损失的第三样本集中每个说话人标签的类中心矩阵与其余说话人标签的类中心矩阵之间的相似标标签的相似度矩阵中获得相似度值较大的至少一个其余说话人标签作为第二目标标签；前的所有第三音频样本和调整后的所有第三音频样本构建第三样本ProcessingUnit,中央处理单元)。处理器30可能是一种集成电路芯片，具有信号处理能专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现场可编程门阵列单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现