CN114822559B 一种基于深度学习的短时语音说话人识别系统和方法 （上海大学）

一种基于深度学习的短时语音说话人识别本发明揭示了一种基于深度学习的短时语模块用于将一张待识别频谱图像进行切片处理2语音识别处理模块：用于对原始音频数据采用声学特征提取方法进行识别数据库中存储有标准的说话人样本语音频谱图以及对基于时空Transformer的短时语音说话人识别模型，进一步包括频谱图分割模块以及结果输出模块：用于对利用说话人语音采集模块3.一种基于深度学习的短时语音说话人识所述基于时空Transformer的短时语音说话人识别模型获得用户的注册语音的深度嵌入，步骤4、将标准的说话人语音频谱图输入训练后的基于时空T积层提取时间特征小片和空间特征小片的t步骤4033、将添加位置编码的token送入N层的Transformer模块中，分别经过归一化3步骤4034、将得到时间深度嵌入和空间深度嵌入进行嵌入证语音的深度嵌入或者获得说话人的注册语音的深步骤5、将当前说话人的验证语音的深度嵌入与目标说话人的注册语音的深度嵌入进步骤305、使用40个Mel刻度的三角滤波器提取功率谱的频步骤306、组合40个Mel刻度的三角滤波器的特征得到一段原始音频数据的声学特征，头注意力层和前向传播层得到第i个说话人的第j段语音的时间深度嵌入y"和空间深度嵌入":则在步骤4034中，将得到时间深度嵌入y"和空间深度嵌入s"通过如下方式进行融所述基于时空Transformer的短时语音说话人识别模型进行训练时，利用所述语音识别处理模块获得样本语言数据的说话人语音频谱图后，将说话人语音频谱图输入样本数据库，再利用样本数据库对所述基于时空Transformer的短时语音说话人识所述基于时空Transformer的短时语音说话人识别模型进行训练时，在所述步骤4034之后将步骤S4034得到的深度嵌入输入到线性分类层，使用交叉熵损失函数对模型进行训4"和"分别表示属于第c类的第j段语音的线性分类层输出值和预测其属于第--"a"5[0001]本发明涉及一种基于深度学习的短时语音说话人识别系统以及基于该系统实现常情况下，x-vector方法在文本无关的说话人识别中取得了比i-vector方法更好的性能。对于短时语音说话人识别，不同学者利用数据挖掘技术提取不同的声学特征来拟合模型，[0008]语音识别处理模块：用于对原始音频数据采用声学特征样本数据库中存储有标准的说话人样本语音频谱图以及对应的样[0010]基于时空Transformer的短时语音说话人识别模型，进一步包括频谱图分割模块6[0014]本发明的另一个技术方案是提供了一种基于深度学习的短时语音说话人识别方以及所述基于时空Transformer的短时语音说话人识别模型获得用户的注册语音的深度嵌[0017]步骤3、由所述语音识别处理模块基于原始音频数据提取标准的说话人语音频谱融合模块对时间特征小片和空间特征小片的处理过程[0026]步骤5、将当前说话人的验证语音的深度嵌入与目标说话人的注册语音的深度嵌7输入样本数据库，再利用样本数据库对所述基于时空Transformer的短时语音说话人识别[0042]将步骤S4034得到的深度嵌入输入到线性分类层，使用交叉熵损失函数对模型进"和"分别表示属于第c类的第j段语音的线性分类层输出值和预测其属8[0056]语音识别处理模块：用于对原始音频数据采用声学特征样本数据库中存储有标准的说话人样本语音频谱图以及对应的样[0058]基于时空Transformer的短时语音说话人识别模型，进一步包括频谱图分割模块9本领域普通技术人员的常规技术手段的改进亦在本发明的思想范库对基于时空Transformer的短时语音说则获得标准的说话人语音频谱图。在对基于时空Transformer的短时语音说话人识别模型[0075]S200、将标准的说话人语音频谱图输入训练后的基于时空Transformer的短时语音说话人识别模型，由基于时空Transformer的短时语音说话人识别模型提取说话人的验[0076]使用样本数据库对基于时空Transformer的短时语音说话人识别模型进行训练。基于时空Transformer的短时语音说话人识别模型对输入的说话人语音频谱图处理过程具时空特征融合模块对时间特征小片和空间特征小片的层、多头注意力层和前向传播层得到第i个说话人的第j段语音的时间深度嵌入y"和空间深度嵌入s":到第i个说话人的第j段语音的深度嵌入spkf":[0086]在对基于时空Transformer的短时语音说话人识别模型进行训练时，在步骤2034