CN119495306A 说话人确认方法、装置、设备及存储介质 （中邮消费金融有限公司）

说话人确认模型基于高质量样本音频和音频隐标准说话人特征向量对待识别说话人进行身份说话人确认模型在实际应用场景中的低质量信2将各分句音频输入至预设说话人确认模型，获得若干个说话话人确认模型基于高质量样本音频和音频隐基于所述说话人平均特征向量和标准说话人特征向量对所述待识别说话人进行身份通过预设音频恢复模型对低质量音频分别进行音频恢复处理和隐基于所述高质量音频和所述隐含向量信息对初始说话人确认模通过所述音频特征提取模块基于所述隐含向量信息对所述高质量音频进行隐含向量通过所述音频特征提取模块在通道维度和时序维度对所述处理后的高质量音频进行通过所述长短语音统计聚合模块对所述输入音频特征进行特征切分，生成所述输入音频特征对应的输入音频特征矩阵，以及所述对所述输入音频特征矩阵和所述短音频特征矩阵进行特征拼接融合对所述聚合音频特征矩阵和隐含向量信息进行拼接处理，获得目标聚合音频特征矩通过所述特征投影模块将所述聚合音频特征矩阵投影至低维空间，基于所述投影后的音频特征对初始说话人确认模型进行训练，获得通过所述初始说话人确认模型确定所述投影后的音频特征和待比对音频特征之间的基于所述说话人识别结果确定所述初始说话人确认模型的错误拒绝3基于所述错误拒绝率和所述错误接受率对所述初始说话人确别进行音频恢复处理和隐含向量提取处理，获得高质量音频和隐含向量信息的步骤之前，通过所述音频编码器对所述低质量样本音频进行压缩编码处理，获得通过所述扩散恢复模块对所述低质量音频隐向量进行音频恢复，获得基于所述高质量样本音频和所述高质量预测音频对所述初始音频恢复模型进行优化，获取所述高质量样本音频对应的第一音频频谱，以及所述高质量预确定所述第一音频频谱和所述第二音频频谱之间特征提取模块，用于将各分句音频输入至预设说话人确说话人识别模块，用于基于所述说话人平均特征向量和标准说话储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求14[0003]现有的方案中可以使用分阶段的说话人确认模型对注册音频与待确认音频进行[0004]上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技设说话人确认模型基于高质量样本音频和音频隐含向量信基于所述说话人平均特征向量和标准说话人特征向量对所述待识别说话人进行通过预设音频恢复模型对低质量音频分别进行音频恢复处理和隐含向量提取处5通过所述音频特征提取模块基于所述隐含向量信息对所述高质量音频进行隐含通过所述音频特征提取模块在通道维度和时序维度对所述处理后的高质量音频[0009]在一实施例中，所述基于所述投影后的音频特征对初始说话人确认模型进行训通过所述初始说话人确认模型确定所述投影后的音频特征和待比对音频特征之基于所述说话人识别结果确定所述初始说话人确认模型的错误拒绝率和错误接基于所述低质量样本音频对初始音频恢复模型进行训练，获得预设音频恢复模6基于所述高质量样本音频和所述高质量预测音频对所述初始音频恢复模型进行确定所述第一音频频谱和所述第二音频频谱之间基于所述频谱收敛度对所述初始音频恢复模型进行优化，获得预设音频恢复模述待识别说话人进行身份识别。7识别说话人进行身份识别。[0024]由于现有技术中大多数的说话人确认模型使用的训练与测试集均为采样率16k的人特征向量，最后基于对应的说话人平均特征向量和标准说话人特征向量进行说话人识8金融通话场景中的说话人识别。使用有效语音检测去除音频中的静音部分和非语音部分，得到待识别说话人的有效音频，[0031]步骤S20：将各分句音频输入至预设说话人确认模型，获得若干个说话人特征向[0037]步骤S40：基于所述说话人平均特征向量和标准说话人特征向量对所述待识别说共同作为输入构建和训练说话人确认模型，在训练完成后获得上述预设说话人确认模型。9训练说话人确认模型，训练目标是找到让多个说话人聚类之间的距离尽可能大的变换模量与注册的平均向量进行比对判断通话客户是否步骤S01：通过预设音频恢复模型对低质量音频分别进行音频恢复处理和隐含向[0046]步骤S02：基于所述高质量音频和所述隐含向量信息对初始说话人确认模型进行[0051]步骤S023：通过所述长短语音统计聚合模块对所述输入计聚合模块在将长语音切分为短语音后，可以计算长语音和短语音多个不同通道的平均转换为长度相同且特征数等于6的特征矩阵，此时获得上述输入音频特征矩阵和短音频特音频特征和待比对音频特征之间的特征相似度；根据所述特征相似度获取说话人识别结果；基于所述说话人识别结果确定所述初始说话人确认模型的错误拒绝率和错误接受率；和待比对音频特征之间的特征相似度超过某一设定阈值（如95%则可以判定待识别说话对数*100%；上述错误接受率可以为说话人确认模型将不应该属于同一说话人的两段声音及结束到开始，其作用是能捕捉到音频某个时间点上前向和后向的信息，即获取上下文的[0078]在本实施例中，扩散恢复模块可以对低质量音频隐向量复模块可以通过多个卷积和反卷积模块，将低质量音频的隐含向量z逐步恢复到高质量音隐含向量Zt通过transformers模块恢复成高质量音频波形，最终输出上述高质量预测音[0085]在具体实现中，本实施例可以使用频谱收敛度来对音频恢复模型的效果进行评所述待识别说话人进行身份识别。[0092]下面参考图8，其示出了适于用来实现本申请实施例的说话人确认设备的结构示字广播接收器、PDA（PersonalDigitalAssistant：个人数字助理）、PAD（Portable[0098]本申请提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令（即计算机程序计算机可读程序指令用于执行[0100]上述计算机可读存储介质可以是说话人确认设备中所包含的；也可以是单独存述待识别说话人进行身份识别。[0102]可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。