CN115116472B 音频识别方法、装置、设备及存储介质 （北京达佳互联信息技术有限公司）

2对待识别音频进行特征提取，获取所述待识别音频的频谱特征；通过音频检测模型对所述频谱特征进行特征提取，获得所述待识别从音频特征搜索库中进行特征搜索，获取音频库中各音频的第二翻唱识基于所述待识别音频与每个所述候选音频的音符相关度，确定所述待识别其中，所述音符相关度是通过计算所述待识别音频的第一音获取音频库中各音频，从所述各音频进行特征提取，分通过所述音频检测模型对各所述目标频谱特征进行处理，得到所从所述音频特征搜索库中获取各音频的翻唱特征，作为音频库中各音3.根据权利要求1所述的音频识别方法，其特征在于，所述对待识别音频进行特征提将所述频谱特征输入至音频检测模型，利用音频检测模型中其中，所述特征提取模块包括依次连接的至少一个卷积池化积池化单元中池化层连接的全连接层，每个卷积池化单元包括至少一个顺序连接的卷积3别特征和所述第二翻唱识别特征，确定所述待识别音频与所述音频库中各音频的相似度，计算所述第一翻唱识别特征和每个所述第二翻基于计算得到的向量距离，确定所述待识别音频与所述对各相似度按由大至小的顺序进行排序，确定排序靠前的预设数量若所述音符相关度大于预设相关度阈值，确定对应的待识别音若所述音符相关度小于等于预设相关度阈值，确定对应的待识别分别从所述待识别音频和每个所述候选音频中分离出第一背分别对所述第一背景音频和第二背景音频进行基频提取，对根据基频与音符特征之间的转化关系，分别确定所述第一基频对应的第一音符特征，调用初始音频检测模型，通过所述初始音频检测模通过所述初始音频检测模型中分类模块对所述第一样本特征和第二样本特征进行翻根据所述损失函数对所述初始视音频检测模型进行训练，获得经训练的音频检测模第一特征提取模块，被配置为执行对待识别音频进行特征第二特征提取模块，被配置为执行通过音频检测模型对所述频谱特征进行特征提取，4相似度确定模块，被配置为执行从音频特征搜索库中进行特识别模块，被配置为执行基于所述待识别音频与每个所述候其中，所述音符相关度是通过计算所述待识别音频的第一音相应的，所述相似度确定模块包括识别特征获取子模块；所述分帧子模块，被配置为执行将所述音频数据进行重叠分变换子模块，被配置为执行对所述分帧数据进行傅里叶变换，获得压缩子模块，被配置为执行对所述变换数据进行对数压缩处其中，所述特征提取模块包括依次连接的至少一个卷积池化积池化单元中池化层连接的全连接层，每个卷积池化单元包括至少一个顺序连接的卷积5相似度确定子模块，被配置为执行基于计算得到的向量距离，确第一筛选子模块，被配置为执行对各相似度按由大至小的顺第二筛选子模块，被配置为执行将相似度大于预设阈值对应音符特征提取子模块，被配置为执行分别对所述待识别音频与相关度确定子模块，被配置为执行计算所述第一音符特征和第一识别子模块，被配置为执行若所述音符相关度大于第二识别子模块，被配置为执行若所述音符相关度小于等于15.根据权利要求14所述的音频识别装置，其特征在于，所述音符特征提取子模块包分离单元，被配置为执行分别从所述待识别音频和每个提取单元，被配置为执行分别对所述第一背景音频和第二背音符特征确定单元，被配置为执行根据基频与音符特征之间的转调用初始音频检测模型，通过所述初始音频检测模通过所述初始音频检测模型中分类模块对所述第一样本特征和第二样本特征进行翻根据所述损失函数对所述初始视音频检测模型进行训练，获得经训练的音频检测模6其中，所述处理器被配置为执行所述指令，以实现如权利要求18.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处78[0021]作为一种可选的实施方式，所述通过音频检测模型对所述频谱特征进行特征提[0026]基于计算得到的向量距离，确定所述待识别音频与所述音频库中各音频的相似[0036]分别从所述待识别音频和每个所述候选音频中分离出第一背景音频和第二背景9[0042]通过所述初始音频检测模型中分类模块对所述第一样本特征和第二样本特征进[0050]识别模块，被配置为执行基于所述待识别音频与每个所述候选音频的音符相关谱特征输入至音频检测模型，利用音频检测模型中特征提取模块对所述频谱特征进行处[0073]提取单元，被配置为执行分别对所述第一背景音频和第二背景音频进行基频提[0078]通过所述初始音频检测模型中分类模块对所述第一样本特征和第二样本特征进[0088]本公开实施例通过对待识别音频进行特征提取，获取所述待识别音频的频谱特基于所述待识别音频与每个所述候选音频的音符相关度，确定所述待识别音频的识别结[0090]此处的附图被并入说明书中并构成本公开的一部分，示出了符合本公开的实施[0094]图4是根据一示例性实施例示出的一种确定待识别音频的识别结果步骤的流程[0100]图1是根据一示例性实施例示出的一种应用音频识别方法的系统的架构图，参见识别方法可以应用于电子设备，以该电子设备为上述实施环境示意图中终端为例进行说[0110]其中，频谱特征是用于反映音频特性识别特征和所述第二翻唱识别特征，确定所述待识别音频与所述音频库中各音频的相似建音频特征搜索库，并可以将音频特征搜索库存储在本地存储库或其他设备(例如云端或[0133]在步骤S2031中，计算所述第一翻唱识别特征和每个所述第二翻唱识别特征之间计算向量表示的第一翻唱识别特征分别与向量表示的每个第二翻唱识别特征之间的向量[0142]在步骤S401中，分别对所述待识别音频与每个所述候选与每个所述候选音频进行音符特征提取，对应得到第一音符特征和第二音符特征可以包[0146]在步骤S4011中，分别从所述待识别音频和每个所述候选音频中分离出第一背景[0154]可选地，可以先将第一音符特征和每个第二音符特征进行向量化，再采用DTW(DynamicTimeWarping，动态时间归整)算法分别计算向量化的第一音符特征和向量化度与预设相关度阈值的大小关系，确定待识别音频是否为对应的候选音频的统一音频版于提高用户对音频识别的体验以及对产品的使用[0162]可选地，以音频检测模型为卷积神经网络(ConvolutionalNeuralNetworks，个卷积池化单元包括依次连接的2个卷积层和1个最大池化层，第5个卷积池化单元包括依次连接的2个卷积层和1个自适应最大池化层，该自适应最大池化层的输出连接该全连接[0166]通过所述初始音频检测模型中分类模块对所述第一样本特征和第二样本特征进[0174]第二特征提取模块620，被配置为执行通过音频检测模型对所述频谱特征进行特[0176]筛选模块640，被配置为执行根据相似度确定结果，从所述音频库中确定候选音[0177]识别模块650，被配置为执行基于所述待识别音频与每个所述候选音频的音符相谱特征输入至音频检测模型，利用音频检测模型中特征提取模块对所述频谱特征进行处[0200]提取单元，被配置为执行分别对所述第一背景音频和第二背景音频进行基频提[0205]通过所述初始音频检测模型中分类模块对所述第一样本特征和第二样本特征进全球移动通讯系统)、GPRS(GeneralPacketRadioService，通用分组无线服务)、CDMA(CodeDivisionMultipleAccess，码分多址)、WCDMA(WidebandCodeDivision[0213]存储器1120可用于存储软件程序以及模块，处理器1180通过运行存储在存储器用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏种类型实现触敏表面1131。除了触敏表面1131，输入单元1130还可以包括其他输入设备[0215]显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及所述终端可以两个独立的部件来实现输入和输入功能，但是在某些实施例中，也可以将触敏表面1131与显示面板1141集成而实现输入显示面板1141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上分，通过运行或执行存储在存储器1120内的软件程序和/或模块，以及调用存储在存储器程序包含用于执行上述方法实施例提供的虚拟资源领非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM型SDRAM(ESDRAM)、同步