CN114817621B 歌曲语义信息索引方法及其装置、设备、介质、产品 （广州酷狗计算机科技有限公司）

道中315号羊城晚报创意产业园内自本申请公开一种歌曲语义信息索引方法及的共享网络中的多个卷积块依次对所述编码信特征提取模型的全局分支网络对所述中间特征信息提取全局显著特征，获得全局输出特征向述中间特征信息按通道等分割分别提取语义局出特征向量与所述通道特征向量拼接为高维索2采用已训练至收敛状态的特征提取模型的共享网络中的多个卷积块依次对所述编码信息进行多级特征提取，获得提取了所述歌曲音频数据的深层语义信息的中间特征信息，采用所述特征提取模型的全局分支网络对所述中间特征信息提取采用所述特征提取模型的局部分支网络对所述中间特征信息按通道等分割分别提取将所述全局输出特征向量与所述通道特征向量拼接为将所述中间特征信息经所述全局分支网络的多个卷积块依次进行多级对所述深层特征信息执行最大值池化操作，获得提取了所述歌曲音将所述中间特征信息经所述局部分支网络的多个卷积块依次进行多级沿通道方向对所述深层特征信息进行均等分割获分别对各个等分特征信息执行均值池化操作获得多个3将所述变换特征信息分别进行实例归一化和批量归一化处理后组合为拼接特征信息，将激活输出的拼接特征信息经多次卷积操作和批量归一化处理7.根据权利要求1至6中任意一项所述的从训练集中调用一个训练样本，确定该训练样本的音频信息的编码信将所述编码信息输入至所述特征提取模型中对其实施训练，以获8.根据权利要求1至6中任意一项所述的歌曲语义信计算所述查询向量与预设的歌曲特征库中的多个高维索引向量确定所述相似度数据序列中相似度超过预设阈值的最大相似度相对应的歌曲音频数计算所述查询向量与无旋律特征库中的各个歌曲音频数据的高维索引向量之间的相调用所述特征提取模型确定所述查询音频数4计算所述查询音频数据的高维索引向量与所述歌曲音频数据的高维索引向量之间的共享提取模块，用于采用已训练至收敛状态的特征提取模全局提取模块，用于采用所述特征提取模型的全局分支网络对所述局部提取模块，用于采用所述特征提取模型的局索引处理模块，用于将所述全局输出特征向量与所述通用运行存储于所述存储器中的计算机程序以执行如权利要求1至10中任意一项所述的方法利要求1至10中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运5[0003]现有技术中存在多种翻唱识别相关的技术，各种现有技术均存在一定程度的不是通过提取音级轮廓(PitchClassProfile,PCP)等音频特征，然后利用动态规划等算法[0005]本申请的首要目的在于解决上述问题至少之一而提供一种歌曲语义信息索引方[0009]采用已训练至收敛状态的特征提取模型的共享网络中的多个卷积块依次对所述[0010]采用所述特征提取模型的全局分支网络对所述中间特征[0011]采用所述特征提取模型的局部分支网络对所述中间特征信息按通道等分割分别[0014]将所述中间特征信息经所述全局分支网络的多个卷积块6[0017]将所述中间特征信息经所述局部分支网络的多个卷积块频信息为所述歌曲音频数据的时频谱信息、梅尔谱信息、CQT滤波信息、音级轮廓信息、Chroma特征信息中任意一项。[0024]将所述变换特征信息分别进行实例归一化和批量归一化处理后组合为拼接特征[0031]利用所述训练样本相对应的监督标签与所述分类标签计算特征提取模型的损失[0036]确定所述相似度数据序列中相似度超过预设阈值的最大相似度相对应的歌曲音7[0038]计算所述查询向量与无旋律特征库中的各个歌曲音频数据的高维索引向量之间[0043]计算所述查询音频数据的高维索引向量与所述歌曲音频数据的高维索引向量之码信息进行多级特征提取，获得提取了所述歌曲音频数据的深层语义信息的中间特征信述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的歌曲计算机程序/指令被处理器执行时实现本申请任意一种实施音频数据的风格不变特征，然后通过一个共享网络对所述编码信息提取出中间特征信息，8[0052]此外，本申请将多个分支网络获得的输出特征向量融合为单一高维索引向量使[0053]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0056]图3为本申请的特征提取模型中所采用的残差卷积块的工作过程所呈现的流程示[0059]图6为本申请的特征提取模型用于实施相似歌曲匹配的一种实施方式中的流程示[0060]图7为本申请的特征提取模型用于实施相似歌曲匹配的另一实施方式中的流程示[0061]图8为本申请的特征提取模型用于实施相似歌曲匹配的再一实施方式中的流程示9括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioning包括射频接收器的常规膝上型和/或掌上型计算机或其他设备离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。数据包。所述歌曲音频数据可以来源于一个在线音乐服务平台的曲库中预存的各种歌曲，曲库中的歌曲音频数据的歌曲特征库时便需针对曲库中的歌曲音频数据逐一进行特征提[0082]针对所述的时频谱信息，通过对各个语音数据包在时域上的语音数据进行预加[0085]所述的音级轮廓信息，包括PCP(PitchClassProfile)、HPCP(HarmonicPitch段后转化为旋律轮廓序列，然后使用标准音调生成的标准音调差值转化为相应的特征表[0086]所述的Chroma特征信息，是色度向量(ChromaVector)和色度图谱(Chromagram)将歌曲音频数据的语音数据包做短时傅里叶变换从时域转变为频域之后，做一些降噪处特征提取模型的处理，可以根据一定的预设格式将所述的音频信息转换为相应的编码信语音数据包的行向量按行组织在一起获得一个二维矩阵作为所述的编码信息。诸如此类，[0088]步骤S1200、采用已训练至收敛状态的特征提取模型的共享网络中的多个卷积块习得适于根据所述的编码信息提取出歌曲音频数据的深层语义信息从而获得相应的输出[0090]如图2的原理框图所示，所述特征提取模型由共享网络和两个分支网络构成，其[0094]步骤S1300、采用所述特征提取模型的全局分支网络对所述中间特征信息提取全[0099]步骤S1310、将所述中间特征信息经所述全局分支网络的多个卷积块依次进行多用了所述的IBN块，以便特征提取后获得的深层特征信息能习得歌曲音频数据中的风格不[0102]在所述深层特征信息的基础上，直接经一池化层对其执行最大值池化(Max例如全局分支网络的全局输出特征向量可以归一化为一个[0104]步骤S1400、采用所述特征提取模型的局部分支网络对所述中间特征信息按通道[0105]图2给出的局部分支网络中，其在将所述中间特征信息经与全局分支网络相同结应的通道输出特征信息，然后再重新拼接为一个通道输出特征向量，其示例性的维数为[0107]步骤S1410、将所述中间特征信息经所述局部分支网络的多个卷积块依次进行多用了所述的IBN块，以便特征提取后获得的深层特征信息能习得歌曲音频数据中的风格不[0109]步骤S1420、沿通道方向对所述深层特征信息进行均等分割获得多个等分特征信息:征信息对于抵抗恶劣拾音环境的频带选择性衰弱、平衡高低频信息在特征构成中的贡献、直接使用。所述高维索引向量即为用于起对相应的歌曲音频数据的索引作用的高维向量。量实现了对所述歌曲音频数据的表示学习，其表示了歌曲音频数据的全局显著特征信息，可直接从该歌曲特征库中调用任意一首歌曲相对应的高维索引向量用于进行检索、查询、音频数据的风格不变特征，然后通过一个共享网络对所述编码信息提取出中间特征信息，[0123]此外，本申请将多个分支网络获得的输出特征向量融合为单一高维索引向量使[0126]本申请的特征提取模型中的任意一个卷积块，每一个卷积块对于输入其中的信[0127]步骤S2200、将所述变换特征信息分别进行实例归一化和批量归一化处理后组合[0129]步骤S2300、将激活输出的拼接特征信息经多次卷积操作和批量归一化处理后获[0130]被激活输出的拼接特征信息进一步经过多个卷积层执行卷积操作以进一步提取以采用能被增强类内紧凑性且扩大类间稀疏性的AM-Softmax函数实现的多分类器来构造，[0145]步骤S3400、利用所述训练样本相对应的监督标签与所述分类标签计算特征提取[0152]本实施例的分类模型由于采用了具有批量归一化层以及AM-Softmax函数实现的[0154]请参阅图6，适应根据一首指定歌曲或其歌曲片段进行曲库中的歌曲的匹配的需中的各个歌曲音频数据提取出其相应的高维索引向量，其提取过程根据步骤S1100至步骤局输出特征向量和所述局部输出特征向量简单拼接获均逐一被输入至本申请的所述特征提取模型中进行特征提取，获得其相应的高维索引向[0161]步骤S4400、计算所述查询向量与预设的歌曲特征库中的多个高维索引向量之间提取模型提取预设曲库中的各个相应的歌曲音频[0165]步骤S4500、确定所述相似度数据序列中相似度超过预设阈值的最大相似度相对曲库中不存在与所述查询音频数据构成相似的相似歌曲。如果筛选后获得多个相似度数[0167]本实施例借助本申请的特征提取模型对查询音频数据提取高维索引向量作为查[0169]步骤S4200、计算所述查询向量与无旋律特征库中的各个歌曲音频数据的高维索述特征提取模型对无旋律信息的各个歌曲音频数段相对应的高维索引向量，所述高维索引向量同理由本申请的所述特征提取模型预先提[0174]本实施例通过将查询音频数据相对应的查询向量与无旋律特征库中的高维索引[0175]请参阅图8，适应对两首歌曲或两个歌曲片段进行相似判断以确定出两者是否存是在线音乐平台自主触发而从需要判定侵权的目标曲库中获取[0179]步骤S5200、调用所述特征提取模型确定所述查询音频数据相对应的高维索引向[0181]步骤S5300、计算所述查询音频数据的高维索引向量与所述歌曲音频数据的高维音频数据的高维索引向量(也称查询向量)与所述原版歌曲的高维索引向量之间的相似度，[0185]本实施例示例性地说明本申请的特征提取模型用于对两首歌曲进行相互比较以训练至收敛状态的特征提取模型的共享网络中的多个卷积块依次对所述编码信息进行多述索引处理模块，用于将所述全局输出特征向量与所述通道特征向量拼接为高维索引向分别进行实例归一化和批量归一化处理后组合为拼接特征信息，对拼接特征信息激活输[0192]扩展的实施例中，采用如下结构的训练任务架构对所述相似度数据序列中相似度超过预设阈值的最大相似度相对应的歌曲音频数据作为所用于计算所述查询向量与无旋律特征库中的各个歌曲音频数据的高维索引向量之间的相[0197]本实施方式中处理器用于执行图9中的各个模块及其子模块的具体功能，存储器行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器