CN114817620B 歌曲比对方法及其装置、设备、介质、产品 （广州酷狗计算机科技有限公司）

道中315号羊城晚报创意产业园内自态的特征提取模型提取原版歌曲的音频数据的采用所述特征提取模型提取被比歌曲的音频数2采用已训练至收敛状态的特征提取模型提取原版歌曲的音频数据的多尺度深层语义采用所述特征提取模型提取被比歌曲的音频数据的多尺度深层语义计算所述原版高维索引向量与被比高维索引向量的相似度，采用已训练至收敛状态的特征提取模型中的共享网络中的多个卷积块依次对所述音采用所述特征提取模型中的两个以上的分支网络中的多个卷积块对所述中间特征信将原版歌曲与被比歌曲中音频时长相对较短者确定为指定歌曲，采用所述特征提取模型分别提取所述另一歌曲的多个歌曲片段的多尺度深层语义信与各个片段高维索引向量之间的相似度，判断其中最大相似度数值是否高于第二预设阈根据所述关键词的任意组合在线搜索获得至少一首歌曲，将搜索采用所述特征提取模型根据该编码信息提取出表征该音频数据的多尺度深层语义信35.根据权利要求1至4中任意一项所述的征提取模型中的两个以上的分支网络中的多个卷积块对所述中间特征信息进行不同尺度采用第一分支网络中的多个卷积块对该中间特征信息进行特征提取获得全局特征信采用第二分支网络中的多个卷积块对该中间特征信息进行特征提取后按通道分割成采用第三分支网络中的多个卷积块对该中间特征信息进行特征提取后按频带分割成所述第二分支网络执行所述池化的操作时，针对单个或多个通道采用均值池化操作，所述第三分支网络执行所述池化的操作时，针对单个或多个频带采用均值池化操作，项。9.根据权利要求1至4中任意一项所述的歌曲比对方法，其特征将所述变换特征信息分别进行实例归一化和批量归一化处理后组合为拼接特征信息，将激活输出的拼接特征信息经多次卷积操作和批量归一化处理从训练集中调用一个训练样本，确定该训练样本的编码信息，所述训练样本将所述编码信息输入至所述特征提取模型中对其实施训练，以获4原版提取模块，用于采用已训练至收敛状态的特征提取模型提被比提取模块，用于采用所述特征提取模型提取被比歌曲的音综合判决模块，用于计算所述原版高维索引向量与被比高维索引用运行存储于所述存储器中的计算机程序以执行如权利要求1至10中任意一项所述的方法利要求1至10中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运5[0001]本申请涉及音乐信息检索技术领域，尤其涉及一种歌曲比对方法及其相应的装[0004]现有技术中存在多种翻唱识别相关的技术，各种现有技术均存在一定程度的不是通过提取音级轮廓(PitchClassProfile,PCP)等音频特征，然后利用动态规划等算法[0005]鉴于现有技术中解决翻唱识别相关的技术方案缺乏普遍适应性，识别准确率不[0006]本申请的首要目的在于解决上述问题至少之一而提供一种歌曲比对方法及其相[0010]采用已训练至收敛状态的特征提取模型提取原版歌曲的音频数据的多尺度深层值是否大于第一预设阈值，当大于第一预设阈值时判定被比歌曲与原版歌曲构成翻唱关6音频时长为度量对音频时长相对较长的另一歌曲进行分段，获得另一歌曲的多个歌曲片[0015]采用所述特征提取模型分别提取所述另一歌曲的多个歌曲片段的多尺度深层语型提取被比歌曲的音频数据的多尺度深层语义信息，对应获得被比高维索引向量的步骤[0024]采用所述特征提取模型根据该编码信息提取出表征该音频数据的多尺度深层语[0026]采用已训练至收敛状态的特征提取模型中的共享网络中的多个卷积块依次对所述编码信息进行多级特征提取，获得提取了所述编码信息的深层语义信息的中间特征信[0027]采用所述特征提取模型中的两个以上的分支网络中的多个卷积块对所述中间特[0030]采用第一分支网络中的多个卷积块对该中间特征信息进行特征提取获得全局特[0031]采用第二分支网络中的多个卷积块对该中间特征信息进行特征提取后按通道分[0032]采用第三分支网络中的多个卷积块对该中间特征信息进行特征提取后按频带分7[0038]将所述变换特征信息分别进行实例归一化和批量归一化处理后组合为拼接特征[0045]利用所述训练样本相对应的监督标签与所述分类标签计算特征提取模型的损失比提取模块，用于采用所述特征提取模型提取被比歌曲的音频数据的多尺度深层语义信设阈值时判定被比歌曲与原版歌曲构成翻唱述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的歌曲8计算机程序/指令被处理器执行时实现本申请任意一种实施[0055]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0063]图8为本申请的特征提取模型中所采用的残差卷积块的工作过程所呈现的流程示9括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioning包括射频接收器的常规膝上型和/或掌上型计算机或其他设备离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。例中，所述被比歌曲可以根据原版歌曲相关联的信息例如其歌词文件来进行关联检索获[0084]当确定了所述的原版歌曲及被比歌曲的指定信息后，便可获取其相应的音频数[0085]当提供多个所述的被比歌曲时，可逐一针对各个被比歌曲执行本申请的各个步[0088]步骤S1200、采用已训练至收敛状态的特征提取模型提取原版歌曲的音频数据的[0089]本申请基于卷积神经网络模型实现的用于提取歌曲的深层语义信息的特征提取将这些不同尺度的深层语义信息转换为所述的高维索引向量时，可以有不同的组织形式，[0093]对于本步骤而言，经所述特征提取模型对所述原版歌曲的编码信息进行特征提[0094]步骤S1300、采用所述特征提取模型提取被比歌曲的音频数据的多尺度深层语义[0098]基于所述原版歌曲相对应的原版高维索引向量与所述被比歌曲相对应的被比高原版高维索引向量与被比歌曲的被比高维索引向量之[0109]步骤S1600、采用所述特征提取模型分别提取所述另一歌曲的多个歌曲片段的多然采用本申请的所述特征提取模型来执行对各个所述的歌曲片段的多尺度深层语义信息[0116]本实施例因应原版歌曲的原版高维索引向量与被比歌曲的被比高维索引向量被[0120]步骤S1120、根据原版歌曲的歌词文件中的歌词进行分词，从中提取出多个关键[0121]所述歌词文件所存储内容可统称为广义的歌词，广义的歌词主要包括歌曲名称、人员借助各种成熟的技术手段进行页面分析后，便可获知搜索结果中的可能存在的歌曲，[0126]确定所述的各个被比歌曲后，进一步便可下载或者复制各个被比歌曲的音频数实现特征提取。实践中，推荐以经实测最优的CQT滤波信息进行编码而获得所述的编码信[0135]针对所述的时频谱信息，通过对各个语音数据包在时域上的语音数据进行预加[0138]所述的音级轮廓信息，包括PCP(PitchClassProfile)、HPCP(HarmonicPitch段后转化为旋律轮廓序列，然后使用标准音调生成的标准音调差值转化为相应的特征表[0139]所述的Chroma特征信息，是色度向量(ChromaVector)和色度图谱(Chromagram)将歌曲音频数据的语音数据包做短时傅里叶变换从时域转变为频域之后，做一些降噪处[0142]步骤S0002、采用所述特征提取模型根据该编码信息提取出表征该音频数据的多[0146]步骤S2100、采用已训练至收敛状态的特征提取模型中的共享网络中的多个卷积同实施例的要求而灵活变形。所述特征提取模型的典型的实施例中，如图6的原理框图所任意一个卷积块中应用注意力机制，添加相应的注意力模块，具体中为空间注意力模块对输入其中的信息分割为两部分，其中一部分进行实例归一化操作以学习风格不变特征，[0151]步骤S2200、采用所述特征提取模型中的两个以上的分支网络中的多个卷积块对网络的输出特征向量所包含的深层语义信息各被输入各个所述的分支网络中进行进一步的特征值池化输出，可以针对其中一个分支网络接入Dropout层随机丢弃其中的冗余特征再进行曲音频数据的全局信息的输出特征向量与用于表示所述歌曲音频数据的通道信息的输出歌曲音频数据的通道信息的输出特征向量与用于表示所述歌曲音频数据的频带信息的输按需调用。[0157]步骤S2300、由所述特征提取模型将各分支网络的输出特征向量输出为所述的高直接使用。所述高维索引向量即为用于起对相应的歌曲音频数据的索引作用的高维向量。的分支网络输出的所有输出特征向量进行有序拼接，从而获得单个所述的高维索引向量，[0162]其次，由于所述特征提取模型中采用了共享网络与多个[0165]步骤S2210、采用第一分支网络中的多个卷积块对该中间特征信息进行特征提取[0166]图6示例性给出的第一分支网络中，其在将所述中间特征信息经与其他分支网络路直接进行均值池化操作而获得其整体特征信息，另一路经Dropout层随机丢弃部分时频[0167]步骤S2220、采用第二分支网络中的多个卷积块对该中间特征信息进行特征提取[0169]步骤S2230、采用第三分支网络中的多个卷积块对该中间特征信息进行特征提取[0170]图6示例性给出的第三分支网络中，其在将所述中间特征信息经与其他分支网络[0174]请参阅图7，在前一实施例的基础上对本申请的特征提取模型的网络结构进行改根据这一示例不难理解本申请的创造精神的重点在于对多个所述的分支网络的灵活结合[0178]本申请的特征提取模型中的任意一个卷积块，每一个卷积块对于输入其中的信[0179]步骤S3200、将所述变换特征信息分别进行实例归一化和批量归一化处理后组合[0181]步骤S3300、将激活输出的拼接特征信息经多次卷积操作和批量归一化处理后获[0182]被激活输出的拼接特征信息进一步经过多个卷积层执行卷积操作以进一步提取以采用能被增强类内紧凑性且扩大类间稀疏性的AM-Softmax函数实现的多分类器来构造，[0198]步骤S4400、利用所述训练样本相对应的监督标签与所述分类标签计算特征提取[0205]本实施例的分类模型由于采用了具有批量归一层化以及AM-Softmax函数实现的于采用所述特征提取模型分别提取所述另一歌曲的多个歌曲片段的多尺度深层语义信息，指定高维索引向量，分别计算该指定高维索引向量与各个片段高维索引向量之间的相似于采用所述特征提取模型根据该编码信息提取出表征该音频数据的多尺度深层语义信息积块对所述中间特征信息进行不同尺度的特征提取后，转换为相应尺度的输出特征向量，各分支网络的输出特征向量输出为所述的高为采用第二分支网络中的多个卷积块对该中间特征信息进行特征提取后按通道分割成多支网络中的多个卷积块对该中间特征信息进行特征提取后按频带分割成多部分进行池化，请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的歌曲比对方法的步被一个或多个处理器执行时实现本申请任一实施例所述[0222]本领域普通技术人员可以理解实现本申请上述实施例方语义信息的表示学习获得相应的高维