CN114550676B 一种唱歌检测方法、装置、设备及存储介质 （百果园技术(新加坡)有限公司）

2根据所述目标特征检测所述音频数据与所述歌曲之间的将所述音频数据切分为多个音频片段；对每个所述音频片段计2.根据权利要求1所述的方法，其特征在于，所述将所述音频数据切分为多个音频片将所述特征序列输入所述解码器中，采用多头注意力的机制对所述特若所述数量大于零，则计算所述数量减去预设的常数的差若所述数量等于零，则将零赋值为所述音频数据中所述用户演唱3对所述用户唱歌时长与所述参考唱歌时长之间的差值按照预设的律制将所述基频转换为所述音频数据在音高上的特征，作为用户音高特分别计算每个所述用户音高特征偏离整体所述用户音分别计算所述用户音高特征与所述歌曲音高特征之间的相似所述歌曲偏离特征之间的相似度、所述用户差分特征与所述歌曲差分特征之间的相似度，针对排序为第二位至最后一位的所述用户音高特征，分别减去排序在分别计算所述音频数据中每帧音频信号的基频，并按照预4针对相互匹配的所述第一点与所述第二点，计算所述第一点与所述第二点之间对每个所述第一距离取第一平方，对所有所述第一平方计算第一平均值针对相互匹配的所述第三点与所述第四点，计算所述第三点与所述对每个所述第二距离取第二平方，对所有所述第二平方计算第二平均值将所述目标特征输入所述决策树中进行处理，以输出所述音频音高相似度计算模块，用于计算所述音频数据与节奏相似度计算模块，用于计算所述音频数据与参考唱歌时长查询模块，用于查询所述歌曲中、演唱者演唱的5所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述令，所述计算机指令用于使处理器执行时实现权利要求1-11中任一项所述的唱歌检测方6[0003]目前评价用户唱歌时与标准歌曲之间的匹配程度的方法主要是要求歌曲的歌词[0015]时长差异计算模块，用于计算所述音频数据与所述歌曲之间在演唱时长上的偏[0016]音高相似度计算模块，用于计算所述音频数据与所述歌曲之间在音高上的相似[0017]节奏相似度计算模块，用于计算所述音频数据与所述歌曲之间在节奏上的相似7[0026]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范8[0036]图1为本申请实施例一提供的一种唱歌检测方法的流程图，本实施例可适用于综者之外的其他模仿者(演唱者)高质量演唱的音频数据，还可以为MIDI(Musical[0046]为了使歌曲的歌词与用户唱歌的歌声非严格对齐的情况下能合理地检测用户演而影响评分等业务质量。如果通过语谱切分实现用户演唱的音频数据与歌曲之间的对齐，9[0051]为了准确地检测用户演唱的时长，可以将音频数据切分于人工设计的神经网络，也可以通过模型量化方法优化的神经网络，通过NAS(NeuralArchitectureSearch，神经网络结构搜索)方法针对用户演唱歌曲的特性搜索的神经网歌检测模型包括编码器Encoder、解码器Decoder，编码器Encoder具有第一卷积块[0062]进一步地，第一卷积块ConvBlock__1、第二卷积块ConvBlock_2、第三卷积块[0063]由于编码器Encoder用于对梅尔频谱特征进行编码，从梅尔频谱特征中提取高纬度的特征，因此，第一卷积块ConvBlock_1、第二卷积块ConvBlock__2、第三卷积块量为64，第二卷积块ConvBlock_2中包含一个卷积层，该卷积层输出的特征的通道数量为[0071]通过torch.mean等方法沿通道的维度对第四音频特征计算平均值，得到特征序i为第i帧音频信号的基频。基频按照一定的函数转换为音频数据在音高上的特征，记为用户音高特征P＝[p1,p2,…,[0125]在本实施例中，可以预先对作为标准模板的歌曲的歌曲记为歌曲差分特征在服务器中建立歌曲与歌曲差分特征之间的映射关系，在[0129]对于用户音高特征P与歌曲音高特征Pref之间的相似度，可以计算用户音高特征P与歌曲音高特征Pref之间的距离矩阵Dist，其中Dist(i,j)=distance(p,j1),其中，pi为[0130]对于用户偏离特征PzeroMedian与歌曲偏离特征之间的相似度，可以计算用户偏离特征PzeroMedian与歌曲偏离特征之间的距离矩阵，利用DTW及其变求解得到的DTW距离，为用户偏离特征PzeroMedian与歌曲偏离特征之间的相似[0131]对于用户差分特征Pderiv及其变体、优化版本等非线性规整算法匹配用户差分特征Pderivation与歌曲差分特征间的相似度。[0162]针对多模态的目标特征，可以将目标特征映射为音频数据与歌曲之间的匹配程[0163]在具体实现中，可以预先生成决策树(DecisionTree，DT)，其生成算法有ID3、支代表一个判断结果的输出，最后每个叶节点代表一种分类结果(即目标特征检测音频数[0167]图3为本申请实施例二提供的一种唱歌检测方法的流程图，本实施例在上述实施[0182]时长差异计算模块402，用于计算所述音频数据与所述歌曲之间在演唱时长上的[0183]音高相似度计算模块403，用于计算所述音频数据与所述歌曲之间在音高上的相[0184]节奏相似度计算模块404，用于计算所述音频数据与所述歌曲之间在节奏上的相[0186]匹配程度计算模块406，用于根据所述目标特征检测所述音频数据与所述歌曲之[0192]时长偏差计算模块，用于计算所述用户唱歌时长与所述参考唱歌时长之间的偏[0199]第一卷积处理模块，用于将所述梅尔频谱特征输入所述第一卷积块进行卷积处[0200]第二卷积处理模块，用于将所述第一音频特征输入所述第二卷积块进行卷积处[0201]第三卷积处理模块，用于将所述第二音频特征输入所述第三卷积块进行卷积处[0202]第四卷积处理模块，用于将所述第三音频特征输入所述第四卷积块进行卷积处[0249]本申请实施例所提供的唱歌检测装置可执行本申请任意实施例所提供的唱歌检[0251]图5示出了可以用来实施本申请的实施例的唱歌检测设备10的结构示意图。唱歌可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息[0254]处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11ROM12和/或通信单元19而被载入和/或安装到唱歌检测设备10上。当计算机程序加载到机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0257]用于实施本申请的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务该指向装置来将输入提供给唱歌检测设备。其它种类的装置还可以用于提供与用户的交[0260]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或