CN115641876B 伴奏音频处理方法及相关装置 （腾讯音乐娱乐科技（深圳）有限公司）

司US2022277040A1,2022.09.01本申请实施例提供了一种伴奏音频处理方的嵌入均值；孪生网络是基于N个样本对的对比损失进行训练获得的，N个样本对的对比损失是基于各样本对中每个样本的音频特征获得的；N个样本对包括第一类别的样本与第二类别的样样本的嵌入值是将各样本的音频特征输入孪生2在所述伴奏的嵌入均值与第一嵌入均值之间的差值小于或等于其中，所述孪生网络是基于N个样本对的对比损失进行训练对比损失是基于各样本对中每个样本的音频特征获得的；所述N个样本对包括第一类别的所述第一类别的伴奏或样本的伴奏质量优于所述第二类别的伴奏或样本所述第一嵌入均值是所述第一类别的样本构成的样本对中各样本的嵌入值之间的平2.根据权利要求1所述的方法，其特征在于，所述确定所述伴奏为第一类别的伴奏之若所述伴奏的嵌入均值与所述第一嵌入均值之间的差值小于在所述伴奏的嵌入均值与第二嵌入均值之间的差值小于或等于所述第二嵌入均值是所述第二类别的样本构成的样本对中各样本的嵌入值之间的平4.根据权利要求3所述的方法，其特征在于，所述确定所述伴奏为第二类别的伴奏之若所述伴奏的嵌入均值与所述第二嵌入均值之间的差值小于将所述伴奏的梅尔谱特征输入到特征提取网络中，获得所将所述伴奏的梅尔谱特征输入到所述特征提取网络包括的第一处理模将所述第二特征输入到所述特征提取网络包括的第三处理3将N个样本对的每个样本对中各样本的音频特征输入到孪生网络中，获得所述每个样失值更新所述孪生网络，并再次执行所述的将N个样本对的每个样本对中各样本的音频特基于所述每个样本对中各样本的嵌入值之间的距离，确定所述N个样本对的对比损失将所述第一类别的样本构成的样本对中各样本的音频特征，以4基于各样本对中每个样本的音频特征获得的；N个样本对包括第一类别的样本与第二类别[0011]第一嵌入均值是第一类别的样本构成的样本对中各样本[0016]第二嵌入均值是第二类别的样本构成的样本对中各样本5[0024]将伴奏的梅尔谱特征输入到特征提取网络包括的第一处理模块中，获得第一特[0026]将第二特征输入到特征提取网络包括的第三处理模块中，获[0028]将N个样本对的每个样本对中各样本的音频特征输入到孪生网络中，获得每个样更新孪生网络，并再次执行将N个样本对的每个样本对中各样本的音频特征输入到孪生网[0033]基于每个样本对中各样本的嵌入值之间的距离，确定N个样本对的第一对比损失损失是基于各样本对中每个样本的音频特征获得的；N个样本对包括第一类别的样本与第[0042]第一嵌入均值是第一类别的样本构成的样本对中各样本6机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质[0061]为便于理解本申请公开的实施例，首先对本申请实施例涉及的一些概念进行阐7[0063]本申请中，第一类别的样本和第二类别的样本均为训练孪生网络时所使用的N个第一类别的样本构成的样本对中各样本的音频特征输入第二类别的样本构成的样本对中各样本的音频特征输入分析方法等，这两种方法都是使用信号处理的方法分析音频信号的优质作品的内在联系。8计算机设备可将每个音频片段的梅尔谱特征187×96维，即3sec×96bands(对应图2中的提取网络的中处理模块(即前述第二处理模块，对应图29[0085]请参见图4a，图4a是本申请实施例提供的特征提取网络中的前处理模块的示意[0086]其中，第一路卷积层和第二路卷积层均用于学习梅尔谱第三路卷积层、第四路卷积层以及第五路卷积层均用于学习梅尔谱特征中频域维度的特特征经过频率池化处理之后，可得到187×204维的特征；第二路卷积层的卷积尺度为(7，[0087]请参见图4b，图4b是本申请实施例提供的特征提取网络中的中处理模块的示意第一特征进行更进一步的抽象处理。计算机设备可将基于图3得到的187×561维的第一特残差卷积对187×561维的第一特征进行处理，其中每个一维卷积层的输出特征为187×64[0088]请参见图4c，图4c是本申请实施例提供的特征提取网络中的后处理模块的示意平均池化后的特征和1×753维的最大池化后的特征进行结合，可得到1×1506维的全局池音频片段的梅尔谱特征从187×96维展开成1×17952维；将展开后的特征与目标特征进行样本对的对比损失进行训练获得的，N个样本对的对比损失是基于各样本对中每个样本的[0091]其中，第一类别的伴奏或样本的伴奏质量优于第二类别的伴奏或样本的伴奏质[0094]S203、在伴奏的嵌入均值与第一嵌入均值之间的差值小[0097]请参见图5，图5是本申请实施例提供的另一种伴奏音频处理方法的流程示意样本对的对比损失进行训练获得的，N个样本对的对比损失是基于各样本对中每个样本的[0100]其中，第一类别的伴奏或样本的伴奏质量优于第二类别的伴奏或样本的伴奏质第一嵌入均值之间的差值小于或等于第一预设值孪生网络方法的流程示意图。训练后的孪生网络可对应图1、图5以及图6中提及的孪生网[0116]在一种可选的实施方式中，计算机设备获取N个样本对中每个样本对中各样本的[0119]在一种可选的实施方式中，计算机设备将N个样本对的每个样本对中各样本的音n个样本对中第二个样本的嵌入值；dn表示的是第[0125]可选的，该实施方式中，计算机设备可根据如下公式确定N个样本对的对比损失[0135]可选的，停止训练条件可以是N个样本对的对比损失值小于或等于预设对比损失[0136]也就是说，训练该孪生网络的过程本质上是基于N个样本对的对比损失值对孪生失值更新孪生网络时，可以是根据N个样本对的对比损失值对孪生网络的网络参数进行更的每个样本对中各样本的音频特征输入到初始化的孪生网络中，确定的N个样本对的初始对比损失值不满足停止训练条件，则可根据N个样本对的初始对比损失值更新初始化的孪对的每个样本对中各样本的音频特征输入到第二孪生网络中，确定N个样本对的第二对比[0145]确定单元802，用于在伴奏的嵌入均值与第一嵌入均值之间的差值小于或等于第损失是基于各样本对中每个样本的音频特征获得的；N个样本对包括第一类别的样本与第[0148]第一嵌入均值是第一类别的样本构成的样本对中各样本[0151]在一种可选的实施方式中，确定单元802还用于在伴奏的嵌入均值与第二嵌入均[0152]第二嵌入均值是第二类别的样本构成的样本对中各样本[0154]在一种可选的实施方式中，获取单元801在用于获取伴奏的音频特征时，具体用[0158]在一种可选的实施方式中，获取单元801在用于将伴奏的梅尔谱特征输入到特征[0159]将伴奏的梅尔谱特征输入到特征提取网络包括的第一处理模块中，获得第一特[0161]将第二特征输入到特征提取网络包括的第三处理模块中，获[0164]将N个样本对的每个样本对中各样本的音频特征输入到孪生网络中，获得每个样更新孪生网络，并再次执行将N个样本对的每个样本对中各样本的音频特征输入到孪生网[0167]在一种可选的实施方式中，训练单元804在用于利用每个样本对中各样本的嵌入[0170]在一种可选的实施方式中，训练单元804还用于将第一类别的样本构成的样本对用户接口902是实现用户与计算机设备进行交互和信息交换的媒介，其具体体现可以包括损失是基于各样本对中每个样本的音频特征获得的；N个样本对包括第一类别的样本与第[0182]第一嵌入均值是第一类别的样本构成的样本对中各样本[0184]在一种可选的实施方式中，处理器901还用于在伴奏的嵌入均值与第二嵌入均值[0185]第二嵌入均值是第二类别的样本构成的样本对中各样本[0191]在一种可选的实施方式中，处理器901在用于将伴奏的梅尔谱特征输入到特征提[0192]将伴奏的梅尔谱特征输入到特征提取网络包括的第一处理模块中，获得第一特[0194]将第二特征输入到特征提取网络包括的第三处理模块中，获[0196]将N个样本对的每个样本对中各样本的音频特征输入到初始化的孪生网络中，获更新孪生网络，并再次执行将N个样本对的每个样本对中各样本的音频特征输入到孪生网[0202]在一种可选的实施方式中，处理器901还用于将第一类别的样本构成的样本对中存储器904可执行本申请实施例提供的伴奏音频处理方法中所描述的计算机设备的实现方备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指[0207]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可