CN114446318B 音频数据分离方法、装置、电子设备及存储介质 （北京达佳互联信息技术有限公司）

处理音频数据中各所述目标音频信息对应的预标音频信息对应的预测频谱特征进行反变换处2通过音频分离网络对所述频谱特征进行分离处理，得到所述待处对各所述目标音频信息对应的预测频谱特征进行反变换处理，得其中，所述音频分离网络包括编码器、注意力模块及与所通过所述编码器对所述频谱特征进行编码处理，得到所述待处理音频数据的音频特通过所述注意力模块对所述音频特征进行特征提取，得到各所述分别通过各所述音频类型对应的解码器对各所述音频类型的所述目标音频信息对应所述编码器及所述解码器均通过卷积自注意力机制模型构建得到，所针对任一所述注意力机制，通过所述注意力机制中的卷积通过所述注意力机制中的第一特征归一化模块对所述初始注意力特征进行归一化处获取样本组，所述样本组包括样本音频数据和所述样本音频本音频数据的标注信息包括用于构成所述样本音频数据的所述多种音频类型的样本目标对所述样本组中的所述样本音频数据进行变换处理，得到所述样本通过初始音频分离网络对所述样本频谱特征进行分离处理，得到所述对各所述样本目标音频信息对应的样本频谱特征进行反变换处理，3根据所述多个预测目标音频信息与所述样本音频数据对应的多个样本目标音频信息，述样本音频数据对应的多个样本目标音频信息，确定所述初始音频分离网络的分离损失，根据各所述预测目标音频信息与所述样本音频数据对应的各所述样本目标音频信息，对所述第一损失及所述第二损失进行融合处理，得到所述初第一变换单元，被配置为执行对待处理音频数据进行变换第一分离单元，被配置为执行通过音频分离网络对所述频谱特征进第一反变换单元，被配置为执行对各所述目标音频信息对其中，所述音频分离网络包括编码器、注意力模块及与所通过所述编码器对所述频谱特征进行编码处理，得到所述待处理音频数据的音频特通过所述注意力模块对所述音频特征进行特征提取，得到各所述分别通过各所述音频类型对应的解码器对各所述音频类型的所述目标音频信息对应所述编码器及所述解码器均通过所述卷积自注意力机制模型构建得到针对任一所述注意力机制，通过所述注意力机制中的卷积通过所述注意力机制中的第一特征归一化模块对所述初始注意力特征进行归一化处4获取单元，被配置为执行获取样本组，所述样本组包括样本第二变换单元，被配置为执行对所述样本组中第二分离单元，被配置为执行通过初始音频分离网络对所第二反变换单元，被配置为执行对各所述样本目标音频信确定单元，被配置为执行根据所述多个预测目标音频信息训练单元，被配置为执行根据所述分离损失训练所述根据各所述预测目标音频信息与所述样本音频数据对应的各所述样本目标音频信息，对所述第一损失及所述第二损失进行融合处理，得到所述初其中，所述处理器被配置为执行所述指令，以实现如权利要求5音频类型一一对应的多个解码器，所述通过音频分离网络对所述频谱特征进行分离处理，[0013]分别通过各所述目标音频信息对应的解码器对各所述目标音频信息对应的所述6[0017]通过所述注意力机制中的第一特征归一化模块对所述初始注意力特征进行归一[0018]在其中一个实施例中，在所述通过音频分离网络对所述[0019]获取样本组，所述样本组包括所述样本音频数据和所述样本音频数据的标注信息，所述样本音频数据的标注信息包括用于构成所述样本音频数据的N种音频类型的样本[0021]在其中一个实施例中，所述采用所述训练集中的样本组[0025]根据所述多个预测目标音频信息与所述样本音频数据对应的多个样本目标音频[0028]根据各所述预测目标音频信息与所述样本音频数据对应的各所述样本目标音频7[0032]第一分离单元，被配置为执行通过音频分离网络对所述频谱特征进行分离处理，[0037]分别通过各所述目标音频信息对应的解码器对各所述目标音频信息对应的所述[0041]通过所述注意力机制中的第一特征归一化模块对所述初始注意力特征进行归一[0044]第二变换单元，被配置为执行对所述样本组中的所述样本音频数据进行变换处8[0050]根据各所述预测目标音频信息与所述样本音频数据对应的各所述样本目标音频9定，任一可以将待处理音频数据变换为对应的频谱特征的方式均适用于本公开实施例中，自注意力机制模型)模型构建的网络，该音频分离网络可以用于对待处理音频数据进行音该音频分离网络做分离处理，得到待处理音频数据中各目标音频信息对应的预测频谱特[0083]本公开实施例提供一种音频数据分离方法，可以对待处理音频数据进行变换处解码结构的卷积自注意力机制模型构建的音频分离网络可以同时获取待处理音频数据的[0087]在步骤306中，分别通过各目标音频信息对应的解码器对各目标音频信息对应的对音乐音频信息对应的注意力特征2进行解码，得到音乐音频信息对应的预测频谱特征2，[0092]在一示例性实施例中，编码器及解码器均通过卷积自注[0093]本公开实施例中，卷积自注意力机制模型(conformer模型)中可以包括特征激励[0095]参照图2所示，本公开实施例中编码器和解码器均可以通过多个卷积自注意力机用于从空间维度和卷积通道维度对特征进行特征学习的卷积网络，其可以放大有用特征，到激活后的第二特征(2)，并将激活后的第二特征(2)输入第三卷积层顺序进行卷积处理[0108]需要说明的是，上述第一全连接模块和第二全连接模块均可以通过全连接层实第二特征归一化层均可以通过归一化函数实现，门控线性激活层和Swish激活层均可以通[0112]在步骤604中，通过注意力机制中的第一特征归一化模块对初始注意力特征进行型的初始注意力特征(该初始注意力特征可以为特征图，本公开实施例中对于初始注意力理音频数据中语音音频信息对应的预测频谱特征1、将注意力特征2输入到对应的解码器2[0123]在步骤604中，通过注意力机制中的第二特征归一化模块对初始注意力特征进行要通过降维模块对得到的归一化注意力特征(归一化后的初始注意力特征)进行降维处理，[0130]在步骤702中，获取样本组，样本组包括样本音频数据和样本音频数据的标注信[0134]在步骤710中，根据多个预测目标音频信息与样本音频数据对应的多个样本目标采集多种音频类型的样本目标音频信息，将不同音频类型的多个样本目标音频信息混合，[0141]在步骤802中，根据各预测目标音频信息与样本音频数据对应的各样本目标音频[0152]本公开实施例中预先训练得到音频分离网络，音频分离网络可以包括：(1)编码同时处理音频数据的局部特征和捕捉音频数据号的全局依赖，因此本公开实施例通过[0164]考虑到不同音频类型的音频信息的不同特性，本公开实施例提出了由Conformer[0166]可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相[0169]第一分离单元904，被配置为执行通过音频分离网络对所述频谱特征进行分离处分离网络为基于编解码结构的卷积自注意力机[0170]第一反变换单元906，被配置为执行对各所述目标音频信息对应的预测频谱特征[0171]本公开实施例提供一种音频数据分离装置，可以对待处理音频数据进行变换处的卷积自注意力机制模型构建的音频分离网络可以同时获取待处理音频数据的局部特征[0175]分别通过各所述目标音频信息对应的解码器对各所述目标音频信息对应的所述注意力机制，所述注意力机制包括卷积模块和第一特征归一化模块，所述第一分离单元[0179]通过所述注意力机制中的第一特征归一化模块对所述初始注意力特征进行归一[0182]第二变换单元，被配置为执行对所述样本组中的所述样本音频数据进行变换处[0188]根据各所述预测目标音频信息与所述样本音频数据对应的各所述样本目标音频[0191]图10是根据一示例性实施例示出的一种用于音频数据分离方法的电子设备1000或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学[0198]I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块[0200]通信组件1016被配置为便于电子设备1000和其他设备之间有线或无线方式的通[0201]在示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(ASIC)、者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领