CN115641868B 音频分离方法、装置、电子设备及计算机可读存储介质 （北京达佳互联信息技术有限公司）

设备及计算机可读存储介质。音频分离方法包分网络和残差补偿网络中均包含二维窗自注意2对待分离音频，基于音频分离模型的粗分网络，获得所述待分离对所述至少两个轨道的所述粗分音频复数谱和所述混合音频复数谱，基将所述至少两个轨道的根据所述粗分音频复数谱和所述复数谱残差确定的音频复数其中，所述粗分网络和所述残差补偿网络中均包含二维窗对所述第一中间特征中的每个时频单元，提取所述第一中间特征从所述待分离音频中分离出混合音频幅度谱和所述混合音频复数谱将所述混合音频幅度谱输入所述粗分网络，得到所述至少两个轨道的粗分音频幅度对每个轨道，根据所述粗分音频幅度谱和所述混合音频相位，确将所述至少两个轨道的所述初始残差和所述混合音频复数谱输入所述残差补偿网络，5.如权利要求1到4中的任一权利要求所述的音3对所述样本音频，基于待训练的音频分离模型，获得所述样本音根据所述至少两个轨道的所述纯净音频复数谱、所述预估音频复根据每个轨道的所述纯净音频复数谱和所述至少两个轨道中除当前轨道之外的其他残差单元，被配置为执行对所述至少两个轨道的所述粗分音频转换单元，被配置为执行将所述至少两个轨道的根据所述粗分其中，所述粗分网络和所述残差补偿网络中均包含二维窗其中，所述计算机可执行指令在被所述至少一个处理器运行理器执行如权利要求1到6中的任一权利要求所述的音频9.一种计算机可读存储介质，其特征在于，当所述45[0010]可选地，所述对所述至少两个轨道的所述粗分音频复数谱和所述混合音频复数个轨道的预估音频复数谱和预估音频信号；根据所述至少两个轨道的所述纯净音频复数6个轨道的预估音频复数谱和预估音频信号；根据所述至少两个轨道的所述纯净音频复数7机指令被至少一个处理器执行时实现根据本公开的音精调时都使用到二维窗自注意力网络，可进一步提升粗分能力和精调时的残差估计能力，8于复数域的分离算法。基于频域的分离算法是将分离问题转化成一个有监督的分类问题，分离算法则是为了处理频域的分离算法中相位不匹配的问题。DCCRN(DeepComplexConvolutionRecurrentNetwork，深度复数卷积循环网络)、TSCN(Two_StageComplexNetwork，双策略复数网络)和SDDNet(SimultaneousDenoisingandDereverberationMTASSNet(Multi_TaskAudioSourceSeparationbaseonComplexNetwork，基于复数网络的多任务语音分离网络)、MRX(Multi_resolutionCrossNetwork，多分辨率交叉网络)以及EAD_Conformer(Conformer_baseEncoderAttentionDecoderNetwork，基于验证了多任务音频分离的可行性，并在性能上超过了GCRN(GatedConvolutionalRecurrentNetwork，门控卷积循环网络)，Conv_TasNet(fully_ConvolutionalTime_domainAudioSeparationNetwork，全卷积时域音频分离网络)，D3Net(DenselyConnectedDilatedDenseNet，密集连接的扩张DenseNet)，Demucs(MusicSource借鉴了在语音识别任务取得SOTA(State_Of_The_Art，性能最优)的Conformer(Convolution_augmentedTransformer，卷积增强的深度自注意力网络)提取音频特征实现分离，大幅提升了分离性能。于此同时，Swin_Transformer(ShiftedWindows9相较于二维的第一中间特征包含更丰富的局部信息，有助于实现时频单元间的相似性分精调时都使用到二维窗自注意力网络，可进一步提升粗分能力和精调时的残差估计能力，[0047]图1是示出根据本公开的示例性实施例的二维窗自注意力网络的结构示意图。参照图1，二维窗自注意力网络(WA_TransformerBlock，WindowAttention_based维窗自注意力层(2D_WA)，多头自注意力层和二维窗自注意力层分别用于提取第一中间特征和第二中间特征，第一中间特征和第二中间特征均是由多个时频单元组成的二维矩阵，[0052]图2是示出根据本公开的示例性实施例的二维窗自注意力层的结构示意图。参照[0053]首先，对第一中间特征中的每个时频单元x(t,f)，利用尺度时频单元提取器说，参照图2，以第二行第三个三维特征块为例，可先对该三维特征块进行拉伸操作特征的处理方式是类似的。图2中9×1的三维特征块之后的三个1×9的三维特征块分别代[0066]图3是示出根据本公开的示例性实施例的音频分离模型的音频分离模型的执行主要包含粗分阶段(Separationstage)和残差补偿阶段(Residual体可以通过短时傅里叶变换(STFT，Short-TimeFourierTransform，或Short-TermFouriertransform)实现，混合音频复数谱中包含混合音频相位YpR-mix和YI-mix分别表示混合音频复数谱的实部和虚部。度。为例，其实部Cos(yonase-mx),虚部音轨道的复数谱残差Resspeech、音乐轨道的复数谱残差Resmusic和背景噪音轨道的复数谱残[0075]图6是示出根据本公开的示例性实施例的残差补偿网络的可选地，残差补偿网络包括编码网络(Encoder)、二维窗自注意力网络(StackedWA-维窗自注意力网络后得到的网络，编码网络包括多个串行的卷积门控线性单元(ConvGLU，部，每个解码网络均包括多个串行的去卷积门控线性单元(DeconvGLU，Deconvolutional示语音、音乐、背景噪音的复数谱残差的实部；outResI-1,2,3包含了outResI-speech、[0098]为验证本公开的示例性实施例的音频分离模型的性能，统计了标准系统在GPU处理每秒音频所需要的时间消耗(实时率)，以及模型参数大小(占用空间量)。在参数量[0103]可选地，粗分单元701还可从待分离音频中分离出混合音频幅度谱和混合音频复[0104]残差单元702可对至少两个轨道的粗分音频复数谱和混合音频复数谱，基于音频一个存储器801中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处以是任何能够单独或联合执行上述指令(或指令集算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、者适应性变化遵循本