CN114913870B 一种语音数据的处理方法、装置、设备及存储介质 （清华大学苏州汽车研究院（相城））

案解决了基于时域的分离方法语音分离信噪比2获取待分离语音数据，并通过特征提取器对所述待分离语音数据进行通过分离器，按照预设块长和预设步长对所述待分离语音特征进行分段通过所述分离器的块内处理单元提取各语音分块特征的第一维度通过所述分离器融合各语音分块特征的第一维度特征和第二维度特征，相应的，所述通过所述分离器的块内处理单元提取各语音分块特征的第一维度特征，将各语音分块特征输入至所述块内处理单元，通过所述块内变换子相应的，所述通过所述分离器的块间处理单元提取各语音分块特征的第二维度特征，将各语音分块特征和对应的块内依赖特征相加作为输入数据输入至所述块间处理单相应的，所述通过所述分离器融合各语音分块特征的第一维度特征和第二维度特征，将所述至少两个语音预测特征进行拼接，将拼接特征输入至所述分离在通过所述分离器的块内处理单元提取各语音分块特征的第一3将各语音分块特征输入至所述前向自适应子单元，通过所述前向自待分离语音特征生成模块，用于获取待分离语音数据，并通过特征提取语音分块特征生成模块，用于通过分离器，按照预设块长和预双维度特征提取模块，用于通过所述分离器的块内处理单元提语音预测特征生成模块，用于通过所述分离器融合各语音分块特征语音分离结果确定模块，用于通过波形重构器，根据各语音预将各语音分块特征输入至所述块内处理单元，通过所述块内变换子将各语音分块特征和对应的块内依赖特征相加作为输入数据输入至所述块间处理单所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的7.一种计算机可读存储介质，其特征在于令，所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的语音数据的处4[0002]随着深度学习的兴起，基于深度模型的语音分离技术，例如卷积神经网络法两类。其中，基于时域的分离方法性能更为突出。例如Conv-TasNet(Convolutional[0008]获取待分离语音数据，并通过特征提取器对所述待分离所述分离器的块间处理单元提取各语音分块特征的第5[0025]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特6员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范处理装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于电子设备过波形重构器将成分语音信号特征重建为各语音分采用一维卷积来对待分离语音数据进行特征提取。特征提取器的激活函数可以选用7通过所述分离器的块间处理单元提取各语音分块特征的第[0048]以S120所述的分块方式为例，待分离语音特征可以理解为由一维长度为L的特征[0053]本技术方案通过分离器的块内处理单元和块间处理单元分别提取各语音分块特8[0063]语音分块特征的块内依赖特征主要通过块内处理单元中的块内变换子单元提用于并行化计算，Transformer模型的复杂程度也使其在精度和性能上都远胜于循环神经如图2C所示，其前馈网络层可以包括时间卷积网络(TemporalConvolutionalNetworks，9积(DepthwiseConvolution，Dw-Conv2d)以及深度组卷积(DepthwiseGroup[0072]e2/＝Norm(DwConv2d(PReLU(Norm(DwConv2d(e1/))))[0075]该方案中的前向自适应子单元可以进一步增加语音分块特征在通道和空间维度Adaptability函数表示前向自适应子单[0082]其中，(·)表示各函数的输入信息，MHA代表多头注意力机制(Multi-HeadAttention)；FFNintra函数表示块内前馈网络层(FeedForwardNetwork，FFN)的提取操[0102]加式门控机制可以将eⅡⅡ拆分为至少两个语音预测特征，例如N个说话人特征相关性信息对对应的说话人特征进行增强，对不是该说话人的其它说话人特征进行抑制，[0110]将spk1,spk2堆叠在一起形成最后的输出eN，N代表第N个说话人，即如下公式所[0113]波形重构器可以利用具有可学习参数的一维转置卷积从语音预测特征中重建波[0117]图3为本发明实施例三提供的一种语音数据的处理装置的结构示意图。如图3所[0120]双维度特征提取模块330，用于通过所述分离器的块内处理单元提取各语音分块[0121]语音预测特征生成模块340，用于通过所述分离器融合各语音分块特征的第一维[0128]将各语音分块特征和对应的块内依赖特征相加作为输入数据输入至所述块间处[0140]语音分块特征优化模块，用于将各语音分块特征输入至[0141]本发明实施例所提供的语音数据的处理装置可执行本发明任意实施例所提供的有可被至少一个处理器执行的计算机程序，处理器411可以根据存储在只读存储器(ROM)412中的计算机程序或者从存储单元418加载到随机访问存储器(RAM)413中的计算机程序，通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息[0146]处理器411可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器可以经由ROM412和/或通信单元419而被载入和/或安装到电子设备410上。当计算机程序机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0149]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务[0152]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算