CN114067793B 音频处理方法和装置、电子设备及可读存储介质 （北京百度网讯科技有限公司）

子设备及可读存储介质，涉及语音处理技术领初始音频数据中确定多个对象中每个对象分别2所述分离结果用于从所述初始音频数据中确定所述多个对象中每个对象分别对应的目标多个文本的时间戳，所述基于所述内容向量和所述时间信息对所述待处理音频进行分离，其中，音频分离模型至少包括：第一层双向长短时记忆对所述训练音频进行内容识别，得到所述训练音频对应的训练向量和基于所述训练向量和所述训练向量对应的时间信息对所述获取目标向量，其中，所述目标向量为输入至所述音频分离模利用辅助分离模型对所述目标向量进行预测，得到所述目标向量对应的第二预测结3识别模块，用于对所述待处理音频进行内容识别，得到内容向分离模块，用于基于所述内容向量和所述时间信息对所述待处理其中，音频分离模型至少包括：第一层双向长短时记忆识别单元，用于利用强制对齐模型对所述待处理音频进行所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被9.一种存储有计算机指令的非瞬时计算机可读存储介4解决了相关技术中提供的人声分离方法的分离效果5[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特经网络)-xvector(用于提取用户特征向量)+AHC(agglomerativehierarchical频中的起始时间和持续时间，此处的不同粒度可以是音素(phone)、字(character)、词6TemporalClassification，联级时序分类)，Chain，CNN(convolutionalneural性能稳定的模型，这样应用时输入Mel谱即可得到对应的文本信息与时间信息，即音素可以通过梅尔标度滤波器组对待处理音频进行处理，变换得到相应的Mel谱，但不仅限于7[0035]上述的音频分离模型可以是基于PIT(PermutationInvariantTrain，置换不变训练)的深度神经网络的人声分离模块。如图2所示，该模型可以由多层BLSTM(Binary个音频片段(即上述的多个目标音频)，也即，音频分离模型的输入的粒度与content8混叠(1020％)。标注结果可以是通过人工标注如图2中右侧模型所示。输入为第一个StackedBLSTM的输出向量与contentembedding拼9更新音频分离模型的模型参数，使得第一个StackedBLSTM可以学习到辅助分离模型的知[0056]在一些实施例中，在计算得到总损失函数之后，可以采用随机梯度下降算法[0058]基于上述分析可知，本公开通过强制对齐模型得到发音单元以及对应的时间信[0059]需要说明的是，本实施例中的待处理音频并不是针对某的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设者全部可以经由ROM402和/或通信单元409而被载入和/或安装到设备400上。当计算机程机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0074]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0077]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同