CN114329041B 一种多媒体数据处理方法、装置以及可读存储介质 （腾讯科技（深圳）有限公司）

相关联的第一类音轨以及与第二对象相关联的2在获取到多媒体文件中的原始音频数据时，获取用于对所述将所述原始音频数据输入至所述目标声乐分离模型，由所述目从所述第一类音轨中获取所述第一对象的语音数据，将所述第一对象基于所述文本识别结果确定所述原始音频数据的音频类型，对所其中，若所述多媒体文件为视频类文件，则所述第一类音轨包将所述第二类音轨中与所述背景对象相关联的音频数据输入至所述目标声乐分离模所述第三配乐对象相关联的第三配乐语音数据以及与所述伴奏对象相关联的伴奏音频数将分离出的所述第三配乐语音数据添加至包含所述对象语音数据的所述第一类音轨，原始音频数据对应的语音特征的第一分割网络以及用于提取所述原始音频数据对应的音所述将所述原始音频数据输入至所述目标声乐分离模型，由所述目标将所述原始音轨幅度谱输入至所述第一分割网络，由所述第一分将所述原始音轨幅度谱输入至所述第二分割网络，由所述第二分基于所述语音特征、所述音频特征以及所述原始音轨幅度谱，据中的第一对象相关联的第一类音轨以及与所述原始音频数据中的第二对象相关联的第3征和第q-1个上采样层的上采样特征时，将所述第p个卷积层的卷积特征和所述第q-1个上基于所述目标融合特征和所述语音特征，生成所述语音特征相关联基于所述目标融合特征和所述音频特征，生成所述音频特征相关联第一对象包含所述视频类文件中的角色对象所述对所述第一音轨幅度谱进行频谱反变换，得到与所述原始音频数据对所述第一音轨幅度谱进行频谱反变换，得到与所述第一对象相关联对所述第一混合语音音轨中所携带的所述对象语音数据和所述第一配乐语音数据进基于所述第一声纹特征和所述第二声纹特征，对所述第一混合语音语音数据和所述第二声纹特征对应的所述第一配将所述第一声纹特征对应的所述对象语音数据和所述第二声纹特征对应的所述第一所述对所述第一音轨幅度谱进行频谱反变换，得到与所述原始音频数据对所述第一音轨幅度谱进行频谱反变换，得到与所述第一对象相关联将在所述第二混合语音音轨中获取到的所述第二配乐语音数据作为所述第一对象相4音识别模型对所述第一对象的语音数据进行文本识别，得到所述第一对象的文本识别结获取所述第一类音轨包含的所述第一对象的语音数据所对应的获取所述目标语音识别模型中的解码网络在第i时刻所输出的第一译码结果，将所述基于所述目标语音序列特征、所述目标词向量以及所述忆网络包含记忆网络Cj+1和记忆网络Cj；所述记忆网络Cj+1为所述记忆网络Cj的上一记忆网所述将所述待处理语音序列输入至所述目标语音识别模型中的编码网获取与所述正向长短时记忆网络中的所述记忆网络Bj相关联的正将所述待处理语音序列和所述正向历史隐藏特征hj-1输入所述记忆网络Bj，由所述记忆网音序列输入所述记忆网络Bj+1，由所述记忆网络Bj+1在第j+1时刻提取得到正向目标隐藏特获取与所述反向长短时记忆网络中的所述记忆网络Cj+1相关联的反向历史隐藏特征忆网络Cj+1在第j+1时刻提取得到反向目标隐藏特征kj，将所述反向目标隐藏特征kj和所述将所述记忆网络Bj在第j时刻提取得到的所述正向目标隐藏特征hj与所述记忆网络Cj述记忆网络Bj+1在第j+1时刻提取得到的所述正向目标隐藏特征hj+1与所述记忆网络Cj+1在5基于所述第一拼接特征和所述第二拼接特征，确定从所述待处理语音序标词向量以及所述目标语音识别模型中的解码网络，得到所述解码网络在第i+1时刻所输基于所述目标语音序列特征和所述目标词向量生成初始权重系数，对将所述目标拼接向量输入至所述目标语音识别模型中的解码网络，由所述所述将所述目标拼接向量输入至所述目标语音识别模型中的获取由所述单向长短期记忆网络中的所述记忆网络Di在第i时刻提取得到的单向目标隐藏特征si；所述单向目标隐藏特征si是基于所述记忆网络Di相关联的单向历史隐藏特征络Di+1在第i+1时刻提取得到单向目标隐藏特征si+1，基于所述目标拼接向量和所述单向目所述基于所述文本识别结果确定所述原始音频数据的音频类型，对所述若所述文本识别结果中的所述目标识别结果为空值，则确定对所述第二类音轨中与所述伴奏对象相关联的伴奏音频数据若所述文本识别结果中的所述目标识别结果为非空值，则确定对所述第一类音轨中与所述第一对象相关联的语音数据和所述文本信息进行关联存获取用于训练初始音频识别模型的样本音频数据，且将所述样6将所述样本音频数据输入至所述初始声乐分离模型，由所述初样本音轨以及与所述样本音频数据中的第二样本对象相关联的第二从所述第一类样本音轨中获取所述第一样本对象的语音数据，将所基于所述预测类型标签和所述样本类型标签对所述初始音频识别模型进行迭代训练，得到如权利要求1-12任一项所述的方法中的目标音获取模块，用于在获取到多媒体文件中的原始音频数据时，分离模块，用于将所述原始音频数据输入至所述目标声乐分联的第一类音轨以及与所述原始音频数据中的第二对象相识别模块，用于从所述第一类音轨中获取所述第一对象的语音第一确定模块，用于基于所述文本识别结果确定所述原始音述第二类音轨中与所述第二对象相关联的音频数据进其中，若所述多媒体文件为视频类文件，则所述第一类音轨包分离更新模块，用于将所述第二类音轨中与所述背景对象所述分离更新模块，还用于将分离出的所述第三配乐语音数据添样本获取模块，用于获取用于训练初始音频识别模型的样本音频数7音轨分离模块，用于将所述样本音频数据输入至所述初始声乐对象相关联的第一类样本音轨以及与所述样本音频数据中的第二样本对象相关联的第二文本识别模块，用于从所述第一类样本音轨中获取所述第一模型训练模块，用于基于所述预测类型标签和所述样本类型标签对所述初始有所述处理器的计算机设备执行权利要求1-18者使用该音频数据A的时候提供该音频数据本音频数据中的第二样本对象相关联的第二9输入至初始语音识别模型，由初始语音识别模型对第一样本对象的语音数据进行文本识对多媒体文件中的原始音频数据进行音频处理的目标音频据输入至目标语音识别模型，由目标语音识别模型对第一对象的语音数据进行文本识别，频数据中的第一对象相关联的第一类音轨以及与原始音频数据中的第二对象相关联的第在获取到第p个卷积层的卷积特征和第q-1个上采样层的上采样特征时，将第p个卷积层的卷积特征和第q-1个上采样层的上采样特征进行特征拼接；第q-1个上采样层为第q个上采象相关联的对象语音数据，第二类音轨包含与视频类文件中的背景对象相关联的音频数[0040]向量转换单元，用于获取目标语音识别模型中的解码网络在第i时刻所输出的第向长短期记忆网络；双向长短期记忆网络包含正向长短时记忆网络和反向长短时记忆网[0046]反向特征提取子单元，用于获取与反向长短时记忆网络中的记忆网络Cj+1相关联记忆网络Cj+1在第j+1时刻提取得到反向目标隐藏特征kj，将反向目标隐藏特征kj和待处理记忆网络Cj在第j时刻提取得到的反向目标隐藏特征kj-1进行特征拼接，得到第一拼接特征，将记忆网络Bj+1在第j+1时刻提取得到的正向目标隐藏特征hj+1与记忆网络Cj+1在第j+1[0050]权重获取子单元，用于基于目标语音序列特征和目标词向量[0053]译码输出子单元，用于将目标拼接向量输入至目标语音记忆网络Di+1在第i+1时刻提取得到单向目标隐藏特征si+1，基于目标拼接向量和单向目标关联的文本信息；对第一类音轨中与第一对象相关联的语音数据和文本信息进行关联存类样本音轨以及与样本音频数据中的第二样本对象相关联的第二[0069]本申请实施例中所涉及的计算机设备在获取到多媒体文[0085]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控[0087]语音处理技术(SpeechTechnology)的关键技术有自动语音识别技术(Automatic用于对语音数据进行文本识别。集群中的任一用户终端可以与业务服务器100存在通信连接，以便于用户终端集群中的每个用户终端可以通过该通信连接与业务服务器100进行数据交互，例如用户终端200a与业[0090]应该理解，如图1所示的用户终端集群中的每个用户终端均可以安装有应用客户应的应用客户端与业务服务器100进行数据传输，如每个用户终端均可以通过短视频应用服务器100也可以为每个用户终端推荐合适的音频数据(例如配乐)以丰富短视频的内容，可封装为MKV(MatroskaVideoFile)、AVI(AudioVideoInterleaved)、MP4(MPEG-4(MovingPictureExpertsGroup4)的一个缩写)等文件格式，音频类文件可封装为MP3(MovingPictureExpertsGro括但不限于用户终端(例如，图1所示的用户终端集群中的任意一个用户终端)或业务服务业务服务器100，再由业务服务器100对该多媒体文件A进行音频提取处理(包括解封装处用户终端200a)先获取该多媒体文件中的原始音频数据，再将该原始音频数据上传至业务从多媒体文件中获取到的原始音频数据进行音户X的用户画像进行分析，可以确定该用户X所喜爱的(或者收听过的)音乐标签为“纯音可以通过目标音频识别模型中的目标声乐分离模型得到相应的伴奏(即音轨F42)，得到的别模型中的目标语音识别模型自动生成该语音数据对用户X可以在至少一首关联音乐中进行选择，选择的关联音乐可用于替换视频F6中的音轨端20B可以为上述图1所对应实施例中的用户终端集群中的任意一个用户终端(例如，用户别模型)，如图2所示，该音频识别模型203A可以包含声乐分离模型M1(即目标声乐分离模型)和语音识别模型M2(即目标语音识别模型)，进而可以将上述音频数据202A输入至声乐音轨204A中携带的第一对象的语音数据进行文本识别，从而可以得到相应的文本识别结结果(也可称为目标识别结果)和针对于角[0117]其中，计算机设备20A可以利用具有海量多媒体数据(可包括视频数据和音频数[0118]可以理解的是，上述得到的音轨205A中可以包含与伴奏对象相关联的音频数据[0119]可以理解的是，计算机设备20A还可以对上述自动生成的文本信息206A和音轨多媒体文件201A中，该文本信息206A中的配乐文本信息可以作为歌词添加至多媒体文件频类型以及对相关数据进行存储和使用的具体实现方式，可以参见下述图3-图8所对应实[0121]请参见图3，图3是本申请实施例提供的一种多媒体数据处理方法的流程示意别模型进行音频处理的具体过程。如图3所示，该方法至少可以包括下述步骤S101-步骤当该原始音频数据包含歌曲时，该wav文件中存储的数据为该歌曲中的人声部分，包括歌类音轨可以单独写入wav文件，该wav文件中存储的数据是除了人声音轨之外的其他音轨，[0132]可选的，上述第一分割网络和第二分割网络可以为具有相同网络结构的对称网个上采样层中的第q个上采样层可用于在获取到第p个卷积层的卷积特征和第q-1个上采样出色表现。卷积神经网络可以由一个或多个卷积层和顶端的全连通层(对应经典的神经网网络包含U个(例如，4个)卷积层(convolutionallayer)和U个(例如，4个)上采样层(up积层(up-conv)进行上采样。而上采样层404c则可以包括两个3*3的卷积网络和一个1*1的[0136]应当理解，图4所示的每一个上采样层均可以获取上一层网络输出的特征以及对本申请实施例对每个网络所输出的特征的尺寸(维度)不进行限定。例如，对于上采样层402c和连接的上卷积层对目标拼接特征Y2进行计算，从而得到上采样层402c的上采样特而可以通过上采样层404c对目标拼接特征Y4进行计算，从而得到最终输出的特征(即语音层的特征图(featuremap，如卷积特征)都会拼接(即concatenate)到对应位置的上采样残差神经网络)中的vgg(一种卷积网络)等)机设备可以对音频数据51a(即原始音频数据)进行频谱变换，得到对应的音轨频谱52a(即进一步，可以将音轨幅度谱53a分别输入至分割网络54a(即第一分割网络)和分割网络55a特征56a和音频特征57a对应位置上的元素进行线性相加，从而得到相应的融合特征(即目合特征与语音特征56a对应位置上的元素进行比例计算(如相乘)，计算出的加权矩阵即可位置上的元素进行比例计算(如相乘)，计算出的加权矩阵即可作为音频特征57a相关联的色对象(为便于后续区分，该场景下的角色对象可以称为第一角色对象)和第一配乐对象，携带与角色对象相关联的对象语音数据(为便于后续区分，该场景下的对象语音数据可以称为第一对象语音数据，例如，角色对话)和与第一配乐对象相关联的第一配乐语音数据二声纹特征，对第一混合语音音轨中的对象语音数据和第一配乐语音数据进行语音分割，得到第一声纹特征对应的对象语音数据和第二声纹特征对应的第一配乐语音数据，最终，可以将第一声纹特征对应的对象语音数据和第二声纹特征对应的第一配乐语音数据作为机设备对第一音轨幅度谱进行频谱反变换，得到与第一对象相关联的第二混合语音音轨，进而可以将在第二混合语音音轨中获取到的第二配乐语音数据作为第一对象相关联的第对象语音数据和第五声纹特征对应的第二配乐语音数据作为第一对象相关联的第一类音象相关联的对象语音数据)，因此可以通过再次对第二类音轨进行声乐分离以便分割出其(log-melspectrogram)的形式进RNN(RecurrentNeuralNetwork)模型输入序列较长的时候很难获得最终合理的向量表示[0152]该目标语音识别模型可以包括3个部分，分别为编码网络(encoder)、解码网络取目标语音识别模型中的解码网络在第i时刻所输出的第一译码结果，并将第一译码结果序列602a在每个时刻上的正向目标隐藏特征；例如，计算机设备在任意两个相邻时刻(例在第j时刻所提取到的正向隐藏特征(例如，正向目标隐藏特征hj)本质上是由正向历史隐藏特征(例如，反向目标隐藏特征kj-1)本质上是由第j时刻的下一时刻(即第j+1时刻)所提所提取到的反向隐藏特征(例如，反向目标隐藏特征kj)本质上是由第j+1时刻的下一时刻记忆网络中任意两个相邻的两个记忆网络可以包含记忆网络Cj和记忆网络Cj+1，且在上述[0156]同理，计算机设备可以在获取到与反向长短时记忆网络中的记忆网络Cj+1相关联计算机设备可以将记忆网络Bj+1在第j+1时刻提取得到的正向隐藏特征(例如，上述正向目标隐藏特征hj+1)和记忆网络Cj+1在第j+1时刻提取得到的反向隐藏特征(例如，上述反向目可以将该在第j+1时刻所拼接得到的拼接特征统称为第二M。译码结果613a)统称为第二译码结果。这里的译码结果即为解码网络输出的文本。可以理量转换网络可以包含嵌入矩阵(embeddingmatrix)，计算机设备可以预先使用词库输入向量转换网络606a，可以将译码结果605a转换为相应的词向量607a(即目标词向量)。[0162]进一步，计算机设备可以将目标词向量和语义编码向量进行向量si+1)本质上是由单向目标隐藏特征si和目标拼接[0164]由此可见，计算机设备在获取到单向长短期记忆网络中的记忆网络Di在第i时刻提取到的单向目标隐藏特征si时，可以将该单向目标隐藏特征si和目标拼接向量输入记忆向量607a合并输入到解码网络610a后，可以由解码网络610a输出第i+1时刻的译码结果络在所有时刻输出的译码结果可以作为第一轨以及与样本音频数据中的第二样本对象相关联的第二[0179]应当理解，初始声乐分离模型可以包括第一初始分割网到与样本音频数据中的第一样本对象相关联的第一类样本音轨以及与样本音频数据中的第二样本对象相关联的第二类样本音轨。该步骤的具体实现方式可以参见上述图3所对应行文本识别，基于得到的第一样本对象的文本识别结果确定样本音频数据的预测音频类[0182]步骤S204，基于预测类型标签和样本类型标签对初始音频识别模型进行迭代训[0183]具体的，计算机设备可以基于预测类型标签和样本类型[0185]上述可知，本申请实施例通过对初始声乐分离模型和初始语音识别模型进行训模型则可用于需要对语音数据进行文本识别的业务场景(例如，智能识别视频类文件中的媒体数据处理装置1可以是运行于计算机设备的一个计算机程序(包括程序代码)，例如该多媒体数据处理装置1为一个应用软件；该装置可以用于执行本申请实施例提供的多媒体数据输入至目标语音识别模型，由目标语音识别模型对第一对象的语音数据进行文本识多媒体数据处理装置2可以是运行于计算机设备的一个计算机程序(包括程序代码)，例如该多媒体数据处理装置2为一个应用软件；该装置可以用于执行本申请实施例提供的多媒在获取到第p个卷积层的卷积特征和第q-1个上采样层的上采样特征时，将第p个卷积层的卷积特征和第q-1个上采样层的上采样特征进行特征拼接；第q-1个上采样层为第q个上采始音频数据中的第一对象相关联的第一类音轨以及与原始音频数据中的第二对象相关联的具体实现方式可以参见上述图3所对应实施例中对步骤S102的描述，这里将不再继续进数据输入至目标语音识别模型，由目标语音识别模型对第一对象的语音数据进行文本识[0214]第三特征提取单元231，用于获取第一类音轨包含的第一对象的语音数据所对应向长短期记忆网络；双向长短期记忆网络包含正向长短时记忆网络和反向长短时记忆网联的正向历史隐藏特征hj-1，将待处理语音序列和正向历史隐藏特征hj-1输入记忆网络Bj，[0218]反向特征提取子单元2312，用于获取与反向长短时记忆网络中的记忆网络Cj+1相关联的反向历史隐藏特征kj+1，将待处理语音序列和反向历史隐藏特征kj+1输入记忆网络[0219]特征拼接子单元2313，用于将记忆网络Bj在第j时刻提取得到的正向目标隐藏特征hj与记忆网络Cj在第j时刻提取得到的反向目标隐藏特征kj-1进行特征拼接，得到第一拼[0221]其中，正向特征提取子单元2311、反向特征提取子单元2312、特征拼接子单元2313、特征确定子单元2314的具体实现方式可以参见上述图3所对应实施例中对步骤S103单向历史隐藏特征si-1得到的；将单向目标隐藏特征si和目标拼接向量输入记忆网络Di+1，由记忆网络Di+1在第i+1时刻提取得到单向目标隐藏特征si+1，基于目标拼接向量和单向目出子单元2334的具体实现方式可以参见上述图3所对应实施例中