CN113378784B 视频标签推 荐模型的训练方法和确定视频标签的方法 （北京百度网讯科技有限公司）

视频标签推荐模型的训练方法和确定视频本公开提供了一种视频标签推荐模型的训2采用所述特征融合层对所述至少两个模态的特征向量进行其中，在所述视频标签推荐模型的训练过程中，所述采用所述至少两个特征提取层中的第一特征提取层，采用所述预定采样算法从所述多个视频片段中的每个6.根据权利要求2～5中任一项所述的方法，其中，以所述视频样本的标题文本作为所述至少两个特征提取层中的第二特征提取层的输7.根据权利要求2～5中任一项所述的方法，3以所述视频样本的音频数据作为所述至少两个特征提取层中的第三特征提取层的输确定所述第一特征和所述第二特征分别与所述确定所述第一特征与所述第一视频特征之间的第一距离与预定值的和，得到目标距其中，所述第二标签的第二特征与所述第一视频特征之以预定标签库中的每个标签作为所述视频标签推荐模型中的标签特征提取网络的输基于所述每个标签的标签特征与所述第二视频特征之间的距第一视频特征获得模块，用于采用所述视频第一特征获得模块，用于以作为正样本的第一标签作为所述标签特征提取网络的输第二特征获得模块，用于以作为负样本的第二标签作为所述标签特征提取网络的输特征获得子模块，用于采用所述特征融合层对所述至少4向量转换单元，用于将所述至少两个模态的特征向量转换为相同维度的至少两个向权重确定单元，用于基于注意力机制确定为所述至少两个模态的特征向量分配的权加权和确定单元，用于基于为所述至少两个其中，在所述视频标签推荐模型的训练过程中，所述帧序列获得子单元，用于采用预定采样算法从所述视频样本中抽取至少两个视频帧，向量序列获得子单元，用于采用残差网络提取所述视频帧序列中各视频帧的特征向特征向量融合子单元，用于融合所述特征向量序列中的采用所述预定采样算法从所述多个视频片段中的每个以所述视频样本的标题文本作为所述至少两个特征提取层中的第二特征提取层的输以所述视频样本的音频数据作为所述至少两个特征提取层中的第三特征提取层的输距离确定子模块，用于确定所述第一特征和所述第模型训练子模块，用于基于所述预定损失函数的取值5距离确定模块，用于确定所述第一特征与所述第一视其中，所述第二标签的第二特征与所述第一视频特征之第二视频特征获得模块，用于采用视频标签推标签确定模块，用于基于所述每个标签的标签特征与所述第二视频特征之间的距离，其中，所述视频标签推荐模型是采用权利要求11～19中任一项所述的装置训练得到所述存储器存储有可被所述至少一个处理器执行6[0004]本公开提供了一种提高模型灵活性的视频标签推荐模型的训练方法和确定视频及基于每个标签的标签特征与第二视频特征之间的距离，确定预定标签库中的目标标签，用于以作为正样本的第一标签作为标签特征提取网络的输入，获得第一标签的第一特征；7算机程序在被处理器执行时实现本公开提供的视频标签推荐模型的训练方法和/或确定视[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0014]图1是根据本公开实施例的视频标签推荐模型的训练方法和确定视频标签的方[0023]图10是用来实施本公开实施例的视频标签推荐模型的训练方法和/或确定视频标8[0027]图1是根据本公开实施例的视频标签推荐模型的训练方法和确定视频标签的方[0028]如图1所示，该实施例的场景100包括服务器110、第一数据库120和第二数据库例如可以从第二数据库130中读取未标注视频150，并基于该未标注视频150从第一数据库170可以通过网络与服务器110交互，该终端设备170例如还可以通过网络访问第二数据库110发送视频获取请求。服务器110例如可以响应于该视频获取请求从第二数据库130中的[0034]示例性地，终端设备170例如可以为具有显示屏的台式计算机、膝上型便携计算[0035]需要说明的是，本公开实施例所提供的视频标签推荐模型的训练方法和/或确定务器执行。本公开实施例所提供的视频标签推荐模型的训练装置和/或确定视频标签的装9[0037]以下将结合图1，通过以下图2～图6对本公开提供的视频标签推荐模型的训练方特征提取层分别设置有不同模态的特征提取模型。则在获得视频样本的第一视频特征时，与视频的标题之间的相似度等来设定。例如可以选择与视频的标题之间的相似度[0052]该操作S230与前述操作S220类似，可以将第二标签输入该标理解本公开，只要该预定损失函数的取值与第一视频特征和第一特征之间的距离正相关，视频标签推荐模型，并基于正样本的特征和负样本的特征来对视频标签推荐模型进行训度压缩成统一维度，随后基于注意力机制(attention)来分配至少两个特征向量各自的权以将图像特征提取模型321、音频特征提取模型322和文本特征提取模型323中的每一个模型称作一个专家模型(Expertmodel)，然后针对每个专家模型产生的结果进行加权综合，[0066]以下将结合图4～图5分别对图像特征提取模型321得到图像模态的特征向量的原理和音频特征提取模型322得到音频模态的特征以将视频样本中的各个视频帧基于时间排列顺序依次输入至少两个特征提取层中的第一[0070]在一实施例中，图像特征提取模型可以采用残差网络(ResidualNeural征向量序列450中包括与该n帧视频图像一一对应的n个特征向量。通过融合该特征向量序用RNN模型或者时序上的池化对各个视频帧的特征向量进算法例如可以采用稀疏采样算法，该稀疏采样算法例如可以将视频均匀切分为O个时序片解决计算量随视频时长增长的问题，且该全局特征对于视频理解而言信息量也是足够的。行融合的整体流程。其中，深度行为识别架构例如可以为时间段网络(TemporalSegment段中的每个子片段中随机截取一帧视频图像。若预先将视频样本均匀切分为了P个视频片[0075]根据本公开的实施例，提取的音频模态的特征向量例如可以为梅尔频率倒谱系[0081]在操作S550，对近似于同态变换的结果进行离散余弦(DiscreteCosine[0085]在对视频标签推荐模型进行训练时，可以先将视频样本611输入视频标签推荐模样本613的第一标签输入第二标签特征提取网络623中，经由该网络处理后得到第二特征模型遍历训练样本，采用上述方法从预定标签库中为每个锚点样本找到合适的一组负样[0108]第一视频特征获得模块810用于采用视频特征提取网络，获得视频样本的第一视[0109]第一特征获得模块820用于以作为正样本的第一标签作为标签特征提取网络的输[0110]第二特征获得模块830用于以作为负样本的第二标签作为标签特征提取网络的输[0112]根据本公开的实施例，视频特征提取网络包括至少两个特征提取层和特征融合[0115]根据本公开的实施例，帧序列获得子单元用于通过以下方式抽取至少两个视频[0119]根据本公开的实施例，上述视频标签推荐模型的训练装置800还可以包括距离确[0123]第二视频特征获得模块910用于采用视频标签推荐模型中的视频特征提取网络，[0124]标签特征获得模块920用于以预定标签库中的每个标签作为视频标签推荐模型中[0125]标签确定模块930用于基于每个标签的标签特征与第二视频特征之间的距离，确[0128]图10示出了可以用来实施本公开实施例的视频标签推荐模型的训练方法和确定[0129]如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程通过诸如因特网的计算机网络和/或各种电信网络与其他设备[0131]计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0133]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在[0136]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，