CN119495127A 基于多模态大模型微调的视频行为识别方法、装置和设备 （北京航空航天大学杭州创新研究院）

基于多模态大模型微调的视频行为识别方体涉及基于多模态大模型微调的视频行为识别2获取视频行为识别数据集和初始视频行为识别模型，其中，所述视确定所述视频行为识别数据包括的视频帧序基于预设的标签文本模板、所述关键帧图像、所述图像存储路径和所述视基于所生成的各个训练样本，对初始视频行为识别模型进行训将所述图像存储路径和所述视频行为识别数据包括的行为标签填充至预设的标签文将所述关键帧图像作为样本图像，以及将所述样本图像和所述样本将所述各个训练样本中的每个训练样本包括的样本图像输入初始视频行为识别模型将所述各个图像模态特征向量中的每个图像模态特征向量输入初始视频行为识别模对所述各个训练样本中的每个训练样本包括的样本标签数据进行掩码处理以生成掩将所述各个掩码标签文本中的每个掩码标签文本输入初始视频行为识别模型中的文将所述各个文本模态特征向量中的每个文本模态特征向量输入初始视频行为识别模响应于确定所述训练损失值小于所述预设损失阈值响应于确定所述训练损失值大于或等于所述3以及所述将所述各个图像模态特征向量中的每个图像模态特征向量输入初始视频行为识通过所述图像向量嵌入模块包括的注意力层，基于预先设置的可学通过所述图像向量嵌入模块包括的线性层，基于预先设置的可学习线可学习偏置向量，将所述图像模态特征向量对应的注意力加权向量嵌入至预设向量空间，对于所述各个文本模态特征向量中的每个文本模态特征向量，通过执行单元，被配置成对于所述视频行为识别数据集中的每个视确定所述视频行为识别数据包括的视频帧序基于预设的标签文本模板、所述关键帧图像、所述图像存储路径和所述视训练以及确定单元，被配置成基于所生成的各个训练输入以及发送单元，被配置成响应于接收到针对目标视频数据的行为识别请求信息，频行为文本信息发送至所述行为识别请求信息对应456一个或多个处理器实现上述第一方面任一实现方7态大模型微调的视频行为识别方法，通过构造包括关键帧图像和标签文本的训练样本集，[0013]图1是根据本公开的基于多模态大模型微调的视频行为识别方法的一些实施例的图2是根据本公开的基于多模态大模型微调的视频行为识别方法的一些实施例中图3是根据本公开的基于多模态大模型微调的视频行为识别方法的一些实施例的图5是根据本公开的基于多模态大模型微调的视频行为识别装置的一些实施例的[0018]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性[0020]图1示出了根据本公开的基于多模态大模型微调的视频行为识别方法的一些实施8模块可以用于将文本向量嵌入到多模态大模型的特征空。9[0036]在一些实施例中，上述执行主体可以将上述关键帧图像存储至预设图像存储位先设置的用于填充图像存储路径和行为标签的文本为识别方法的一些实施例中用于构建训练样本集的视频数据与图像数据占用空间的对比将训练完成的初始视频行为识别模型确定为视频行图像特征中的每个图像特征可以与各个图像模态特征向量中的图像模态特征向量一一对Attention表示注意力权重。Z表示注意力加权向量。的线性层可以基于预先设置的可学习线性层权重矩阵和可学习偏置向量，通过以下公式，将上述图像模态特征向量对应的注意力加权向量嵌入至预设向量空间，得到图像特征：。seeR。gtm表示上述预设向量空间。各个文本模态特征向量中的每个文本模态特征向量可以与上述各个训练样本中的训练样文本特征中的每个文本特征可以与各个文本模态特征向量中的文本模态特征向量一一对特征向量中的每个文本模态特征向量输入初始视频行为识别模型中的文本向量嵌入模块，表示为两个参数量更小的矩阵的低秩近似，公式为：wpre+AW=WPTe+G·H。rERi。据的序号。T;,表示与第i个样本图像对应同一视频行为识别数据的第r个样本标签数据对视频帧序列一一对应。上述各个视频特征中的每个视频特征可以是通过上述多模态大模述类内差异损失函数可以为：。表示第j个训练样本对应的图像特征与视频特征之间的标准差。表示第j个训练样本对应的图像特征与文本特征之间的标准差。oy"表示第j个训练样本对应的视频特征与文本特征之间的标准差。。为类别之间关于图像特征的类间差异损失。LBW(p,q)表示第p类行为类别与第q类行为类别之间关于文本特征的类间差异损失。L%v(p,a)表示第p类行为类别与第q类行为类别之L(p,q)表示第p类行为类别与第q类行为类别之间关于class类型模态特征的类间差异第q类行为类别的关于class类型模态特征的模态特征。[0074]上述初始视频行为识别模型训练步骤及其相关内容作为本公开的实施例的一个[0081]另外，图4示出了根据本公开的视频行为识别模型与多模态大模型的性能评估对态大模型微调的视频行为识别方法，通过构造包括关键帧图像和标签文本的训练样本集，大模型微调的视频行为识别装置的一些实施例，这些装置实施例与图1所示的那些方法实施例相对应，该基于多模态大模型微调的视频行为识别装置500具体可以应用于各种电子[0084]如图5所示，一些实施例的基于多模态大模型微调的视频行为识别装置500包括：入模块；执行单元502，被配置成对于上述视频行为识别数据集中的每个视频行为识别数[0085]可以理解的是，该基于多模态大模型微调的视频行为识别装置500中记载的诸单产生的有益效果同样适用于基于多模态大模型微调的视频行为识别装置500及其中包含的[0087]如图6所示，电子设备60609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具[0091]在一些实施方式中，客户端、服务器可以利用诸如HTTP（HyperTextTransfer络以及任何当前已知或未来研发的网络。行为文本信息发送至上述行为识别请求信息对应的[0093]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、[0096]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征合而成的技术方案，同时也应涵盖在不脱离上述发明