CN119537647A 基于顺序提示和检索增强生成的标签序列生成方法 (中国科学院自动化研究所)_第1页
CN119537647A 基于顺序提示和检索增强生成的标签序列生成方法 (中国科学院自动化研究所)_第2页
CN119537647A 基于顺序提示和检索增强生成的标签序列生成方法 (中国科学院自动化研究所)_第3页
CN119537647A 基于顺序提示和检索增强生成的标签序列生成方法 (中国科学院自动化研究所)_第4页
CN119537647A 基于顺序提示和检索增强生成的标签序列生成方法 (中国科学院自动化研究所)_第5页
已阅读5页,还剩35页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

号基于顺序提示和检索增强生成的标签序列本发明提供一种基于顺序提示和检索增强2将目标视频输入至标签序列生成模型中,所述标签序列生成模基于所述多模态混合特征,生成所述目标视频的顺序提示,所述基于所述多模态混合特征、所述顺序提示和所述提示语句,生成2.根据权利要求1所述的基于顺序提示和检索增强生成的标签序列生成方法,其特征使用冻结的视觉编码器对所述目标视频中的采样帧进行编码,使用多模态混合编码器对所述帧特征和所述文本特征进行特征3.根据权利要求1所述的基于顺序提示和检索增强生成的标签序列生成方法,其特征将随机初始化的一组可学习查询和所述多模态混合特征输入至4.根据权利要求1所述的基于顺序提示和检索增强生成的标签序列生成方法,其特征对于任一检索系统,从所述检索系统中检索到k个相关视频,获得所述5.根据权利要求1_4中任一项所述的基于顺序提示和检索增强生成的标签序列生成方将样本视频输入至待训练的标签序列生成模型中,所述待训练的标签序列3基于所述多模态混合特征、所述顺序提示和生成的提示语句,基于所述总损失值,对所述待训练的标签序列生成模型的模型参将所述总损失值小于所述预设阈值的模型参数作为所述待训练的标签序列生成模型6.根据权利要求5所述的基于顺序提示和检索增强生成的标签序列生成方法,其特征正样本之间的相似度,所述第二相似度是所述真实标签与所有候选样本之间的相似度之正样本之间的相似度,所述第四相似度是所述顺序提示与所有候选样本之间的相似度之所述文本特征是对所述目标视频的标题进行所述顺序提示用于按序提示所述目标视频的重8.一种电子设备,包括存储器、处理器及存储在程序被处理器执行时实现如权利要求1至6任一项所述基于顺序提示和检索增强生成的标4通常依赖于CNN(ConvolutionalNeuralNetwork,卷积神经网络)、GCN(Graph5在获取到目标视频的帧特征和文本特征之后,对所述帧特征和所述文本特征进行特征融将所述总损失值小于所述预设阈值的模型参数作为所述待训练的标签序列生成6机程序被处理器执行时实现如上述任一种所述基于顺序提示和检索增强生成的标签序列执行时实现如上述任一种所述基于顺序提示和检索增强生成的7[0018]图1是本发明提供的基于顺序提示和检索增强生成的标签序列生成方法的流程示图8是本发明提供的基于顺序提示和检索增强生成的标签序列生成装置的结构示明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。8[0022]下面结合图1_图9描述本发明实施例所提供的基于顺序提示和检索增强生成的标[0023]图1是本发明提供的基于顺序提示和检索增强生成的标签序列生成方法的流程示9的,将视觉编码器冻结,从而保证训练好的视觉编码器的权重不被更新。通过文本编码器[0032]本发明实施例中,使用多模态混合编码器(MultimodalHybridEncoder)Me(-,)进行特征融合,多模态混合编码器是一个多层变换器编码器,每层包括一个多头自注意力模块、一个交叉注意力头和一个前馈网络。帧特征和文本特征通过始化的。给定视频vi的顺序提示是通过将这些可学习的查询Q与多模态混;;i;;;其中Gn是按s(g)降序排序的前p个标签集合;。将所述总损失值小于所述预设阈值的模型参数作为所述待训练的标签序列生成;其中e"=uw(")。为了使顺序提示和标签嵌入的数量匹配(N=L通过预定义的无;。。化顺序提示与标签对比损失La和标签序列生成损失Lgen来对整个模型进行端到端训练,;为第一损失值;函数exp(x,y,t)=ex"y/t表示带有可学习温度参数r的指数相似度;。。。即为最终输出的标签序列。[0065]为了评估模型的泛化能力,将CREATE_Tag数据集的标签集划分为705个常见标签将Open_Tag模型应用于PEXEL_Tag数据集进行[0070]为了评估模型的泛化能力,将PEXEL_Tag数据集的标签集划分为1627个常见标签果表明,Open_Tag在CREATE_Tag数据集上的F1分数相比于最先进的方法提高了17.5%和通过结合顺序提示和检索增强生成技术(RAGOpen_Tag在样本级标签增益和场景级标签[0075]下面对本发明实施例提供的基于顺序提示和检索增强生成的标签序列生成装置[0076]图8是本发明提供的基于顺序提示和检索增强生成的标签序列生成装置的结构示意图,如图8所示,该基于顺序提示和检索增强生成的标签序列生成装置可以包括但不限所述文本特征是对所述目标视频的标题进行编[0079]此外,上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论