CN114548293B 基于跨粒度自蒸馏的视频-文本跨模态检索方法 （中国传媒大学）_第1页
CN114548293B 基于跨粒度自蒸馏的视频-文本跨模态检索方法 （中国传媒大学）_第2页
CN114548293B 基于跨粒度自蒸馏的视频-文本跨模态检索方法 （中国传媒大学）_第3页
CN114548293B 基于跨粒度自蒸馏的视频-文本跨模态检索方法 （中国传媒大学）_第4页
CN114548293B 基于跨粒度自蒸馏的视频-文本跨模态检索方法 （中国传媒大学）_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

基于跨粒度自蒸馏的视频-文本跨模态检索本发明公开了基于跨粒度自蒸馏的视频-文着以此细粒度相似度作为软标签，结合对比损时引入跨粒度自蒸馏来改善对比学习标签的天2步骤1、将不同模态的输入经过基于Transformer的各模步骤2、对各模态编码器产生的特征序列进行平均池化，得到各模态的粗粒度表示特征；推理时，直接使用该表示特征进行向量检索；训练时，使用此表示特征在大小为b的mini-batch内计算任意两个样本的跨模态相似度s(Ti,Vj)，从而构成粗粒度的相似度矩阵seRxb,并通过交叉熵计算InfoNCE损失L1;2.根据权利要求1所述的基于跨粒度自蒸馏的视频-文本跨模态检索方法，其特征在将文本和视频编码器最后一层输出的特征序列f(Ti)和g(Vj)分别送入各自的tokens筛st2vi频-文本软标签矩阵seRb:使用KL散度计算跨粒度自蒸馏损失L2,公式如下：tokens筛选模块由一个权重生成器和排序选择操作组成；权重生成器是一个由重；34[0001]本发明涉及一种基于跨粒度自蒸馏的视频-文本跨模态检索方法，属于人工智能[0002]近年来信息技术的迅猛发展，特别是移动互联网的高速模态检索也是多媒体信息处理的一个重要领域。这个任务旨在给定一个视频(或文本描文本的表示学习以及视频-文本的跨模态对齐。最近的研究表明Transformer或BERT在视[0003]现有的视频-文本跨模态检索方法可以根据模态间的交互情况大致分为两类：第成过拟合。此外，现有的方法主要通过在联合空间拉近正样本，推远负样本来优化网络，[0006]本发明针对上述问题，设计了一个基于跨粒度自蒸馏的视频-文本跨模态检索方5[0007]本发明的主要目的是设计一个基于跨粒度自蒸馏的视频-文本跨模态检索方法，[0009]步骤1、给定一个大小为b的mini-batch其中g()e,其中d为表示向量的维度。Avgpool(s(v)),有通过向量内积计算它们的相似度因tokens也进行此操作。的两两交互(向量内积)，得到细粒度交互矩阵IeRm,I中的每一个元素代表一个文本由步骤2可得粗粒度的相似度矩阵seRxb,其中第i行第j个元素代表文本Ti和视频Vj的粗粒度相似度得分。跨粒度自蒸馏损失为粗粒度相似度分布和细粒度相似度软标签的KL散6[0022]与现有技术相比，本发明提出了一种基于跨粒度自蒸馏的视频-文本跨模态检索明还设计了一个tokens筛选模块，旨在选取对整个序列更重要的tokens以进行细粒度交VGGish以及在ImageNet上

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论