版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2训练图文跨模态检索模型,其中图文跨模态检索将检索文本或检索图像输入到图文跨模态检索模型中,由图文跨模索文本的文本特征与A个图像的图像特征之间的A个第一相似度或者确定检索图像的图像针对A个第一相似度中大于预设相似度阈值的X个第一相似度,确定X个第一相似度对机球面vonMises_Fisher损失更新哈;;3;;;;;4;;;;征的类二进制代码表示和每个类别的可学习权向量通过以下公式投影到;;;;;5序;处理器用于根据计算机程序执行如权利要求1_7中任一项所述的基于球面哈希的图文计算机程序在被处理器执行时实现如权利要求1_7中任一项所述的基于球面哈希的图文跨6[0001]本发明涉及信息检索技术领域,具体涉及基于球面哈希的图文跨模态检索方法、[0003]尽管现有的深度跨模态哈希算法已经取得了显著进展,但仍然存在一些局限定检索文本的文本特征与A个图像的图像特征之间的A个第一相似度或者确定检索图像的针对A个第一相似度中大于预设相似度阈值的X个第一相似度,确定X个第一相似7;其中,Lswur表示随机球面vonMises_Fisher损失,c'表示图像模态的随机球面vonMises_Fisher损失,表示文本模态的随机球面vonMises_Fisher损失,期望;B'表示图像模态的类二进制代码,B表示文本模态类二进制代码,B"表示8;;;其中,Groru表示总体损失,Lswur表示随机球面vonMises_Fisher损失,表示语义相似性损失,表示图像模态的语义相似性损失,表示文本的语义相似性损失,表示模态间语义相似性损失;表示标签相似度,表示图像模态中样本对之间的相似度,表示文本模态中对样本之间的相似度,表示;其中,表示补丁,,表示样本图像,表示样本图像的位置编码;;;;9;;其中,表示样本图像特征的类二进制代码表示,表示样本文本特征的模态的二进制代码。代码表示和每个类别的可学习权向量通过以下公式;;其中,Ir-表示d/2_1阶的第一类修正贝塞尔函数。面vonMisesFisher损失和语义相似性损失来保留样本特定模式的语义信息,提升了图文到的嵌入空间之间的显式不确定性,首先将球面vonMises一Fisher分布引入深度跨模散[0032]图文跨模态检索模型包括图像特征编码器,采用Transformer编码器作为骨干提;;[0034]图文跨模态检索模型包括哈希层,哈希层是将提取到的高维特征映射为k位的哈希码(k为生成的哈希码的长度)。在这个离散空间中相似样本间的汉明距离显著小于语义;。;。[0037]现有的跨模态哈希通常采用确定性嵌入,忽略了哈希投影引起的不确定性度;;其中Ir-为d/2_1阶的第一类修正贝塞尔函数。与高斯分布类似,vMF分布由两和每个类别4,,r;的可学习权向量可以通过下面公式投影到单位超球sa-上:;。;;;;。;。。。[0052]为了体现本发明实施例中基于球面哈希的图文跨模态检索方法的性能,通过[0053]MIRFLICKR_25K数据集包含总共24581对图像和文本,每对图像和文本均来自[0055]MSCOCO数据集包含82785张用于训练的图像和40504张用于验证的图像,每张图[0056]IAPRTC_12数据集包含20000个图像_文本对,每对图像_文本都由一张静态自然[0057]选择了11种典型的深度跨模态哈希方法与本发明实施例的基于球面哈希的图文都使用相同的主干架构来评估模型的检索性能。[0059]首先在四个基准数据集上计算了16位、32位和64位的mAP,重点关注两种检索任态哈希中引入VMF分布来捕捉嵌入空间中的不确定性,本发明实施例的DSSH在现有最先进TC_12数据集上表现最佳的RDPH方法相比,DSSH取得了显著的改进,分别提高了18.87%和
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年中级会计职称中级会计实务测试模拟试卷(II卷)带答案
- 2026年结构工程师抗震设计模拟试卷带答案
- 2026年计算机等级考试三级信息安全技术模拟题库及参考答案
- 2026年广电技术笔试题库及答案
- 2026年rpa考试题库带答案
- 2026年电气消防技术试题及答案
- 宫颈癌家属护理分享会
- 扩张型心肌病护理疑难病例讨论
- 2026年电焊工理论考试题及答案
- 2026年电工三级实操技能考核试卷及答案
- 2026年山东第一医科大学附属职业病医院(山东省职业病医院)公开招聘人员笔试模拟试题及答案解析
- 2026年软件工程师系统架构设计考核试题及答案
- 2026新材料测试评价分析及标准体系建设研究报告
- 4.1 《观察的范围》教案 2026-2027学年四年级上册数学北师大版
- 2026年高考数学命题特征分析及2027届高三复习备考策略讲座
- 2026年秋季道德与法治五年级上知识点
- 美国白宫 科学:一个新的黄金时代 致总统的报告
- 2026年全国卷新高考英语语法易错题卷(含解析)
- 2024年全国智慧旅游发展报告-中国旅游研究院
- 法律基础(西南政法大学)学习通测试及答案
- 《下尿路感染》课件
评论
0/150
提交评论