CN115718815B 一种跨模态检索方法和系统 （中山大学）_第1页
CN115718815B 一种跨模态检索方法和系统 （中山大学）_第2页
CN115718815B 一种跨模态检索方法和系统 （中山大学）_第3页
CN115718815B 一种跨模态检索方法和系统 （中山大学）_第4页
CN115718815B 一种跨模态检索方法和系统 （中山大学）_第5页
已阅读5页，还剩28页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

US2021134312A1,2021.05.06还可以对文本数据不完整的图文对数据集进行2S3：对图像数据上的像素块进行随机覆盖，获得S8：根据图像数据编码和纯文本数据编码计算S8.2：利用所有图文对的图像数据相对文本数据相对文本数据的相似度和文本数据相对图像数据的相3模型分量数量，γm第m个双分量高斯混合模型分量的混合协方差，φ(*|m)表示求取第m个4NITC表示噪声自适应对比损失值。NITC噪声自适应模块，用于根据图像数据编码和模型优化模块，用于根据图像重建损失函数、噪声自适应对5跨模态检索模块，用于将待检索的图像数据或文本数据输入训练好的6[0003]现有技术公开了一种基于语义增强的跨模态检索方法及装置、存储介质和终端，态数据集中依据整体语义相似度从大到小的顺序选取预设个数的整体语义相似度对应的789[0053]对所有相似度按照数值从大到小进行排序，筛选出前k个相似度最大的名词作为[0068]噪声自适应模块，用于根据图像数据编码和纯文本数据编码计算图文对噪声概[0077]图4为实施例2所述的图文对样本损失分布和双分量高斯混合模型预测噪声概率[0081]对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解文对噪声概率进行噪声自适应正则化以避免对噪声的严重偏差，增强检索模型的鲁棒性，次将LITC替换成LNITC来实施噪声自适应正则化。在文本生成阶段，为了获得更好的生成能力，通过检索视觉概念词补全文本对图像的描述，对于每个图文对生成重建文本数据显示出更具体的含义并包含更多的语义信息；同时将视觉概念词整合到跨模态解码器中，[0149]本实施例提供了一种跨模态检索系统，基于实施例1或2[0157]噪声自适应模块，用于根据图像数据编码和纯文本数据编码计算图文对噪声概

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论