CN115100433B 基于标记增强的社交多媒体数据的跨模态检索方法及系统 （山东建筑大学）

基于标记增强的社交多媒体数据的跨模态本公开提供了一种基于标记增强的社交多计算所述数据样本的哈希码表示与待检索数据2基于提取的待检索的数据样本的特征，利用预先训练得到的相计算所述数据样本的哈希码表示与待检索数据库中基于所述标记分布构造细粒度的相似性矩阵，并基于所述2.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特3.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特4.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特5.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特6.如权利要求1所述的一种基于标记增强的社交多媒体数据的跨模态检索方法，其特3征在于，所述计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的相似度值,编码单元，其用于基于提取的待检索的数据样本的特征检索单元，其用于计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的基于所述标记分布构造细粒度的相似性矩阵，并基于所述于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的一种基于标记增强的社理器执行时实现如权利要求1-6任一项所述的一种基于标记增强的社交多媒体数据的跨模4[0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技检索(Cross-ModalRetrieval)就是给定一个模态的查询样本返回与之语义相关的另一个5pe"相似度值,具体为：计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的海明距离，基于所述距离值对数据库中的样本进行从小到大排序，选择前k个样本作为检索结6[0032](1)本公开提供了一种基于标记增强的社交多媒体数据的跨模态检索方法及系统,所述方案通过基于迁移学习的标记增强生成样本的标记分布，然后基于所述标记分布[0033](2)所述方案提供了一种高效的离散优化算法来求解哈希码的离散约束问题，减[0036]图1为本公开实施例中所述的基于标记增强的社交多媒体数据的跨模态检索方法7pe"8相似度值,具体为：计算所述数据样本的哈希码表示与待检索数据库中样本哈希码的海明距离，基于所述距离值对数据库中的样本进行从小到大排序，选择前k个样本作为检索结到图像、文本等多媒体数据的统一哈希码表示B，以及对应图像模态查询样本的哈希函数数H1转换为哈希码表示b，然后计算b与数据库哈希码B的海明距离并排序，返回距离小的数H2转化为哈希码表示b，然后计算b与数据库哈希码B的海明距离并排序，返回距离小的[0070]步骤4：(跨模态检索)使用第3步得到的哈希码的线性映9标记分布与逻辑标记L∈{0,1}c×n共享尽可能多的信息；2)假设存在一个别表示空间,它通过对逻辑标记L进行投影得到,即PTL.同时,该类别表示空间可以分解为[0077]1)更新R：固定哈希码B和投影矩阵P不变,公式(1)可以转换为如下关于R的子问题:R=Tni",(3)为了避免F偏移,对F应用正交和平衡约束,并用一个正则化项使F与B之间的差异最小.最[0099]为了求解问题(10),我们定义并令Z＝rBS+ωB根据公式(7)对相似v是其余的零特征值对应的特征向量组成的矩阵.对v做施密特正交化得到正交矩阵exr",对一个随机矩阵做施密特正交化得到一个随机正交矩阵定义U=[0113]使用步骤2生成的哈希码作为监督信息,[0136]本领域普通技术人员可以意识到，结合本实施例描述的