CN114691897B 一种深度自适应多模态哈希检索方法及相关设备 （哈尔滨工业大学（深圳））

一种深度自适应多模态哈希检索方法及相本发明公开了深度自适应多模态哈希检索模态数据的哈希学习过程中先根据每一个模态希空间的对齐，使用标签语义信息监督参数更2在多个训练样本中选择多个目标训练样本组成目标训练批将所述目标训练样本中的各个模态的所述初始特征输入至权重提取将所述目标训练样本的所述融合特征输入至第一哈希网络，获取所根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练重新执行所述在多个训练样本中选择多个目标训练样本组成目将所述目标训练样本中各个模态的所述初始特征输入至所将所述目标训练样本中各个模态分别对应的潜在一所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征进行根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行融合，所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标训练批次的训练损根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取所述根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获取所3根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的语义根据所述第一损失、所述第二损失和所述第三损失获取所述目标训练批次的训练损所述目标训练样本的所述语义哈希码和各个所述目标训练样本之间的语义相似性获取所根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语义相根据所述目标训练样本的损失更新所述第一哈希网络、所述第二根据所述多个训练样本在当前的网络参数下分别对应的所述融合特征和所述多个训练样本分别对应的所述初始特征获取各个所述训练样根据所述多个训练样本分别对应的所述融合特征损失进行排序，根获取所述待检索样本对应的所述融合特征，将所述待检索样本初始特征提取模块，所述特征提取模块用于在多个融合特征提取模块，所述融合特征提取模块用于根据所述哈希模块，所述哈希模块用于将所述目标训练样本的参数更新模块，所述参数更新模块用于根据每个所述目标训练样4迭代模块，所述迭代模块用于重新执行所述在多个训练样本中选检索模块，所述检索模块用于采用参数收敛后的所述第一哈希网络读存储介质中的指令，以执行实现上述权利要求1-7任一项所述的深度自适应多模态哈希5[0010]根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标[0011]重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步6[0014]将所述目标训练样本中各个模态分别对应的潜在一致特征输入至所述权重输出[0015]所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征[0016]根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行[0018]根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取[0019]根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获[0020]根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的的所述语义哈希码和各个所述目标训练样本之间的语义相似性获取所述目标训练批次的[0023]根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语[0027]根据所述多个训练样本在当前的网络参数下分别对应的所述融合特征和所述多个训练样本分别对应的所述初始特征获取各个所述训练样本的融7述第一特征提取网络获取所述目标训练样本中各个模态述任一项所述的深度自适应多模态哈希检索方[0040]与现有技术相比，本发明提供了一种深度自适应多模态哈希检索方法及相关设[0042]图2为本发明提供的深度自适应多模态哈希检索方法的实施例中学习框架示意8中，终端可以执行本发明提供的深度自适应多模态哈希检索方法确定多模态哈希检索参所述目标训练样本中数据的模态确定所述目标训练样本对应的各个所述第一特征提取网[0052]S200、将所述目标训练样本中的各个模态的所述初始特[0053]所述目标训练样本中各个模态的所述初始特征在所述权重提取网络中被进一步所述目标训练样本中各个模态的所述初始特征首先通过所述特征提取层被进一步地提取9[0055]将所述目标训练样本中各个模态分别对应的潜在一致特征输入至所述权重输出[0056]所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征[0057]根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行[0060]根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行哈希网络输出的样本哈希码，将所述目标训练样本对应的语义标签输入至第二哈希网络，训练样本是否属于某一个语义类别。[0064]所述根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述[0065]根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取[0066]根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获[0067]根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的之间的语义相似性获取所述目标训练批次的第三损失之前还[0071]根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语中的每一对所述目标训练样本，计算二者的所述样本哈希码的差异和二者的语义相似度，[0083]根据所述多个训练样本在当前的网络参数下分别对应的所述融合特征和所述多个训练样本分别对应的所述初始特征获取各个所述训练样本的融[0085]所述目标训练样本对应的融合特征损失反映了所述目标训练样本的各个模态对前融合特征损失最小的前n个训练样本作为下一次训练中的所述目标训练样本。可以实现的所述第一特征提取网络提取初始特征，再通过所述权重提取网络获取各个模态的权重，对应的所述融合特征输入至参数收敛的所述第一哈希网络，得到所述待检索样本的哈希形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM目标训练样本中各个模态的初始特征进行融合，得到所述目标训练样本对应的融合特征，端上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(Secure[0103]所述处理器10在一些实施例中可以是一中央处理器(CentralProcessingUnit,[0108]根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码获取所述目标[0109]重新执行所述在多个训练样本中选择多个目标训练样本组成目标训练批次的步[0112]将所述目标训练样本中各个模态分别对应的潜在一致特征输入至所述权重输出[0113]所述根据每个模态对应的权重将所述目标训练样本中各个模态的所述初始特征[0114]根据每个模态对应的权重将所述目标训练样本中各个模态的所述潜在一致进行[0116]根据每个所述目标训练样本的所述样本哈希码和所述融合特征之间的差异获取[0117]根据每个所述目标训练样本的所述样本哈希码和所述语义哈希码之间的差异获[0118]根据各个所述目标训练样本的所述样本哈希码和各个所述目标训练样本之间的[0121]根据每个所述目标训练样本对应的语义标签获取各个所述目标训练杨之间的语[0125]根据所述多个训练样本在当前的网