基于哈希学习的跨模态检索研究综述

基于哈希学习的跨模态检索研究综述1跨模态检索与哈希学习基础跨模态检索的核心需求源于多模态数据的爆炸式增长。随着互联网、物联网及多媒体技术的发展，文本、图像、音频、视频、3D点云等不同模态的数据呈现出指数级增长态势，用户往往需要从海量多模态数据中快速找到与某一查询样例语义相关的其他模态内容，例如用文本描述搜索匹配的图像、用短视频片段查找对应的新闻报道等。传统的单模态检索技术仅能处理同类型数据，无法适配跨模态场景下的语义匹配需求，跨模态检索技术因此成为信息检索领域的研究热点。哈希学习技术的出现为大规模跨模态检索提供了高效的解决方案。其核心思想是将不同模态的高维原始数据映射为低维的二进制哈希码，同时保证语义相似的样本在汉明空间中距离更近。与传统基于实值向量的检索方法相比，哈希编码后的检索过程仅需进行快速的汉明距离计算，存储空间可压缩至原来的1/32甚至更低，检索速度能提升两个数量级以上，完美适配十亿级甚至百亿级多模态数据的检索需求。跨模态哈希学习的关键挑战在于如何消除模态异质性鸿沟，同时保留语义一致性，即不同模态的哈希编码共享同一个语义度量空间，使得无论来自哪种模态的样本，只要语义相似就能生成相近的哈希码。跨模态哈希学习的基础框架通常包含三个核心模块：模态特征提取模块、哈希映射模块、语义对齐约束模块。模态特征提取模块负责将不同模态的原始数据转换为统一维度的实值特征表示，早期研究多采用手工特征，例如图像的SIFT特征、文本的TF-IDF特征、音频的MFCC特征等，随着深度学习的发展，目前主流方法均采用预训练模型提取特征，如图像使用ResNet、ViT，文本使用BERT、RoBERTa，视频使用SlowFast等，大幅提升了原始特征的表达能力。哈希映射模块则为每个模态学习一个独立的映射函数，将实值特征转换为二进制哈希码，映射过程通常包含量化操作，如何降低量化损失是该模块的核心优化目标。语义对齐约束模块是跨模态哈希区别于单模态哈希的核心，该模块通过设计各类损失函数，约束不同模态样本的哈希码与语义标签的一致性，以及配对样本之间的哈希码相似性，从而实现跨模态语义空间的统一。2传统跨模态哈希学习方法在深度学习技术普及之前，传统跨模态哈希方法已经经历了长期的发展，这类方法通常基于手工特征，通过统计学习或者矩阵分解技术实现跨模态哈希编码，可分为无监督、半监督和有监督三大类。无监督跨模态哈希方法不依赖任何语义标签信息，仅利用模态间的配对关系或者数据的内在结构学习哈希函数。典型代表是2010年提出的跨模态哈希（Cross-ModalHashing,CMH），该方法通过最小化不同模态配对样本的汉明距离，同时最大化哈希码的信息熵，首次实现了无监督场景下的跨模态检索。2012年提出的迭代量化哈希（IterativeQuantization,ITQ）进一步将跨模态映射与量化过程解耦，首先通过主成分分析将不同模态数据投影到一个低维公共空间，再通过旋转操作最小化量化损失，大幅提升了检索精度。无监督方法的优势是无需标注数据，适用场景广泛，但缺点是无法有效利用高层语义信息，检索精度往往难以满足实际应用需求。有监督跨模态哈希方法利用样本的语义标签信息提升哈希编码的语义一致性。2013年提出的语义保持哈希（SemanticsPreservingHashing,SEPH）是最早的有监督跨模态哈希方法之一，该方法将语义标签作为桥梁，构建不同模态样本之间的语义相似矩阵，通过最小化哈希码相似度与语义相似度之间的误差学习哈希函数。2014年提出的线性跨模态哈希（LinearCross-ModalHashing,LCMH）针对大规模数据场景优化了求解过程，通过线性映射降低了计算复杂度，使得有监督哈希方法可以应用到百万级数据集上。2016年提出的离散跨模态哈希（DiscreteCross-ModalHashing,DCMH）首次将离散优化引入跨模态哈希领域，避免了传统方法中先学习实值再量化导致的误差累积问题，进一步提升了编码精度。有监督方法的检索精度远高于无监督方法，但需要大量的标注配对数据，标注成本较高。半监督跨模态哈希方法则是介于两者之间的折中方案，仅利用部分标注数据结合大量无标注数据学习哈希函数。2015年提出的半监督跨模态哈希（Semi-SupervisedCross-ModalHashing,SSCH）通过标签传播算法将标注数据的语义信息扩散到无标注数据，同时引入流形正则项约束数据的局部结构，在仅使用10%标注数据的情况下，检索精度接近全监督方法。2017年提出的半监督离散哈希（Semi-SupervisedDiscreteHashing,SSDH）进一步优化了离散优化过程，降低了半监督场景下的计算开销。这类方法很好地平衡了标注成本与检索精度，在实际场景中得到了较多应用。传统方法的局限性也十分明显：一方面，手工特征的表达能力有限，难以捕捉多模态数据的高层语义信息；另一方面，线性映射的哈希函数表达能力不足，无法建模模态间复杂的非线性关联，在复杂场景下的检索精度遇到了瓶颈。3深度跨模态哈希学习方法深度学习技术的兴起为跨模态哈希学习带来了革命性的突破，深度神经网络强大的特征提取能力和非线性拟合能力，完美解决了传统方法的痛点，使得跨模态哈希的检索精度得到了质的提升。根据网络结构和优化策略的不同，深度跨模态哈希方法可分为成对深度哈希、基于注意力的深度哈希、生成式深度哈希三大类。成对深度哈希是最早出现的深度跨模态哈希框架，其核心思想是将不同模态的特征提取网络与哈希映射网络端到端联合训练，通过成对损失函数约束配对样本的相似性。2017年提出的深度跨模态哈希（DeepCross-ModalHashing,DCMH）是该方向的奠基性工作，该方法为图像和文本分别设计了卷积神经网络和全连接网络作为特征提取器，在损失函数中同时包含了跨模态配对相似损失、量化损失和哈希码平衡损失，首次实现了特征提取与哈希学习的端到端联合优化，在NUS-WIDE数据集上的检索精度比传统方法提升了30%以上。2018年提出的深度语义排名哈希（DeepSemanticRankingHashing,DSRH）在此基础上引入了排序损失，不仅约束配对样本的相似性，还进一步区分了不同样本之间的相似程度，使得哈希编码的排序性能得到显著提升。2019年提出的对抗性跨模态哈希（AdversarialCross-ModalHashing,ACMH）引入了对抗学习思想，通过判别器区分不同模态的哈希码，迫使生成器生成模态无关的哈希编码，进一步消除了模态鸿沟。基于注意力的深度哈希方法则专注于挖掘多模态数据内部的关键信息，提升哈希编码的语义聚焦能力。2020年提出的跨模态注意力哈希（Cross-ModalAttentionHashing,CMAH）为图像和文本模态分别引入了空间注意力和词注意力机制，图像分支通过注意力模块突出前景目标区域的特征，文本分支通过注意力模块重点关注与图像语义相关的关键词，使得哈希编码更多地聚焦于语义核心区域，减少了背景噪声和冗余信息的干扰。2021年提出的多尺度注意力哈希（Multi-ScaleAttentionHashing,MSAH）进一步引入了多尺度特征融合策略，在图像分支提取不同层级的特征并通过注意力加权融合，在文本分支融合词级、句子级、段落级的多粒度特征，使得哈希编码能够同时捕捉细粒度和粗粒度的语义信息，在细粒度跨模态检索任务上的精度提升尤为明显。2022年提出的跨模态Transformer哈希（Cross-ModalTransformerHashing,CMTH）采用了CLIP的双塔Transformer结构，通过跨模态注意力机制实现不同模态特征的深度交互，让图像和文本特征在编码阶段就实现了充分的语义对齐，检索精度得到了进一步提升。生成式深度哈希方法主要用于解决配对训练数据不足的问题，通过生成模型生成大量虚拟配对样本提升哈希函数的泛化能力。2020年提出的生成式跨模态哈希（GenerativeCross-ModalHashing,GCMH）采用GAN结构为图像生成对应的文本描述，为文本生成对应的图像，将生成的虚拟配对样本加入训练集，有效缓解了小样本场景下的过拟合问题。2022年提出的扩散模型跨模态哈希（DiffusionCross-ModalHashing,DiffCMH）采用最新的扩散模型替代GAN生成配对样本，生成的样本质量更高、多样性更好，在仅有千级配对训练样本的场景下，检索精度比传统深度方法提升了20%以上。这类方法极大降低了深度跨模态哈希对标注数据的依赖，进一步拓展了其应用场景。4面向复杂场景的跨模态哈希研究进展随着实际应用需求的不断升级，跨模态哈希研究开始面向更多复杂场景，涌现出了一系列新的研究方向，包括增量跨模态哈希、联邦跨模态哈希、多标签跨模态哈希、零样本跨模态哈希等。增量跨模态哈希针对动态数据场景设计，传统方法大多为离线训练，当新增数据类别或者新的模态时需要重新训练整个模型，时间成本极高。2021年提出的增量式深度跨模态哈希（IncrementalDeepCross-ModalHashing,IDCMH）引入了知识蒸馏机制，在训练新增类别时保留已学习到的旧类别哈希编码分布，避免了灾难性遗忘问题，可实现模型的快速更新。2023年提出的流式跨模态哈希（StreamingCross-ModalHashing,SCMH）进一步支持流式数据的在线学习，无需存储全部历史数据，仅需根据新增流式数据即可更新哈希函数，特别适合短视频平台等数据实时增长的应用场景。联邦跨模态哈希针对数据隐私保护场景设计，在金融、医疗等敏感领域，不同机构的多模态数据无法共享，传统的集中式哈希训练方法无法适用。2022年提出的联邦跨模态哈希（FederatedCross-ModalHashing,FedCMH）采用联邦学习框架，让不同参与方在本地训练模态专属的哈希映射网络，仅需上传加密后的哈希编码和梯度信息到中央服务器进行全局语义对齐，无需泄露原始数据，在保证数据隐私的前提下实现了跨机构的跨模态检索。2023年提出的异质联邦跨模态哈希（HeterogeneousFederatedCross-ModalHashing,HetFedCMH）进一步支持参与方拥有不同模态数据的场景，即使部分机构仅拥有图像数据、部分机构仅拥有文本数据，也能联合训练出高性能的跨模态哈希模型，极大拓展了联邦场景下的应用范围。多标签跨模态哈希针对复杂语义场景设计，现实中的多模态样本往往包含多个语义标签，例如一张图像可能同时包含“天空”“草地”“人物”等多个标签，传统方法大多假设样本只有单个标签，无法有效处理多标签场景下的复杂语义关联。2021年提出的多标签语义对齐哈希（Multi-LabelSemanticAlignmentHashing,MLSAH）引入了标签感知注意力机制，为每个语义标签学习独立的哈希子空间，最终的哈希码由多个子空间的编码加权融合得到，支持同时检索包含多个指定标签的跨模态样本。2023年提出的概率多标签哈希（ProbabilisticMulti-LabelHashing,PMLH）采用概率图模型建模标签之间的关联依赖，哈希码的每个比特对应一个语义概念的概率分布，检索时可根据标签组合灵活调整哈希码的匹配权重，大幅提升了多标签场景下的检索灵活性和精度。零样本跨模态哈希针对未知类别场景设计，当测试集中出现训练集中没有的新类别时，传统方法的检索精度会急剧下降。2020年提出的零样本跨模态哈希（Zero-ShotCross-ModalHashing,ZSCMH）利用类别语义嵌入作为桥梁，将训练集中的语义知识迁移到未知类别，通过学习哈希码与类别语义嵌入之间的映射关系，实现对未知类别样本的跨模态检索。2022年提出的广义零样本跨模态哈希（GeneralizedZero-ShotCross-ModalHashing,GZSCMH）进一步解决了已知类别和未知类别混合场景下的检索偏差问题，通过引入校准机制降低模型对已知类别的偏好，在混合场景下的检索精度比普通零样本方法提升了40%以上。这类方法极大提升了跨模态哈希的泛化能力，特别适合类别快速增长的开放域检索场景。5跨模态哈希的应用与未来挑战跨模态哈希技术已经在多个实际场景中得到了广泛应用。在电商搜索领域，用户可以通过上传商品图片搜索同款商品的文字描述和价格信息，也可以通过文本描述查找对应的商品图片，哈希检索的低延迟特性很好地满足了电商平台亿级商品库的实时检索需求。在社交平台内容审核场景中，跨模态哈希可以快速匹配文本描述与图像内容的一致性，识别图文不符的虚假内容，检索速度比传统实值匹配方法提升了50倍以上，大幅降低了审核成本。在医疗领域，跨模态哈希可以实现CT影像与医学报告的双向检索，医生可以上传CT影像查找相似病例的诊断报告，也可以根据症状描述查找对应的典型