基于语义引导的跨模态图像配准与融合方法研究综述

基于语义引导的跨模态图像配准与融合方法研究综述跨模态图像配准与融合是计算机视觉、遥感图像处理、医学影像分析等领域的核心共性技术，旨在将不同成像机制、不同分辨率、不同视角下获取的多源图像进行空间对齐并整合互补信息，最终生成兼具纹理细节、语义完整性与应用适配性的高质量图像。传统方法多依赖像素级灰度特征或手工设计的局部描述子，在模态差异大、场景复杂、存在遮挡或形变的场景下容易出现配准误差累积、融合结果语义冲突等问题。随着深度学习技术与语义理解能力的发展，将高层语义信息作为引导信号嵌入配准与融合全流程，成为突破传统方法性能瓶颈的核心技术路径。本文系统梳理语义引导下跨模态图像配准与融合领域的研究进展，从语义信息提取、语义约束的配准框架、语义感知的融合策略三个维度展开分析，讨论当前技术面临的挑战与未来发展方向。一、跨模态图像中的语义信息表征与提取范式语义信息是对图像内容的高层抽象，涵盖物体类别、空间关系、场景属性等超越像素灰度的认知层面信息，是弥合跨模态成像差异的核心纽带。根据任务需求与模态特性的不同，语义信息的提取范式可分为三类：显式语义提取、隐式语义嵌入、弱监督语义对齐。显式语义提取是指通过预训练的语义分割模型、目标检测器直接输出图像中每个区域的类别标签、实例掩码或关键点坐标，将结构化语义信息作为配准与融合的硬约束。在医学影像领域，常用U-Net系列模型提取CT图像中的骨骼、器官边界，提取MRI图像中的肿瘤、软组织区域，将这些解剖结构的语义标签作为配准的基准控制点，大幅降低不同模态下灰度分布差异带来的配准偏差。在遥感图像处理场景下，通过语义分割模型提取光学图像中的水体、植被、建筑区域，与SAR图像中的散射特征区域进行语义关联，有效解决光学图像受云层遮挡、SAR图像存在相干斑噪声导致的特征匹配困难问题。显式语义的优势是可解释性强，语义约束明确，但高度依赖语义分割模型的精度，在小样本、细分类场景下容易出现语义标注误差。隐式语义嵌入则不依赖明确的语义标签，而是通过跨模态预训练模型学习不同模态图像在共享语义空间中的特征表示，使得同一语义类别的不同模态特征在嵌入空间中距离更近。CLIP、ALBEF等跨模态预训练模型的发展为隐式语义提取提供了基础支撑，研究人员通过冻结或微调跨模态预训练模型的图像编码器，将不同模态的图像映射到统一的特征空间，提取的特征天然具备语义一致性，无需额外的语义标注即可实现跨模态特征的初步对齐。在红外与可见光图像配准任务中，基于CLIP提取的隐式语义特征对光照变化、模态差异的鲁棒性显著优于传统SIFT、ORB等手工特征，即使在可见光图像过曝、红外图像对比度较低的场景下，仍能实现稳定的特征匹配。隐式语义嵌入的优势是无需人工标注，泛化性强，但语义可解释性不足，难以针对特定任务进行精细化约束。弱监督语义对齐是介于显式与隐式之间的语义提取范式，仅需要图像级的类别标签、配对图像的弱空间对应关系，即可通过对比学习、互信息最大化等方式学习跨模态语义关联。针对医学影像中逐像素标注成本极高的问题，部分研究采用图像级的病变存在与否作为弱监督信号，引导配准网络学习不同模态下病变区域的语义对应关系，在没有像素级标注的情况下，配准精度接近全监督方法。在遥感跨模态图像融合任务中，仅需要配对图像的场景类别标签，即可通过对比学习让融合模型优先对齐相同语义类别的区域，避免不同模态下语义冲突区域的融合伪影。弱监督语义对齐有效平衡了标注成本与语义约束精度，是当前工业界落地的主流技术方向。二、语义引导的跨模态图像配准技术框架传统跨模态配准方法的核心流程为“特征提取-特征匹配-变换模型估计-图像重采样”，语义信息的引入从特征匹配约束、变换正则化、误差反馈三个层面重构了配准技术框架，根据语义约束的嵌入位置不同，可分为语义驱动的特征匹配方法、语义正则的变换估计方法、语义闭环的配准优化方法三类。语义驱动的特征匹配方法将语义信息作为特征匹配的前置筛选条件，大幅降低特征匹配的搜索空间与误匹配率。显式语义引导下，研究人员首先对两幅待配准图像进行语义分割，仅在相同语义类别的区域内进行特征检测与匹配，例如在光学与SAR图像配准中，仅在建筑区域提取角点特征，在水体区域提取边缘特征，避免了不同语义区域间特征的无效匹配，匹配准确率提升40%以上。隐式语义引导下，通过跨模态预训练模型提取的特征本身具备语义一致性，特征匹配的过程等价于在语义空间中寻找最近邻特征点，无需额外的语义分割步骤，在端到端配准网络中得到广泛应用。针对大形变配准场景，部分研究提出语义级的特征匹配策略，先进行语义块的整体匹配，再在语义块内部进行像素级特征点匹配，通过“粗到细”的匹配层级有效降低大形变带来的匹配误差。语义正则的变换估计方法将语义一致性作为变换模型的约束项，加入配准的损失函数中，避免变换模型出现非物理的形变。在医学影像弹性配准任务中，传统方法的正则项多为平滑约束，容易导致器官边界等语义关键区域的配准精度不足，引入语义正则项后，要求配准后的语义标签与参考图像的语义标签交并比（IoU）最大化，既保证了形变场的平滑性，又提升了语义关键区域的配准精度。针对多视图三维重建中的跨模态配准问题，研究人员将语义一致性与几何一致性共同作为变换估计的约束，要求配准后的点云不仅满足几何投影误差最小，还需要满足相同语义类别的点云空间分布一致，有效解决了弱纹理区域的配准漂移问题。语义正则项的引入使得配准过程不再仅关注像素级的灰度相似性，而是更加关注高层语义的对齐，配准结果更符合人类的认知逻辑。语义闭环的配准优化方法将配准结果的语义一致性作为反馈信号，实现配准流程的迭代优化。部分研究提出配准-语义分割的双向交互框架，首先通过初始配准结果指导待配准图像的语义分割，再利用更精准的语义分割结果优化配准变换，通过多次迭代实现配准精度与语义分割精度的同步提升。在卫星时序图像配准任务中，由于地物随时间发生变化，传统配准方法容易将地物变化误判为配准误差，引入语义闭环后，首先识别出语义发生变化的区域（如新建建筑、洪水淹没区域），在配准优化过程中对这些变化区域进行权重降权，重点对齐未发生语义变化的区域，配准的鲁棒性得到显著提升。语义闭环机制有效解决了动态场景、存在地物变化场景下的配准难题，是面向复杂真实场景配准技术的重要发展方向。三、语义感知的跨模态图像融合技术路线配准后的跨模态图像融合需要将不同模态的互补信息整合到同一幅图像中，传统融合方法多基于多尺度分解、稀疏表示等策略，未考虑语义区域的特性差异，容易出现语义重要区域信息丢失、融合结果不符合应用需求等问题。语义感知的融合方法根据不同语义区域的模态特性与应用需求自适应调整融合策略，可分为语义区域自适应融合、语义层级特征融合、语义导向的融合质量评价三个方向。语义区域自适应融合是指针对不同语义类别的区域设计差异化的融合规则，优先保留高价值模态的信息。在红外与可见光图像融合任务中，针对行人、车辆等语义目标区域，优先保留红外图像的亮度信息，保证目标的显著性；针对背景中的植被、建筑纹理区域，优先保留可见光图像的细节信息，保证场景的可读性。在医学影像融合中，针对肿瘤区域，优先保留PET图像的代谢功能信息，针对正常组织区域，优先保留CT图像的解剖结构信息，最终生成的融合图像既便于医生定位肿瘤位置，又能清晰观察肿瘤与周围组织的空间关系。语义区域自适应融合的关键是建立语义类别与模态信息价值的关联模型，当前研究多通过注意力机制自动学习不同语义区域下各模态的权重，无需人工设计融合规则，适配性更强。语义层级特征融合是指在深度学习融合网络的不同特征层级嵌入语义约束，实现底层纹理细节与高层语义信息的协同融合。传统的端到端融合网络多采用编码器-解码器结构，容易在特征编码过程中丢失语义关键信息，引入语义层级约束后，在编码器的底层特征中加入边缘语义约束，保证融合结果的轮廓清晰度；在中层特征中加入实例语义约束，保证目标区域的完整性；在高层特征中加入场景语义约束，保证融合结果的整体语义一致性。在多模态遥感图像融合任务中，通过语义层级特征融合策略生成的图像，在光谱保真度、空间分辨率、语义完整性三个指标上均优于传统融合方法，尤其在细小地物、边缘区域的信息保留上优势明显。部分研究进一步提出跨模态语义交互融合模块，在特征融合过程中实现不同模态语义信息的交互补全，解决单一模态语义信息缺失的问题。语义导向的融合质量评价是指将语义指标作为融合结果质量评估的核心维度，弥补传统像素级评价指标与人类感知、应用需求脱节的问题。传统融合质量评价指标如信息熵、结构相似性（SSIM）仅关注像素级的统计特性，无法反映融合结果的语义可用性。语义导向的评价指标包括语义分割精度、目标检测准确率、语义一致性得分等，例如在面向自动驾驶的红外与可见光融合任务中，以融合图像上的行人检测准确率作为核心评价指标，更能反映融合结果的实际应用价值。在医学影像融合任务中，以医生对病变区域的识别准确率作为评价标准，比传统像素级指标更具临床意义。语义导向的质量评价体系的建立，推动融合技术从“像素最优”向“应用最优”转变，是跨模态融合技术落地的关键支撑。四、当前研究面临的挑战与未来发展方向尽管语义引导的跨模态图像配准与融合技术已经取得了显著进展，但在面向复杂真实场景的落地应用中，仍面临三大核心挑战：一是小样本、弱标注场景下的语义泛化问题，当前语义模型高度依赖大量标注数据，在医疗、军事等数据稀缺且标注成本高的领域，语义提取的精度难以保障；二是细粒度语义的建模与利用问题，当前语义引导多停留在类别级语义，针对部件级、属性级的细粒度语义利用不足，难以满足高精度工业检测、手术导航等场景的需求；三是跨模态语义的歧义性问题，同一语义概念在不同模态下的成像表征差异极大，部分场景下甚至存在语义冲突，如何建立鲁棒的跨模态语义关联仍是未解决的难题。针对上述挑战，未来的研究方向可从四个方面展开：第一，发展小样本跨模态语义学习技术，通过域自适应、少样本学习、基础模型微调等方法，降低语义模型对标注数据的依赖，提升在稀缺数据领域的泛化能力；第二，构建多粒度语义引导的统一框架，实现类别语义、实例语义、属性语义的多层次协同利用，满足不同精度层级的任务需求；第三，探索具身语义与物理先验的融合，将物理成像模型