基于深度学习的多模态医学图像融合研究综述

基于深度学习的多模态医学图像融合研究综述一、多模态医学图像融合的核心价值与应用场景医学成像技术的发展是现代临床诊疗体系迭代的核心驱动力之一，不同成像模态基于差异化的物理原理，能够提供互补的人体组织信息：计算机断层扫描（CT）对骨骼、钙化灶等高密度结构的成像边界清晰、对比度高，但对软组织的分辨率有限；磁共振成像（MRI）可提供丰富的软组织对比度，能清晰显示肿瘤、神经等病变的浸润范围，但成像时间长、对钙化不敏感；正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）等功能成像模态，能通过放射性示踪剂反映组织的代谢、功能活动信息，是肿瘤分期、神经退行性疾病诊断的关键依据，但空间分辨率较低，难以精准定位病灶的解剖位置。单一模态的信息局限性往往导致临床诊断存在漏诊、误诊风险，而多模态医学图像融合技术通过将不同模态的特征信息整合到同一幅图像中，能够同时为医生提供解剖结构与功能代谢的综合信息，大幅提升临床决策的准确性。当前多模态融合技术的临床应用场景已覆盖多个诊疗环节：在神经外科手术规划中，融合术前CT的颅骨结构信息、MRI的脑组织功能区信息，可帮助医生精准设计手术入路，避免损伤重要神经功能区；在肿瘤放疗靶区勾画中，融合PET的代谢信息与MRI的软组织边界信息，能显著提升靶区勾画的一致性，减少正常组织的受照剂量；在心血管疾病诊断中，融合冠状动脉CT血管造影（CTA）的血管结构信息与心肌灌注成像的血流信息，可同时评估冠状动脉狭窄程度与心肌缺血状态，为血运重建方案的制定提供全面依据。此外，多模态融合也是影像组学、计算机辅助诊断（CAD）系统的重要预处理步骤，高质量的融合图像能够大幅提升后续病灶分割、分类模型的性能。二、深度学习驱动下的融合方法演进传统多模态医学图像融合方法多基于多尺度变换、稀疏表示、子空间学习等框架，存在特征提取依赖人工设计、融合规则鲁棒性差、对图像配准误差敏感等问题。近年来，随着深度学习技术在计算机视觉领域的快速发展，基于数据驱动的多模态融合方法逐渐成为主流，根据网络结构与融合策略的差异，可分为基于卷积神经网络（CNN）、基于生成对抗网络（GAN）、基于Transformer三大类技术路径。（一）基于卷积神经网络的融合方法早期基于CNN的融合方法多采用“特征提取-特征融合-图像重建”的三段式架构，通过卷积层自动学习不同模态的层次化特征，替代传统方法中人工设计的特征提取算子。2016年Liu等人首次将CNN应用于医学图像融合，提出的FCNN架构将已配准的CT与MRI图像作为输入，通过两个并行的卷积分支分别提取不同模态的特征，在特征层进行逐元素相加后通过解码网络重建融合图像，在公共数据集上的客观指标（如结构相似性SSIM、峰值信噪比PSNR）较传统方法提升了15%以上。为进一步提升特征融合的有效性，注意力机制被广泛引入融合网络：2020年Zhang等人提出的双注意力融合网络，分别在通道维度与空间维度设计注意力模块，通过自适应学习不同模态特征的重要性权重，让网络在骨骼区域更多保留CT的信息，在软组织区域更多保留MRI的信息，解决了传统融合规则中权重固定、无法适配区域特征差异的问题。针对临床中大量存在的未配准多模态图像，研究者进一步提出了配准与融合端到端的联合学习框架：2022年Li等人提出的RegFuseNet将可变形配准模块嵌入融合网络中，配准模块首先对不同模态的图像进行空间对齐，再将对齐后的特征输入融合模块，通过配准损失与融合损失的联合优化，大幅降低了配准误差对融合结果的影响，在未配准的临床数据集上的融合性能较“先配准后融合”的两步法提升了8.7%。此外，为满足临床实时性需求，轻量化CNN架构的研究也成为热点：2023年Wang等人提出的MobileFuse网络基于深度可分离卷积设计，参数量仅为传统融合CNN的1/10，推理速度达到50帧/秒，可满足术中实时融合的需求。（二）基于生成对抗网络的融合方法GAN的出现为医学图像融合提供了新的范式，其核心思想是通过生成器与判别器的对抗博弈，让生成的融合图像同时具备不同模态的特征信息。2017年Tang等人首次将GAN应用于PET-MRI融合，生成器负责生成融合图像，判别器则需要区分生成的融合图像与真实的多模态特征分布，通过对抗训练，融合图像既保留了MRI的软组织结构细节，又准确保留了PET的代谢强度信息，解决了传统融合方法中PET信息易被MRI纹理掩盖的问题。为进一步提升融合图像的临床可用性，条件GAN、CycleGAN等变体结构被广泛应用：2019年Zhou等人提出的条件GAN融合模型，将临床医生的感兴趣区域（ROI）作为条件输入，让网络在ROI区域优先保留诊断关键信息，例如在脑肿瘤融合任务中，肿瘤区域优先保留PET的代谢信息，周围正常组织优先保留MRI的结构信息，更符合临床读片的需求。针对配对多模态数据难以获取的问题，2021年Chen等人提出的无监督融合CycleGAN，无需成对的配准多模态数据，仅通过不同模态图像的独立数据集即可完成训练，通过循环一致性损失约束图像特征的可逆映射，在非配对数据集上的融合性能接近有监督方法，大幅降低了数据标注成本。然而GAN类方法也存在训练不稳定、模式崩溃等问题，2023年多项研究通过引入梯度惩罚、特征匹配损失等策略，有效提升了GAN融合模型的训练稳定性，相关方法已开始在临床辅助诊断系统中落地。（三）基于Transformer的融合方法Transformer架构凭借强大的长距离依赖建模能力，近年来开始被应用于多模态医学图像融合任务。2022年Guo等人提出的TransFuse网络，将CNN的局部特征提取能力与Transformer的全局建模能力结合，通过CNN分支提取图像的局部纹理与边缘特征，通过Transformer分支捕获不同模态图像的全局语义关联，在跨器官的多模态融合任务中展现出优异的泛化性能，解决了传统CNN方法对全局上下文信息建模不足的问题。针对多模态特征的异构性问题，2023年Liu等人提出的跨模态Transformer融合模型，设计了模态交互注意力模块，能够自适应计算不同模态特征之间的相关性，实现了CT、MRI、PET三种模态信息的高效融合，在脑胶质瘤分级任务中，基于融合图像的诊断准确率较单模态提升了22%。当前基于Transformer的融合方法仍面临计算复杂度高、需要大量训练数据等问题，研究者通过引入窗口注意力、稀疏注意力等机制，有效降低了模型的计算开销，2024年提出的SwinFuse网络将SwinTransformer的分层窗口注意力机制应用于融合任务，在参数量仅为传统Transformer融合模型1/3的情况下，性能提升了6%，为大尺度三维医学图像融合提供了可行的技术路径。三、关键技术挑战与当前研究热点尽管深度学习驱动的多模态医学图像融合技术已取得显著进展，但在临床落地过程中仍面临诸多挑战，相关研究热点主要集中在以下四个方向：第一，未配准与弱配对数据的融合问题。临床采集的多模态图像往往存在不同程度的空间错位，且配对标注数据的获取需要耗费大量的人力成本，如何实现无需严格配准、弱监督甚至无监督的融合是当前研究的核心难点。2024年最新的研究进展表明，基于隐式特征对齐的融合框架可在特征空间实现不同模态的自动对齐，无需显式的配准步骤，在存在10%以内空间错位的数据集上，融合性能较传统配准后融合的方法提升了12%，相关技术已开始应用于术中超声与术前MRI的实时融合场景。第二，融合结果的可解释性与临床一致性。当前深度学习融合模型多以客观指标（如SSIM、PSNR）为优化目标，但这些指标与临床诊断需求的相关性仍存在争议，可能出现客观指标高但临床价值低的情况。2023年以来，研究者开始将临床先验知识融入模型的损失函数设计：例如在肿瘤融合任务中加入肿瘤区域的特征保留损失，在神经融合任务中加入功能区的结构相似性损失，通过多任务学习让融合结果更符合临床需求。此外，基于注意力权重可视化的可解释性研究也成为热点，通过展示融合过程中不同模态特征的权重分布，帮助医生理解融合图像的信息来源，提升对融合结果的信任度。第三，三维多模态图像融合。当前大多数融合方法针对二维切片设计，而临床实际应用中CT、MRI等多为三维volumetric数据，直接对二维切片融合会丢失层间的空间上下文信息。2024年提出的3DUNet融合架构、体素级跨模态注意力机制，实现了三维多模态数据的端到端融合，在脑肿瘤三维靶区勾画任务中，基于三维融合图像的勾画Dice系数较二维融合提升了9.2%，但三维融合模型的计算开销大、标注成本高仍是制约其大规模应用的主要瓶颈。第四，边缘设备部署与实时融合。在术中导航、床旁实时诊断等场景中，融合模型需要部署在算力有限的边缘设备上，同时满足低延迟、高精度的需求。当前研究主要通过模型量化、知识蒸馏、神经架构搜索等技术实现融合模型的轻量化，2024年最新的轻量化融合模型已可在嵌入式GPU上实现1024×1024分辨率图像的40ms以内推理，基本满足术中实时融合的需求。四、未来发展趋势与临床落地前景未来多模态医学图像融合技术的发展将围绕“临床需求导向、多技术深度融合”的方向展开，主要发展趋势包括三个方面：一是多模态大模型与融合技术的结合。当前医学多模态大模型已具备强大的跨模态理解能力，将大模型的语义知识嵌入融合框架，可实现基于临床任务的自适应融合：例如针对肿瘤诊断任务优先融合代谢与结构信息，针对脑血管疾病诊断任务优先融合血管结构与血流信息，让融合图像更好地服务于特定临床场景，避免传统融合方法“一刀切”的问题。二是多模态融合与下游诊疗任务的端到端优化。当前融合多作为独立的预处理步骤，与后续的分割、诊断任务脱节，未来的研究将构建“融合-分割-诊断”的端到端框架，通过下游任务的损失函数反向指导融合过程，实现融合性能与诊疗性能的联合优化，进一步提升整个临床辅助系统的效率与准确性。三是多中心、跨设备的融合模型泛化。不同医院、不同设备采集的多模态图像存在显著的域差异，导致融合模型在跨中心应用时性能大幅下降，未来通过域适应、联邦学习等技