基于深度学习的医学图像三维重建研究综述

基于深度学习的医学图像三维重建研究综述医学图像三维重建是连接二维医学影像与临床诊疗决策的关键桥梁，其通过对CT、MRI、超声等模态的二维断层图像进行序列分析，还原人体组织、器官乃至病变的三维空间结构，为手术规划、放疗定位、病理分析以及医学教学等场景提供高精度的空间信息支撑。传统三维重建方法多依赖手工设计的特征算子与几何约束，在处理低对比度影像、复杂解剖结构以及存在运动伪影的数据集时，普遍存在重建精度不足、鲁棒性差、自动化程度低等问题。近年来，深度学习技术在计算机视觉领域的突破性进展为医学图像三维重建提供了新的解决范式，基于卷积神经网络、Transformer、生成式模型等架构的重建算法不断突破传统方法的性能瓶颈，推动该领域向高精度、高效率、多模态融合的方向快速发展。一、医学图像三维重建的核心任务与数据基础医学图像三维重建的技术路径可分为体素重建、表面重建和点云重建三大类，三类任务分别适配不同的临床需求：体素重建以三维网格为基本单元，完整保留组织内部的密度信息，适用于放疗剂量计算、病理组织体积测量等需要内部结构参数的场景；表面重建聚焦于组织或器官的边界提取，输出高精度三角网格模型，是手术导航、假体设计的核心数据基础；点云重建则通过离散三维点的集合描述结构形态，具有数据量小、渲染速度快的优势，更适合移动端实时诊疗场景的需求。当前主流的公开数据集为深度学习模型的训练与验证提供了标准化的数据基础。针对CT模态的重建任务，LIDC-IDRI肺部结节数据集、KiTS19肾脏肿瘤数据集包含数千例标注完整的腹部CT序列，单例数据的断层数量可达数百层，空间分辨率最高达到0.5mm，是评估腹部器官重建性能的基准数据集。在脑神经领域，BraTS系列脑肿瘤MRI数据集提供多序列MRI影像与肿瘤区域标注，覆盖低级别胶质瘤、胶质母细胞瘤等多种病理类型，支持脑组织与病变区域的联合重建。针对超声这种低信噪比模态，CAMUS心脏超声数据集包含500例患者的二、三维超声影像配对数据，为实时动态心脏重建模型的训练提供了数据支撑。除公开数据集外，越来越多的临床机构开始构建私有专科数据集，如口腔科的锥形束CT（CBCT）数据集、骨科的四肢CT数据集，进一步推动深度学习重建模型向专科化方向落地。数据预处理是深度学习模型在医学影像场景下实现高性能的必要前提。由于不同设备的扫描参数存在差异，原始影像的灰度值范围、层间距、空间分辨率往往不统一，需要首先进行灰度归一化、重采样操作，将所有数据对齐到相同的空间坐标系与灰度区间。针对医学影像普遍存在的样本量不足问题，数据增强策略被广泛应用：空间变换类增强包括随机旋转、缩放、翻转、弹性形变等操作，在不改变解剖结构合理性的前提下扩充样本多样性；灰度增强包括随机对比度调整、高斯噪声注入、伪影模拟等，提升模型对低质量影像的鲁棒性。近年来，基于生成式对抗网络的合成数据增强技术逐渐兴起，其通过学习真实医学影像的分布特征，生成具有真实解剖结构的虚拟样本，有效缓解了罕见病、小器官标注数据不足的问题。二、基于深度学习的三维重建主流技术架构（一）基于卷积神经网络的重建方法卷积神经网络（CNN）凭借其强大的局部特征提取能力，成为最早应用于医学图像三维重建的深度学习架构。早期的方法多采用2DCNN对每一层断层图像进行逐帧语义分割，再通过面绘制算法对分割结果进行三维重建，这类方法的优势是推理速度快，但忽略了断层图像间的上下文空间关联，在层间距较大的数据集上容易出现重建结构的断层伪影。为解决这一问题，3DCNN被引入重建流程，其通过三维卷积核直接提取序列图像的空间特征，实现端到端的体素重建。代表性的3DU-Net架构在编码阶段采用三维卷积与池化操作提取多尺度特征，解码阶段通过上采样与跳跃连接融合浅层细节特征与深层语义特征，能够直接输出完整的三维体素分割结果，在腹部多器官重建任务中，Dice系数较2D方法提升了8%以上。为平衡3DCNN的计算复杂度与重建精度，混合维度网络架构成为研究热点。2D/3D混合网络首先通过2DCNN提取单张图像的高维特征，再将特征序列输入3DCNN模块学习空间上下文关联，既保留了2DCNN计算效率高的优势，又充分利用了序列间的空间信息。如VNet的变体架构将2D特征提取模块与3D特征融合模块级联，在肺部CT血管重建任务中，推理速度较纯3D网络提升了40%，同时精度损失控制在1%以内。针对小器官重建的细粒度需求，注意力机制被引入CNN架构，通过空间注意力模块自动权重分配，强化对小目标区域（如眼底血管、内耳结构）的特征提取，在耳科颞骨CT重建任务中，能够将听小骨结构的重建精度提升至0.1mm级别，满足耳外科手术的精度要求。（二）基于Transformer的重建方法Transformer架构凭借其全局建模能力，有效弥补了CNN在长距离特征依赖建模上的不足，为复杂解剖结构的重建提供了新的技术路径。在医学图像三维重建场景中，VisionTransformer（ViT）首先将二维断层图像划分为多个图像块，通过线性投影转换为token序列，再利用自注意力机制学习图像块之间的全局关联，包括同一断层内的结构关联与不同断层间的空间位置关联。代表性的Swin-Transformer3D架构采用窗口化自注意力机制与层级特征提取，在脑MRI全脑结构重建任务中，对100余个脑区的平均Dice系数达到0.92，较3DU-Net提升了5%，尤其对海马体、杏仁核等边缘系统小结构的重建精度提升更为显著。Transformer与CNN的融合架构是当前的主流研究方向之一。这类方法将CNN的局部特征提取优势与Transformer的全局建模能力相结合：编码阶段采用CNN提取图像的局部细节特征，再将特征图转换为token序列输入Transformer模块进行全局关联建模，解码阶段融合CNN的多尺度特征与Transformer的全局特征，输出高精度重建结果。在多器官CT重建任务中，这类融合架构对肝脏、脾脏、胰腺等8个腹部器官的平均Dice系数达到0.94，同时参数量较纯Transformer架构降低了30%，更易于在临床设备上部署。针对动态器官（如心脏）的时间序列重建需求，时序Transformer被提出，其通过时空自注意力机制同时建模空间结构关联与时间维度的运动关联，能够从动态MRI序列中重建出完整的心动周期心脏运动模型，为心脏功能评估提供动态三维数据支撑。（三）基于隐式表示与生成式模型的重建方法隐式神经表示技术的发展为高精度、高分辨率三维重建提供了新的范式。这类方法不直接输出离散的体素或点云，而是通过神经网络学习一个将三维坐标映射到occupancy值（是否位于结构内部）或SDF值（到表面的符号距离）的隐式函数，在推理阶段通过对隐式函数进行等值面提取，即可得到任意分辨率的三维表面模型。与传统的离散表示方法相比，隐式表示的模型占用内存小，重建表面无网格化伪影，能够表达任意复杂的拓扑结构。在牙齿CBCT重建任务中，基于SDF的隐式重建方法能够生成精度达20μm的牙冠与牙根模型，表面平滑度远高于传统的面绘制方法，完全满足口腔正畸与种植的临床需求。生成式模型在医学图像三维重建中的应用主要集中在两个方向：一是基于生成式对抗网络（GAN）的不完备数据重建，当临床扫描的影像序列存在层缺失、运动伪影或部分区域扫描不完整时，GAN的生成器能够学习正常解剖结构的分布特征，对缺失区域的三维结构进行合理补全，在脑部CT血肿重建任务中，即使影像序列缺失20%的断层，模型仍能保持85%以上的血肿体积测量精度；二是基于扩散模型的个性化结构生成，通过对大量正常解剖结构的分布学习，扩散模型能够根据患者的个体影像特征，生成符合其解剖特征的三维结构模板，用于假体设计与手术方案模拟，在髋关节置换手术规划中，基于扩散模型生成的髋臼假体匹配度较传统模板方法提升了30%。三、多模态融合三维重建的研究进展单一模态的医学影像往往只能提供组织的部分特征：CT对骨组织、钙化灶的成像精度高，但软组织对比度差；MRI对软组织的分辨率高，但成像时间长、存在金属伪影；超声能够实时成像，但信噪比低、成像视野有限。多模态融合三维重建通过整合不同模态的影像信息，实现优势互补，生成更全面、更精准的三维结构模型。当前多模态融合的技术路径可分为数据层融合、特征层融合和决策层融合三类。数据层融合直接将配准后的多模态影像作为输入送入网络，让模型自动学习不同模态的特征关联，这种方法的优势是信息损失小，但对影像配准精度要求极高，一旦配准存在偏差，会显著降低重建精度。特征层融合在编码阶段分别提取不同模态的特征，再在特定网络层进行特征拼接或加权融合，是目前最常用的融合策略，如在脑肿瘤重建任务中，将T1加权、T2加权、FLAIR等多序列MRI的特征进行融合，能够同时获取肿瘤的结构信息与水肿区域信息，重建的肿瘤整体边界精度较单模态方法提升了12%。决策层融合则分别对不同模态进行独立重建，再通过投票机制或几何约束对重建结果进行融合，对配准误差的鲁棒性更高，适合超声与CT、MRI等跨模态的融合场景。在临床应用中，多模态融合重建已经展现出显著的价值。在神经外科手术规划中，融合CT的骨结构信息与MRI的脑组织、血管信息，能够同时重建颅骨、脑功能区、脑血管与肿瘤的三维模型，帮助医生在术前精准判断肿瘤与功能区、血管的位置关系，有效降低手术风险。在肝癌介入治疗中，融合CTA的血管信息与MRI的肿瘤信息，重建的肝动脉、门静脉与肿瘤的三维模型，能够辅助医生精准定位肿瘤供血动脉，提升介入栓塞的治疗效果。此外，影像与病理组学的融合重建也成为新兴研究方向，通过将病理切片的微观信息与医学影像的宏观结构信息进行配准融合，能够构建从微观到宏观的跨尺度三维模型，为肿瘤异质性分析、预后评估提供全新的技术手段。四、面向临床落地的关键技术挑战尽管深度学习在医学图像三维重建领域已经取得了显著进展，但要实现大规模临床落地，仍面临多个关键技术挑战。首先是模型的可解释性与临床可信度问题，深度学习模型的“黑箱”特性使得其重建结果的错误原因难以追溯，在重建结果与医生经验判断存在差异时，无法为医生提供决策依据，极大限制了临床医生对模型的信任度。目前的研究方向包括引入注意力可视化方法，将模型重建时的关注区域可视化，以及构建基于解剖先验的约束损失函数，确保重建结果符合人体解剖结构的常识性规则。其次是跨中心、跨设备的泛化性问题。深度学习模型往往在特定中心的数据集上训练时性能优异，但一旦应用到其他中心、其他设备扫描的数据集上，性能会出现显著下降，这一问题被称为“域偏移”。目前的解决方法包括领域自适应技术，通过无监督域适应方法将源域数据集的知识迁移到目标域，以及构建多中心、多设备的大规模训练数据集，提升模型的泛化能力。此外，联邦学习技术为跨中心数据协作训练提供了可行路径，在不共享原始患者数据的前提下，实现多中心数据的联合建模，有效扩大了训练数据的覆盖范围。第三是重建效率与临床workflow的适配问题。临床场景对重建速度有较高要求，尤其是术中实时重建场景，需要在数秒内完成从影像输入到三维模型输出的全流程。目前的高精度3D模型推理速度普遍较慢，难以满足实时需求。研究方向包括模型轻量化技术，通过知识蒸馏、量化、剪枝等方法压缩模型参数量，以及基于边缘计算的部署方案，将重建模型部署到临床设备的边缘计算单元，减少数据传输耗时。在2025年的最新研究中，轻量化重建模型已经能够在普通CPU上实现10秒内完成腹部CT多器官重建，基本达到临床常规场景的效率要求。标注成本高是制约模型性能提升的另一核心瓶颈。医学图像三维标注需要专业医生逐层标注结构边界，单例腹部CT序列的标注时间可达数小时，导致高质量标注数据的获取成本极高。弱监督与半监督学习方法是解决这一问题的核心路径：弱监督学习仅需要图像级的类别标注或少量层面的标注即可训练模型，半监督学习则利用大量无标注数据提升模型性能。在肺部重建任务中，基于半监督学习的方法仅使用10%的标注数据，即可达到与全监督方法相当的重建精度，有效降低了标注成本。此外，基于基础模型的少样本学习技术也逐渐兴起，通过在大规模通用医学影像数据集上预训练基础模型，仅需要少量目标领域的标注数据即可进行微调，在罕见病结构重建场景中展现出巨大的应用潜力。五、未来发展趋势与应用展望未来，医学图像三维重建技术将向四个方向持续发展：一是全流程端到端重建，将影像预处理、结构重建、参数测量、报告生成等步骤整合到统一的深度学习框架中，进一步提升临床workflow的自动化程度；二是动态四维重建，从静态结构重建向动态功能重建延伸，通过融合时间序列影像数据，重建出器官的运动过程与功能参数，为心血管疾病、呼吸系统疾病的功能评估提供支撑；三是多尺度跨模态重建，实现从分子影像、病理切片到宏观医学影像的跨尺度信息融合，构建多维度的人体数字孪生模型；四是实时交互重建，允许医生在重建过程中对模型进行交互式修正，实现人机协同的高精度重建，进一步提升结果的临床可信度。在临床应用层面，深度学