基于深度学习的胰腺神经内分泌肿瘤分级预测的影像-病理多模态融合研究综述

基于深度学习的胰腺神经内分泌肿瘤分级预测的影像-病理多模态融合研究综述胰腺神经内分泌肿瘤（pancreaticneuroendocrineneoplasms,pNENs）是一类起源于胰腺神经内分泌细胞的异质性肿瘤，约占胰腺恶性肿瘤的7%~10%，近年来发病率呈显著上升趋势。根据2019年世界卫生组织（WHO）消化系统肿瘤分类标准，pNENs可分为分化良好的神经内分泌瘤（NET，G1/G2/G3级）和分化差的神经内分泌癌（NEC，G3级），不同分级患者的预后存在显著差异：G1级患者5年生存率可达90%以上，而G3级NEC患者5年生存率不足10%。术前精准评估肿瘤分级对于临床治疗方案选择、预后判断具有至关重要的意义，然而传统术前诊断高度依赖有创穿刺活检，存在采样误差、并发症风险等局限，多模态融合技术与深度学习的结合为破解这一临床难题提供了全新路径。一、pNENs分级预测的临床需求与传统技术局限临床实践中，pNENs分级的核心依据是Ki-67增殖指数和核分裂象计数，二者均需要通过病理组织学检查获取。术前穿刺活检作为获取病理信息的主要手段，存在三点显著局限：其一，pNENs具有高度异质性，穿刺样本仅能代表肿瘤局部区域，约20%~30%的病例会出现分级低估；其二，胰腺位置深在，穿刺过程可能导致出血、胰瘘、肿瘤种植转移等并发症，发生率约为3%~5%；其三，对于合并严重凝血功能障碍、大量腹水的患者，穿刺活检属于绝对禁忌。传统影像学检查包括增强CT、MRI、超声内镜（EUS）等，能够无创获取肿瘤整体形态、强化特征、周围侵犯等信息，但受限于人眼主观判读的局限性，对隐匿性微结构、功能代谢信息的识别能力不足。既往研究显示，仅凭影像科医生主观判断的pNENs术前分级准确率仅为60%~70%，难以满足临床精准诊疗需求。近年来，影像组学技术通过提取高通量影像特征构建预测模型，一定程度上提升了分级诊断效能，但存在特征工程依赖人工设计、泛化能力不足等瓶颈，而深度学习技术的端到端特征学习能力为突破这一瓶颈提供了可能。二、单模态深度学习模型在pNENs分级预测中的研究进展2.1影像模态深度学习研究CT是pNENs术前评估最常用的影像学手段，基于增强CT的深度学习模型是当前研究的热点。2021年一项纳入187例pNENs患者的多中心研究显示，采用3DResNet模型提取动脉期、门脉期、延迟期CT影像特征，对G1/G2与G3级肿瘤的区分AUC可达0.89，准确率为83.4%，显著高于传统影像组学模型的0.78和72.5%。2023年发表在《Radiology》的研究进一步将肿瘤周围胰腺实质区域纳入模型输入，通过多区域特征融合，模型AUC提升至0.92，验证了肿瘤微环境影像特征在分级预测中的价值。MRI模态的研究主要聚焦于功能序列的应用，弥散加权成像（DWI）、动态增强MRI（DCE-MRI）能够反映肿瘤细胞密度、微血管通透性等微观信息。2022年一项研究构建了基于T2WI、DWI、ADC图的多序列深度学习模型，对pNENs分级的AUC达到0.91，其中ADC图的特征贡献度最高，达42%。超声内镜模态方面，结合EUS视频时序特征的深度学习模型也展现出良好应用前景，2024年的一项研究采用ConvLSTM网络提取EUS动态视频特征，分级准确率达85.7%，可用于术中实时快速评估。2.2病理模态深度学习研究病理图像是pNENs分级的金标准，深度学习在病理图像分析中的应用主要包括细胞核分割、Ki-67指数自动计算、核分裂象识别等方向。2020年《NatureMedicine》发表的研究开发了基于全切片病理图像（WSI）的深度学习模型，自动识别Ki-67阳性细胞，计算结果与病理医生人工计数的相关系数达0.96，分级一致性达92%。2023年的研究进一步实现了端到端的pNENs分级预测，模型无需人工标注细胞核，直接对WSI进行分析，G3级肿瘤识别AUC达0.94，同时能够自动定位高增殖活性区域，为穿刺活检靶点选择提供指导。然而，病理模态模型的临床应用存在天然局限：其输入依赖病理组织样本，无法实现完全无创的术前评估，且无法反映肿瘤整体异质性，这也推动了研究者将影像与病理模态进行融合，充分发挥二者的互补优势。三、影像-病理多模态融合深度学习模型的技术路径多模态融合的核心是整合不同模态的互补信息，消除单一模态的信息偏差，根据融合阶段的不同可分为数据级融合、特征级融合和决策级融合三类技术路径。3.1数据级融合数据级融合是在输入层对不同模态的原始数据进行拼接，适用于空间配准精度较高的模态组合。在pNENs研究中，该方法主要用于多序列影像数据的融合，如将CT的三个期相图像作为多通道输入，或MRI的不同序列图像进行通道拼接。2022年一项研究将CT影像与PET代谢图像进行刚性配准后，构建四通道输入的3DCNN模型，分级AUC达0.90，显著高于单CT模型的0.82和单PET模型的0.80。但数据级融合对模态间配准精度要求极高，而影像与病理模态之间存在巨大的空间尺度差异（影像为毫米级，病理为微米级），难以实现精确配准，因此该方法在影像-病理融合中应用较少。3.2特征级融合特征级融合是目前影像-病理多模态融合的主流技术路径，指分别提取不同模态的高维特征后，在特征空间进行融合。常用的融合策略包括：拼接融合：将影像特征向量与病理特征向量直接拼接后输入分类器，2021年一项研究采用该策略，融合CT影像组学特征与穿刺病理的深度学习特征，分级AUC达0.93，较单模态模型提升7%~10%。注意力融合：通过注意力机制自动学习不同模态特征的权重，动态分配不同模态的贡献度。2023年研究提出的跨模态注意力融合模型，能够根据不同病例的特征质量自动调整影像和病理特征的权重，对于穿刺病理样本质量较差的病例，会自动提升影像特征的权重，模型泛化能力得到显著提升，在外部验证集上的AUC仍达0.90。对比学习融合：通过对比学习策略建立影像特征与病理特征的关联映射，2024年最新研究采用跨模态对比预训练方法，在大规模无标注影像-病理配对数据上预训练模型，再在小样本标注数据上微调，仅用100例标注数据即达到了0.89的AUC，有效缓解了多模态数据标注成本高的问题。3.3决策级融合决策级融合是分别训练不同模态的单模态模型，对各自的预测结果进行加权融合得到最终结果。该方法的优势是灵活性高，每个模态模型可以独立优化，对模态缺失的鲁棒性强。2022年的一项研究分别训练CT深度学习模型和穿刺病理深度学习模型，采用逻辑回归对两个模型的预测概率进行融合，最终分级AUC达0.92，当其中一个模态数据缺失时，模型仍能保持0.85以上的AUC。但决策级融合丢失了不同模态特征之间的深层次关联信息，融合效能通常低于特征级融合。四、当前研究面临的挑战与关键问题尽管影像-病理多模态融合模型在pNENs分级预测中展现出巨大潜力，但目前研究仍处于临床前阶段，距离实际临床应用仍存在诸多挑战。4.1数据配对与标注难题影像-病理配对数据的获取是多模态研究的基础，然而临床实践中，手术切除标本的病理大切片与术前影像的精确配准难度极大，目前多数研究采用的是穿刺病理与影像的配对数据，存在穿刺样本与影像感兴趣区（ROI）的空间对应性偏差问题。此外，多模态数据标注需要影像科医生和病理科医生协作完成，标注成本高、周期长，导致目前公开的pNENs影像-病理配对数据集规模普遍较小，多数研究样本量不足200例，容易产生过拟合问题。4.2模态异质性与适配性问题影像与病理模态存在本质差异：影像为宏观三维数据，反映肿瘤整体功能代谢信息；病理为微观二维数据，反映细胞分子层面信息。二者的数据分布、特征空间存在巨大差异，如何建立有效的跨模态特征关联是当前研究的核心难点。现有融合模型大多直接采用通用融合策略，未充分考虑pNENs的生物学特性，导致模型可解释性差，临床医生难以信任模型输出结果。4.3临床适用性与泛化能力问题目前大多数研究为单中心回顾性研究，模型在外部多中心数据集上的泛化能力不足。不同中心的影像扫描参数、病理制片染色流程存在差异，会显著影响模型性能。此外，现有模型大多需要完整的多模态数据输入，而临床实践中常出现模态缺失的情况，如部分患者无法接受增强CT检查，模型的鲁棒性有待提升。五、未来发展方向与应用前景针对上述挑战，未来研究可从以下四个方向重点突破：一是构建大规模多中心影像-病理配对数据集，建立标准化的数据采集、配准、标注流程，开展联邦学习研究，在保护患者隐私的前提下实现多中心数据共享，提升模型泛化能力。二是开发生物学驱动的多模态融合模型，将pNENs的肿瘤异质性、Ki-67表达空间分布等先验生物学知识融入模型设计，提升模型的可解释性，建立"影像特征-病理特征-生物学行为"的可解释关联。三是研发弱监督/半监督学习框架，降低模型对标注数据的依赖，充分利用大量未标注的影像和病理数据，提升小样本场景下的模型性能。四是开展前瞻性临床验证研究，评估模型在真