基于深度学习的肝癌免疫治疗疗效的CT影像-病理多模态生物标志物挖掘与预测模型研究综述

基于深度学习的肝癌免疫治疗疗效的CT影像-病理多模态生物标志物挖掘与预测模型研究综述肝细胞癌（HCC）是全球范围内发病率位居第六、病死率高居第三的恶性肿瘤，我国每年新发肝癌病例占全球总数的45%以上，且多数患者确诊时已处于中晚期，失去手术根治机会。免疫检查点抑制剂（ICIs）的出现为晚期肝癌治疗带来革命性突破，然而临床数据显示，仅约20%-30%的肝癌患者能从免疫治疗中持续获益，原发耐药与获得性耐药的广泛存在，成为制约免疫治疗临床应用的核心瓶颈。传统疗效评估体系如RECIST标准依赖治疗后肿瘤大小变化，无法在治疗前或治疗早期精准识别获益人群，也难以区分假性进展与真性进展，迫切需要高灵敏度、高特异性的生物标志物指导肝癌免疫治疗的个体化决策。CT影像作为肝癌诊断与疗效随访的首选影像学手段，能够无创性反映肿瘤整体的形态学、密度学及血流动力学特征，其灰度分布、纹理异质性、边缘特征等量化指标（即影像组学特征）与肿瘤微环境（TME）的免疫细胞浸润、血管生成、基质纤维化程度存在潜在关联。病理切片则是肿瘤诊断的金标准，通过苏木精-伊红（HE）染色、免疫组化（IHC）、多重免疫荧光（mIF）等技术可直观展示肿瘤细胞形态、免疫细胞亚群分布、免疫检查点表达水平等微观信息，是揭示肿瘤免疫表型的直接依据。单一模态的生物标志物往往存在信息局限性：CT影像难以反映细胞层面的分子特征，病理活检则受采样偏倚影响无法体现肿瘤空间异质性，二者的多模态融合为突破单一模态性能天花板提供了全新路径。深度学习技术的快速发展，尤其是卷积神经网络（CNN）、Transformer架构、多模态融合算法的迭代，使得从高维CT影像与病理数据中自动挖掘隐式关联的疗效相关生物标志物成为可能，相关研究在近五年呈现爆发式增长。一、CT影像生物标志物挖掘的深度学习方法进展基于深度学习的肝癌CT影像标志物挖掘，核心任务是从增强CT多期相（动脉期、门静脉期、延迟期）数据中提取与免疫治疗应答相关的可解释特征，现有研究可分为图像级、区域级和像素级三个层次。图像级特征挖掘以端到端CNN为基础，无需人工标注肿瘤区域，直接输入完整CT序列进行特征提取。2022年《自然·医学》发表的研究团队开发的3DResNet模型，纳入全球多中心1200例接受PD-1抑制剂治疗的晚期肝癌患者CT数据，训练得到的免疫治疗应答预测模型AUC达0.79，其自动提取的“瘤周环形强化程度”“肿瘤内部低密度坏死占比”等特征，与病理证实的肿瘤浸润淋巴细胞（TIL）丰度、干扰素-γ（IFN-γ）表达水平呈显著负相关，该模型在独立外部验证集中的准确率较传统影像组学模型提升21%。区域级特征挖掘则聚焦肿瘤及瘤周区域的异质性分析，通过语义分割模型精准划定肿瘤边界、瘤周1cm/2cm范围，再针对感兴趣区域（ROI）提取多维度特征。2023年国内团队提出的跨期相注意力融合网络，将动脉期肿瘤区域的血流灌注特征与门静脉期瘤周的间质强化特征通过注意力机制加权融合，其预测免疫治疗24周客观缓解率（ORR）的AUC达0.82，研究进一步发现瘤周CT纹理的熵值与肿瘤相关巨噬细胞（TAM）M2型极化比例呈正相关，该特征可作为免疫抑制微环境的无创标志物。像素级特征挖掘主要面向肿瘤微环境的空间分布预测，2024年最新研究利用生成对抗网络（GAN）实现CT影像到免疫细胞分布图谱的直接映射，无需病理活检即可预测肿瘤内部CD8+T细胞、PD-L1表达的空间异质性，其预测结果与多重免疫荧光检测的吻合度达0.76，为解决活检采样偏倚问题提供了技术方案。目前CT影像标志物研究面临的主要挑战包括：多中心数据的扫描参数异质性问题，不同设备的层厚、重建算法、造影剂注射速率差异会显著影响特征稳定性；小样本学习难题，晚期肝癌免疫治疗队列的样本量普遍不足千例，模型容易过拟合；特征可解释性不足，多数深度学习模型属于“黑箱”，提取的隐式特征难以与现有临床认知对应，限制了临床转化应用。针对上述问题，近年研究通过域适应算法实现不同中心数据的标准化预处理，利用少样本学习、迁移学习（如预训练模型在大规模肝癌CT数据集上预训练后再在小样本免疫治疗队列微调）提升模型泛化性，通过类激活映射（CAM）、逐层相关传播（LRP）等可解释性算法定位模型关注的关键影像区域，逐步推动深度学习影像标志物从实验室走向临床应用。二、病理图像生物标志物挖掘的深度学习技术路径病理图像作为包含细胞形态、空间结构信息的高维数据，传统病理评估依赖病理医师的主观经验，难以定量提取与免疫治疗相关的细微特征。深度学习技术在病理图像分析中的应用，实现了从HE染色切片、免疫组化切片中自动挖掘疗效相关生物标志物的突破，主要分为细胞层面、组织层面和分子层面三个方向。细胞层面的标志物挖掘聚焦免疫细胞与肿瘤细胞的定量分析，2021年《细胞·ReportsMedicine》的研究利用MaskR-CNN模型对1800例肝癌HE染色切片中的细胞进行自动分割与分类，识别出肿瘤细胞密度、核质比、CD8+T细胞与肿瘤细胞的空间距离等12个与免疫治疗应答相关的细胞形态特征，构建的预测模型AUC达0.78，研究发现CD8+T细胞浸润深度超过肿瘤组织1/3的患者，免疫治疗ORR是浸润不足1/3患者的3.2倍。组织层面的标志物挖掘关注肿瘤微环境的结构特征，2023年研究团队开发的Transformer病理特征提取模型，能够自动识别三级淋巴结构（TLS）、坏死区域、纤维化间隔等组织学模式，发现包含成熟TLS的肝癌患者免疫治疗2年总生存率（OS）达58%，显著高于无TLS患者的22%，该模型对TLS的识别准确率与资深病理医师的一致性达0.89，大大降低了人工评估的成本与异质性。分子层面的标志物挖掘则实现了从病理图像直接预测分子特征，无需额外的分子检测，2022年研究团队提出的多尺度注意力网络，可从HE染色切片中预测PD-L1表达水平、肿瘤突变负荷（TMB）、微卫星不稳定（MSI）状态等免疫治疗经典分子标志物，其中PD-L1表达（TPS≥1%）预测的AUC达0.81，TMB高表达预测的AUC达0.77，为缺乏分子检测条件的基层医院提供了低成本的免疫治疗标志物筛选方案。病理深度学习标志物的核心挑战在于病理图像的高分辨率特性（单张全切片扫描图像WSI可达10万×10万像素），直接输入模型会带来巨大的计算压力，现有解决方案多采用分块处理策略，将WSI切割为256×256或512×512的小Patch进行特征提取，再通过聚合算法融合全局特征。此外，病理染色的批次差异、不同制片流程导致的图像质量不均，也是影响模型泛化性的重要因素，颜色标准化算法（如Macenko标准化、StainGAN）的应用可有效降低染色差异带来的影响。目前病理标志物研究已从单一特征分析向空间免疫微环境图谱分析演进，通过多重免疫荧光图像与HE图像的配准，深度学习模型能够实现多种免疫细胞亚群的空间分布、相互作用关系的定量分析，挖掘出的“免疫冷/热肿瘤分型”“免疫排斥表型”等新型标志物，比单一分子标志物具有更高的疗效预测价值。三、CT影像-病理多模态融合的模型架构与性能优势单一模态的生物标志物往往只能反映肿瘤生物学特征的一个侧面，CT影像与病理的多模态融合能够实现宏观无创特征与微观分子特征的优势互补，显著提升疗效预测模型的性能，现有融合架构可分为数据级融合、特征级融合和决策级融合三类。数据级融合是最早期的融合策略，直接将CT影像的三维体素数据与病理图像的二维像素数据进行空间配准后输入模型，2020年初步探索性研究通过术前CT图像与术后病理大切片的刚性配准，实现同一肿瘤区域的影像与病理特征对应，构建的融合模型预测ORR的AUC达0.81，较单一CT模型提升0.08，较单一病理模型提升0.06，但该方法依赖精准的空间配准，而肿瘤切除后的组织形变会导致配准误差，临床应用难度较大。特征级融合是目前主流的融合方式，先分别通过各自的特征提取器得到CT影像特征向量与病理特征向量，再通过拼接、注意力加权、跨模态注意力机制等方式进行特征融合。2023年欧洲肿瘤内科学会（ESMO）年会上公布的多中心研究成果，纳入8个中心共1500例接受PD-1/CTLA-4联合免疫治疗的晚期肝癌患者，分别采用3DCNN提取CT多期相256维影像特征，采用PathomicsTransformer提取病理WSI的512维组织特征，再通过跨模态注意力网络动态分配两种模态的权重，最终构建的融合模型预测12个月无进展生存期（PFS）的AUC达0.85，在外部验证集中的准确率达80%，显著优于单一模态模型（CT模型AUC0.76，病理模型AUC0.78）。该研究进一步通过可解释性分析发现，融合模型中权重最高的3个特征分别是CT瘤周强化异质性、病理CD8+T细胞浸润密度、CT肿瘤坏死占比，三者的联合应用能够将免疫治疗获益人群的筛选准确率提升30%以上。2024年最新研究提出的对比学习多模态融合框架，通过自监督学习预训练模型学习影像与病理特征的关联关系，在仅500例小样本免疫治疗队列中实现了0.83的AUC，解决了标注数据不足的问题。决策级融合是分别训练CT影像模型与病理模型，再将两个模型的预测概率通过加权平均、Stacking等方式进行融合，其优势是灵活性高，两个模态的模型可以独立训练、独立升级，且不需要严格的空间配准。2022年研究团队开发的决策级融合模型，CT模型预测免疫治疗应答的概率权重为0.4，病理模型的权重为0.6，最终融合模型预测2年OS的AUC达0.84，较单一模型提升7%-9%，该模型已在国内3家三甲医院完成前瞻性临床验证，结果显示其指导下的免疫治疗获益率较传统经验治疗提升28%。多模态融合模型的性能优势不仅体现在预测准确率的提升，更在于其能够实现对疗效机制的多维度解释：CT特征反映肿瘤整体的异质性与免疫微环境的空间分布，病理特征反映细胞层面的免疫表型与分子特征，二者结合能够更全面地解析肿瘤免疫原性与免疫治疗应答的关联机制。四、临床转化应用现状与未来发展方向目前基于深度学习的CT-病理多模态生物标志物研究已进入临床转化的关键阶段，部分模型已获得医疗器械三类证进入临床试用。2023年国内首个肝癌免疫治疗疗效预测AI辅助诊断系统获批上市，该系统基于多模态融合模型，可在患者接受免疫治疗前，利用基线CT影像与穿刺病理标本，自动输出免疫治疗应答概率、风险分级及关键特征解释，为临床医生制定治疗方案提供参考。临床验证数据显示，该系统的预测准确率达82%，能够帮助临床医生将免疫治疗应答率从23%提升至45%，显著降低无效治疗带来的医疗成本与患者负担。现有研究仍存在多方面的局限性有待突破：一是多模态数据的标准化问题，不同中心的CT扫描参数、病理制片流程、免疫组化染色标准存在差异，需要建立统一的多模态数据采集与预处理规范，构建大规模、多中心、标准化的肝癌免疫治疗多模态数据库，为模型训练提供高质量数据支撑；二是特征的生物学机制解释不足，目前挖掘出的多模态标志物多数为统计学关联，缺乏机制层面的验证，未来需要结合单细胞测序、空间转录组等多组学技术，解析影像特征、病理特征与肿瘤免疫微环境分子机制的内在关联，从“相关性”向“因果性”演进；三是动态疗效评估的缺失，现有模型多基于基线数据预测疗效，而免疫治疗过程中肿瘤微环境是动态变化的，未来需要构建多时间点的动态多模态模型，实现治疗过程中疗效的实时监测与耐药预警；四是泛癌种应用的拓展，目前研究多集中于肝癌，未来可将多模态融合框架拓展至肺癌、胃癌、黑色素瘤等其他癌