CN116883768B 基于多模态特征融合的肺结节智能分级方法及系统 （郑州大学）

基于多模态特征融合的肺结节智能分级方本发明利用体检人群真实世界临床多模态一种基于自监督学习的肺结节分级GCN模型优化合生成式和对比式自监督学习的分类算法优化2(1)设计基于注意力机制的多任务特征提取网络，以获取具有充分性与鉴别性的图像特征描述；基于胸部CT检查影像和对应的影像学报告获取肺结节二维感兴趣区域ROI和三(2)设计一种基于图表示学习的多模态特征融合方法，以得到跨模态特征有效融合的设计的基于图表示学习的多模态特征融合方法，首先利用多模态信息所述多模态信息抽取方法，其目的是从每个模态信息中提取出然后，通过余弦相似度计算成对样本之间相关性，对相似度矩阵S进行如式(3)所示的阈值处理，获取该模态特定图结构的邻接矩阵3将特征矩阵X和图结构A一起送入图神经网络，进行特征聚合变换，针对每个模态的原始特征向量X作为输入，利用上述设计的模态信息抽取网络得到对所述基于注意力机制的跨模态特征融合是指将从不同模态获取到的多模态特征集合跨模态特征表示；得每个模态的注意力分数通过非线性变换对多模态oid(w(")"+b)(5)将模态的注意力分数与对应模态的优化特征和图结构相乘后，进行所述总损失函数由加权交叉熵损失函数、语义约束损失函数和自监督对比24SSL表示自监督对比损失函数；取用于输入图卷积神经网络分类器GCN的总样本特征图的方法，非图像特征包括来源于CT出的基于CT检查数据的多种类影像特征精准提取方法，分别基于二维感兴趣区域ROI和三维感兴趣区域VOI并行计算影像组学特征和深层图像特征，并基于注意力机制将影像组学VOI数据输入至3DCNN与Transformer相结合的特征提取骨干网络，获取融合三维局部_全7.一种基于多模态特征融合的肺结节智能分级器，所述处理器用于处理存储在所述存储器中的指令以实现如权利要求1_6中任一项所述5[0003]Lung_RADS(lungimagingreportinganddatasystem)是美国放射学院(ACR)[0004]据美国基线肺癌筛查肺结节管理策略研究与成本分析结果显示，将Lung_RADS分的Lung_RADS分级标准及与其相适应的肺结节恶性度智能分级工具，促进肺结节临床诊疗[0005]随着近年AI技术的快速发展，AI技术不仅在肺结节自动检测方面发挥着重要作[0006]中国发明专利申请号201710230623.1公开一种基于深度学习的肺结节检测分级6[0007]中国发明专利申请号201710340309.9公开了一种基于深度学习和数据融合的肺和临床就诊数据的非成像特征进行跨模态有效融合？从而可以按照Lung_RADS分级标准对[0010](1)设计一种基于注意力机制的多任务特征提取网络，以获取具有充分性与鉴别[0011](2)设计一种基于图表示学习的多模态特征融合方法，以得到跨模态特征有效融总损失函数，训练和优化肺结节分级GCN模型，实现仅有细微差异的肺结节恶性度精细分7数fA将原始输入特征向量xi投影到一个低维特征空间，fA被定义为一个简单的多层感知器8[0035]针对每个模态的原始特征向量X作为输入，利用模态信息抽取网络就可以得到对[0037]所述基于注意力机制的跨模态特征融合是指将从不同模态获取到的多模态特征[0046]将最终特征矩阵Xfinal以及图结构Afinal送入图神经网络分类器，输出最终的分类9理器用于处理存储在所述存储器中的指令以实现如上述的基于多模态特征融合的肺结节一种基于自适应图表示学习的多模态优化特征图构建和基于注意力机制的跨模态特征图[0060]图1为本发明提供的一种基于多模态特征融合的肺结节智能分级方法的整体流程[0061]图2是本发明提供的一种基于多模态特征融合的肺结节智能分级方法对应的总架模态特征有效融合图数据，提出基于自适应图表示学习的图卷积神经网络肺结节分级算[0067]如下给出本实施例提供一种基于多模态特征融合的肺结节智能分级方法的各个构建具有语义特征保持的共享特征子空间方法，设计基于三维CNN卷积特征与二维纹理等语义标签一致性度量任务进行协调反馈，两个任务并行学习训练且共享已学到的特征参X"=[xf",x逊,…,x]eRcm,m∈[1,M]表示具有N个样本数的第m个模态的特征矩阵，该[0089]针对每个模态的原始特征向量X作为输入，利用设计的模态信息抽取网络得到对应模态优化后的图结构A和特征表示X。[0090]所述基于注意力机制的跨模态特征融合是指将从不同模态获取到的多模态特征[0091]以第i个节点为例，它的特征表示为基于注意力机制获得到每个模态的注意力分数(a',a2,…,aM)=att(⃞,,[0092]wf"=q'sigmoid(w(""+b)[0098]将最终特征矩阵Xfinal以及图结构Afinal送入图神经网络分类器，输出最终的分类[0101]本实施例提出与GCN分类模型的联合训练策略，通过图表示学习在前端构建出跨在训练过程中不同节点传播特征速度不同，易导致网络中的边缘节点特征更新不同步问[0103]分别针对不同模态特征进行图结构学习，通过多个图表先单独做每个模态内部的信息聚合，然后利用注意力机制实现模态之间的信息交互并聚[0104]在图结构建模过程中，将通过计算特征间的高斯距离或余弦距离等度量学习方[0107]面向模型优化的损失函数设计：图数据增强的前提条件进一步提高算法性能及泛用性。本实施例给出了如图5所示的基于自监督学习的算法优化[0124](2)在多模态数据分析方面，通过提出一种基于自适应图表示学习的多图构建和基于注意力机制的多图信息有效融合方法，设计一类高精度跨模态特征融合的GCN多分类[0