CN119418079A 一种基于图网络引导的医学图像信息对齐方法、设备及介质 （山东财经大学）

一种基于图网络引导的医学图像信息对齐本发明提供一种基于图网络引导的医学图征图转换为完全图并利用图神经网络的信息传实现patch级别的信息匹配，查到不同医学图像于重要对象的关注以及多模态匹配方式更加符2S102：将单一模态的特征图转换为完全图并利用图神经网络的信息传递和聚合特性；外部学习核函数作用于样本对之间，计算两个样本对在高维空编码器采用Vit及其变体模型作为特征提取器，输出包含全局特征的[CLS]令牌I,ei"以及包含图像局部特征的patch块p=tr'.pi…p"ei""；基于图像编码器的输出p=tr'.,p'…p"ei""构建完全图；；其中p"为p"加入随机噪声后的节点，E表示信息熵的计算，G(p",A)=A(p")'表示3定义条件2：通过观察随机噪声对边连接两个节点之间交叉熵的影响程度来决定边的邻接矩阵A的更新过程如下：A=(A+(l-(o,+p,+d)/3)A)/2，利用更新后的邻接矩其中，eeM(u,)表示e为跨模态图中属于图像的节点下标，l,和T分别表示跨模态图4对于第m个医学图像的第n个重要patch块，通过线性变换得到查询向量，将文本内的所有重要patch块通过线性变换分别得到键向量和值向量，交叉注意力机制完成第个图其中、和表示可学习的参数矩阵，表示patch块向量的长度，表示文本在外部学习核函数中，基于图神经网络设计了如下动态权重将样本对cr与剩余全部样本对进行上述的距离计算，选取其中的前k个样本对作为9.一种电子设备，包括存储器、处理器及存储在5行时实现如权利要求1至8任一项所述基于图网络引导的医学图像信息对齐方67利用图像编码器和文本编码器对输入进行特征提取，得到多种模态特征;基于图像编码器的输出p=tr'.pi…p"ei""构建完全图；；规则；其中p"为pr"加入随机噪声后的节点，E表示信息熵的计算，G(p",A)=A(p")'定义条件2：通过观察随机噪声对边连接两个节点之间交叉熵的影响程度来决定接矩阵与进行图卷积操作实现对重要对象的8内的所有重要patch块通过线性变换分别得到键向量和值向量，交叉注意力机制完成第在对比学习中，设置对齐损失函数将不同模态间具有表达意义相同的patch块靠s表示样本对的数量，M表示图像patch块的数量，N表示文本patch块的9其中，w为可学习的参数矩阵，σ和β分别表示图像和文本的全局特征向量的标将样本对cr与剩余全部样本对进行上述的距离计算，选取其中的前k个样本对模态数据特征进行节点化和子图化，从而将跨模态的匹配方式由全局匹配转变为子图匹其他方式另外特别强调。[0024]请参阅图1所示是一具体实施例中基于图网络引导的医学图像信息对齐方法的流[0029]在不同模态之间构建跨模态图，利用GNN捕捉跨模态的关联和依赖关系。可以看[0032]交叉注意力机制：在每个patch级别上配置交叉注意力机制，实现不同模态之间。[0045]本实施例的图像编码器采用Vit及其变体模型作为特征提取器，其输出包含两。表示patch块的数量。此时。文本编码器f采用Bert及其变体。[0048]尽管单一模态的编码器（例如Vit和Bert）在各自模态中具有强大的特征提取能后在不同模态之间构建跨模态图，并利用图神经网络来捕捉复杂的跨模态关联和依赖关[0053]利用图卷积网络进行浅层次的重要节点增强得到P=GCN(P,A)，其中GCN表示规则：其中CE表示交叉熵计算，表示该边重要性计算结果，数值越小该边的抗干扰接矩阵与进行图卷积操作实现对重要对象的深层次建模。r内的每[0061]2)边的连接只发生在不同模态之间，即每条边连接的两个节点须来自不同的模其中eeM(u,)表示e为跨模态图中属于图像的节点下标，1,和分别表示跨模态有重要patch块通过线性变换分别得到键向量和值向量，交叉注意力机制完成第个图像[0069]在对比学习中，设计对齐损失函数将不同模态间具有表达意义相同的patch块靠s表示样本对的数量，M表示图像patch块的数量，N表示文本patch块的1)配置内部学习核函数：内部学习核函数用于单一样本对内不同模态之间的操其中w为可学习的参数矩阵，σ和β分别表示图像和文本的全局特征向量的标准[0076]将样本对cr与剩余全部样本对进行上述的距离计算，选取其中的前k个样本对s表示样本对的数量，tk}表示与C:距离最近的样本对本实施例还对医学图像信息对齐方法的实现过程进行验证。使用MIMIC_CXR[0078]本实施例的数据集包含377,110张JPG格式图像以及与这些图像相关的227,827份[0081]其中验证集由200个胸部X线影像构成，并且标签由3位专家进行标注．测试集由[0085]对于本实施例试验及验证过程后的结果来讲，将本文模型与ConVIRT、MedCLIP、[0089]在病灶区域目标检测任务中，将本文模型与ConVIRT、GLoRIA、MGCA、GLoRIA_[0091]在医学影像语义分割任务中，将本文模型与ConVIRT、GLoRIA、MGCA、GLoRIA_本文模型能够准确地捕捉医学图像中的复杂结构和病变区域．这使得分割结果更加准确，[0092]在模型参数方面，本文在CLIP的基础上仅增加了4个图卷积层和较少的可学习参文的训练方法仍能够充分捕捉图像中的重要信息，从而提升了模型的性能。与MedCLIP和[0095]为了分析本文模型中的各个模块在预训练时发挥的作用，本实施例对局部匹配、跨模态细粒度信息对齐以及多模态样本对聚类分别进行了消融型对图像和文本之间关联性的理解能力。这一能力的丢失会造成多模态信息的交互困难，[0104]在定性方面，本文跟踪了两种情况下模型在预训练过程类与保留聚类两种情况下的视觉编码器输出结果进行了降维可视化．实验结果如图xx所执行所述程序时实现所述基于图网络引导的医学图像信息对齐SpecificIntegratedCircuit)、现场可编程门阵列(FPGA，FieldProgrammableGate诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实括显示面板，可以采用液晶显示器(LiquidCrystalDisplay，LCD)、有机发光二极管(OrganicLight_EmittingDiode,OLED)等形式来配