CN119004362B 多模态医学数据渐进融合的方法及系统 （电子科技大学）

PingYang,etal..MMGCN:Mulmulti-viewgraphconvolutionalnetwoforcancerprognosispredictionMethodsandProgramsinBiomedicine.2024,方式使得渐进融合特征所包含的层次信息最大该自适应学习过程中针对每个患者的特征进行2将每层特征中所有模态特征进行融合得到N个基于跨层注意力机制融合第一层和第二层各自对齐的层次融合特2.如权利要求1所述的多模态医学数据渐进融合的方法，其特征在于，通过损失函数y""实现所述映射后相同患者的不同模态的特征向量相似：,fear,""""、feac"""和分别是影像特征feacf""、结构化电子病历特征根据患者的相似性阈值对所述相似矩阵进行剪4.如权利要求1所述的多模态医学数据渐进融合的方法，其特征在于，通过损失函数衡量每层重构的重要特征和筛选出的重要特征的相将剪枝后的相似矩阵进行路径掩码、层次融合特征进行无监督特j层。3中与下游任务高相关性的重要特征；根据筛选得到的重要特征计算患者与患者的相似矩第二融合模块，用于基于跨层注意力机制融合第一层和4[0001]本发明属于特征融合技术领域，具体涉及多模态医学数据渐进融合的方法及系[0003]多模态医学数据融合策略按照融合阶段可以分成早期融合、中期融合和晚期融5feac"""和feac""""分别是影像特征fear""、结构化电子病历特征featp"和文本[0022]根据患者的相似性阈值对所述相似矩阵进行剪枝，剔除小于所述相似性阈值的""衡量每层重构的重要特征和筛选出的重要特征的相式为feacy"""是层次融合特征fea'"映射后的特征向量，BatchNormal是对特征向量按列归6[0039]本发明通过渐进融合方法，基于跨层次注意力机制实现[0041]本发明使用带掩码的图自编码器进行模态对齐，对不同7[0049]本发明第一实施方式提供了多模态医学数据渐进融合的方法，图1为本发明实施[0053]具体来说，患者的多模态医学数据包含影像数据(ximage)、结构化电子病历数据化电子病历数据包括人口学特征和临床检验等信息；文本数据包括病史和治疗记录等信[0055]对于提取患者的多模态医学数据的N层特征的方法，将各模态医学数据分别输入向量《(feat"",feat?e,featf⃞),ie1,2,…MY。其中，和分个患者的影像数据的多层影像特征，即{1,2,…N}。其述，令同理也可以获得多层的结构化电子病历特8[0060]示例性地，对于患者的第j层特征(feac"",feaey",feaef")分别输入到第j层影像特征向量映射函数第j层电子病历特征向量映射函数FC"、第j层文本特征[0062]其中，rc"".rc"和re"是全连接层网络，和feacf""""分别是fear""、featy"和featf""映射后的特征向量，Concate是将特征向量拼接起来的操作，是将j层fearf""""、f[0066]其中cos是余弦相似度计算，计算公式为是第j9[0080]相似性阈值的计算公式为：Threshold=sigmoid(Fcthresth"(fearg"")),其中[0084]对于信息传递，是将剪枝后的相似矩阵与所述重要特征输入到图卷积网络GCN[0088]在一些更优选的实施方式中，通过损失函数衡量每层重构的重要特征和筛式为似矩阵进行路径掩码、层次融合特征进行无监督特征掩码后输入到图卷积解码器进行解[0093]其中，Matrir,"*是经过路径掩码后的Matrixf,其中Bernouli是伯努利分布，featf"""是通过图解码器后的特征向量，feaey""是层次融合特征fea'"映射后的特征向softmax是归一化指数函数，其公式为是的维度，[0118]第二融合模块504，用于基于跨层注意力机制融合第一层对齐的层次融合特征和实现第一方面实施例中多模态医学数据渐进融合的方法(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机因特网的计算机网络和/或各种电信网络与其他设备交换信可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载机程序在被处理器执行时实现本发明实施例公开的多模态医学数据渐进存储器、只读存储器(ROM，Read_OnlyMemory)、随机存取存储器(RAM，RandomAccess机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器