CN119477845B 一种基于跨模态知识融合的心肌梗死定位方法 （中国人民解放军南部战区总医院）

一种基于跨模态知识融合的心肌梗死定位本发明提供一种基于跨模态知识融合的心学习的整体框架；本发明以知识蒸馏的形式实2所述的教师模型基于图卷积神经网络MVCNN进行迭代优化，所述的教师模型由多个平所述的多视图协同关注融合模块包括两个阶段的注意力机制，通过两并结合成一个张量rfo:计算表达式为：AB3然后通过两个并行的内部注意力特征融合模块从不同式中，max表示沿通道维度取元素的平均最大值；Cat表示将分别表示分别对特征张量进行平均池化和最大池化操作后的结果；⊙表示逐元素进步骤S5)中，所述的知识增强优化是指将2D_VCG中获取的跨模态图像的空间特征转化到欧4首先将教师模型提取的2D_VCG图像特征进行调整，以适配学生模型的1D_VCG时序特征空所述的跨模态生成器采用线性变换策略，确保来自不同模态的特征在欧实现精确映射和对齐；所述的跨模态生成器通过一个参数化的转换矩阵W将2D_VCG的空间特征f2D转换为与1D_VCG的时序特2D+balign为变换后的特征；所述的跨模态生成器在特征对齐后使用变分自编码器VAE进行特征的进一步优化，所述的变分自编码器VAE重构一个与时序特征空间一致的新特征表示，同时确保特征的信息其中，Lvae表示变分自编码器(VAE)的知识增强损失；EPpred计算交叉熵损失Lce;式中，CrossEntropy表示交叉熵损失函数，用于分类任Latsttu的权重；Lvae为知识增强损失；5[0003]12导联心电图(ECG)和3导联心电向量图(VCG)作为非侵入性检测手段，在临床上[0004]对此，通过对Frank正交导联系统监测心脏活动所获取的心电矢量图展开人工智二维深度学习架构对VCG在额平面、水平面和矢状面这三个正交平面上的投影进行空间特[0006]针对现有技术的不足，本发明提供一种基于跨模态知识融合的心肌梗死定位方6i1i2i3)为三个不同视角的张量，Cat表示将三个不同视角的张量视图能够捕捉到特征张量在不同通道上的重要性；参数矩阵分别用于三个不同的视角特征通[0024]S213)、通过将注意力因子与相应的特征张量逐元素相乘，得到增强的特征张量[0027]然后通过两个并行的内部注意力特征融合模块从不同角度增强特征图的语义信7FiAng进行平均池化和最大池化操作后的结果；其中FiA1＝avg特征张量FiAng进行最大池化的结果，用于提取显著特征；⊙表示逐元素进行相乘；σ表示VCG的空间特征f2D转换为与1D_VCG的时序特征f1[0046]作为优选的，步骤S4)中，所述的跨模态生成器在特征对齐后使用变分自编码器8预测Ppred计算交叉熵损失Lce;的影响程度；α对应知识增强损失Lvae的权重；β对应交叉熵损失Lce的权重；γ对应蒸馏9i1i2i3)为三个不同视角的特征张量，Cat表示将三个不同视角的特征够捕捉到特征张量在不同通道上的重要性；参数矩阵分别用于三个不同的视角特征通道；[0095]S213)、通过将注意力因子与相应的特征张量逐元素相乘，得到增强的特征张量[0097]式中，FiAng表示增强的第一个阶段的注意力机制的特征张量；⊙表示逐元素进行[0098]然后通过两个并行的内部注意力特征融合模块从不同角度增强特征图的语义信FiAng进行平均池化和最大池化操作后的结果；其中FiA1＝avg[0113]所述的学生模型通过结合跨模态蒸馏技术能够有效提取和学习心肌梗死相关的[0115]并且所述的学生模型使用具体针对时间序列数据优化的损失函数，结合MSE和教师模型的软标签输出，形成蒸馏损失Laistiu:[0120]本实施例中，如图4所示，所述的跨模态生成器通过一个参数化的线性层W将2D_VCG的空间特征f2D转换为与1D_VCG的时序特征f1[0123]所述的跨模态生成器在特征对齐后使用变分自编码器VAE进行特征的进一步优VAE和解码器，编码器将对齐后的特征falign映射到潜在空间，解码器将其映射回原特征空配，而较小的值则更重视重构精度；f1D表示1D_VCG的时序特征，用于计算重构误差；[0127]通过跨模态生成器将教师模型从2D_VCG中提取的空间特征与学生模型从1D_VCG[0129]教师模型提取的2D_VCG图像特征首先经过一个转换矩阵W进行调整，以适配学生预测Ppred计算交叉熵损失L