CN120298448A 基于多模态mri融合的运动伪影自适应校正方法 （川北医学院附属医院）

基于多模态MRI融合的运动伪影自适应校正于多模态MRI融合的运动伪影自适应校正方法，获取患者sMRI和fMRI，对sMRI和fMRI进行预处理，创建跨模态特征融合模型，将预处理后的sMRI和fMRI输入所述跨模态特征融合模型进行2S1：获取患者的结构磁共振图像sMRI和功能磁共S2：创建跨模态特征融合模型，将预处理后的结S3：所述跨模态特征融合模型对提取的双分支特S4：基于重构的多尺度特征对图像伪影进行检测2.根据权利要求1所述的基于多模态MRI融合的运动伪影自适应校正方法，其特征在预处理模块实现，所述多模态数据预处理模块包括运动伪影模拟单元和多模态配准单元，S11：通过运动伪影模拟单元对结构磁共振图像sMRI施加指定位移和旋转角度的弹性3.根据权利要求2所述的基于多模态MRI融合的运动伪影自适应校正方法，其特征在S131：对结构磁共振图像sMRI和功能磁共振图像S132：对结构磁共振图像sMRI和功能磁共振图像fMRIS134：衡量图像间的统计依赖关系，对于同模态图S135：将结构磁共振图像sMRI和功能磁共振图像fMR4.根据权利要求1所述的基于多模态MRI融合的运动伪影自适应校正方法，其特征在S21：通过所述跨模态特征融合模型的第一分支的初始卷积层对结构磁共振图像sMRI3S23：通过所述跨模态特征融合模型的第二分支的3D卷积层对功能磁共振图像fMRI卷;代表具有128个隐藏单元的LSTM层，使用128个隐藏单元意味着LSTM内部;;5.根据权利要求4所述的基于多模态MRI融合的运动伪影自适应校正方法，其特征在;4在深度方向上的尺寸；csmRr代表结构磁共振成像特征通道数；ak为生成空间/通道自适应的注意力图；为第k层sMRI特征图；第k层fMRI特征图；⊙表示逐元素相乘；;36.根据权利要求1所述的基于多模态MRI融合的运动伪影自适应校正方法，其特征在S43：基于U_Net3+架构的生成器模型配置多尺度跳;kk7.根据权利要求6所述的基于多模态MRI融合的运动伪影自适应校正方法，其特征在;5;8.根据权利要求1所述的基于多模态MRI融合的运动伪影自适应校正方法，其特征在;l;L为信;;;6;于后续生成器的训练；argmin是一个操作符，用于找到使后面表达式取值最小的参数值；失；;其中，表示最终优化得到的参数，是在综合多种损失函数约束下找到的最优参数_47[0001]本发明属于图像处理热技术领域，尤其涉及基于多模态MRI融合的运动伪影自适[0003]当前MRI运动伪影校正技术主要基于K空间检测和补偿运动伪影或使用深度学习在图像域进行伪影去除。尽管采用了域间数据一致性损失来保持K空间和空域之间的一致[0006]本发明的目的在于提供基于多模态MRI融合的运动伪影自适应校正方法，用以克8S11：通过运动伪影模拟单元对结构磁共振图像sMRI施加指定位移和旋转角度的S135：将结构磁共振图像sMRI和功能磁共振图像fMRI的初始变换设为恒等变换，[0010]优选的，步骤S2中所述跨模态特征融合模型进行双分支特征提取的具体过程如S21：通过所述跨模态特征融合模型的第一分支的初始卷积层对结构磁共振图像;9;333}。[0011]S23：通过所述跨模态特征融合模型的第二分支的3D卷积层对功能磁共振图像;这里的t:t+9表示在时间维度上选取从时刻t到时刻t+9的一系列fMRI图像作为输入，用于捕捉功能磁共振图像在一段时间内的动态特征。;像fMRI特征表示；LSTMza代表一个具有128个隐藏单元的LSTM层，其隐藏单元数量决定了;;其中ak表示在第k个尺度下生成的通道自适应的注;与功能特征的动态平衡；ak是在第k个尺度下生成的通道自适应的注意力图，其元素值在;;;;其中，分别为6自由度头动参数，wt为输出时变注意力权;其中，表示在第k个尺度下，经过多尺度特征跳跃连接操作后得到的特征图；;;;部均值，和igr分别是校正后的图像Icor和真实图像Igt的均值，反映图像整体的亮度水L为信号范围。;;;是一个生成器网络，它的功能是先将结构磁共振图像（sMRI）转换为功能磁共振图像;实功能特征之间的差异。其约束条件为：冻结跨模态注意力模块参数，单模态独立训练，;本发明提供的基于多模态MRI融合的运动伪影自适应校正方法，获取患者sMRI和[0029]其次，通过双分支特征提取器与跨模态注意力机制的跨S11：通过运动伪影模拟单元对结构磁共振图像sMRI施加指定位移和旋转角度的。图像间的统计依赖关系。互信息基于信息论，通过计算两幅图像灰度值的联合概率分布p[0048]S135：将结构磁共振图像sMRI和功能磁共振图像fMRI的[0052]采用三次B样条插值构建变形场，将图像空间划分为网格，网格节点间距设为在实施例1的基础上，步骤S2中所述跨模态特征融合模型进行双分支特征提取的S21：通过所述跨模态特征融合模型的第一分支的初始卷积层对结构磁共振图像;;[0055]S23：通过所述跨模态特征融合模型的第二分支的3D卷积层对功能磁共振图像;;的一种特征提炼，用于后续的特征融合或任务分析；LSTM1S代表具有128个隐藏单元的处理序列数据时可以维护128维的隐藏状态，能够捕捉较为复杂的时间序列依赖关系； 是输入到LSTM层的特征序列，它是由前面3D卷积层输出的特征图在时间维度上从时;;其中，是在第k个尺度下，经过通道维度拼接得到的特征图，融合了双分支 sMRI+CfMRI)×1；CsMRI与CfMRI分别是 力权重。与第一分支处理通道的特征金字塔层和第二分支处理通道的特;;3×3反;三维特征图，FeR20DXC，分辨率为2mm3，sobel算子：三方向卷积核（以x方向为例3;;;其中，表示在基于U_Net+架构的生成器模型中，第l层经过卷积操作后的特征,卷积核3×3×3，步长2，输出通道数为Cl，C=64x2-1,输出分辨率。;参数说明：Tl：表示在时序卷积分支中，第l层经过卷积操作后得到的特征图；;[0066]在S44进行多尺度特征跳跃连接后，还进行结构磁共振图像sMRI和功能磁共振图;;在实施例1或者实施例2或者实施例3的基础上，步骤S5中建立三级损失函数体系;llvlcor-lgtl1表示计算校正后图像与真实图像梯度之间的L1范数，即对应像素梯度值差值;;;;其中Lcycle表示跨模态一致性损失（Cycle。1和F2代表残差块中的卷积操作或其他非线性变换操作；R(R(X))表示先对输入;其中，表示初始化参数，这里是在特定损失函数约束下优