CN116029908B 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 （昆明理工大学）

andFeatureMutual_Pro基于跨模态和跨尺度特征融合的3D磁共振具体为一种基于跨模态和跨尺度特征融合的3D2低分辨率MRI图像输入训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型，得到所述基于跨模态和跨尺度特征融合的超分辨率网络模型的构建包括所述超分辨率网络模型包括跨模态参考分支网络所述跨模态参考分支网络包括跨模态参考分支网络参考图像梯度图提取模块和跨模主分支网络包括主分支网络浅层特征提取模块、主分支网络深度其中，公开数据集中以T1W作为目标模态高分辨率MRI图像，以T2W和S3:对目标模态高分辨率MRI图像数据进行模拟退化预处理，得目标模态低分辨率MRIS4:将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块，结合3D卷积层和激活函数构建特征提取模块；S5:将S4得到的梯度图输入参考分支网络特征提取模块，捕捉参考高分辨率图像的结将特征提取模块加入主分支网络中作为主分支网络浅层特S6:将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中其中，将多个残差通道注意力块堆叠作为主干，跨尺度特S8:将S5输出的参考模态MRI图像特征、跨尺度特S9：将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像S10:设置损失函数，对基于跨模态和跨尺度特征融S11:重复S4_S10，直至模型收敛，得到训练好的基于2.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其3所述主分支网络浅层特征提取模块输出端与主分支网络深度特征提取模3.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其用高斯模糊和双三次下采样获得低分辨率MRI图像数据；在基于频域的模拟退化方式将目标模态高分辨率MRI图像经过傅里叶变换至频域，根据超分辨率重建系数对频域数据的边缘部分进行截断处理，并用零填充的方式对截断的部分进行填充,随后对填充过的频域数4.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S4将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图RefRefRefWL5.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其6.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S6将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提40代表目标模态低分辨率MRI图像浅层特征，ILR为目标模态低分辨率MRI图像，7.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其移模块灵活嵌入残差通道注意力块之间处理得具有高分辨率细节的主分支网络输出目标将跨尺度特征迁移模块嵌入第m个和第m+1个残差通道注意力块之间处理得到特征的j对Xm进行卷积操作得到V,以步长s×g和块大小q进行切块得v,与相似度权重进行卷积所有通过注意力操作后得到的高分辨率补丁融合后得到具有丰富高分辨率细节的特upm)+Ym,，mm将M个残差通道注意力块输出特征、跨尺度特征迁移模块输出的低分辨率尺度特征连58.根据权利要求6所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其Xc用3D亚像素卷积层进行上采样得到目标尺度上采样特征；特征Ya通过空间注意力得到特9.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S9将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支行上采样得目标模态低分辨率图像上采样特征Iin并与融合特征Yf融合得重建的高分辨率6过增加扫描层厚来确保一定的SNR要求的同时减少运动伪影，但是会产生低分辨率MRI图[0003]超分辨率(SuperResolution，SR)是一种可以突破硬件限制提升MRI图像空间分[0004]卷积神经网络(ConvolutionalNeuralNetworks，CNNs)在自然图像超分辨率方面取得成功。基于CNN的SR方法可以分为单幅图像超分辨率(Singleimagesuper_resolution，SISR)方法和基于参考的超分辨率(Reference_basedimagesuper_建高分辨率MRI图像。图像超分辨率模型(SuperNesolutionConvolutionalNeural[0007]现有基于CNNs的SR方法对于如何充分挖掘MRI图像自身内部先验信息和跨模态7[0008]本发明为克服上述现有技术的不足提供了一种基于跨模态和跨尺度特征融合的[0009]本发明技术方案如下：基于跨模态和跨尺度特征融合的3[0013]所述跨模态参考分支网络包括跨模态参考分支网络参考图像梯度图提取模块和[0014]主分支网络包括主分支网络浅层特征提取模块、主分支网络深度特征提取模块、[0018]S4:将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取[0020]S5:将S4得到的梯度图输入参考分支网络特征提取模块，捕捉参考高分辨率图像[0022]S6:将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模[0023]S7:将S6提取的浅层特征输入主分支网络深度特征提取模块，得到多层次深度特作为主干，跨尺度特征迁移模块(Plug_inMutual_ProjectionFeatureEnhancement，[0026]S9：将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络8出端分别与跨尺度特征迁移模块和主分支网络上采样和特征[0030]所述主分支网络浅层特征提取模块输出端与主分支网络退化中采用高斯模糊和双三次下采样(CubicDownsampling)获得低分辨率MRI图像；在基于频域的模拟退化方式将目标模态高分辨率MRI图像经过傅里叶变换至频域，根据超分辨[0032]作为优选，步骤S4将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图w[0040]作为优选，步骤S6将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征，具体做法为：激活函数选用9入RCA块之间处理得具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率[0044]将PMEF模块嵌入第m(1≤m≤M_1)个和第m+1个RCA块之间处理得到特征的具体做m对应第m个RCA块)；将Ym和Xm融合得具有高分辨率细节的主分支网络输出目标尺度特征Y′入PMFE模块，以步长s(1≤s≤3)进行下采样得下采样i个q[0050]所有通过注意力操作后得到的高分辨率补丁融合后得到具有丰富高分辨率细节)+Ym，，mX′征的具体做法为：将PMFE模块输出低分辨率尺度特征X′m作为第m+1个RCA块的输入得到Xm+1模块的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块，征信息IRef、PMFE模块输出Y′m和多层次深度特征Xc融合得初步融合特征Ya(下标a代表同的多层次深度特征Xc用3D亚像素卷积层(sub_pixelconvolutionlayer)进行上采样得YSA[0059]作为优选，步步骤S9将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像辨率图像进行上采样得目标模态低分辨率图像上采样特征Iia(下标LR代表目标模态低分Iiu代表目标模态低分辨率图像上采样特征。图像的跨模态自相似性先验信息和目标模态低分辨率MRI图像全局跨尺度自相似先验信模态自相似性先验信息和目标模态低分辨率MRI图像全局跨尺度自相似先验信息，为重建[0074]对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解[0081]主分支网络包括主分支网络浅层特征提取模块、主分支网络深度特征提取模块、[0086]具体的，采用基于图像空间的模拟退化方式来模拟目标模态高分辨率MRI图像的退化过程；其中，在基于图像空间的模拟退化中采用高斯模糊和双三次下采样(Cubic分辨率块，用Cubic方法将T1W低分辨率图像插值到和高分辨率图像相同大小，应用[0088]S4：将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取[0090]将特征提取模块加入跨模态参考分支网络中作为跨模态参考分支网络特征提取w[0100]S6：将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模i个q[0112]所有通过注意力操作后得到的高分辨率补丁融合后得到具有丰富高分辨率细节率细节的特征，Y,5和X,5代表具有高分辨率细节的主分支网络输出目标尺度特征和相应的再将10个RCA模块输出特征和X,5沿着通道方向拼接得到多层次深×3×3的3D亚像素卷积层(sub_pixelconvolutionlayer)进行上采样得到目标尺度的上代表channelattention)；沿着通道方向将特征YSA和特征YCA拼接并经过卷积操作后得融[0122]S9：将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络征Ii并与融合特征Yf融合得重建的高分辨率图像，计算公式如下：