CN114972378B 一种基于掩码注意力机制的脑肿瘤mri图像分割方法 （南昌航空大学）

号一种基于掩码注意力机制的脑肿瘤MRI图像本发明公开了一种基于掩码自注意力机制S1：构建一个3DMaskedSwinTransformer模成的三维医学图像分割模型对原始脑部MRI医学图像中的肿瘤区域进行分割。本发明的优点在于：此方法能够有效地将Transformer应用至医2所述3DMaskedSwinTransformer模块由3DMaskedSwinTransformer模块A和3DMaskedSwinTransformer模块B所述3DMaskedSwinTransformer模块A由第一LayerNormalization层、3DWindowbasedMulti-headMaskedSelfAttention层、第二LayerNormalization层和第一Multi-LayerPerceptron层依次连接组成，其中在第一LayerNormalization层的输入端和3DWindowbasedMulti-headMaskedSelfAttention层的输出端之间添加残差连接，在第二LayerNormalization层的输入端和第一Multi-LayerPerceptron层的输出端之间所述3DMaskedSwinTransformer模块B由第三LayerNormalization层Normalization层和第二Multi-LayerPerceptron层依次连接组成，其中在第三LNormalization层的输入端和3DShiftedWindowbasedMulti-headMaskedSelfMulti-LayerPerceptron层的输出端之间添加残差SwinTransformer模块的编码器模块和解码器模块组成；所述三维医学图像分割模型A的所述基于3DMaskedSwinTransformer模块的编码器模块由3DPatchPartition模块、第一3DMaskedSwinTransformer模块、第一下采样模块、第二3DMaskedSwin一跳跃连接模块、第二跳跃连接模块和第三跳跃连接模块均由CrossAttention块和特征其中，所述第一3DMaskedSwinTransformer模块的输出路出输入到第一下采样模块中，第二路的输出输入到第三跳跃连接模块的第二输入路径中；MaskedSwinTransformer模块的输出路径分为两路，第一路的输出输入到第三下采样模块中，第二路的输出输入到第一跳跃连接模块的第二输入路径中；所述第四3DMasked3数据预处理后的脑部MRI医学图像组合在一起形成经过数据预处理后的医学图像数据集；S5：使用所述三维医学图像分割模型B对原始脑部MRI医学图像中的肿瘤区域进行分将经过数据预处理后的脑部MRI医学图像传入所述步骤S4的训练完成的三维医学图像分割2.根据权利要求1所述的一种基于掩码注意力机步骤S1中，给定3DWindowbasedMulti-headMaskedSelfX，3DWindowbasedMulti-headMaskedSelfAttention层的输入特征X通过3DWindowbasedMulti-headMaskedSelfAttention层运算，得到3DWindowbasedMulti-headMaskedSelfAttention层的输出特其中，所述3DWindowbasedMulti-headMaskedSelfAttention层运算过程如下：首先将3DWindowbasedMulti-headMaskedSelfAttention层的输入特征X均匀划分为N个窗口大小为w×w×w的特征块集合其中，特征块的空间位置坐标记为(ai,bi,ci)；然后对特征块集合中的每个特征块进行Multi-headMaskedSelf,最后将变换特征块集合B;中所有式中，和分别表示Multi-headMaskedSelfAttention操作的输入特征和Mu43.根据权利要求1所述的一种基于掩码注意力步骤S1中，给定3DShiftedWindowbasedShiftedWindowbasedMulti-headMaskedSelfAttention层的输出特其中，所述3DShiftedWindowbasedMul入移位特征XS均匀划分为N个窗口大小为w×w×w的移位特征块集合其位特征块进行Multi-headMaskedSelfAttention操作，得到移位变换特征块集合三个空间轴逆方向的循环移位操作得到3DShiftedWindowbasedMulti-headMaskedSelfAttention层的输出特征YNS。4.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤式中，K和P分别表示所述3DPatchPartition模块的输入特征和3DPat5.根据权利要求1所述的一种基于掩码注意力3DSwinTransformer模块和第二3DSwinTransformer模块的输出特征；和分别表示3DMaskedSwinTransformer模块A中3DWindowbasedMulti-headMaskedSelfAttention层的输出特征和3DMaskedSwinTransformer模块B中3DShiftedWindow5basedMulti-headMaskedSelfAttention层的输出特征；3DW-MMSA和3DSW-MMSA分别表示3DWindowbasedMulti-headMaskedSelfAttention层和3DShiftedWindowbasedMulti-headMaskedSelfAttention层；MLP1和MLP2分别表示第一Multi-LayerPerceptron层和第二Multi-LayerPerceptron层；LNormalization层、第二LayerNormalization层、第三LayerNormalization层和第四步骤S2中，所述第二3DMaskedSwinTransformer模块、第三3DMaskedSwinTransformer模块和第四3DMaskedSwinTransformer模块采用与所述第一3DMasked6.根据权利要求1所述的一种基于掩码注意力机制一跳跃连接模块中第一输入路径的输入特征和第一跳跃连接模块中第二输入路径的输入步骤S2中，所述第二跳跃连接模块和第三跳跃连接模7.根据权利要求1所述的一种基于掩码注意力458.根据权利要求1所述的一种基于掩码注意力机制和I2分别表示所述特征融合块的第一输入特征和特征融合块的第二输入特征；Dout＝conv(ReLU(BN(conv(ReLU(BN(Din)))in和Dout分别表示所述第一解码模块的输入特征和第一解码模块的输出特征；6步骤S2中，所述第二解码模块和第三解码模块采用与所式中，L和Seg分别表示所述分割头的输入特征和分割头的输出结9.根据权利要求1所述的一种基于掩码注意力机制的It1t2t1ceflair在通道维度上进行拼接操作得到多模态raw和Iz-score分别表示多模态拼接图像Iraw和标准化图像Iz-score；μ表示多模态拼(3)背景掩码图提取：对标准化图像Iz-score进行背景掩码图提取，得到背景掩码图Imasked进行切片得到二维切片图像I,It,分别进行二维背景掩码图提取，分别得到二维背景掩码图ID.ma,i=1,2…,128;最后，按原始切片顺序将所有二维背景掩码图l以n.,i=1,2,…,128在横断面方向维度中进行拼在背景掩码图提取中，所述二维背景掩码图提取的具体首先经过图像二值化操作得到二值图像然后，二值图像Ii,经过形态学操作得10.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法，其特7步骤S4中，所述模型训练的优化器采用Adam优化器，所述训练迭代次数e设置为8[0001]本发明涉及医学图像分割领域，具体是一种基于掩码注意力机制的脑肿瘤MRI图的医学图像分割方法”(申请号为CN2021107251053)的专利文献公开了一种基于残差连接请号为CN2021107283406)的专利文献公开了一种基于双型U-Net模型的医学图像分割方[0005]基于Transformer的语义分割方法虽然有效提取了全局或长距离上下文交互信息[0006]为解决基于卷积神经网络的方法在三维医学图像分割问题上存在的感受野不够9[0009]所述3DMaskedSwinTransformer模块由3DMaskedSwinTransformer模块A和[0010]所述3DMaskedSwinTransformer模块A由第一LayerNormalization层、第一Multi-LayerPerceptron层依次连接组成，其中在第一LayerNormalization层的输入端和3DWindowbasedMulti-headMaskedSelfAttention层的输出端之间添加残差连接，在第二LayerNormalization层的输入端和第一Multi-LayerPerceptron层的输出[0011]所述第二3DMaskedSwinTransformer模块B由第三LayerNormalization层、3DShiftedWindowbasedMulti-headMaskedSelfAttention层、第四LayerNormalization层和第二Multi-LayerPerceptron层依次连接组成，其中在第三LayerNormalization层的输入端和3DShiftedWindowbasedMulti-headMaskedSelfMulti-LayerPerceptron层的输出端之间添加残差[0012]S2：构建一个三维医学图像分割模型A；所述三维医学图像分割模型A由基于3DMaskedSwinTransformer模块的编码器模块和解码器模块组成；所述三维医学图像分割3DMaskedSwinTransformer模块的编码器模块由3DPatchPartition模块、第一3DMaskedSwinTransformer模块、第一下采样模块、第二3DMaskedSwinTransformer模块、第二跳跃连接模块和第三跳跃连接模块均由CrossAttention块和特征融合块依次连经过数据预处理后的脑部MRI医学图像组合在一起形成经过数据预处理后的医学图像数据像，将经过数据预处理后的脑部MRI医学图像传入所述步骤S4的训练完成的三维医学图像特征X，3DWindowbasedMulti-headMaskedSelfAttention层的输入特征X通过3DWindowbasedMulti-headMaskedSelfAttention层运算，得到3DWindowbasedheadMaskedSelfAttention层运算过程如下：首先将3DWindowbasedMulti-headMaskedSelfAttention层的输入特征X均匀划分为N个窗口大小为w×w×w的特征块集合中的每个特征块进行Multi-headMaskedSelfAttention操作，得到变换特征块集合8》,i-l……N:最后将变换特征块集合中所有变换特征块进行拼接，将变换特征块[0019]式中，和分别表示Multi-headMaskedSelfAttention操作的输入特征和123到3DShiftedWindowbasedMulti-headMaskedSelfAttention层的输出特征YNS；其中，所述3DShiftedWindowbasedMulti-headMaskedSelfAttention层运算过程如位特征XS均匀划分为N个窗口大小为w×w×w的移位特征块集合其中，移块进行Multi-headMaskedSelfAttention操作，得到移位变换特征块集合再将移位变换特征块集合中所有移位变换特征块进行拼接，将移位过三个空间轴逆方向的循环移位操作得到3DShiftedWindowbasedMulti-headMaskedSelfAttention层的输出特[0023]式中，K和P分别表示所述3DPatchPartition模块的输入特征和3DPatch第一3DSwinTransformer模块和第二3DSwinTransformer模块的输出特征；2和2分别表示3DMaskedSwinTransformer模块A中3DWindowbasedMulti-headMaskedSelfAttention层的输出特征和3DMaskedSwinTransformer模块B中3DShiftedWindowbasedMulti-headMaskedSelfAttention层的输出特征；3DW-MMSA和3DSW-MMSA分别表示3DWindowbasedMulti-headMaskedSelfAttention层和3DShiftedWindowbasedMulti-headMaskedSelfAttention层；MLP1和MLP2分别表示第一Multi-LayerPerceptron层和第二Multi-LayerPerceptron层；LNormalization层、第二LayerNormalization层、第三LayerNormalization层和第四[0027]步骤S2中，所述第二3DMaskedSwinTransformer模块、第三3DMaskedSwinTransformer模块和第四3DMaskedSwinTransformer模块采用与所述第一3DMasked示第一跳跃连接模块中第一输入路径的输入特征和第一跳跃连接模块中第二输入路径的[0034]式中，X1和X2分别表示CrossAttention块的两个输入特征；表示Cross和I2分别表示所述特征融合块的第一输入特征和特征融合块的第二输入[0040]式中，Din和Dout分别表示所述第一解码模块的输入特征t2t1ceflair在通道维度上进行拼接操作得到多进行切片得到二维切片图像l!.原始切片顺序将所有二维背景掩码图ID.a,i=1,2,…,128在横断面方向维度中进行拼图像首先经过图像二值化操作得到二值图像然后，二值图像liw,经过形态学操像素的第j个类别的独热编码，Yi,j表示模型预测结果在第i个像素的第j个类别的独热编[0056]本发明提出的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法，具有的主要[0057]本发明提出的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法中，创造性地干扰，使本发明提出的分割模型获得更好的分割性能；相比于大部分标准transformer模[0058]本发明提出的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法中，提出了三块；所述3DMaskedSwinTransformer模块由3DMaskedSwinTransformer模块A和3DMaskedSwinTransformer模块B组成；所述3DMaskedSwinTransformer模块A由第一LayerNormalization层和第一Multi-LayerPerceptron层依次连接组成，其中在第一LayerNormalization层的输入端和3DWindowbasedMulti-headMaskedSelfMulti-LayerPerceptron层的输出端之间添加残差连接；所述第二3DMaskedSwinTransformer模块B由第三LayerNormalization层、3DShiftedWindowbasedMulti-headMaskedSelfAttention层、第四LayerNormalization层和第二Multi-LayerPerceptron层依次连接组成，其中在第三LayerNormalization层的输入端和3DShiftedWindowbasedMulti-headMaskedSelfAttention层的输出端之间添加残差连接，在第四LayerNormalization层的输入端和第二Multi-LayerPerceptron层的输出端之间添加basedMulti-headMaskedSelfAttention层运算，得到3DWindowbasedMulti-headMaskedSelfAttention层输出特征Y；其中，所述3DWindowbasedMulti-headMaskedSelfAttention层运算过程如下：首先将3DWindowbasedMulti-headMaskedSelf中的每个特征块进行Multi-headMaskedSelfAttention操作，得到变换特征块集合最后将变换特征块集合中所有变换特征块进行拼接，将变换特征块[0071]式中，和分别表示Multi-headMaskedSelfAttention操作的输入特征和小为1×1×1；M表示所述脑部MRI医学图像的三维背景区域掩码图；d表示的通道数；集合再将移位变换特征块集合中所有移位变换特征块进行拼接，将YS通过三个空间轴逆方向的循环移位操作得到3DShiftedWindowbasedMulti-headMaskedSelfAttention层的输出特征YY,etal.Swintransformer:Hierarchicalvisiontransformerusingshiftedwindows[C]//ProceedingsoftheIEEE/CVFInternationalConferenceonComputer[0074]所述步骤S1-S2中所提到的Multi-LayerPerceptron层，参见“RumelhartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[0075]所述步骤S1-S2中提到的LayerNormalization层，参见“BaJL,KirosJR,HintonGE.Layernormalization[J].arXivpreprintarX过数据预处理的脑部MRI医学图像，输出为肿瘤区域分割结果；所述基于3DMaskedSwinTransformer模块的编码器模块由3DPatchPartition模块、第一3DMaskedSwin模块、第三3DMaskedSwinTransformer模块、第三下采样模块和第四3DMaskedSwin接模块和第三跳跃连接模块均由CrossAttention块和特征融合块依次连接组成，所述第采样模块中，第二路的输出输入到第一跳跃连接模块的第二输入路径中；所述第四3DMaskedSwinTransformer模块的输出路径为一路，该路径输出将输入到所述解码器模块[0080]式中，K和P分别表示所述3DPatchPartition模块的输入特征和3DPatch第一3DSwinTransformer模块和第二3DSwinTransformer模块的输出特征；和分别表示3DMaskedSwinTransformer模块A中3DWindowbasedMulti-headMaskedSelfAttention层的输出特征和3DMaskedSwinTransformer模块B中3DShiftedWindowbasedMulti-headMaskedSelfAttention层的输出特征；3DW-MMSA和3DSW-MMSA分别表示3DWindowbasedMulti-headMaskedSelfAttention层和3DShiftedWindowbasedMulti-headMaskedSelfAttention层；MLP1和MLP2分别表示第一Multi-LayerPerceptron层和第二Multi-LayerPerceptron层；LNormalization层、第二LayerNormalization层、第三LayerNormalization层和第四[0084]具体的，所述第二3DMaskedSwinTransformer模块、第三3DMaskedSwinTransformer模块和第四3DMaskedSwinTransformer模块采用与所述第一3DMasked示第一跳跃连接模块中第一输入路径的输入特征和第一跳跃连接模块中第二输入路径的[0091]式中，X1和X2分别表示CrossAttention块的两个输入特征；表示CrossAttention块的输出特征；f4，f5，f6均采用卷积函数；d表示X2的通道数；softmax表示和I2分别表示所述特征融合块的第一输入特征和特征融合块的第二输入[0097]式中，Din和Dout分别表示所述第一解码模块的输入特征为4；所述脑部MRI医学图像Xinput通过3DPatchPartition模块运算后，得到分块特征Xpatch一3DMaskedSwinTransfor一编码特征e1从第一3DMaskedSwinTransformer模块的第一输出路径输入到第一下采样模块中，同时所述第一编码特征e1从第一3DMaskedSwinTransformer模块的第二输出路径输入到第三跳跃连接模块的第二输入路ed1输入到第二3DMaskedSwin述第二编码特征e2从第二3DMaskedSwinTransformer模块的第一输出路径输入到第二下采样模块中，同时所述第二