CN119478404A 一种用于多器官分割的多尺度特征融合三重分支网络的方法 （云南大学）

一种用于多器官分割的多尺度特征融合三本发明公开了一种用于多器官分割的多尺度特征融合三重分支网络的方法，包括以下步取全局特征；分别使用空间和通道注意力对CNNTransformer中的固定掩码模式进行改进，捕捉Transformer和Mamba编码器以实现高效的医学2分别使用空间和通道注意力对CNN和Transfomer提取的特征进行处理，将处理后的特设置掩码机制SmartMask，对SwinTransformer中的固定掩码模式进通过并行VisionMamba学习医学图像中的全局特征，对CNN与Transfo2.根据权利要求1所述的一种用于多器官分割的多尺度特征融合三重分支网络的方将经过至少四层的CNN编码器提取的局部特征与Transfomer提取的特征进行融合，具和第四个块的输出与来自Transformer编码器分支的特征3.根据权利要求2所述的一种用于多器官分割的多尺度特征融合三重分支网络的方4.根据权利要求1所述的一种用于多器官分割的多尺度特征融合三重分支网络的方5.根据权利要求1或4所述的一种用于多器官分割的多尺度特征融合三重分支网络的是Q或K的维度，smartMaskeRM2XM2与自注意力矩阵具有相同的大小，在通道中生成36.根据权利要求5所述的一种用于多器官分割的多尺度特征融合三重分支网络的方7.根据权利要求1所述的一种用于多器官分割的多尺度特征融合三重分支网络的方8.根据权利要求7所述的一种用于多器官分割的多尺度特征融合三重分支网络的方将全局特征输入到通道注意机制中，利用通道映射之间的相互将局部特征输入到空间注意机制中，以选择性地增反向残差多层感知器包括一个带有残差的3x3深度卷积和2个线性变换层，在扩展通49.根据权利要求1所述的一种用于多器官分割的多尺度特征融合三重分支网络的方能力，最后将四个特征通过concat操作组合成通道号C的特征Xout，分别通过LayerNorm和5Transformer高效，并且在序列长度上表现出线性缩放。VisionMamba和VMamba首先将Mamba应用于计算机视觉，分别在两个和四个方向上对图像块进行选择性扫描，实现了与[0009]分别使用空间和通道注意力对CNN和Transfomer提取的特征进行处理，将处理后6[0016]将经过至少四层的CNN编码器提取的局部特征与Transfomer提取的特征进行融和第四个块的输出与来自Transformer编码器分支的特征数，d是Q或K的维度，smartMaskeRM2XM2与自注意力矩阵具有相同的大小，在通道中7[0035]Lf=LA(L)8Li,F″i，[0044]将局部特征输入到空间注意机制中，以选择性地增强重要区域并抑制不相关信[0047]反向残差多层感知器包括一个带有残差的3×3深度卷积和2个线性变换层，在扩以优化远程空间信息获取能力，最后将四个特征通过concat操作组合成通道号C的特征8的特征融合方式(MSFF)，首先分别使用空间和通道注意力对CNN和Transfomer提取的特征9[0075]将经过至少四层的CNN编码器提取的局部特征与Transfomer提取的特征进行融和第四个块的输出与来自Transformer编码器分支的特征[0081]分别使用空间和通道注意力对CNN和Transfomer提取的特征进行处理，将处理后[0082]CNN和Transfomer提取的特征通过多尺度特征融合模块进行融合，多尺度特征融[0084]Lf=LA(L)8L,F/i]))，G/i[0093]将局部特征输入到空间注意机制中，以选择性地增强重要区域并抑制不相关信[0099]SwinTransformer模块包括基于窗口的多头自注意和基于移位窗口的多头自注数，d是Q或K的维度，smartMaskeRM2XM2与自注意力矩阵具有相同的大小，在通道中细节。此外，基于W_MSA和SSW_MSA提供的局部和全局信息，所提出的SmartSwin操作，将最后得到的特征与之前所提取且融合的CNN和Transformer特征进行进一步的融[0119]Synapse多器官分割数据集包括了经过处理的MICCAI2015上的30例临床腹部CT[0123]本申请在一台配有NVIDIARTX3090GPU、24GB显存的设备上进行训练，使用同的医学图像分割任务中，训练期间的超参数设置，如学习率(lr)、学习率策略(lr_[0124]Synapse：lr＝0.0001；lr_scheduler＝CosineAnnea(weight_decay＝0.0001)；Loss＝0.4×Focalloss(Cross_EntropyLoss[0125]ACDC：lr＝0.0001；lr_scheduler＝CosineAnnealing；optimizer＝AdamW(weight_decay＝0.0001)；Loss＝0.4×CE(Cross_EntropyLoss)+0.6×DICE(Dice息错误归类为背景可能导致较高的准确度评分，但这种方式无法真实反映分割的实际效，[0146]本申请总结了基于CNN、Transformer以及Mamba的医学图像分割实验中的基线比[0149](3)MISSFormer重新设计了前馈网络ReMixFFN以及提出了一种ReMixedTransformer上下文桥来提取由Transformer编码器生成的多尺度特征中的全局相关性和出了一种新的掩码机制SmartMask来获得丰富础上设计了一种新的注意机制方法：GPA。并将它和Transformer作为联合编码器。(3)E_[0152](2)TransCASCADE/PVTCASCADE提出了一种新的用于二维医学图像分割的分层级联的基于注意力的解码器(CASCADE，该解码器在学习多尺度和多分辨率空间表示的同时，充分利用了视觉变换器的多级特征表示。(3)PFD_UNet利用基于PVTv2的Transformer作为卷积残差(FFCR)模块进一步增强局部和全局特征表示。(4)CTC_Net设计了双重编码路径，即CNN和Transformer编码器，用于产生互补特征，并提出出了一个有效的特征互补模块(3)HC_Mamba提出了HC_Mamba模块，通过将扩张卷积和深度可分离卷积相结合并引入到次，通过一种有效的特征融合方式(MSFF)来交叉融合CNN和改进Transformer变换域的特请选取了16种先进的方法进行对比，对比测试如表2所示，TB_UNet的平均DSC(％)达到