CN119399229A 基于金字塔视觉Transformer的息肉图像分割方法 （重庆邮电大学）

号基于金字塔视觉Transformer的息肉图像分Transformer的息肉图像分割方法，属于数字医疗技术领域。该方法包括：通过金字塔视觉Transformer模块捕获全局上下文信息，从多个叉注意力模块从第一阶段的浅层特征图中提取损失和加权IoU损失对前述过程进行训练，训练觉Transformer模块、循环交叉注意力模块和多2S2、通过循环交叉注意力模块从第一阶段的S3、通过多尺度特征融合感知模块对多阶段2.根据权利要求1所述的一种基于金字塔视觉Tran3.根据权利要求2所述的一种基于金字塔视觉Tra给定特征ret,通过线性变化后经过1x1卷积降维后得到Q、K、V矩阵，其中行Softmax归一化得到每个元素注意′u将权重与相应的值进行加权求和并与原始输入F相加后输出结果F′，其表达形式如u34.根据权利要求3所述的一种基于金字塔视觉Transform通过膨胀卷积运算扩大每个分支的感受野，KxK卷积采用Kx1和1xK方式实现；将四5.根据权利要求4所述的一种基于金字塔视觉Tra性插值上采样八倍得到特征FM，最后将得到特征映射FA与FM拼接，再通过两次3x3标准卷6.根据权利要求5所述的一种基于金字塔视觉Transf4[0001]本发明属于数字医疗技术领域，涉及一种基于金字塔视觉Transformer的息肉图害人的生命健康。根据世界卫生组织国际癌症研究机构(InternationalAgencyfor深度学习的图像处理方法改进现有结肠镜技术无疑是最有效的方图。Ameling等人提出基于颜色小波协方差(ColorWavletCovariance,CWC)用于纹理分在图像分析领域取得巨大成功，CNN也被用于医学图像分析。在息肉分割医学任务中，5乏自下而上流的特征共享。UACANet在编码器网络中使用并行轴向注意力用于自下而上流[0008]有鉴于此，本发明的目的在于提供一种基于金字塔视觉Transformer的息肉图像Transformer(PyramidVisionTransformer，PVT)、循环交叉注意力模块(Recurrent每个阶段的特征编码器中均包括一个PatchEmbedding模块和TransformerEncoder模块，6′基础上再进一步聚合不在同一行和同一列元素的上下文信息，最终学习完整的上下文信7环交叉注意力模块(RCCA)精确获取息肉边界等细节信息，实现对息肉细微边界的准确分8[0056]本实施例提供了基于金字塔视觉Transformer的息肉图像分割方法的具体实施方息肉细微的边界。因此，在特征编码器第一阶段输出的特征图通过循环交叉注意力模块通过调节步幅为4、8、16和32，输出特征金字塔为{F1,F2,F3,F4}；给定输入图像大小经过特征主干网络得到四个特征映射其中Ci∈{64,128,9[0067]第一阶段输出的特征映射Fi进入第二个PatchEmbedding模块，进一步分割和映[0068]第二个TransformerEncoder模块继续对特征进行变换，生成第二个尺度的特征[0070]类似地，第二阶段输出的特征映射F2，经过第三个PatchEmbedding模块和[0072]最后，第三阶段输出的特征映射F3通过第四个PatchEmbedding模块和通过线性投影增加通道维度。TransformerEncoder模块则利用自注意力机制对特征进行示，给定特征通过线性变化后经过1×1卷积降维后得到Q、K、V矩阵，其中在Q的空间维度中每个位置u处将Qu、后对其进行Softmax归一化得到每个元素注意力权重图将权重与相[0081]在本实施例的步骤S3中，将F4输入MSFFP模块捕获更丰富语义信息，如图4，将PVTv2编码器中深层特征F4输出的结果输入到多尺度特征融合感知模块中，用于提取多尺[0085]其中，LBee和分别表示加权二进制交叉熵损失和[0088]本实施例在Pytorch框架上实现网络模型的搭建，并在NVIDIARTX309024GBKvasir_SEG实验的最终结果如表[0104]从表2可知，本发明的PMNet在数据集Kvasir_SEG上指标mDice为92％和mIOU为[0108]通过比较不同