CN119417842A 一种基于pvt改进的自注意力内镜息肉分割方法 （安徽工业大学）

一种基于PVT改进的自注意力内镜息肉分割本发明公开了一种基于PVT改进的自注意力并进行预处理和标注，得到图像数据和真实标签；将图像数据输入至基于PVT和空间通道自注现有方法中对极小的息肉区域以及高度模糊边2S3，基于上下采样和哈达玛积构建多尺度交叉融S4，将所述融合后的四个特征图输入至解码S5，将所述数据集中的真实标签输入至解码器，得2.根据权利要求1所述的一种基于PVT改进的自注意力内镜息肉分割方法，其特征在S1_2，对所述若干帧图像进行图像预处理，S1_3，将若干标签图像和预处理后的若干帧图像一3.根据权利要求1所述的一种基于PVT改进的自注意力内镜息肉分割方法，其特征在所述空间通道自注意力模块由空间自注意力模块和通道自注意力模式X'＝conv3[conv2(SA(conv1(X)))+conv2(CA(conv1(X)))]得到融合后的自注意力输4.根据权利要求1所述的一种基于PVT改进的自注意力内镜息肉分割方法，其特征在3p5.根据权利要求1所述的一种基于PVT改进的自注意力内镜息肉分割方法，其特征在pqqpqqpq的通道自注意力输出。6.根据权利要求1所述的一种基于PVT改进的自注意力内镜息肉分割方法，其特征在Hadamard乘积，fn表示所述多尺度特征，fm'表示融合后的四个特征图，且f1∈Rc×h×w，7.根据权利要求1所述的一种基于PVT改进的自注意力内镜息肉分割方法，其特征在8.根据权利要求1所述的一种基于PVT改进的自注意力内镜息肉分割方法，其特征在4Net、SegNet和DeepLabV3+为基础改进的模型在处理边缘模糊以及息肉内部有剧烈变化方基于PVT改进的自注意力内镜息肉分割方法，用于解决现有方法中对极小的息肉区域以及5[0012]S6，将所述第一预测图和第二预测图通过双线性插值恢复至输入图像大小并相[0013]通过基于PVT和空间通道自注意力模块的特征提取网络对输入图像进行特征提高了该内镜息肉分割模型对息肉的识别能力；利用解码器得到了第一预测图和第二预测过公式X'＝conv3[conv2(SA(conv1(X)))+conv2(CA(conv1(X)))]得到融合后的自注意表示经过卷积层处理后得到的特征图B中第i个位置的特征向量，Cj表示经过conv1卷积块处理后得到的特征图C中第j个位置的特征向量，Di表示经过conv1卷积块处理后得到的特6[0022]进一步地，所述通道自注意力模块的计算公式为qpqpHadamard乘积，fn表示所述多尺度特征，fm'表示融合后的四个特征图，且f1∈Rc×h×w，其中，loss%,o表示加权交集联合损失7[0028]通过加权交集联合损失函数和加权二进制交叉熵损失函数分别计算第一预测图、[0030]通过引入基于PVT的特征提取金字塔结构和设计的双自注意力机制，提高了模型[0032]图1为本发明提供的一种基于PVT改进的自注意力内镜息肉分割方法的技术流程[0038]请参阅图1－图5，本发明实施例提供了一种基于PVT改进的自注意力内镜息肉分8[0044]S6，将所述第一预测图和第二预测图通过双线性插值恢复至输入图像大小并相首先训练集中的图像会被输入至由PVT的主干网络和空间通道自注意力模块构成的特征提主干网络是一种结合了Transformer架构和金字塔结构的网络，它通过多个阶段逐步减小通过线性变换映射到高维空间，以生成特征序列，接着这些特征序列会被输入多个[0047]本实施例中的空间通道自注意力模块由空间自注意力模块和通道自注意力模块征，SA()表示空间自注意力模块，CA()表示通道自注意力模块，conv1()表示3x39特征图B中第i个位置的特征向量，Cj表示经过conv1卷积块处理后得到的特征图C中第j个ppqqpqqpq的通道自注意力输出。将它们的结果重塑形状为最后将其乘以一个可学习的尺度参数β,并与特征Aq进息肉分割模型在处理具有挑战性的医学图像时能够表现[0054]接着，采用了双解码器的结构对融合后的四个特征图进行解码操作，通过公式的真实标签传递至解码器，得到与P1和P2尺寸分别相同的第一真实标签G1和第二真实标签到最终的预测图Y，然后与真实标签通过评价指标计算公式了预测分割与真实标签之间的重叠比例，值越接近1表示预测分割与真实标签之间的重叠然后通过空间通道自注意力