CN113989301B 一种融合多种注意力机制神经网络的结直肠息肉分割方法 （浙江工业大学）

区一种融合多种注意力机制神经网络的结直本发明公开了一种融合多种注意力机制神机多尺度放大缩小和0～360度随机旋转等方法注意力机制的神经网络，其中包含特征提取模感受野增强模块和逆向注意力边界增强模块；参数，确定网络参数后与神经网络共同组成模22)构建包含多种注意力机制的神经网络，其步骤2)中通道分组空间增强模块、轴向自注意力结合感接着利用这个全局特征GF和局部特征xi进行点积运算生成每一个子特征对应的注意力ii通过sigmoid激活函数得到最终增强的特征分组yi；bd分别代表来自前景,背景和解码器的特征图对应的特征向量,i代表在空间维3然后通过权重加总得到得到每个特征向量的相似性分数kf,kb,kd；再通过加权平均得3)利用训练样本训练所述神经网络，优化网2.如权利要求1所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征3.如权利要求1所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征4[0002]结直肠癌(ColorectalCancer,CRC)是一种常见的消化道恶性肿瘤,是全球第三大癌症.大多数结直肠癌由腺瘤性息肉演变而来,因此结直肠癌的早期诊断对提高结直肠四和第五阶段,则下降到35％以下.目前,结于手工提取特征在描述异质息肉以及息肉与难样本之间的相似性时表征能力有限,所以通5[0018]接着利用这个全局特征GF和局部特征xi进行点积运算生成每一个子特征对应的[0022]步骤2.3)构建逆向注意力边界增强模块：将从解码器中的得到的特征图视为m6[0037]步骤3.3)测试训练后模型的分割性能，使用测试集验验证训练后模型的分割效道分组空间增强模组,通过为每个语义特征组中的每个空间位置生成一个注意力因子来调整每一个子特征的重要性,使每个分组可以自主地调整各组学到的特征的相关性,从而增强骨干网络的特征。所述轴向自注意力模块结合感受野策略,能对局部特征建立丰富的上下文依赖模型,对远程依赖关系进行建模,获得同时具有边缘细节的低级特征和全局语义增强网络对于较小的以及组织边界模糊的息肉7[0046]本发明实施例提供了一种融合多种注意力机制神经网络的结直肠息肉分割示意对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转等方法进行图像增[0053]如图1所示，使用Res2Net作为特征提取骨干网通道分组空间增强模块调整各组别特征相关性,增强骨干网络提取到的特征。在通道空间增强模块之后额外增加了基于轴向自注意力感受野模块的编码路径,这不仅能对局部特征建立丰富的上下文依赖模型,对远程依赖关系进行建模,还能获得同时具有边缘细节的低级特征和全局语义高级特征。之后特征图会被送入部分解码器并得到全局特征图,全及解码器的特征向量,以此挖掘边界信息,增强网络对于较小的以及组织边界模糊的息肉的分割能力.最后从逆向注意力边界增强模块输出的特征图将和解码器输出的全局特征图H×W表示特征图的大小,G代表分组数,根据实验设置的批处理大小,并结合每一层骨干网络得到的特征图通道数,同时防止过小的分组造成特征细节缺失,当得到的特征图通道数[0057]接着我们利用这个全局特征GF和局部特征xi进行点积运算生成每一个子特征对8各种不同样本之间的系数的偏差幅度过大,对系数ci做了归一化得到注意力特征图ai,即：层扩大感受野后进入轴向自注意力模块,最后与1×1感受野路径的特征图进行通道拼接后图视为md,并以此得到对应的前景特征图mf和背景特征图mb,间维度的每一个像素,然后我们计算每一个以上特征向量和来自编码器的特征图的相似性.9[0082]按照上述融合多种注意力机制的神经网络结直肠