CN115965630B 一种基于内窥镜图像的深度融合的肠息肉分割方法及装置 （安徽大学）

号一种基于内窥镜图像的深度融合的肠息肉本发明公开了一种基于内窥镜图像的深度采集内窥镜下肠息肉图像并进行预处理得到训滑动窗口注意力机制模块构建深度特征融合模合模块以及注意力门控模块构建肠息肉图像分窥镜下肠息肉图像输入最优的肠息肉图像分割2步骤二：利用门控轴向注意力机制模块和滑动窗口注=W_MSA(Norm(zi-1))+zi-1zit1=SW_MSA(Norm())+ziy1=FFN(Norm(Z`i))+zit1其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW；步骤三：利用门控轴向注意力机制模块、深度特征融合3步骤五：将实时采集的内窥镜下肠息肉图像输入最优的2.根据权利要求1所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征fn=f－(f·b)=f－fop，=f－(f·b)=f－fu，fhat－fbhac,3.根据权利要求1所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征将内窥镜图像肠息肉特征输入至第一卷积层以及多个门控轴向注意与所有的第二卷积层顺次级联，第一卷积层以及前n_1个第二卷积层的输出端均分别连接4.根据权利要求3所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征使用卷积核为1x1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合得到5.根据权利要求3所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征4lw=-wnIgnlogpn+(1-gn)log(1-pn)l6.根据权利要求5所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征特征融合设备，用于利用门控轴向注意力机制模块和滑动5=W_MSA(Norm(zi-1))+zi-1zit1=SW_MSA(Norm())+ziy1=FFN(Norm(Z`i))+zit1其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW；模型构建设备，用于利用门控轴向注意力机制模块、深度模型训练设备，用于利用训练集训练肠息肉图像分割模型得到最优的肠息结果输出设备，用于将实时采集的内窥镜下肠息肉图像输8.根据权利要求7所述的一种基于内窥镜图像的深度融合的肠息肉分割装置，其特征fn=f－(f·b)=f－fop，=f－(f·b)=f－fu，fhat－fbhac,9.根据权利要求7所述的一种基于内窥镜图像的深度融合的肠息肉分割装置，其特征将内窥镜图像肠息肉特征输入至第一卷积层以及多个门控轴向注意与所有的第二卷积层顺次级联，第一卷积层以及前n_1个第二卷积层的输出端均分别连接6使用卷积核为1x1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合得到7[0003]在早期的研究中，肠息肉分割主要依赖于具有丰富临床经验的专业医生手工分[0005]本发明所要解决的技术问题在于现有技术肠息肉图像分割方法的训练依赖大量8[0012]本发明设计门控轴向注意力机制模块和基于滑动窗口的注意力机制模块相结合[0017]fiua-f-(f-b)-f-fipenchance表示增强后内窥镜下肠息肉图像；[0023]S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模下9[0037]将内窥镜图像肠息肉特征输入至第一卷积层以及多个门积层与所有的第二卷积层顺次级联，第一卷积层以及前n_1个第二卷积层的输出端均分别[0039]使用卷积核为1×1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合[0050]将肠息肉分割结果图与对应标签进行对比，评估肠息肉图像分割模型的分割性[0051]本发明还提供一种基于内窥镜图像的深度融合的肠息肉分割系统，所述系统包fiaa-f-(f-b)-f-fprenchance表示增强后内窥镜下肠息肉图像；[0067]S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模下[0072]其中，Gq,Gk,G,G均是控制参数；[0081]将内窥镜图像肠息肉特征输入至第一卷积层以及多个门积层与所有的第二卷积层顺次级联，第一卷积层以及前n-1个第二卷积层的输出端均分别[0083]使用卷积核为1×1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特征维度联合输入特征融合[0094]将肠息肉分割结果图与对应标签进行对比，评估肠息肉图像分割模型的分割性[0096](1)本发明设计门控轴向注意力机制模块和基于滑动窗口的注意力机制模块相结[0098](3)本发明利用联合损失函数引导分割模型增强学习肠息肉形态和纹理特征，并[0099](4)本发明构建注意力门控模块动态隐式生成目标区域，突显对肠息肉特征有用[0100]图1为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方[0101]图2为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方[0102]图3为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方[0103]图4为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方[0104]图5为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方[0105]图6为本发明实施例1所公开的一种基于内窥镜图像的深度融合的肠息肉分割方enchance表示增强后内窥镜下肠息肉图像；通过特征拼接融合门控轴向注意力机制模块和滑动窗口注意力机制模块以及分割骨干卷1)层的第m个特征图的权重矩阵，*表示为2D的卷积操作，表示第l层的第n个特征图，含一个池化窗口大小为2×2的最大池化层；[0139]步骤S32：构建多尺度输入模块，将输入数据输送至多个门控轴向注意力机制模别作为编码器中第一卷积层和第二卷积层的一[0146]其中，Maphc表示经过ith层注意力门控模块所得到的特征图，Mapncoae表[0161]将肠息肉分割结果图与对应标签进行对比，评估肠息肉图像分割模型的分割性[0163]通过以上技术方案，传统的Transformer结构缺少一些CNN先天的归纳偏置(卷积层的局部分支来对肠息肉图像块进行特征学习，解决了由于缺乏大量带有标签数据的问fiaa-f-(f-b)-f-fprenchance表示增强后内窥镜下肠息肉图像；[0181]S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模下[0195]将内窥镜图像肠息肉特征输入至第一卷积层以及多个门积层与所有的第二卷积层顺次级联，第一卷积层以及前n-1个第二卷积层的输出端均分别[0197]使用卷积核为1×1卷积操作对输入张量进行线性变换，然后依次使用PReLU非线性激活函数和Sigmoid激活函数作为两组注意系数，最后调整特