CN115331024B 一种基于深度监督和逐步学习的肠道息肉检测方法 （浙江工业大学）

GuidanceandMulti-ScaleAggreJournalofBiomedical1435.一种基于深度监督和逐步学习的肠道息肉本发明公开了一种基于深度监督和逐步学征与前一个多尺度解码器的输出结果输入多尺2输入待检测的352×352×3的肠道息肉图像，使用PVT_V2对肠镜拍摄图像进行特征提将提取到的四个尺度的特征输入细节增强模块，输出细节增强并将第一至第三融合特征和第四增强特征分别输入第一至第四层多ioS31、对于提取到的四个增强特征fe,f⃞e,fe,f1e,将其以的对应关系输S32、将用双线性插值的方式进行上采样，得到与fide的空间维度相同的特征r=SA(")3解码特征f",其尺度为Hi×Wi×64；S421、将融合特征figfout和前一个多分支解码器输出的解码特征在通4[0003]最近，基于卷积神经网络(CNN)的医学图像检测方法在许多数据集中取得了良好由于CNN模型的自顶向下建模方法以及息肉形态的多变性，这些模型缺乏对全局信息的捕获能力和泛化能力，很多时候会识别不出一些不明显的息肉。Xie等人在2021年提出了于Transformer的方法对检测的主体把握的很好，但是对于低级纹理信息的处理还有所欠[0007]输入待检测的352×352×3的肠道息肉图像，使用PVT_V2对肠镜拍摄图像进行特5[0011]将第一至第四解码特征分别通过一个3×3的卷积，得到四个通道数为1的检测结征f'的高度和宽度；[0015]S23、将S22的结果在通道维度上进行拼接，得到尺度为Hi×Wi×2[0018]S31、对于提取到的四个增强特征将其以的对应关[0028]S36、将与在通道维度上拼接融合，得到尺度为Hi×Wi×128的结果6融合特征f"",其尺度为Hi×Wi×64。fi:i对PVT_V2提取的特征进行逐层学习。通过细节增强捕获细节信息并去除冗余的通道信息，利用指导融合模块逐步融合高语义信息和低语义信息，让高层学习结果指导低层的学习。7[0053]本实例中，为了更好利用Transformer的自注意力机制更好的捕获图像中的全局[0057]肠镜拍摄图像通过PVT_V2的特征提取得到四个尺度的特征其尺io8[0060]S23、将S22的结果在通道维度上进行拼接，得到尺度为Hi×Wi×2[0063]本实例中，如图4所示，对于输入特征fe和由假上采样后通过SA模块生成空间注意力图smapi+1，用空间注意力图与低层特征fe进行元素乘法，得到凸显显著区域的f"并于ff"作跳跃连接。将结果f"与拼接后用3×3的卷积层融合，得到输出[0065]S31、对于提取到的四个增强f假用双线性插值的方式进行上采样，得到与f1e的空间维度相同的特征[0075]S36、将f"r与在通道维度上拼接融合，得到尺度为Hi×Wi×128的结果f"。9融合特征f""",其尺度为Hi×Wi×64。结果f".[0080]本实施例，将第四增强特征ff1e,输入第四层多分支解码器，其尺度为11×11×f""和上一个多分支解码器输出的解码特征先拼接通道后融合为fui,再通过三个不同的[0087]S421、将融合特征和前一个多分支解码器输出到与f""的空间维度相同的特征"p,然后将"和在通道维度上进行拼i[0094]本步骤将解码后的特征分别通过一个3×3的卷积，得到四个通道数为1的检测结[0096]本实例中利用BCE损失和IOU损失来计算最终的显著目标检测结果与真实标签之[0104]本实施例利用多分支融合网络，将主体与边缘分开进行特征的多尺度提取和融[0105]本实施例设计了细节增强模块、指导融合模块和多分支解码模块。在使用Transformer骨干网络提取特征的基础上，用卷积神经网络进行局部信息的增强和特征