CN114463341B 一种基于长短距离特征的医学图像分割方法 （武汉大学）

.2023,1-17.一种基于长短距离特征的医学图像分割方法本发明涉及一种基于长短距离特征的医学图像分割方法。利用Pytorch深度学习框架搭建transformer和卷积网络为基础的编码器和解码2步骤1，首先将训练集中图像裁剪为C×H×W的尺寸采用以transformer和卷积网络为基础的编码器和解码器的设计模式，编码器模块由两个卷积特征提取模块进行初步特征提取后，并行使用MEtransformer模块提取长距离全MEtransformer模块包括轴向多头注意力模块和掩膜模块，轴向多头注意力模块的输patch通过全连接层映射成长度为C的向量，将这N个向量按原有顺序组合成尺寸为的特征图，并将该特征图按H和W方向分别取平均值转变为和阵乘积生成的查询集上进行注意力机制的高斯加权计算，最后把加权后的查询集与V进行全局局部特征融合模块的输入为长距离特征图和短距离特征图，在尺度上均为(B,C,证特征激活的分布，每一个block生成的特征图都会保存下来作为低阶特征的skip连接送3式中，CrossEntropyLoss表示交叉熵损失函数值，DiceLoss为集合相似度度量函生成两个skip特征；接着将低维特征分别送入MEtransformer模块和另一个卷积特征提取重乘到近距离特征上，然后进行卷积压缩和堆叠，得到初步的融合特征，尺寸依然为再次进行更进一步的长、短距离特征提取与融合，进一步压缩特征为4[0006]本发明针对现有技术的不足，提供一种基于长短距离特征的医学图像分割方5transformer和卷积网络为基础的编码器和解码器的设计模式，通过带有掩膜的高效卷积网络为基础的编码器和解码器的设计模式，编码器模块由卷积特征提取模块、MEtransformer模块和全局局部特征融合模块组成。首先图像张量通过两个卷积特征提取[0014]MEtransformer模块包括轴向多头注意力模块和掩膜模块，轴向多头注意力模块个patch通过全连接层映射成长度为C的向量，将这N个向量按原有顺序组合成尺寸为的特征图，并将该特征图按H和W方向分别取平均值转变为和[0015]全局局部特征融合模块的输入为长距离特征图和短距离特征图，在尺度上均为6[0016]反卷积解码器模块由多个基于卷积和双线性插值的解码器block组成，将第二个长距离全局特征和短距离局部特征，此时也会生成一个skip特征，共计3个skip特征，MEtransformer模块在transformer的多头注意力的基础上将特征变成轴向注意力以降低7[0025]2)针对长距离和短距离两个特征进行融合的问题，提出了长短距离特征融合模[0032]图6为本发明胃部息肉病变区域图像分割的效果图，其中图6(a)为胃部息肉病变[0038]采用以transformer和卷积网络为基础的编码器和解码器的设计模式，编码器模通过两个卷积特征提取模块进行初步特征提取后，并行使用MEtransformer模块提取长距8力模块的输入为图像张量(B,C,H,W)，首先将图片分成大小为2×2的patch，数量为成尺寸为的特征图，并。将该特征图按H和W方向分别取平均值转变为和在此基础上通过矩阵乘法分别求得矩阵Q、该模块关注长距离信息从而降低近距离特征的权重，最后把加权后的查询集与V进行矩阵[0041]全局局部特征融合模块(TCFuse)：该模块的输入为长距离特征图和短距离特征网络模型超参数learn_rate＝0.01，momentum＝0.9，weight_decay＝0.0001，经过9寸均为4×512×64×64长距离全局特征和短距离局部特征(此时也会生成一个skip特征，部特征融合模块，以长距离特征为输入在通道上生成512×1×1的通道权重乘到近距离特[0050]解码阶段：输入为4×1024×32×32的编码结构生成的压缩特征，首先进行上采域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替