CN114612479B 基于全局与局部特征重建网络的医学图像分割方法和装置 （苏州大学）

基于全局与局部特征重建网络的医学图像本发明涉及一种基于全局与局部特征重建建网络，其中的全局特征重建GFR模块通过全局描述子将语义信息从高层级特征引入到低层级建LFR模块实现基于低阶段特征图引导的特征动特征图中的空间细节信息传递到高阶段特征图术中U型编解码器网络中的全局特征提取与长距2将待检测图片输入预先训练好的全局与局部特征重建网模块，所述全局特征重建GFR模块嵌入所述特征编码模块和所述特征解码模块的跳跃连接利用全局特征重建GFR模块结合所述每层特征图与高层特征图的全局描述子生成每层利用全局特征重建GFR模块预测每层特征图中所有像素的重建权重，与所述跨级全局利用所述特征解码模块中的局部特征重建LFR模块将相邻高一阶段高分辨率语义特征所述特征解码模块包括多个阶段的局部特征重建LFR模块第0层级的特征图，第3和第2阶段LFR模块的输入Y和Z分别为相邻高一阶段LFR模块的输出将所述局部特征重建LFR模块的两个输入特征图Y和Z分别通过两个1*1卷积层降低通将Y进行双线性上采样使得所述两个输入特征图达到相同的空间分辨率，并将其按元将Y通过3×3卷积层降低通道数，并采用对重建后的局部特征图与输入Z按通道维度拼接，并经过两个3×3卷积层融合得到当将第1阶段LFR模块输出的高分辨率语义特征图进行上采样得2.根据权利要求1所述的基于全局与局部特征重建网络的医学图像分割方法，其特征在于，所述全局与局部特征重建网络训练过程采用的损失函数为整体损失函数3.根据权利要求1所述的基于全局与局部特征重建网络的医学图像分割方法，其特征4.根据权利要求1所述的基于全局与局部特征重建网络的医学图像分割方法，其特征3将Xl输入两个1*1的卷积层分别生成注意力图和嵌根据所述注意力图和所述嵌入特征生成所述h和dk分别表示所述全局描述子的维度和个数，每层特征图的全局描述子维度均设置5.根据权利要求4所述的基于全局与局部特征重建网络的医学图像分割方法，其特征在于，所述利用全局特征重建GFR模块结合所述每层特征图与高层特征图的全局描述子生l+16.根据权利要求1所述的基于全局与局部特征重建网络的医学图像分割方法，其特征全局描述子相乘实现特征重建，并与所述每层特征图相加得到每层的全局重建特征图包将所述特征图Xl通过一个1*1卷积层得到所述重建权重其中m表示第l层特征图对应的所述高层特征图产生并连接到所述第l层特征按通道方向采用softmax函数对所述重建权重进行归一化得到重建特征成=将所述重建特征通过1*1卷积层恢复通道数量并与所述特征图Xl相加，得到7.根据权利要求1所述的基于全局与局部特征重建网络的医学图像分割方法，其特征在于，所述利用所述特征解码模块中的局部特征重建LFR模块将相邻高一阶段高分辨率语所述局部特征重建LFR模块的两个输入特征图Y和Z分别通过两个1*1卷积层降低通道将Y进行双线性上采样使得所述两个输入特征图达到相同的空间分辨率，并将其按元4利用所述局部重建核预测值对每个位置[i，j]将Yout和相邻低一层级全局重建特征图或者编码器第0层级特征图作为下个阶段LFR模输入模块，用于将待检测图片输入预先训练好的全局与局模块的特征解码模块，所述全局特征重建GFR模块嵌入所述特征编码模块和所述特征解码特征编码模块，用于利用所述特征编码模块对所述待检测跨级描述子生成模块，用于利用全局特征重建GFR模块结合所述每层特征图与高层特全局特征重建模块，用于利用全局特征重建GFR模块预测每层特征图中所有像素的重特征解码模块，用于利用所述特征解码模块中的局部特征重建LFR模块将相邻高一阶所述特征解码模块包括多个阶段的局部特征重建LFR模块第0层级的特征图，第3和第2阶段LFR模块的输入Y和Z分别为相邻高一阶段LFR模块的输出将所述局部特征重建LFR模块的两个输入特征图Y和Z分别通过两个1*1卷积层降低通将Y进行双线性上采样使得所述两个输入特征图达到相同的空间分辨率，并将其按元将Y通过3×3卷积层降低通道数，并采用5对重建后的局部特征图与输入Z按通道维度拼接，并经过两个3×3卷积层融合得到当将第1阶段LFR模块输出的高分辨率语义特征图进行上采样得处理器，用于执行所述计算机程序时实现如权利要求1一种计算机可读存储介质，其特征在于，所6及特征图空间信息的恢复对于以U-Net为代表的编解码结构网络至关重要。虽然在许多医图的下采样操作使得卷积网络拥有更大的感受野，在深层可以获得特征间的长距离依赖，池化金字塔(AtrousSpatialPyramidPooling,ASPP)借助多个并行的空洞卷积提取多尺度建模，具有代表性的研究如基于空间注意力机制的非局部(Non-local)模块和基于通道注个像素之间的联系使得网络能够生成强大的像素级特征表示，但Non-local模块需要计算[0005](3)解码器阶段的特征上采样通常采用仅依赖于像素间距离的最近邻插值或者双现特征融合之前的语义对齐，并借助深监督机制在自然图像分割任务中获得出色的表现。基于空间信息包含于通道假设的亚像素卷积(sub-pixelconvolution)技术广泛应用于图7[0006]为此，本发明所要解决的技术问题在于克服现有技术中U型编解码器网络中的全解码模块，所述全局特征重建GFR模块嵌入所述特征编码模块和所述特征解码模块的跳跃[0009]利用所述特征编码模块对所述待检测图片进行特征提取，得到多个层级的特征[0011]利用全局特征重建GFR模块结合所述每层特征图与高层特征图的全局描述子生成[0012]利用全局特征重建GFR模块预测每层特征图中所有像素的重建权重，与所述跨级[0013]利用所述特征解码模块中的局部特征重建LFR模块将相邻高一阶段局部重建特征[0017]优选地，所述特征编码模块采用基于ImageNet预训练的ResNet[0019]将特征图按其空间维度拉平，得到作为所述全局特征重建GFR模块8h和dk分别表示所述全局描述子的维度和个数,每层特征图的全局描述子维度均设置为所有层级特征中最小的通道数,每一个所述全局描述子⃞(s=1,2,3,…,d)由Bl空间[0024]优选地，所述利用全局特征重建GFR模块结合所述每层特征图与高层特征图的全n)eRt)4tr生成第l层级的跨级全局描述子示第l层特征图对应的所述高层级特征图产生并连接到所述第l层特征图的全局描述子数[0029]按通道方向采用softmax函数对所述重建权重进行归一化得到重建特征[0030]将所述重建特征通过1*1卷积层恢复通道数量并与所述特征图Xl相[0031]优选地，所述利用所述特征解码模块中的局部特征重建LFR模块将相邻高一阶段第4阶段LFR模块的输入Y为所述第4层级全局特征重建GFR模块的输出、输入Z为所示第3层为编码器第0层级的特征图，第3和第2阶段LFR模块的输入Y和Z分别为相邻高一阶段LFR模[0033]所述局部特征重建LFR模块的两个输入特征图Y和Z分别通过两个1*1卷积层降低[0034]将Y进行双线性上采样使得所述两个输入特征图达到相同的空间分辨率，并将其按元素相加融合后经过一个3×3卷积层得到局部重建核xeRKXHXW预测值k=9[0040]对重建后的局部特征图Y'与输入Z按通道[0041]将Yout和相邻低一层级全局重建特征图或者编码器第0层级特征图作为下个阶段[0045]全局描述子生成模块，用于利用全局特征重建GFR模块为每层特征图生成全局描[0046]跨级描述子生成模块，用于利用全局特征重建GFR模块结合所述每层特征图与高[0047]全局特征重建模块，用于利用全局特征重建GFR模块预测每层特征图中所有像素在的语义信息不平衡问题；局部特征重建LFR模块实现基于低阶段特征图引导的特征动态[0065]图10是本发明实施例提供的一种基于全局与局部特征重建网络的医学图像分割[0066]本发明的核心是提供一种基于全局与局部特征重建网络的学图像分割方法、装[0068]请参考图1和图2，图1为本发明基于全局与局部特征重建网络的医学图像分割方[0070]所述全局与局部特征重建网络GLFRNet包括特征编码模块、全局特征重建GFR模最后的全局池化和全连接层,ResNet34采用的残差机制可以加快网络的收敛速度并且避免[0073]所述全局与局部特征重建网络训练过程采用的损失函数为整体损失函数[0085]S102:利用所述特征编码模块对所述待检测图片进行特征提取，得到多个层级的[0087]S104:利用全局特征重建GFR模块结合所述每层特征图与高层特征图的全局描述[0088]全局特征重建GFR模块通过全局描述子将语义信息从高层级特征引入到低层级特跨级全局描述子相乘实现特征重建，并与所述每层特征图相加得到每层的全局重建特征[0090]S106:利用所述局部特征重建LFR模块将相邻高一阶段局部重建特征图与相邻低[0091]局部特征重建LFR模块实现基于低阶段特征图引导的特征动态上采样，通过动态[0092]利用所述特征解码模块，用于利用所述4个阶段的局部特征重建模块通过动态重[0095]S131:将特征图按其空间维度拉平，得到作为所述全局特征重建[0096]S132:将Xl输入两个1*1的卷积层分别生成注意力图和嵌入特征h和dk分别表示所述全局描述子的维度和个数,由于不同层级特征图的通道数不发明与SE模块(Squeeze-and-ExcitationNetworks)采用基于所有像素取平均的全局池化l中的每一组按通道平均，得到深监督的预测。第s个全局描述子醇(s=1,2,3,…,dx)取决于中的第s[0102]利用zi=concat(z,zm,…,znn)eRt)4⃞tr生成第l层级的跨级全局描述子低层级特征图将同时获得语义信息和空间细节信息，即GFR模块通过采用少数几个全局描中m表示第l层特征图对应的所述高层级特征图产生并连接到所述第l层特征图的全局描述[0108]S152:按通道方向采用softmax函数对所述重建权重进行归一化得到重建特征中第4阶段LFR模块的输入Y为所述第4层级全局特征重建GFR模块的输出、输入Z为所示第3[0113]S162:所述局部特征重建LFR模块的两个输入特征图Y和Z分别通过两个1*1卷积层将其按元素相加融合后经过一个3×3卷积层得到局部重建核预测值K=[0117]S165:利用所述局部重建核预测值对每个位置[i，j]的k×k邻域进行线性组合以[0120]为了在重建过程中保留相对位置信息、获得具有丰富语义信息yli,j]~p[i+n,j+m],即可使二者的特征值接近一致。[0123]S167:将Yout和相邻低一层级全局重建特征图或者编码器第0层级特征图作为下个[0124]S168:将第一阶段LFR模块输出的高分辨率语义特征图通过一次双线性上采样得视网膜积液分割、腹部CT图像中多器官分割等多种医学图像分割任务对本方法进行了验进行了比较，包括U-Net、注意力U-Net(AttentionU-Net)、U-Net++、CE-Net、PSPNet、[0130]附表1结肠镜图像中结肠息肉分割的对比实验和消融实验结果(p-value表示对本发明GLFRNet与其他方法的平均Dice系数进行威尔科克森符号秩检验得到的统计差异度，时的结肠息肉分割，但是其性能在3个指标上均比本发明GLFRNet方法差很多。HarDNet-MSEG网络采用HarDNet作为骨干网络、基于多尺度卷积的级联部分解码器和基于膨胀卷积的感受野块(ReceptiveFieldBlock，RFB)作为跳跃连接，其整体的编解码结构与本发明有层级的特征一视同仁，而本发明提出的局部特征重建LFR模块充分考虑了特征图之间的样特征；(ii)本发明提出的全局特征重建GFR模块中采用的自注意力机制比HarDNet-MSEG网络中感受野块RFB中采用的卷积和膨胀卷积更灵活。为了结合CNN和注意力机制的优势，发明GLFRNet与其他方法的Dice系数指标进行了威尔科克森符号秩检验(Wilcoxonsigned-[0136]图6以展示了采用U-Net原始的简单跳跃连接和采用本发明的GFR模块作为跳跃连+LFR)，也能全面提升分割性能，这受益于LFR模块恢复高阶段特征图空间信息的能力。通道压缩技术。为了验证低阶段特征图对构造高阶段特征图的上采样过程具有指导作用，删除LFR模块低阶段特征图的引导(基准网络+LFR_/w/o_LG)，即低阶段特征图不参与局部表明本发明采用的每一阶段采用一个LFR模块对于空间信息的重建和相邻阶段特征对齐是插入编解码网络。本发明提出的局部特征重建LFR模块仅采用了像素周围k×k邻域的像素[0141]采用来自上海市第一人民医院眼科中心的600张病理性近视眼底彩照图像对本发GLFRNet的Dice、IoU、敏感性Sen和正确率Acc分别达到87.61％、79.28％、86.12％和状和尺寸差异很大，但本发明提出的GLFRNet利用GFR模块和LFR模块可以分别从全局和局[0143]附表2眼底彩照图像中脉络膜萎缩分割的对比实验和消融实验结果(p-value表示对本发明GLFRNet与其他方法的平均Dice系数进行威尔科克森符号秩检验得到的统计差异[0146]视网膜积液是指由于血-视网膜屏障遭受破坏而导致的渗漏液体在视网膜细胞间[0147]采用MICCAI2017RETOUCH挑战赛提供的70个三维OCT数据(一共6936张二维B扫描图像)来评估本发明GLFRNet在视网膜多类积液联合分割任务中的性能。由于数据量较少，B扫描图像进行尺寸调整，并根据像素灰度分布特性裁剪出256×512的感兴趣区域作为GLFRNet的输入。在测试阶段，对每个三维OCT数据中的每一张二维B扫描图像分别进行分[0148]附表3展示了视网膜多类积液分割任务的对比实验和消融实验结果。由附表3可得了与本发明GLFRNet相当的性能，但是DeepLabV3+的IoU和Dice指标明显低于本发明[0149]附表3视网膜OCT图像中视网膜多类积液分割的对比实验和消融实验结果(1-10行均Dice系数进行威尔科克森符号秩检验得到的统计差异度，p-value值小于0.0[0153]采用来自MICCAI2015多图集腹部脏器标签挑战赛的30个腹部CT扫描(一共3779张[0154]附表4展示了多器官分割任务的对比实