CN116402800B 基于位置引导和一致性学习的腹部多器官增量分割方法 （西安电子科技大学）

(12)发明专利(10)授权公告号CN116402800B(65)同一申请的已公布的文献号(73)专利权人西安电子科技大学路2号黄陆光徐春盛廉博刘波(74)专利代理机构陕西电子工业专利中心专利代理师王品华(56)对比文件(54)发明名称基于位置引导和一致性学习的腹部多器官增量分割方法本发明公开了一种基于位置引导与一致性学习的腹部多器官增量分割方法，主要解决现有技术增量过程复杂且增量性能低的问题。其实现方案是：首先使用一致性学习策略训练基础网络，以第一次分割常见腹部器官肝、肾、脾、胆、胃；随后通过新增解码器、位置引导模块与深度监督模块的方式，将基础网络扩展到位置引导增量网络，训练该网络，以第二次分割肝、肾、导与一致性学习增量网络，训练该网络，以第三推，完成腹部多器官增量分割。本发明简化了腹部多器官增量分割过程，提升了腹部多器官增量支位7导预热性学习培督模块。构21.一种基于位置引导和一致性学习的腹部多器官增量分割方法，其特征在于，包括：1.1)获取四个公开的腹部CT数据集，前三个数据集中分别标注了肝肾脾胆胃、胰腺、十1.2)对1.1)获取的四个数据集进行图像预处理，并将前三个预处理后的数据集随机划(2)基于UNet网络结构，构建由编码器、解码器与深度监督模块构成的基础网络Net1;(3)使用He初始化方式对基础网络Net1进行初始化，利用有标注的第一训练集A1与无标注的第四训练集C,通过一致性学习策略对其交替迭代训练，得到训练好的基础网络参数(4)将训练好的基础网络参数W1加载到基础网络Net1中，并在Net1中新增一个解码器、两个位置引导模块和一个深度监督模块，构成位置引导增量网络Net2;(5)使用He初始化方式对位置引导增量网络Net2新增结构的参数进行初始化，将其损失函数设置为Dice损失，冻结训练好的基础网络参数W1,使用第二训练集A2和Adam优化器迭代训练位置引导增量网络Net2,直到损失函数值不再下降，得到训练好的位置引导增量(6)将训练好的位置引导增量网络参数W2加载到位置引导增量网络Net2中，并在Net2中新增一个解码器、两个位置引导模块和一个深度监督模块，构成位置引导与一致性学习增量网络Net3;(7)使用He初始化方式对位置引导与一致性学习增量网络Net3新增结构的参数进行初始化，将其损失函数设置为Dice损失，冻结训练好的位置引导增量网络参数W2,使用第三训练集A3和Adam优化器迭代训练位置引导与一致性学习增量网络Net3,直到损失函数值不再下降，得到训练好的位置引导与一致性学习增量网络参数W3;(8)以此类推，后续可将位置引导与一致性学习增量网络Net3继续扩展，以分割更多腹部器官；(9)将第一测试集B1、第二测试集B2与第三测试集B3输入到位置引导与一致性学习增2.根据权利要求1所述方法，其特征在于，所述步骤(1.1)中获取四个公开的腹部CT数据集，包括三个有标签的腹部CT数据集DenseVNet、MICCAIFLARE21和AMOS2022,以及无标3.根据权利要求1所述方法，其特征在于，所述步骤(1.2)中对1.1)获取的四个数据集MICCAIFLARE21数据集中胰腺的标签，保留有标签AMOS2022数据集中十二指肠的标签，其余未使用的标签设置为背景；1.2b)对四个数据集中的腹部CT图像进行裁剪，以裁剪掉无用的黑色边缘；1.2c)将裁剪后的腹部CT图像和标签的尺寸统一调整为144×144×144;1.2d)对调整大小后的腹部CT图像进行归一化，得到归一化后的图像Y:32a)建立由五个卷积块和四个最大池化层构成的编码器，每个卷积块由一个三维卷积2c)建立由一个三维卷积层与一个Softmax激活层构成的深度2d)将编码器与解码器串行连接，将深度监督模块与解码器中第二个卷积块的输出串5.根据权利要求1所述方法，其特征在于，所述步骤(3)中使用He初始化方式对基础网Net1的参数W1’;(3c)重复(3a)-(3b)过程，直到训练集A1中所有数据都被学习过，完成一次有监督学4其中p表示基础网络Net1对T(X)的预测结果的第i个像素点，[T(p)]表示基础网络(3g)重复步骤(3e)-步骤(3f),直到第四训练集C中所有数据都被学习过，完成一次无(4b)建立第一个位置引导模块，其输入为基础网络Net1中编码器的第一个卷积块的输出E1以及基础网络Net1的深度监督模块的输出P1,在该模块内计算背景概率图BP₁₁与前景的背景概率图BP₁₁和前景概率图FP₁₁分别与所述E1逐像素点乘得到位置注意后的背景特征特征图E1',最后使用一个通道注意力SE模块和一个1×1×1的卷积层对E1'进行通道特征出E2以及基础网络Net1的深度监督模块的输出P1,在该模块内计算背景概率图BP₁₂与前景的背景概率图BP₁₂与前景概率图FP₁₂分别与所述E2逐像素点乘得到位置注意后的背景特征图E2B与前景特征图E2,沿通道方向拼接背景特征图E2Bp与前景特征图E2得到位置注意特征图E2’,最后使用一个通道注意力SE模块和一个1×1×1的卷积层对E2’进行通道特征(4f)建立由一个三维卷积层与一个Softmax激活层构成的深度监督模块，该三维卷积5层的卷积核大小为1×1×1,步长为1,通道数为2;(4g)将新增的解码器与基础网络Net1中解码器的第一个卷积块串联，将第一个位置引导模块添加在基础网络Net1的编码器的第一个卷积块与新增解码器的第三个卷积块之间，将第二个位置引导模块添加在基础网络Net1的编码器的第二个卷积块与新增解码器的第二个卷积块之间，将深度监督模块与新增的解码器中第一个卷积块的输出串联，构成位置引导增量网络Net2。8.根据权利要求1所述方法，其特征在于，所述步骤(5)中使用第二训练集A2和Adam优化器迭代训练位置引导增量网络Net2,实现如下：(5a)冻结基础网络参数W1;(5b)在第二训练集A2中取一张CT图像作为位置引导增量网络Net2的输入，得到其新增解码器的预测结果和深度监督输出，计算当前的Lc损失函数值；(5c)对计算得到的LDc损失函数值反向传播求得梯度值，并使用Adam优化器更新位置引导增量网络Net2中新增的解码器、两个位置引导模块和深度监督模块的参数；(5d)重复(5b)-(5c)过程，直到训练集A2中所有数据都被学习过，完成一次迭代学习；(5e)重复(5d)过程，进行多次迭代学习，直到损失函数值不再降低结束训练，得到位置引导增量网络参数W2。9.根据权利要求1所述方法，其特征在于，所述步骤(6)中构建位置引导与一致性学习增量网络Net3,实现如下：(6a)建立由三个卷积块、三个上采样层和一个Softmax激活层构成的新增的解码器，每个卷积块由一个三维卷积层、一个BN层和一个Relu激活层构成，该三维卷积层的卷积核为3×3×3,步长为1,padding设置为“SAME”,最后一个卷积块的输出有2个通道；(6b)建立第一个位置引导模块，其输入为基础网络Net1中编码器的第一个卷积块的输出E1、基础网络Net1的深度监督模块的输出P1以及位置引导增量网络Net2的深度监督模块的输出P2,在该模块内计算背景概率图BP₂1与前景概率图FP21:其中P1₀是P1的第一维通道，P2,是P2的第二维通道；(6c)将背景概率图BP₂1与前景概率图FP₂₁上采样到与所述E1相同的大小，并将上采样后的背景概率图BP₂1与前景概率图FP₂1分别与所述E1逐像素点乘得到位置注意后的背景特征图E1Bp'与前景特征图E1pp,沿通道方向拼接背景特征图E1Bp’与前景特征图E1p’得到位置注意特征图E1”,最后使用一个通道注意力SE模块和一个1×1×1的卷积层对E1”进行通道特征注意；(6d)建立第二个位置引导模块，其输入为基础网络Net1中编码器的第二个卷积块的输出E2、基础网络Net1的深度监督模块的输出P1以及位置引导增量网络Net2的深度监督模块的输出P2,在该模块内计算背景概率图BP₂2与前景概率图FP₂2:其中P1₀是P1的第一维通道，P2,是P2的第二维通道；(6e)将背景概率图BP₂2与前景概率图FP₂₂上采样到与所述E2相同的大小，并将上采样后6的背景概率图BP₂₂与前景概率图FP₂2分别与所述E2逐像素点乘，得到位置注意后的背景特征图E2B'与前景特征图E2p’,再沿通道方向拼接背景特征图E2Bp'与前景特征图E2p’得到位置注意特征图E2”,最后使用一个通道注意力SE模块和一个1×1×1的卷积层对E2”进行通道特征注意；(6f)建立由一个三维卷积层与一个Softmax激活层构成的深度监督模块，该三维卷积层的卷积核大小为1×1×1,步长为1,通道数为2;(6g)将新增的解码器与基础网络Net1中解码器的第一个卷积块串联，将第一个位置引导模块添加在基础网络Net1的编码器的第一个卷积块与新增解码器的第三个卷积块之间，将第二个位置引导模块添加在基础网络Net1的编码器的第二个卷积块与新增解码器的第二个卷积块之间，将深度监督模块与新增的解码器中第一个卷积块的输出串联，构成位置引导与一致性学习增量网络Net3。10.根据权利要求1所述方法，其特征在于，所述步骤(7)中使用第三训练集A3和Adam优化器迭代训练位置引导与一致性学习增量网络Net3,实现如下：(7a)冻结位置引导增量网络参数W2;(7b)在第三训练集A3中取一张CT图像作为位置引导与一致性学习增量网络Net3的输入，得到其新增解码器的预测结果和深度监督输出，计算当前的Lc损失函数值；(7c)对计算得到的LDC损失函数值反向传播求得梯度值，并使用Adam优化器更新位置引导与一致性学习增量网络Net3中新增的解码器、两个位置引导模块和深度监督模块的参(7d)重复(7b)-(7c)过程，直到训练集A3中所有数据都被学习过，完成一次迭代学习；(7e)重复(7d)过程，进行多次迭代学习，直到损失函数值不再降低结束训练，得到位置引导与一致性学习增量网络参数W3。7[0003]许多基于传统算法的腹部多器官分割方法被陆续提出。Chu等人在期刊MedicalImaging:ImageProcessing上发表的文章Multi-organsegmentationfrom3DabdominalCTimagesusingpatient-specificweighted-probabilisticatlas中提出了一种基于患者特异性加权概率图谱的腹部多器官三维自动分割方MedicalImageAnalysis上发表发表的文章AutomaticMulti-organSegmentationonAbdominalCTwithDenseV-练好的网络以包含新增器官被称为增量分割，在增量分割中需要解决旧器官被遗忘的问题。为此，Liu等人在arXiv上发表的文章Incremental8发明内容[0005]本发明的目的在于针对上述现有技术的不足，提出一种基于位置引导和一致性学习的腹部多器官增量分割方法，以简化扩展过程，提升新器官与旧器官的分割精度。[0006]本发明的技术思路是：首先使用一致性学习策略训练基础网络Net1,以第一次分方式，将基础网络Net1扩展到位置引导增量网络Net2,训练位置引导增量网络Net2,以第二学习增量网络Net3,训练位置引导与一致性学习增量网络Net3,以第三次分割肝、肾、脾、[0009]1.1)获取四个公开的腹部CT数据集，前三个数据集中分别标注了肝肾脾胆胃、胰[0010]1.2)对1.1)获取的四个数据集进行图像预处理，并将前三个预处理后的数据集随集C;[0011](2)基于UNet网络结构，构建由编码器、解码器与深度监督模块构成的基础网络Net1;[0012](3)使用He初始化方式对基础网络Net1进行初始化，利用有标注的第一训练集A1与无标注的第四训练集C,通过一致性学习策略对其交替迭代训练，得到训练好的基础网络[0013](4)将训练好的基础网络参数W1加载到基础网络Net1中，并在Net1中新增一个解码器、两个位置引导模块和一个深度监督模块，构成位置引导增量网络Net2;[0014](5)使用He初始化方式对位置引导增量网络Net2新增结构的参数进行初始化，将其损失函数设置为Dice损失，冻结训练好的基础网络参数W1,使用第二训练集A2和Adam优化器迭代训练位置引导增量网络Net2,直到损失函数值不再下降，得到训练好的位置引导增量网络参数W2;[0015](6)将训练好的位置引导增量网络参数W2加载到位置引导增量网络Net2中，并在Net2中新增一个解码器、两个位置引导模块和一个深度监督模块，构成位置引导与一致性学习增量网络Net3;[0016](7)使用He初始化方式对位置引导与一致性学习增量网络Net3新增结构的参数进行初始化，将其损失函数设置为Dice损失，冻结训练好的位置引导增量网络参数W2,使用第三训练集A3和Adam优化器迭代训练位置引导与一致性学习增量网络Net3,直到损失函数值不再下降，得到训练好的位置引导与一致性学习增量网络参数W3;[0017](8)以此类推，将位置引导与一致性学习增量网络Net3继续扩展，以分割更多腹部[0018](9)将第一测试集B1、第二测试集B2与第三测试集B3输入到位置引导与一致性学9量网络Net3,以此类推可将位置引导与一致性学习增量网络Net3继续扩展，以分割更多腹附图说明[0035](1.1)获取四个公开的腹部CT数据集，包括三个有标签的腹部CT数据集设置3×3×3,步长设置为1,padding设置为“SAME”,解码器中最后一个卷积块的输出设置础网络Net1的参数W1’;Net2。编码器的第一个卷积块的输出E1以及基础网络Net1的深度监督模块的输出P1,在该模块内(4.3)将位置引导增量网络的背景概率图BP₁₁和前景概率图FP₁₁上采样到与所述E1相同的大小，并将上采样后的位置引导增量网络的背景概率图BP₁₁和前景概率图FP1分别与所述E1逐像素点乘，得到位置注意后的位置引导增量网络的背景特征图E1p,再将位置引导增量网络的背景特征图E1B与前景特征图E1p沿通道方向拼接得到位置引导增量网络的位置注意特征图E1',最后使用一个通道注意力SE模块和一个1×1×1编码器的第二个卷积块的输出E2以及基础网络Net1的深度监督模块的输出P1,在该模块内[0078](4.5)将位置引导增量网络的背景概率图BP₁₂与前景概率图FP₁₂上采样到与所述E2相同的大小，并将上采样后的位置引导增量网络的背景概率图BP₁₂与前景概率图FP₁₂分别与所述E2逐像素点乘，得到位置注意后的位置引导增量网络的背景特征图E2Bp与前景特征图E2p,再沿通道方向对位置引导增量网络的背景特征图E2B与前景特征图E2pp进行拼接，得到位置引导增量网络的位置注意特征图E2’,最后使用一个通道注意力SE模块和一个1×1×1的卷积层对E2’进行通道特征注意；[0079](4.6)建立由一个三维卷积层与一个Softmax激活层构成的深度监督模块，该三维卷积层的卷积核大小为1×1×1,步长为1,通道数为2;[0080](4.7)将新增的解码器与基础网络Net1中解码器的第一个卷积块串联，将位置引导增量网络的第一个位置引导模块添加在基础网络Net1的编码器的第一个卷积块与新增解码器的第三个卷积块之间，将位置引导增量网络的第二个位置引导模块添加在基础网络Net1的编码器的第二个卷积块与新增解码器的第二个卷积块之间，将深度监督模块与新增的解码器中第一个卷积块的输出串联，构成位置引导增量网络Net2。[0081]步骤5.使用第二训练集A2和Adam优化器迭代训练位置引导增量网络Net2,得到训练好的位置引导增量网络参数W2。[0082](5.1)使用He初始化方式对位置引导增量网络Net2新增结构的参数进行初始化；[0083](5.2)冻结基础网络参数W1;[0084](5.3)在第二训练集A2中取一张CT图像作为位置引导增量网络Net2的输入，得到[0085](5.4)对计算得到的Lc损失函数值反向传播求得梯度值，并使用Adam优化器更新位置引导增量网络Net2中新增的解码器、两个位置引导模块和深度监督模块的参数；[0086](5.5)重复(5.3)-(5.4)过程，直到训练集A2中所有数据都被学习过，完成一次迭代学习；[0087](5.6)重复(5.5)过程，直到损失函数值不再降低结束训练，得到位置引导增量网[0088]步骤6.将训练好的位置引导增量网络参数W2加载到位置引导增量网络Net2中，并在位置引导增量网络Net2的基础上，增加新的解码器分支、位置引导模块与深度监督模块，从而构建位置引导与一致性学习增量网络Net3。[0090](6.1)建立由三个卷积块、三个上采样层和一个Softmax激活层构成的新增的解码器，每个卷积块由一个三维卷积层、一个BN层和一个Relu激活层构成，该三维卷积层的卷积核为3×3×3,步长为1,padding设置为“SAME”,最后一个卷积块的输出有2个通道；[0091](6.2)建立位置引导与一致性学习增量网络的第一个位置引导模块，其输入为基础网络Net1中编码器的第一个卷积块的输出E1、基础网络Net1的深度监督模块的输出P1以及位置引导增量网络Net2的深度监督模块的输出P2,在该模块内计算位置引导与一致性学习增量网络的背景概率图BP₂1与前景概率图FP₂1:[0095](6.3)将位置引导与一致性学习增量网络的背景概率图BP₂1与前景概率图FP₂₁上采样到与所述E1相同的大小，并将上采样后的位置引导与一致性学习增量网络的背景概率图BP₂1与前景概率图FP₂1分别与所述E1逐像素点乘，得到位置注意后的位置引导与一致性学习增量网络的背景特征图E1Bp'与前景特征图E1p’;再沿通道方向对位置引导与一致性学习增量网络的背景特征图E1Bp'与前景特征图E1pp’进行拼接得到位置引导与一致性学习增量网络的位置注意特征图E1”,最后使用一个通道注意力SE模块和一个1×1×1的卷积层对E1”进行通道特征注意；[0096](6.4)建立位置引导与一致性学习增量网络的第二个位置引导模块，其输入为基础网络Net1中编码器的第二个卷积块的输出E2、基础网络Net1的深度监督模块的输出P1以及位置引导增量网络Net2的深度监督模块的输出P2,在该模块内计算位置引导与一致性学习增量网络的背景概率图BP₂2与前景概率图FP22:[0100](6.5)将位置引导与一致性学习增量网络的背景概率图BP₂2与前景概率图FP₂2上采样到与所述E2相同的大小，并将上采样后的位置引导与一致性学习增量网络的背景概率图BP₂2与前景概率图FP²2分别与所述E2逐像素点乘，得到位置注意后的位置引导与一致性学习增量网络的背景特征图E2Bp'与前景特征图E2p’,再沿通道方向拼接位置引导与一致性学习增量网络的背景特征图E2Bp'与前景特征图E2p’,得到位置引导与一致性学习增量网络的位置注意特征图E2”,最后使用一个通道注意力SE模块和一个1×1×1的卷积层对E2”进行通道特征注意；[0101](6.6)建立由一个三维卷积层与一个Softmax激活层构成的深度监督模块，该三维卷积层的卷积核大小为1×1×1,步长为1,通道数为2;[0102](6.7)将新增的解码器与基础网络Net1中解码器的第一个卷积块串联，将位置引导与一致性学习增量网络的第一个位置引导模块添加在基础网络Net1的编码器的第一个卷积块与新增解码器的第三个卷积块之间，将位置引导与一致性学习增量网络的第二个位置引导模块添加在基础网络Net1的编码器的第二个卷积块与新增解码器的第二个卷积块之间，将深度监督模块与新增的解码器中第一个卷积块的输出串联，构成位置引导与一致性学习增量网络Net3。[0103]步骤7.使用第三训练集A3和Adam优化器迭代训练位置引导与一致性学习增量网络Net3,得到训练好的位置引导与一致性学习增量网络参数W3。[0104](7.1)使用He初始化方式对位置引导与一致性学习增量网络Net3新增结构的参数进行初始化；[0105](7.2)冻结位置引导增量网络参数W2;[0106](7.3)在第三训练集A3中取一张CT图像作为位置引导与一致性学习增量网络Net3的输入，得到其新增解码器的预测结果和深度监督输出，计算当前的Lc损失函数值；[0107](7.4)对计算得到的Lc损失函数值反向传播求得梯度值，并使用Adam优化器更新位置引导与一致性学习增量网络Net3中新增的解码器、两个位置引导模块和深度监督模块的参数；10920X@3.50GHZ,使用Python3.7,keras2.5.0,tensorflow2.5.0[0120]表1本发明与现有对比方法的测试结果的Dice系数([0121]方法肝肾脾胆胃胰腺十二指肠均值FT00000064.5±15.1-LWF91.9±2.980.0±16.989.6±8.371.5±21.564.7±17.8单独分割95.0±1.491.8±14.193.1±7.779.8±16.983.1±10.178.1±9.964.2±14.483.6±10.6 联合训练194.0±1.690.1±13.592.9±6.473.9±18.980.8±8.879.1±7.5联合训练293.3±2.189.9±13.792.0±6.071.7±19.478.1±9.378.9±7.968.6±12.181.8±10.1本发明95.4±1.292.1±14.293.2±8.379.6±15.585.4±9.479.4±7.970.6±10.985.1±9.6[0123]所述LWF是指通过给新网络的损失函数施加知识蒸馏约束的方法来保护旧知识不能比本发明提出的方法Dice系数低6.4%。