CN117853541B 一种医学图像配准和分割联合优化方法 （中国科学院精密测量科学与技术创新研究院）

本发明公开了一种医学图像配准和分割联割误差对彼此性能的影响，在弱监督配准网络的连续形变减小形变伪标签与真实分割标签之的形变图像与固定图像之间的差异作为特征扰动，随机采样并添加到半监督分割网络SegNet2步骤1、对原始医学图像和对应的图像标签进行预处理获得预处理图像和对应的真实步骤4、计算弱监督配准网络RegNet的损失函数Lneg(Ir,lIWP,s⃞,x)和半监督分割网步骤5、根据步骤4计算的弱监督配准网络R监督分割网络SegNet的损失函数利用步骤1的浮动图像IM和固定图像IF通过ADAM优化器和随机梯度下降法对弱监督配准网络RegNet和半监督分割网络解码器中卷积模块的数量与编码器中卷积模块的数量相同，每个卷积模块包括1个卷额外卷积模块包括1个卷积层和1个LeakyReLU激活层，卷积层的卷积核大小、卷积步33中将浮动图像IM与固定图像IF输入至弱监督配准网络RegNet中得到配准结果具体包括以步骤3.1、将浮动图像IM与固定图像IF在通道维度进行拼接后输入至弱监督配准网络RegNet中进行第一次配准，获得第一级形变场p,并用第一级形变场对浮动图像IM进行T=α3*(IW_IF)3中将浮动图像IM与固定图像IF输入至半监督分割网络SegNet中得到分割结果具体包括以步骤3.5、将浮动图像IM输入至学生模型中获得浮动图像IM的学生模型的分割结果图将固定图像IF输入至学生模型中获得固定图像IF的学生模型的分割结果图M上添加随机噪声N和步骤3.4获得的随机特征扰动T后再输入至督配准网络RegNet的损失函数Lneg(Ir,Ilwq1,s⃞,x)包括形变图像IW与固定图像IF之间的弱监督配准网络RegNet的损失函数Lneg(Ir,lwp1,s⃞,y)基于以下公式计算：4形变图像IW与固定图像IF之间的相似性测度损失Lsim为形变图像IW与固定图像IF之间负第一级形变场pi的平滑约束损失Lsmooth为第一级形变场pi各方向空间梯度的扩散正则固定图像IF的学生模型的分割结果图与第一级形变标签Y1之间的Dice相似性系数作督分割网络SegNet的损失函数包括浮动图像IM的真实分割标签YM半监督分割网络SegNet的损失函数基1(t)=0.1xe(-s(1-t/t浮动图像IM的真实分割标签YM的监督损失Lsup和固定图像IF的形变伪标签的分割损失5[0002]图像配准是指对同一对象的两幅图像(或多幅图像)求解空间变换使不同图像的真实形变场。目前的监督配准方法是以传统方法的配准结果作为真实形变场[CaoX,督配准方法通过空间变换网络(SpatialTransformerNetwork,STN)根据学习的参数完成辅助信息来学习更好的配准或者是更好的分割，从而更高效地进行医学图像分析[XuZ,6[0010]步骤1、对原始医学图像和对应的图像标签进行预处理获得预处理图像和对应的配准网络RegNet和半监督分割网络S[0013]步骤4、计算弱监督配准网络RegNet的损失函数Lneg(Ir,lwq1,s⃞,x)和半监督分和半监督分割网络SegNet的损失函数利用步骤1的浮动图像IM和固定图像IF通过ADAM优化器和随机梯度下降法对弱监督配准网络RegNet和半监督分割网[0019]解码器中卷积模块的数量与编码器中卷积模块的数量相同，每个卷积模块包括1步长、以及LeakyReLU激活层参数均与解码器的卷积模块中卷积层的卷积核大小、卷积步7[0022]如上所述步骤3中将浮动图像IM与固定图像IF输入至弱监督配准网络RegNet中得[0029]如上所述步骤3中将浮动图像IM与固定图像IF输入至半监督分割网络SegNet中得入至教师模型中，获得浮动图像IM的教师模型的分割结果图在固定图像IF上添加随机噪声N和步骤3.4获得的随机特征扰动T后再输入至教师模型中，获得固定图像IF的教师模[0032]如上所述弱监督配准网络RegNet的损失函数Lneg(Ir,lw,q1,s⃞,x)包括形变图像[0033]弱监督配准网络RegNet的损失函数Lneg(Ir,lwq1,s⃞,x)基于以下[0036]形变图像IW与固定图像IF之间的相似性测度损失Lsim为形变图像IW与固定图像IF[0037]第一级形变场pi的平滑约束损失Lsmooth为第一级形变场pi各方向空间梯度的扩散8[0039]如上所述半监督分割网络SegNet的损失函数包括浮动图像IM的真实分割标签YM的监督损失Lsup、固定图像IF的形变伪标签的分割损失Lpse、以及教[0042]α2是固定图像IF的形变伪标签的分割损失Lpse权重；λ是一个渐变加权系数[0043]浮动图像IM的真实分割标签YM的监督损失Lsup和固定图像IF的形变伪标签的Dice[0045]本发明的医学图像配准和分割联合优化方法在医学图像配准过程中结合了医学图像分割任务，利用半监督分割网络SegNet生成的真实分割标签提供辅助的解剖结构信过两次配准的连续形变减小形变伪标签与真实分割标签之间的差异；在半监督分割网络[0047]图2为本发明的基于深度学习的医学图像配准和分割联合优化网络模型的流程示[0049]图4为本发明的实施例1中利用训练好的弱监督配准网络RegNet和半监督分割网9[0054]步骤1、对原始医学图像和对应的图像标签进行预处理获得预处理图像和对应的像对应的图像标签的各个体素进行分类，将图像标签的各个体素替换为体素对应的分类4的比例划分到有标记数据集和无标记数据集，以10例有标记数据集中的图像作为浮动图习的医学图像配准和分割联合优化网络模型包括弱监督配准网络RegNet和半监督分割网Lneg(r,Iwq1,s⃞,x):在半监督分割网络SegNet训练时才会使用到第二级形变场和第二级形变标签。[0061]解码器包括多个卷积模块，且卷积模块的数量与编码器[0063]解码器中每个卷积模块输出的特征图与编码器中对应卷积模块输出的特征图进[0064]额外卷积模块的结构同解码器中的卷积模块的结构一致，即额外卷积模块包括1个卷积层和1个LeakyReLU激活层，卷积层的卷积核大小为3×3×3、卷积步长为1，[0066]学生模型通过最小化浮动图像IM的真实分割标签YM的监督损失、固定图像IF的形θ′[0067]教师模型为学生模型生成需要学习的分割结果，还通过随机特征扰动T和Monte图将固定图像IF输入至学生模型中获得固定图像IF的入至教师模型中，获得浮动图像IM的教师模型的分割结果图在固定图像IF上添加随机噪声N和步骤3.4获得的随机特征扰动T后再输入至教师模型中，获得固定图像IF的教师模[0078]弱监督配准网络RegNet的损失函数Lneg(Ir,lwp1,s⃞,y)包括形变图像IW与固定IF的学生模型的分割结果图与第一级形变标签Y1之间的分割损失Lseg(S,X):[0079]半监督分割网络SegNet的损失函数包括浮动图像IM的真[0080]弱监督配准网络RegNet的损失函数Lneg(Ir,lwp,s,y)和半监督分割网络1(t)=0.1xe(-5(1-t/tmax)2),t为当前训练epoch，tmax是设置的最大训练epoch；T是步骤[0083]相似性测度损失Lsim选择形变图像IW与固定图像IF之间负的局部互相关系数作为[0084]平滑约束损失Lsmooth选择第一级形变场pi各方向空间梯度的扩散正则化损失作为[0085]分割损失选择固定图像IF的学生模型的分割结果图与第一级形变pse[0086]浮动图像IM的真实分割标签YM的监督损失Lsup和固定图像IF的形变伪标签的分割损失L均为Dice相似性系数，可以衡量半监督分割SegNet网络输出的分割结果图的重叠pse[0087]教师学生模型之间的一致性损失Lcons通过蒙特卡罗Dropout层(MonteCarlo和半监督分割网络SegNet的损失函数利用步骤1的训练集通过ADAM优化器和随机梯度下降法对弱监督配准网络RegNet和半监督分割网络SegNet进行交准后的形变图像IW、配准形变场和固定图像IF的形变伪标签)；测试半监督分割网络SegNet时，将测试集中的一张待分割的图像输入到步骤5中训练好的半监督分割网络行定量评估，利用固定图像IF的真实分割标签和配准结果中的固定图像IF的形变伪标签来[00