CN117036428B 基于互注意力和语义共享的多任务腹部器官配准方法 （西安电子科技大学）

基于互注意力和语义共享的多任务腹部器本发明公开了一种基于交叉互注意力连接决现有技术对大形变跨模态医学图像配准效果自某医院的平扫CT和门静脉期增强CT构建原始取网络、配准分支和分割分支组成的M_net网络23a)将基准影像IR、浮动影像IF送入多任务网络M_net得到正向形变场DF、逆向形变场计算特维斯基损失lossTversky2，再将lossTversky1与lossTversky2之和作为分割逆一致性损失3f)以loss作为损失函数，使用训练集数据和Adam优化器对M_net网络进行迭代训练，32.根据权利要求1所述的方法，其特征在于，步第一编码块→第一最大池化层→第二编码块→第二最大池化层→第三编码块→第三第一解码块→第一上采样层→第二解码块→第二上采样层→第三解码块→第三上采2a4)在Net1和Net2每一个对应卷积块之间，将Net1每一个卷积块的输出记作分别以2*2*2和4*4*4作为窗口大小对进行不重将Net2每一个卷积块的输出记作分别以2*2*2和4*4*4作为窗口大小对进行不重叠分块得到区域特征图FS,FL;以Fst",rs?"作为感知机的输入，得到交叉注意力模块的输出3b1)将正向形变场DF作用于浮动影像IF得到形变后的浮动影像IF’，再将逆向形变场4(3b3)将正向形变场DF作用于浮动影像分割结果SF’得到形变后的浮动影像分割结果R9.根据权利要求1所述的方法，其特征在于，所述3d)中根据基准影像5RF3e2)根据正向形变场DF和逆向形变场RDF计6[0004]传统的配准算法是基于迭代的。JP等人在期刊MedicalImageAnalysis发表了差值来计算每一个点的坐标偏移量，从而得到参考图像与浮动图像的整幅图的坐标偏移设定次数或参考图像与浮动图像相似度达到设定阈值为止。该方法由于基于迭代耗时较人在期刊IEEETransactionsonMedicalImaging发表的文章VoxelMorph：ALearningFrameworkforDeformableMedicalImageRegistration中提出了一种基于形变场的脑[0006]OlafRonneberger在arXiv上发表的文章U_Net:ConvolutionalNetworksforBiomedicalImageSegmentation中提出了一种医学图像分割的代表性网络，该网络是一7计算如下两类影像和两类分割结果：计算特维斯基损失lossTversky2，再将lossTversky1与lossTversky2之和作为分割逆一致性损失[0029]3e)选用现有的配准一致性损失lossRC、L2正则化损失lossL2、分割一致性损失lossSC，将其与3c)中构建的配准逆一致性损失lossRRC、3d)中构建的分割逆一致性损失8[0035]2.本发明通过并联配准分支branchr和分割分支branchs同时实现[0036]3.本发明由于使用配准逆一致性损失函数lossRRC对配准分支branchr进行约束，[0039]图3是用本发明与现有方法配准基准影像肝脏分割标签和浮动影像肝脏分割标签[0043]1.1)将从某医院获取的n对肝脏平扫CT[0045]1.3)对预处理之后的基准影像IR和浮动应的肝脏分割标注SR和与IF对应的肝脏9[0050]第一编码块→第一最大池化层→第二编码块→第二最大池化层→第三编码块→[0052]第一解码块→第一上采样层→第二解码块→第二上采样层→第三解码块→第三[0057]将第一特征提取网络Net1中的每一个卷积块的输出记作分别以2*2*2和4*4*4作为窗口大小对进行不重叠分块，得到第一特征提取网络Net1的两个区域特征图FS,FL;[0058]将第二特征提取网络Net2中的每一个卷积块的输出记作分别以2*2*2和4*4*4作为窗口大小对进行不重叠分块，得到第二特征提取网络Net2FS,FL;[0059]以和作为第一个互注意力模块的输入，得到第一个调整后的区域特征图以和作为第二个互注意力模块的输入，得到第二个调整后的区域特征图FS"FS"[0060]以第一个调整后的区域特征图第二个调整后的区域特征图作为感知机计算如下两类影像和两类分割结果：[0070]IP'"=RDFolp'[0075](3.2.3)计算形变n为IRF为IR为R[0100]3.10)根据配准一致性损失lossRC、配准逆一致性损失lossRRC、L2正则化损失lossL2、分割一致性损失lossSC、分割逆一致性损失lossRSC计算M_net网络的总损失函数[0102]3.11)使用训练集数据和Adam优化器对M_net网络进行迭代训练，直至损失函数[0107]本实验的仿真平台为IntelCorei7_8700KCPU和内存32GBR用NVIDIAGeForceGTX1[0108]仿真所使用的数据是步骤1中划分好的训练集数据和测试集数据。多任务网络[0109]仿真时所采用的性能评价指标包括戴斯相似系数DSC、互信息MI和平均表面距离[0116]clapIRN是Moc等人在会议InternationalConferenceonMedicalImageComputingandComputer_AssistedIntervention上提出的一种基于深度学习的配准算[0117]DIRAC是Moc等人在会议InternationalConferenceonMedicalImageComputingandComputer_AssistedInt[0118]demons是JP等人在期刊MedicalImageAnal