CN119444813A 适于下肢全长片图像的双阶段配准方法、装置、终端及介质 （影为医疗科技(上海)有限公司）

本申请提供适于下肢全长片图像的双阶段将所述待配准CT图像及标签、目标X线片图像及标签输入仿射变换网络以生成得到仿射变换矩将粗配准阶段输出的CT图像及标签、目标X线片图像及标签输入形变场配准网络以生成得到形全新的2D/3D医学影像配准算法，首次实现了下肢全长平卧位CT和站立位X线片的全自动跨模态2将所述待配准CT图像及标签、目标X线片图像及标签输入仿射变换网络以生成得到仿将粗配准阶段输出的CT图像及标签、目标X线片图像及标签输入形变场配准网络以生射变换网络包括：基于2DSwin_Transformer模块的第一编码器、基于3DSwin_第一编码器和第二编码器的最深的编码器层之间设置所述基于互注意力机制的特征融合7.根据权利要求1或5所述的适于下肢全长在第一编码器和第二编码器这两个编码器对应最深的网络层之间设置基于互注意力机制的特征融合模块，融合后的特征图经第二上采样模块处理后输入至第一3D卷积模块；目标X线片图像及标签与待配准CT图像及标签进行特征融合(Concat)后分别输入至下3第四3D卷积模块在接收到第四上采样模块的输出结果及第七3D卷积模块的输出结果MoriregMorireg表4被处理器执行时实现权利要求1至10中任一项所述适于下肢全长片图像的双阶段配准方所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求15关节最为常见。我国40岁以上人群膝关节炎患病率高达15.6在影响患者生活质量的同6述待配准CT图像及标签、目标X线片图像及标签输入仿射变换网络以生成得到仿射变换矩[0008]于本申请的第一方面的一些实施例中，所述仿射变换网络包括：基于2DSwin_[0009]于本申请的第一方面的一些实施例中，所述基于2DSwin_Transformer模块的第的目标X线片图像切分为不重叠的区块并分别编码为指定长度的向量；四个2DSwin_[0010]于本申请的第一方面的一些实施例中，所述基于3DSwin_Transformer模块的第的待配准CT图像切分为不重叠的区块并分别编码为指定长度的向量；四个3DSwin_[0015]在第一编码器和第二编码器这两个编码器对应最深的网络层之间设置基于互注7[0016]目标X线片图像及标签与待配准CT图像及标签进行特征融合(Concat)后分别输入[0017]第四3D卷积模块在接收到第四上采样模块的输出结果及第七3D卷积模块的输出结果后进行卷积处理，处理结果经第五上采样模块做上采样处理后传输至第五3D卷积模[0018]于本申请的第一方面的一些实施例中，所述仿射变换网络中使用的损失函数包Mgt分别表示原始分割标签、配准后分割标签和分割标签真8的像素p邻域内的像素均值，F()表示目标X线片图像的像素p邻域内的像素均值；Mori、Mreg同位姿下扫描图像的对齐任务。本发明创造性地实现了基于下肢CT和X线片图像与分割标[0038](2)本发明利用具有强大表征能力的Swin_Transformer架构，分别处理两个模态实现了下肢全长平卧位CT和站立位X线片的全自动跨模态配准。本发明的研究成果将为术9[0041]图1显示为本申请一实施例中一种适于下肢全长片图像的双阶段配准方法的流程[0042]图2显示为本申请一实施例中双阶段配准方法中第一阶段的仿射变换网络框架[0043]图3显示为本申请一实施例中以3D图像作为输入的Swin_Transformer层的结构示[0046]图6显示为本申请一实施例中一种适于下肢全长片图像的双阶段配准方法的流程[0047]图7显示为本申请一实施例中一种适于下肢全长片图像的双阶段配准装置的结构是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。片平卧位CT和站立位X线片的全自动跨模态配准。在第一阶段模型生成仿射矩阵对图像做征能力的滑动窗口自注意力机制(Shiftwindowself_attentionmechanism)分别处理不维空间，用X线片作为目标优化三维空间的配准过程。本发明设计的算法模型分为两个阶[0061]如图1所示，展示了本发明实施例中的一种适于下肢全长片图像的双阶段配准方2D/3D配准的双阶段神经网络，并在两个编码器对应最深的两层之间引入互注意力机制(Crossattention)。在第一阶段，使用一个多层感知机(MultipleLayerPerception,倾斜的图像转换成正常图像或者对图像进行缩放等；仿射变换还可以用于实现图像的配像沿着某个方向进行移动的变换；旋转变换操作是指将图像绕着某个点进行旋转的变换，[0068]图2展示了双阶段配准方法中第一阶段的仿射变换网络框架图。仿射变换网络包图像及标签进行编码处理；所述基于3DSwin_Transformer模块的第二编码器用于对待配[0069]所述基于2DSwin_Transformer模块的第一编码器包括：第一编码层(Embedding的区块并分别编码为指定长度的向量。四个2DSwin_Transformer层用于产生尺度各异的[0070]所述基于3DSwin_Transformer模块的第二编码器包括：第二编码层(Embedding的区块并分别编码为指定长度的向量。四个3DSwin_Transformer层用于产生尺度各异的别完成自注意力机制运算。在每一个Swin_Transformer层完成两次自注意力机制运算后，[0073]Swin_Transformer通过将特征图划分为若干窗口，实现关注局部特征的信息提间设置基于互注意力机制的特征融合模块，用于基于互注意力机制得到融合后的特征图；跃连接(skipconnection)的形式将特征传递到解码器中。需说明的是，跳跃连接(skip[0080]其次，目标X线片图像及标签与待配准CT图像及标签进行特征融合(Concat)后分[0082]为便于本领域技术人员理解，下文结合图6来对本发明实施例中的适于下肢全长图像相似的局部归一化相关系数损失函数和基于解剖结构重合度的损失函数[0084]进一步地，选取一个度量待配准图像与目标图像外观相似度的指标作为损失函数。局部归一化相关系数(LocalNormalizedCorrelationCoefficient,LNCC)测量两张下式(1)：准后分割标签和分割标签真值，g(I,φ)表示用配准参数φ对某图像I做线性插值配准，使用Sigmoid激活函数做非线性变换归一化到0至1之间，就可以使用Dice系数来衡量投影[0096]在第一阶段的仿射变换网络中，使用的损失函数包括基于图像相似度的Lsim和基[0098]在第二阶段的形变场配准网络中，使用的损失函数不仅包括基于图像相似度的[0100]如图7所示，展示了本发明实施例中的一种适于下肢全长片图像的双阶段配准装[0103]精配准模块703用于将粗配准模块702输出的CT图像及标签、目标X线片图像及标对目标X线片图像及标签进行编码处理；所述第二编码器用于对待配准CT图像及标签进行不重叠的区块并分别编码为指定长度的向量；四个2DSwin_Transformer层用于产生尺度重叠的区块并分别编码为指定长度的向量；四个3DSwin_Transformer层用于产生尺度各积结果经第四上采样模块后输入至第四3D卷积模块；目标X线片图像及标签与待配准CT图肢全长片图像的双阶段配准装置与适于下肢全长片图像的双阶段配准方法实施例属于同[0112]本发明实施例提供的适于下肢全长片图像的双阶段配准方法可以采用终端侧或本发明实施例提供的适于下肢全长片图像的双阶段配准终端800的一个可选的硬件结构示示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandomAccessMemory)、同步静态随机存取存储器(SSRAM，SynchronousStatic[0115]本发明实施例中的存储器802用于存储各种类别的数据以支持适于下肢全长片图[0116]上述本发明实施例揭示的方法可以应用于处理器801中，或者由处理器801实步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理[0117]在示例性实施例中，适于下肢全长片图像的双阶段配准终端800可以被一个或多辑器件(PLD，ProgrammableLogicDevice)、复