CN116342670B 交叉注意力机制的变分图像配准方法、装置、设备及介质 （深圳大学）

VariationalCardiacMRIRegistUsingTransformerandImplicitPrior.AssistedIntervention–MICCAI2023》.2023,581–591.交叉注意力机制的变分图像配准方法、装本发明提供了一种交叉注意力机制的变分少长距离特征建模以及目标函数ELBO与输入图像对的对数似然间的差距导致配准精度低的技神经网络对所述心脏浮动图像与所述固定图像图像的形变场，并根据形变场确定配准后的图2利用预先训练的基于交叉注意力机制的变分神经网络对所述心脏浮动图像与所述固将所述隐变量输入到预先构建的径向基函数，解码输出浮动所述T2T层至少包括一个Transformer模块，所述T2T层用于将图像划分为重叠的具有局部信息建模的二维特征序列后输入到Transformer模块中，输出的特征序列经过三维变所述Transformer层的编码器和解码器均至少有一个，且若所述Transfor所述基于交叉注意力机制的变分神经网络的训根据预先获取的配准后的心脏图像与固定图像计算将重要性加权证据下界对应的累根据所述损失函数对预先构建的未训练的基于交叉注意力机制的变分神经网络参数处理模块，用于利用已训练的基于交叉注意力机制的变分神经网络对的编码器输出的固定图像特征输入到Transformer解码器中与浮动图像特征形成交叉注意确定模块，一个径向基函数用于解码隐变量从而输出浮动3所述T2T层至少包括一个Transformer模块，所述T2T层用于将图像划分为重叠的具有局部信息建模的二维特征序列后输入到Transformer模块中，输出的特征序列经过三维变所述Transformer层的编码器和解码器均至少有一个，且若所述Transfor所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所器执行如权利要求1至2任一项所述的交叉注意力机制的5.一种计算机可读存储介质，其特征在于4建模以及目标函数ELBO与输入图像对的对数似然间的差距导致配准精度入图像对的对数似然间的差距导致配准精度低[0006]为实现上述目的，本发明第一方面提供一种交叉注意力机制的变分图像配准方的图像；所述基于交叉注意力机制的变分神经网络包括：至少一层T2T层和至少一层[0007]进一步地，若所述T2T层至少有两层，则所有的所述T2T层之间级联，若所述为重叠的具有局部信息建模的二维特征序列后输入到Transformer模块中，输出的特征序[0009]进一步地，所述Transformer层的编码器和解码器均至少有一个，且若所述Transformer层的编码器和解码器有一个以上，则Transformer层的编码器之间级联，且5入到Transformer层的解码器中与浮动图像特征形成交叉获取的配准后的心脏图像与固定图像计算将重要性加权证据下界对应的累计后验作为变神经网络包括：至少一层T2T层和至少一层Transformer层用于对图像训练集进行编码处存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指于模型局部信息的特征建模，利用Transformer交叉注意力机制实现浮动图像与固定图像[0017]图2为本发明图1实施例示出的图像配准方法的基于交叉注意力机制的变分神经[0018]图3为本发明图2实施例示出基于交叉注意力机制的变分神经网络中T2T模块的结6[0023]图1为本发明根据另一示例性实施例示出的交叉注意力机制的变分图像配准方法[0029]更具体地，基于交叉注意力机制的变分神经网络包括至少一层T2T层和至少一个的固定图像特征输入到Transformer解码器中与浮动图像特征形成交叉注意力。至少一层[0030]图2为本发明图1实施例示出的配准方法的基于交叉注意力机制的变分神经网络的结构示意图。如图2所示，基于交叉注意力机制的变分神经网络包括一层T2T层、三层Transformer层以及一个径向基函数。其中，三层Transformer层直接级联。每层Transformer层包含一个Transformer编码器与Transformer解码器。一层T2T层与三层7[0031]图2实施例示出基于交叉注意力机制的变分神经网络中Transformer层的结构示成。Transformer编码器由两层层归一化层、一层多头自注意力层以及一层多层感知机构成。Transformer解码器由三层层归一化层、两层多头自注意力层以及一层多层感知机构[0032]图3为本发明图2实施例示出基于交叉注意力机制的变分神经网络中T2T层的结构们级联为一条二维图像序列。接着通过一个Transformer模块得到经过全局信息建模的新的三维图像特征。该图像特征经过一次滑动窗口大小为3，步长为2的Unfold变换，[0037]在上述的Transformer层中，浮动图像和固定图像分别经过T2T层输出特征序固定图像与浮动图像对应的特征序列在加入位置编码信息后分别输入到Transformer编码SAh]8集为c的径向基函数，共有s个不同的支撑集是需9[0055]sim(F,M(fze))表示形变后的心脏图像M(fzx)与固定图像F之间的相似性度为减去Lv平均强度后的图像强度。数计算基于交叉注意力机制的径向基变分神经网络参数的导数，将该导数与学习率相乘，得到网络参数的调整量Δwi。wi+γΔwi解决了图像长距离与短距离特征建模的问题。Transformer层输出的隐变量经过径向基函引入将重要性加权证据下界(iwELBO)对应的累计后验作为变分模型中最优先验的损失函[0070]处理模块302，用于利用已训练的基于交叉注意力机制的变分神经网络对心脏浮T2T模块和至少一个Transformer层用于对图像训练[0074]训练模块305，用于利用图像训练集对基于交叉注意力机制的变分神经网络进行[0075]调整模块306，用于利用配准后的心脏图像与固定图像计算将重要性加权证据下T2T模块的输出数据作为下一部分Transfo叠的具有局部信息建模的二维特征序列后输入到Transformer模块中，输出的特征序列经[0078]可选地，所述Transformer层包括至少一个Transformer编码器和至少一个Transformer解码器，其中，所述至少一个Transformer编码器之间级联，所示至少一个到Transformer解码器中与浮动图像特征[0083]根据配准后的心脏图像与固定图像计算重要性加权证据下界模型与具有隐式先集为c的径向基函数，共有s个不同的支撑集是需[0092]EP(r,wq(ZIF,M)为重要性加权证据下界(iwELBO)对应的累计后验。假设最[0096]sim(F,M(fze))表示形变后的心脏图像M(fzx)与固定图像F之间的相似性度为减去Lv平均强度后的图像强度。[0109]所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使