CN114511703B 面向分割任务的融合Swin Transformer与UNet的迁移学习方法和系统 （苏州医智影科技有限公司）

面向分割任务的融合SwinTransformer与本发明涉及一种面向分割任务的融合SwinTransformer与UNet的迁移学习方法和系统，包的不同尺度的矢量化特征复原为不同尺度特征S中，获得源域与目标域两个域所需分割对象的判别网络D中，判断特征是来自于源域还是目标本分割损失部分、目标域训练样本分割损失部整体损失，迭代优化直至整体损失达到要求为21.一种面向分割任务的融合SwinTransformer与UNet的迁移学习方法，其特征在于，步骤1、将待分割图像数据输入到特征提取网络F，所述特征提取网络F是采用Swin步骤3、将不同尺度的特征图输入到分割网络S中，获得源步骤4、将不同尺度的特征图输入到域判别网络D中，域，并给出相应的标签，所述域判别网络D包括结合UNet跳跃链接方式的改进UNet编码网络S得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练样本2.根据权利要求1所述的一种面向分割任务的融合SwinTransformer与UNet的迁移学力机制作为骨干网络，所述特征提取网络F采用子块融合方式是将需要融合子块的特征矢3.根据权利要求1所述的一种面向分割任务的融合SwinTransformer与UNet的迁移学Transformer模块在Ns个不同尺度上进行特征提取，每一个尺度上采用2个连续的SwinSwinTransformer模块是循环移动窗口内的多头自4.根据权利要求3所述的一种面向分割任务的融合SwinTransformer与UNet的迁移学一个尺度的SwinTransformer生成的一组矢量经过子块融合将临近的2×2空间范围3并将这两个池化结果连接在一起生成长度为原来输入矢量2倍的新矢量，同时输出矢量的5.根据权利要求1所述的一种面向分割任务的融合SwinTransformer与UNet的迁移学6.根据权利要求1所述的一种面向分割任务的融合SwinTransformer与UNet的迁移学7.根据权利要求1所述的一种面向分割任务的融合SwinTransformer与UNet的迁移学TU指目标域数据中无标注样本个数；每一批次输入的图像数据中均需要包含等数量的8.根据权利要求7所述的一种面向分割任务的融合SwinTransformer与UNet的迁移学9.根据权利要求1所述的一种面向分割任务的融合SwinTransformer与UNet的迁移学步骤3.1、分割网络采用UNet网络中的解码器结构；对于特征提取网络输出的一组矢410.根据权利要求9所述的一种面向分割任务的融合SwinTransformer与UNet的迁移所述分割网络中所引入的空间注意力模块在空间上判断哪些区域与待分割目标有关，被小的空间注意力权重弱化；空间注意力模块将输入的K个通道的特征进行了最大和最小由一组1*1卷积处理获得了单通道的空间权重，该空间权重结果与输入的每一个通道的特征进行逐点相乘获得了空间注意力已加权后的11.根据权利要求1所述的一种面向分割任务的融合SwinTransformer与UNet的迁移步骤1、利用前述权利要求1-11中任一项的迁移学习方法训输入模块，用于将待分割图像数据输入到特征提取网络F，所述特征提取网SwinTransformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢复原模块，用于将所述特征提取网络F获取的不同尺度的特征矢量复原为不同尺度的5整体损失计算模块，用于将源域训练样本经过所述特征提取训练好的特征提取网络F与分割网络S组合成可分割出目标域所需分割对象的目标域分割输入模块，用于将目标域待分割图像输入所述特征提取网络F；所述特征剔除模块，用于剔除源域所需分割对象的分割结果，6的目标相同，但是由于源域和目标域图像采集条件不同导致两个域内图像的分布不一致，度的特征用于域判别。[0008]为了解决上述技术问题，本发明综合SwinTransforer和UNet的优势，将Swin力加权操作；另外本方案中采用了梯度反转层的域判别网络D，该域判别网络将Swin7割网络S得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练[0017]步骤1、利用前述的迁移学习方法训练好的特征提取网络F与所述分割网络S组合[0021]根据本发明的另一方面，还提出一种面向分割任务的融合SwinTransformer与两个域的所需分割对象的分割结果，所述分割网络S是加入空间注意力机制的UNet解码网S得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征8F是采用SwinTransformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的[0031]复原模块，用于将所述特征提取网络F获取的多尺度特征矢量复原为多尺度特征域的所需分割对象的分割结果，所述分割网络S是加入空间注意力机制的UNet解码网络得[0041]7、本发明通过目标域数据扩增，使得每一轮次用于训练的源域和目标域样本相9[0052]图10A：本发明的一种面向分割任务的融合SwinTransformer与UNet的迁移学习目标域，并给出相应的标签，所述域判别网络D的结构包括结合UNet跳跃链接方式的改进割网络S得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练[0067]域判别网络部分采用梯度反转层，以及UNet和SwinTransformer中的多尺度方体表示为输出也是一组矢量zl+1(zl+1是由Ml×Nl个矢量构成，每个矢量的长度与输入zl中矢量长度一致，的具体表示为每个矢量标号与子块的对应关这个模块是循环移动窗口内的多头自注意力模块，其他组成部分与第一个Transformer模将需要进行子块融合的临近的4个矢量圈了起来，不失一般性的设将每个框内对应左上子图的矢量表示为zh,右上表示为左下表示为zn,右下表示为如图6所示，合并过程计算需要融合的矢量的最大池化(保存四个矢量中相同位置的最大值)和平均池化结果(保存四个矢量中相同位置的平均值)，并将这两个池化结果连接在一起生成长度为原来输入矢量2倍的新矢量，同时输出矢量的个数减少为输降维采样不同。引入两种池化的目的是为了更加全面的描述用于合并的4个特征矢量的差征结果，经过上采样后送入高级尺度进行处理。最后一个尺度特征进行了4*4的线性上采[0075]如图9所示，空间注意力模块将输入的K个通道的特征进行了最大和最小池化处1*1卷积处理获得了单通道的空间权重，该权重结果与输入的每一个通道的特征进行逐点高级别尺度的输入特征经过两次卷积操作后，由最大池化层处理为低级别尺度的特征后，标记的第i个待分割图像，表示源域有标记第i个待分割图像对应的需要分割对象的分个源域无标记的待分割图像，NSU指源域数据中无标注样本个数)，目标域有标注数据未标注数据使用；为了使得每次加载的当作未标注数据使用源域和目标域样本数量相同，[0079]一个批次所有训练样本可表示为有标记样本和比重的正实数，该数值设置可参考两部分分割损失与域判别网络分类损失的量级来[0084]源域的分割损失函数中上标0表示取源域分割通道结果，根据源域样本分割结果特征提取网络所需要优化的参数；表示样本xSL经过特征提取网络Fa,获得特征图；"s,k,/a))特征图经过分割网络su得到源域和目标域所有待分割对象的分割结[0096]其中上标1表示取目标域分割通道结果，其他参数含义域源域分割损失中定义相[0098]其中符号D,以函数形式表示域判别网络，θD符号表示域判别网络所需要优化的[0102]步骤1、利用前述的迁移学习方法训练好的特征提取网络F与所述分割网络S组合[0106]根据本发明的另一个实施例还提出一种面向分割任务的融合SwinTransformer两个域的所需分割对象的分割结果，所述分割网络S是加入空间注意力机制的UNet解码网S得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征F是采用SwinTransformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的[0116]复原模块，用于将所述特征提取网络F获取的多尺度特征矢量复原为多尺度特征域的所需分割对象的分割结果，所述分割网络S是加入空间注意力机制的UNet解码网络得[0119]为了验证本方案所提出的面向医学影像分割的融合Transformer和UNet的迁移学融合时候采用了两种池化方法再连接的方式。网络的分割损失由BCE损失和Dice损失的平平移和缩放处理。网络训练的优化器为Adam，初始的学习率设置为10-4，后续采用的10例测试数据上分割结果进行了评估。从表1所示目标域10例测试集上不同模型的肝脏低。图11中给出了迁移学习模型3DDice值略低的分割效果图(此病例肝脏整体体积比较