CN119445379A 一种融合对比学习与特征掩码建模的影像自监督学习方法和系统 （华中师范大学）

一种融合对比学习与特征掩码建模的影像本发明公开了一种融合对比学习与特征掩两条分支并结合为这两条分支专门设计的损失鲁棒性，特别适合遥感和医疗领域的有限数据2值编码器对展平操作和随机掩码处理得到的两个序列进行进一步编码，分别获得CLR分支包括步骤1中自监督学习网络中的卷积特征提取模块与共享编码器，采用自监督学习网络2.如权利要求1所述的一种融合对比学习与特征掩码建模的影像自监督学习方法，其3.如权利要求1所述的一种融合对比学习与特征掩码建模的影像自监督学习方法，其特征在于：卷积特征提取模块依次包括一个卷积核为7x7的卷积层与Resnet50的前三个第二个卷积结构与第一个结构组成相同，不同了一个bottleneck单元；卷积特征提取模块共有三个bottleneck单元，经过每个bottleneck单元后输出特征图的高度与宽度均变为该4.如权利要求1所述的一种融合对比学习与特征掩码建模的影像自监督学习方法，其5.如权利要求1所述的一种融合对比学习与特征掩码建模的影像自监督学习方法，其3中的位置，之后，将添加位置编码后的两个序列分别输入串联的一系列Transformer单元iK6.如权利要求1所述的一种融合对比学习与特征掩码建模的影像自监督学习方法，其和zc，CLR解码器首先通过reshape操作将其从尺寸为HWxC的2D序列重塑成尺寸为HxWxC式中z是共享权值编码器输出的一组特征序列，reshape是重塑特征图形状操作，7.如权利要求1所述的一种融合对比学习与特征掩码建模的影像自监督学习方法，其特征在于：MFM解码器的输入为共享权值编码器处理后的未掩码特征，通过掩码恢复、掩码恢复部分将上一部分深层编码的序列恢复原始顺序，对于其中被用4个卷积上采样单元经进行解码，恢复原始影像，其4这里的输入z是经过共享权值编码器编码后的序列，TR代表Transformer单8.如权利要求1所述的一种融合对比学习与特征掩码建模的影像自监督学习方法，其i9.如权利要求1所述的一种融合对比学习与特征掩码建模的影像自监督学习方法，其存储装置，用于存储一个或多个程序，当所述一个或多个程序被5结合了对比学习和掩码自编码两种自监督学习的方式能够有效地学习到影像的鲁棒特征[0003]自监督学习(Self_SupervisedLearning,SSL)是深度学习领域一个非常热门的掩码的自编码算法(MAE)在计算机视觉领域取得了巨大的成功。该自编码算法特点包括三6得训练后的模型超越了低级图像统计的整体理解；三是设计非对称的编码器解码器设计，[0006]虽然对比学习和特征掩码建模各自展示了在无监督或弱监督条件下强大的特征发明设计了一种新颖的自监督学习方法，该方法融合了对比学习和特征掩码建模两种策[0008]步骤1，融合对比学习和特征掩码建模的高分辨率影像自监督学习网络构建和训共享权值编码器对展平操作和随机掩码处理得到的两个序列进行进一步编码，分别获得CLR分支和MFM分支中具备整幅影像全局上下文信息的新特征，最后经过CLR解码器得到一网络包括步骤1中自监督学习网络中的卷积特征提取模块与共享编码器，采用自监督学习7[0014]进一步的，共享权值编码器由若干个堆叠的Transformer单元组成，每一个Transformer单元由两个LayerNorm层、多头注意力机制以及MLP层组成，并且每个个头的键和查询向量的维度，softmax函数是一种将多个数值转换为概率分布的函数，MLP是一种由多个全连[0024]式中z是共享权值编码器输出的一组特征序列，reshape8[0032]这里的输入z是经过共享权值编码器编码后的序列，TR代表Transformer单元，i9一个基于SimCLR架构的对比学习分支(CLR分支)和一个基于掩码特征模型的掩码自编码器本之间的差异度来学习鲁棒的特征表示；而MFM分支则通过掩码自编码器来预测被随机掩[0056]如图1所示，本发明提供一种融合对比学习与特征掩码建模的影像自监督学习方影像自监督学习网络的基础上构建语义分割网络，其中主干网络采用步骤1自监督学习获面，对于每一个批次的输入影像(设定数量为N)，采用数据增强方法获得两组新的影像数部分共有三个bottleneck单元，经过每个bottleneck单元后输出特征图(featuremap)的分为196块，按照随机生成的掩码比例mask_ratio(在25％到80％之间)生成196×mask_[0066]步骤1.4，共享权值编码。共享权2进行进一步编码，通过Transformer优秀的自注意力机制获得具备整幅影像全多头注意力机制以及MLP层组成，并且每个Transformer单元输入与输出的特征尺寸相同。个头的键和查询向量的维度，softmax函数是一种将多个数值转换为概率分布的函数，一种由多个全连接层组成的神经网络，用于进行非线性变换，norm是标准化处理，组影像对，假设该影像对通过共享权值编码器输出的特征为zt和zc，CLR解码器首先通过×1的卷积操作调整通道数。接着对特征图进行均值池化(avgPool)和全连接(fully[0076]式中z是共享权值编码器输出的一组特征序列，reshape单元组成。卷积上采样解码块通过将Transformer解码块输出的序列重塑成矩形prepre融合来自编码器不同尺度的高分辨率特征，从而减轻降采样过程中造成的空间信息丢失，[0086]步骤2.2，预训练模型加载。语义分割网络构建完成后，卷积网络特征提取与评价融合对比学习与特征掩码建模的影像自监督学习网络获取的影像高阶i1和z2[0101]训练完成后，只保存预训练模型的卷积特征提取模块与比实验，以验证融合对比学习与特征掩码建模的影像自监督网络生成的高阶特征的效果。