CN114387454B 一种基于区域筛选模块和多层次对比的自监督预训练方法 （东南大学）

一种基于区域筛选模块和多层次对比的自本发明公开了一种基于区域筛选模块和多监督方法对图像分类和目标检测的深度学习模型进行预训练在计算机视觉领域中有着不可或习的图片生成两个增强图中筛选出特定数量最可能包含实例信息的块图，并将他们进行匹2步骤2)：将不带标签的训练输入数据输入神经网络采用图像RGB信息熵来初步筛选实例块图，对于一个增强图的块图P,其因图像RGB信息熵仅能对增强图中块图的局部信息进行计算，故采用衡量全局信息的所在像素之间的距离之来度量像素属于实例区域的概率，假设Ik表示增强图中一个像素k的显著值计算方式如下：根据块图的显著值SP从高到底排序，进一步筛选出显著值SP最高的前k个(k<kH)小块，计算用于对比学习的全局和局部特征，深度学习模型依次包含一个主干网络fθ和两个3对于多实例数据集中一个图像的两个增强图v和v/与筛选出的块图P(v)和Pz/和Pzq采用多层次的对比学习来最大限度地利用筛选出块图的实例信息q进行全局对比学习，对于数据集中一个图像的两个增强图v和v/，设定将全局和局部的特征表示及局部块图的位置编码综合应用于对比上角的像素点在增强图中的位置坐标为[a,b],其位置编码POS设置方式则是将向量下标为2.根据权利要求1所述的基于区域筛选模块和多层次对比的自监督预训练方法，其特43.根据权利要求2所述的基于区域筛选模块和多层次对比的自监督预训练方法，其特4.根据权利要求1所述的基于区域筛选模块和多层次对比的自监督预训练方法，其特5.根据权利要求1所述的基于区域筛选模块和多层次对比的自监督预训练方法，其特6.根据权利要求1所述的基于区域筛选模块和多层次对比的自监督预训练方法，其特5[0002]自监督预训练方法是指利用辅助任务从没有人工标注的数据中挖掘自身的监督对比学习，现有的自监督学习方法在ImageNet这一类单实例数据集中取得有效的进展。练自监督模型。本发明提供了一种基于区域筛选模块和多层次对比的自监督预训练方法。6[0011]图片的两个RGB增强图生成后，将其按照网格化的方式分割为整齐排列的多个块[0017]因图像RGB信息熵仅能对增强图中块图的局部信息进行计算，故采用衡量全局信k的显著值计算方式如下：[0019]其中，g(Ik)表示像素Ik的灰度值，fn表示灰度值n在整个增强图中的出现频率，7和ReLu层，对于多实例数据集中一个图像的两个增强图v和v/与它们在步骤七中筛选出的8[0041]将步骤十三中的基于区域筛选模块和多层次对比的模型应用于多实例数据集进[0043]进一步的，所述步骤一中使用图片随机大小裁剪增强时，将裁剪的范围设置为于PASCALVOC中和COCO数据集中进行图9RGB信息熵HP大小从高到低排序，筛选出图像信息熵前kH高的块图进入步骤五的进一步筛k的显著值计算方式如下：[0064]其中，g(Ik)表示像素Ik的灰度值，fn表示灰度值n在整个增强图中的出现频率，[0068]图2展示了步骤七方法对PASCALVOC2007数据集中一张图片进行实例区域筛选y/z/和Pz[0077]步骤十一：接下来进行全局对比学习，对于数据集中一个图像的两个增强图v和qq测试集上进行了测试，本发明提出的模型获得了86.2％的to