CN115359254B 基于Vision Transformer网络的弱监督实例分割方法、系统及介质 （华南理工大学）

基于VisionTransformer网络的弱监督实Transformer网络的弱监督实例分割方法、系统所述弱监督实例分割模型包括ViT多标签分类模模块包括VisionTransformer网络及候选区域伪标签生成器；所述ViT候选区域评分模块包括候选区域生成器及ViT候选区域特征生成器；初分割自然图像输入训练好的弱监督实例分割模2构建弱监督实例分割模型；所述弱监督实例分割模型包括Vi选区域评分模块；所述ViT多标签分类模块包括VisionTransformer网络及候选区域伪标所述VisionTransformer网络用于获取多标签分类结果并产生类别导向边界算法及层次分割算法生成COB候选区域；所述ViT候选区域特征生成器采用初始化弱监督实例分割模型，构建损失函数并在带使用VisionTransformer网络对带标签的自然图像数据集将带标签的自然图像数据集输入候选区域生成器中，使用卷积导向边将COB候选区域输入ViT候选区域生成器中，采用SegAlign方法和全连接层生成COB候计算损失值并优化损失函数，迭代训练至函数收敛，得到训2.根据权利要求1所述的基于VisionTransformer网络的弱监督实例分割方法，其特使用带标签的自然图像数据集对弱监督实例分割模型进行迭代图像数据集中的自然图像随机裁剪为设定尺寸大小的图像，并对图像进行随机水平翻转，所述初始化弱监督实例分割模型是指在大型图像数据集上对弱监督实例分割模型进3.根据权利要求2所述的基于VisionTransformer网络的弱监督实例分割方法，其特3t的定义如下：将输入尺寸为WxH的自然图像切分为wxh个图像块，每个图像块包含PxP个像素，其,4.根据权利要求3所述的基于VisionTransformer网络的弱监督实例分割方法，其特输入带标签的自然图像数据集到VisionTransformer网络中，将带集中每一尺寸为WxH的自然图像切分成wxh个图像块，经过卷积层进行卷积操作变为一维将所有添加类别标记的块标记送入L个级联的transformerblocks中进行特征提取，将图像的特征矩阵Sc输入卷积层和全局平均池化层后得到多标签对L个注意力向量A:求均值并按照图像块在自然图像中的位置进行变形，获得注意力。5.根据权利要求4所述的基于VisionTransformer网络的弱监督实例分割方法，其特4利用每个局部峰值pf和COB候选区域的位置关系得到辅助掩码sf:将辅助掩码sf按照局部峰值pf的大小升序排列，按顺序计算某一COB候选区域Rn和辅助掩码sf的重叠度10U(sf,Rn),如果重叠度超过某一阈值λ,则将该COB候选区域的伪标签若某一COB候选区域与所有辅助掩码的重叠度都低于阈值，则将该6.根据权利要求5所述的基于VisionTransformer网络的弱监督实例分割方法，其特当类别激活图上某个像素处记录的局部极大值位置坐标恰好为该像素的位置坐标时，将其记作一个局部峰值pf;所述利用每个局部峰值pf和COB候选区域的位置关系得到辅助掩码sf,具体操对于每个局部峰值pf,找到所有包含该局部峰值的COB候选区域并进行平均，通过取阈值得到与该局部峰值点对应的辅助掩码sf,即：7.根据权利要求5所述的基于VisionTransformer网络的弱监督实例分割方法，其特在ViT候选区域特征生成器中，将类别激活图分为nxn个图像块，输入Vision将所有图像块的特征向量按照顺序拼接为一个特征矩阵，然后根据使用SegAlign方法在特征层F上获取每个COB候选区域的特8.基于VisionTransformer网络的弱监督实5求1_7中任一项所述的基于VisionTransformer网络的弱监督实例分割方法，包括数据获所述数据获取模块用于获取带标签的自然图像数据集和待所述模型构建模块用于构建弱监督实例分割模型；所述弱监督实例分割模型包括ViT多标签分类模块及ViT候选区域评分模块；所述ViT多标签分类模块包括Vision所述模型训练模块用于初始化弱监督实例分割模型，构建损失函数并使用VisionTransformer网络对带标签的自然图像数据集将带标签的自然图像数据集输入候选区域生成器中，使用卷积导向边将COB候选区域输入ViT候选区域生成器中，采用SegAlign方法和全连接层生成COB候计算损失值并优化损失函数，迭代训练至函数收敛，得到训所述实例分割模块用于将待分割自然图像输入训练好的弱监督实例分割模型现权利要求1_7任一项所述的基于VisionTransformer网络的弱监6中各类别物体最具区分度的区域特征进行分类，这导致由CNN网络获得的类别激活图或显例边界的监督信号，以此训练实例填充模块；第三是设计新的基于CNN架构的反向传播方出的一种PRM方法；OuJR等人在文献《LearningtoScoreProposalsforWeakly存在着候选掩码打分机制的弊端及CNN网络产生的类别激活图只关注最显著区域的问题，另一方面为了保证较高性能，采用先进的大而深的CNN网络作为基本骨架来设计实例分割语言处理模态下(NLP)的任务相融合以实现[0004]本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于Vision7[0006]一方面，本发明提供了一种基于VisionTransformer网络的弱监督实例分割方[0008]构建弱监督实例分割模型；所述弱监督实例分割模型包括ViT多标签分类模块及伪标签生成器；所述ViT候选区域评分模块包括候选区域生成器及ViT候选区域特征生成卷积导向边界算法及层次分割算法生成COB候选区域；所述ViT候选区域特征生成器采用[0016]所述初始化弱监督实例分割模型是指在大型图像数据集上对弱监督实例分割模8[0023]将输入尺寸为W×H的自然图像切分为w×h个图像块，每个图像块包含P×P个像卷积层和全局平均池化层，将特征矩阵映射为C维预测分数向量，即为p为Visioni个COB候选区域的真实标签k，共有K个标签值N,[0030]根据类别激活图和COB候选区域，采用候选区域伪标签生成器得到候选区域伪标[0031]将COB候选区域输入ViT候选区域生成器中，采用SegAlign方法和全连接层生成[0033]优选的技术方案，所述VisionTransformer网络包括卷积层、L个级联的[0036]将所有添加类别标记的块标记送入L个级联的transformerblocks中进行特征提[0038]对L个注意力向量A:求均值并按照图像块在自然图像中的位置进行变形，获得注9[0042]将注意力图和图像的特征矩阵按元素相乘，产生类别激活图TS_CAM，表示为(ME-r,元素相乘公式为：[0047]将辅助掩码sf按照局部峰值pf的大小升序排列，按顺序计算某一COB候选区域Rn和辅助掩码sf的重叠度10U(sf,Rn),如果重叠度超过某一阈值λ,则将该COB候选区域的伪激活图的每一个位置并记录一个局部极大值以及对[0052]当类别激活图上某个像素处记录的局部极大值位置坐标恰好为该像素的位置坐[0053]所述利用每个局部峰值pf和COB候选区域的位置关系得到辅助掩码sf,具取阈值得到与该局部峰值点对应的辅助掩码sf,即：[0059]在ViT候选区域特征生成器中，将类别激活图分为n×n个图像块，输入Vision[0064]另一方面，本发明提供一种基于VisionTransformer网络的弱监督实例分割系ViT多标签分类模块及ViT候选区域评分模块；所述ViT多标签分类模块包括Vision[0068]所述实例分割模块用于将待分割自然图像输入训练好的候选区域的关系构造的候选区域伪标签更准确，由此训练得到的ViT候选区域评分模块能[0082]请参阅图1，在本申请的一个实施例中提供了一种基于VisionTransformer的弱区域伪标签生成器；ViT候选区域评分模块包括候选区域生成器及ViT候选区域特征生成割模型进行预训练，使用预训练完成后的模型参数作为初始化参数。本实施例中在ImageNet21k数据集上对弱监督实例分割模型进行预训练，将预训练完成后的参数作为初[0097]将输入尺寸为W×H的自然图像切分为w×h个图像块，每个图像块包含P×P个像i个COB候选区域的真实标签k，共有K个标签值N[0105]将所有添加类别标记的块标记送入L个级联的transformerblocks中进行特征提[0106]记t'eR(+19D为第[0110]对L个注意力向量A:求均值并按照图像块在自然图像中的位置进行变形，获)[0114]将注意力图和图像的特征矩阵按元素相乘，产生类别激活图TS_CAM，表示为[0117]卷积导向边界(ConvolutionalOrientedBoundaries,COB)是在MCG基础上使用轮廓信息并估计边缘的方向；利用这些多尺度的轮廓信息和边缘方向使用MCG层次分割算[0120]首先根据多标签分类结果取出某一类别激活图Mc；然后在类别[0121]利用每个峰值pf和COB候选区域的位置关系得到辅助掩码sf,具体操作[0122]对于每个局部峰值pf,找到所有包含该局部峰值的COB候选区域并对这些COB候选[0126]将辅助掩码sf按照局部峰值pf的大小升序排列，按顺序计算某一COB候选区域Rn和辅助掩码sf的重叠度1OU(sf,Rn),如果重叠度超过某一阈值λ,则将该COB候选区域的伪[0130]将所有图像块的特征向量Tokenembeddings按照顺序拼接为一个196×768特征[0131]将新特征矩阵输入1×1卷积conv中，融合各通道特征得到特征层F(Featurefre:[0140]将一幅自然图像输入COB候选区域生成器中生成候选区域然后将其输入[0142]基于与上述实施例中的基于VisionTransformer的弱监督实例分割方法相同的行上述基于VisionTransformer的弱监督实例分割方法。为了便于说明，基于VisionTransformer的弱监督实例分割系统实施例的结构示意图中，仅仅示出了与本发明实施例区域评分模块；ViT多标签分类模块包括VisionTransformer网络及候选区域伪标签生成明的基于VisionTransformer的弱监督实例分割方法一一对应，在上述基于VisionTransformer的弱监督实例分割方法的实施例阐述的技术特征及其有益效果均适用于基于多标签分类模块包括VisionTransfor