CN114973064B 一种伪标签框生成方法、装置及电子设备 （华为技术有限公司）

均可以显著性的呈现出目标图像中属于同一类2确定目标图像中各个目标的类别，以得到N个类别；所述意力图均与所述N个类别中的一个类别相关联，每个所述注意力图均用于呈现所述目标图针对任意一个伪标签框，调整所述任意一个伪标签框在至少对所述N个注意力图中的每个注意力图均进行二值化处理，并利用连通域的方式对二对所述目标图像中所包含的目标进行检测，以得到预测标签框集合，所基于伪标签框集合和所述预测标签框集合，对目标检测模型进行训基于所述伪标签框集合中的各个伪标签框，从所述预测标签框集合中选取x个预测标基于所述伪标签框集合中的伪标签框和所述x个预测标签框，更新所述目标检测模型38.根据权利要求7所述的装置，其特征在于，所述处理模块在对所述目标图像进行处9.根据权利要求7或8所述的装置，其特征在于，所述处理模块在基于所述N个注意力针对任意一个伪标签框，调整所述任意一个伪标签框在至少对所述N个注意力图中的每个注意力图均进行二值化处理，并利用连通域的方式对二对所述目标图像中所包含的目标进行检测，以得到预测标签框集合，所基于伪标签框集合和所述预测标签框集合，对目标检测模型进行训基于所述伪标签框集合中的各个伪标签框，从所述预测标签框集合中选取x个预测标基于所述伪标签框集合中的伪标签框和所述x个预测标签框，更新所述目标检测模型4所述至少一个处理器通过所述接口获取程序指令所述至少一个处理器用于执行所述程序行指令，以实现如权利要求1_6任一所述的方56更新目标检测模型中第一网络和第二网络的网络参数，第一网络用于得到伪标签框集合，签框均与伪标签框集合中的一个伪标签框相关联；基于伪标签框集合中的伪标签框和x个7于执行第一方面或第一方面的任一种可能的实现现第一方面或第一方面的任一种可能的实现方式8[0036]示例性的，对于利用弱监督算法进行目标检测(简称“弱监督目标检测(weakly然后再选择最能区分图像类别的框作为目标目标的类别的数量相等)的注意力图，每个注意力图上均可以显著性的呈现出目标图像中属于同一类别的至少一个目标。接着，可以由获取到的注意力图，得到候选框(即伪标签选框生成(seedproposalgeneration，SPG)子网120和稀疏候选框精炼(sparse[0041]其中，骨干网110主要用于对图像进行特征提取，其可以是基于transformer的9当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩图像上沿着水平方向一个像素接着一个像素块1121、分支模块1122和分支模块1123均可以由一个或多个自注意力块(self_attention[0044]种子候选框生成SPG子网120主要用于基于骨干网110中分支模块1122处理后的图[0045]图像分类模块121可以主要由两个类注意块(class_attentionblock)和两个全可学习的类标记和C(例如C可以为事先定义的所需的类别的最大值)个可学习的语义类别[0047]候选框生成模块122主要是基于图像分类模块121输出的注意力矩阵生成种子候[0048]稀疏候选框精炼SPR子网130主要是基于骨干网110中分支模块1123处理后的图像SPR子网130能够达到目标进行检测的状态。继续参阅图1，SPR子网130可以包括编码器[0049]编码器131和解码器132组合在一起主要是用于输出从待检测图像中预测到的稀[0050]一对一候选框匹配模块133主要是用于基于解码器132检测到的稀疏候选框和SPG[0051]以上即是对本申请实施例提供的目标检测模型100的介绍。通过该目标检测模型[0055]在S202，将目标图像输入至目标网络模型100，利用SPG子网120生成类别数据集依次基于自注意力机制对卷积层111处理后的图像特征进行处理，并将处理后的图像特征候选框生成模块122可以通过索引注意力矩阵A∈R(C+1)×(C+N+1)的前C行和中间N列(即除前C[0063]接着，候选框生成模块122可以基于通过FC层确定出的目标图像中包含的各个类[0065]最后，候选框生成模块122可以对筛选出的注意力图进行二值化(binarization)成各个注意力图中所包含的各个种子候选框，从而生成类别数据集(I)的伪标签框的伪标注意力图，而通过添加C个语义类别感知标记ts，则可以实现为每个语义类别生成注意力[0073]在SPG子网120生成种子候选框(即伪标签框集合(A))后，SPG子网120可以将生成1123依次基于自注意力机制对卷积层111处理后的图像特征进行处理的图像特征后，可以pppp网120的网络参数G(θ)和SPR子网130的网络[0077]在一些实施例中，SPR子网130中的一对一候选框匹配模块133可以以伪标签框集合(A)中的种子候选框作为伪目标，利用二分图匹配算法，比如匈牙利算法(hungarian和lGIoU(*)分别是FocalLoss、L1loss和GeneralizedIoUFL选框，是第个种子候选框的语义分类，j=m表示第i个稀疏候选框匹配到了第m个种[0081]在一些实施例中，可以重复S202至S204直到达到预先设骨干网110中与SPR子网130相关的模块，而无需使用SPG子网120和在骨干网110中与SPG子力图均与N个类别中的一个类别相关联，每个注意力图均用于显著呈现目标图像中一个类对N个注意力图中的每个注意力图均进行二值化处理，并利用连通域的方式对二值化处理与N个类别中的一个类别相关联，每个注意力图均用于显著呈现目标图像中一个类别的目与伪标签框集合中的一个伪标签框相关联；基于伪标签框集合中的伪标签框和x个预测标方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器[0114]可以理解的是，上述实施例中各步骤的序号的大小并不[0115]可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessingunit，CPU)，还可以是其他通用处理器、数字信号处理器(digitalsignal