CN113673607B 图像标注模型的训练及图像标注的方法及装置 （支付宝(杭州)信息技术有限公司）

图像标注模型的训练及图像标注的方法及本说明书实施例提供一种图像标注模型的过原型向量对不同图像之间的特征进行交叉比筛除非目标区域，实现弱监督下的目标分割任虑修正后的分割结果与本来的分割结果之间的2从样本集中获取第一图像和第二图像，其中，第一图像和第二通过预训练的特征提取模块分别处理所述第一图像、所述第二图像，得单个原型向量对应着相应特征图上的单个特征点，且对应有满足激活条件的相应激活值，所述激活值的大小用于表征相应特征点对应到图像中关于目标的特征特征图包括所述第一卷积块中的多个卷积层对所述第二图像进行卷积操作的各个卷积结将激活值大于预定激活阈值的特征点全部作从激活值大于预定激活阈值的特征点中随机选择预定数量的特征点部作为候选特征在激活值大于预定激活阈值的特征点中，按照激活值由大其在第一特征图/第二特征图上对应的单个特征点的3由所述第一标注结果与利用所述第一特征图确定的第二标注结果的对比确定的第一根据包括第一图像和第二图像在内的当前批次训练样本，检测当前在各个模型损失的滑动平均的变化小于预定损失值12.一种图像标注的方法，用于通过预先训练的图像标注模型对样本集中具有分类标从样本集中获取第一图像和第二图像，其中，第一图像和第二小用于表征相应特征点对应到图像中关于目标的特经由修正模块，针对从第一图像、第二图像提取的各个13.一种图像标注模型的训练方法，所述图像标注模型用于对具有分类标签的图像进4经由修正模块，针对从第一图像提取的各个原型向量，分别基于所述第一分类结果确定图像标注模型的模型损失，从而以模型损失最小化为目在各个特征图中，选择激活值大于第一激活阈值的各个候选针对从第一特征图提取的第一原型向量，检测其与各个基准向量的在第一最大相似度大于预定相似度阈值的情况下，将所述由所述第一标注结果与利用所述第一特征图确定的第二标注结果的对比确定的第一根据包括第一图像在内的当前批次训练样本，检测当前批次训练在各个模型损失的滑动平均的变化小于预定损失值18.一种图像标注的方法，用于通过预先训练的图像标注模型对样本集中具有分类标5经由修正模块，针对从第一图像提取的各个原型向量，分别根据第一修正特征图，利用分类模块对第一图像进行分19.一种图像标注模型的训练装置，所述图像标注模型用于对具有分类标签的图像进调整单元，配置为基于所述分类结果确定图像标注模20.一种图像标注的装置，用于通过预先训练的图像标注模型对样本集中具有分类标621.一种图像标注模型的训练装置，所述图像标注模型用于对具有分类标签的图像进特征提取单元，配置为通过预训练的特征提取模块处理调整单元，配置为基于所述第一分类结果确定图像标注22.一种图像标注的装置，用于通过预先训练的图像标注模型对样本集中具有分类标特征提取单元，配置为通过预训练的特征提取模块处理7述第一卷积块中的多个卷积层对所述第二图像进行卷积操作的各个卷8激活值由大到小的顺序选择预定数量的特征点部作为候型向量，将该单个原型向量与其他原型向量的最大相似度作为其在第一特征图/第二特征次训练样本，检测当前批次训练样本及向前连续多个批次的训练样本对应的各个模型损样本集中具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、9样本集中具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、样本集中具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、样本集中具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、[0065]图1示出了本说明书技术架构的一个应用场景示例。该应用场景是一个证件的镭伪识别目标分为两块区域。这两块区域与证件图片区域的对应关系分别由双向箭头线101[0070]如图2给出的构思示例，图像B经过卷积神经网络CNN的处理后，仅鸟的头部区域相关的区域从而使得识别目标区域按照高置信度在图像之间传播，以发现新的目标区[0074]请参考图3所示，图3给出了根据一个实施例的图像标注模型的训练流程示意常是结合多个特征共同判定的结果，特征提取模块提取到的特征通常和目标的识别相关。可以是通道数量多于样本图像且单个通道的分辨率小于样本图像的分辨率的阵列。例如，[0086]在一个实施例中，取自不同卷积层的第一特征图的通道数一致，例如都是512通通过多种特征图组合来描述一幅图像，一方面可以选择能够提取更多细节特征的特征图，书中，可以将用于表示特征点是否映射到目标的特征区域的概率或可信度的值记为激活[0095]为了提取原型向量，可以先尽可能选择能够表达图像上的目标区域的候选特征[0096]在选择候选特征点的时候，可以把满足激活条件的全部特征点选择为候选特征与自身及其他图像中的原型向量都不具有相似性，则该原型向量更可能对应到背景区域。[0103]两两原型向量之间的相似性之后，可以将单个原型向量信度。其中，相似性比较可以采用诸如余弦相似度、标准化欧氏距离(Standardized[0107]在可能的设计中，单个图像自身可能也有一些可参考挖掘的激活区域，例如图32N-1个原型向量分别对应的相似度。例如在当前参与交叉比对的为第一图像和第二图像2的单个特征点的单个通道，可以用相应置信度与该通道上的特征值的乘积替换该特征值，例如针对第一特征图得到修正特征图406。同理，针对第二特征图可以得到第二修正特征的是，修正特征图与通过特征提取模块提取的特征图相比，可能对应非目标区域的特征点个拿着苹果的人进行人物目标识别时，需要将苹果遮挡人体部分所包含的像素排除在外。对图像进行像素级分割。也就是逐像素标注识别结果，例如目标人物对应的人体各类结果图像408至少包括像素级的标注结果，该结果可以针对各个像素标注出目标区域和损失（例如记为Lself来缩小这种差距。修正损失可以通过修正特征图与从相应图像中提将修正特征图406映射到得到第一图像的各个像素得到的第一标注结果，则分类结果图像408中的第一标注结果和第二标注结果407可以分别作为上式中的fN和fN确定第一图像对1/103N在多[0129]可以理解，图3示出的实施例从多个图像一起通过图像标注模型处理从而通过图[0136]值得说明的是，图6示出的图像标注流程通常仅对用于训练图像标注模型的样本n条件过滤掉显然不是目标区域的特征点。不满足激活条件的特征点通常对应着非目标区[0147]为了提取原型向量，可以先尽可能选择能够表达图像上的目标区域的候选特征[0150]与第一类别标签对应的基准向量集中的基准向量可以从第一类别标签对应的图使用基准向量集中的基准向量针对各个第一类别标签的图像提取的第一原型向量，检测其与各个基准向量的第一最大相似度是否大于预定相似度阈度、标准化欧氏距离(StandardizedEuclideandistance)、相关系数(Correlation[0162]按照图7示出的流程训练好的图像标准模型，同样可以用于样本集中的图像的像[0166]参考图10所示，示出了在PASCALVOC2012和MSCOCO训练集中评估本说明书架这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之