CN110458233A 混合粒度物体识别模型训练及识别方法、装置及存储介质 （腾讯云计算（北京）有限责任公司）

置及存储介质于所述样本图像和所述样本图像的类别标签对异为目标对所述预训练模型的细粒度分支分类申请能够实现在同一个网络结构中进行粗粒度2获取样本图像，确定各样本图像的类别标签，所述类基于所述样本图像和所述样本图像的类别标签对初始深度学习模型进行图像的类别以拉大细粒度类别之间的特征差异为目标对所述预训练模型的细粒度分支分类模块根据所述图像的细粒度类别和所述细粒度类别的特征对根据所述图像集合中各图像所属细粒度类别的分布，确定混合粒对所述样本图像进行前向计算，得到所述样本图像属于基于所述粗粒度类别的预测概率和所述细粒度类别的预测概率确定所述样本图像的将所述类别预测结果与所述类别标签进行对比，计将所述整体损失值反向传播到卷积神经网络模型中，通过随机梯将所述样本图像和所述样本图像的类别标签输入更新权重参数后的卷积神经网络模对所述预训练模型进行前向计算，得到同一粗粒度类根据各样本图像的细粒度类别特征和同一粗粒度类别下其他样本图像的细粒度类别3根据所述细粒度分支分类损失值和三元组损根据所述总损失值调整所述细粒度分支分类模块的参数，得到混合粒度物体识别模像属于各粗粒度类别的概率和属于所述粗粒度类别基于所述粗粒度类别的概率和所述细粒度类别的概率确定所述待识别图像的类别识其中，所述混合粒度物体识别模型是基于样本图像和对应的类别标将所述待识别图像属于的各粗粒度类别中概率最大的一类粗粒度类别确定为目标粗对所述目标粗粒度类别下各细粒度类别按照概率大小模型训练模块，用于基于所述样本图像和所述样本图像的模型调整模块，用于以拉大细粒度类别之间的特征差异为类别识别处理模块，用于将所述待识别图像输入混合粒度物类别识别结果确定模块，用于基于所述粗粒度类别的概率和所述其中，所述混合粒度物体识别模型是基于样本图像和对应的类别标4所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-4任一所述的混合粒度物体识别模型训练方法或权利要求5-6任一所述集由处理器加载并执行以实现如权利要求1-4任一所述的混合粒度物体识别模型训练方法5细粒度的暴力识别方法容易对细粒度物体所在的粗粒度类别识别不足(如把猫识别成狗的某一细粒度种类)，而另外采用细粒度分类方法对目标特征进行细粒度计算的方法容易造[0006]基于所述样本图像和所述样本图像的类别标签对初始深度学习模型进行图像的[0007]以拉大细粒度类别之间的特征差异为目标对所述预训练模型的细粒度分支分类[0011]基于所述粗粒度类别的概率和所述细粒度类别的概率确定所述待识别图像的类6图像的细粒度类别特征和同一粗粒度类别下其他样本图像的细粒度类别特征计算得到细7码集或该指令集由处理器加载并执行以实现如上述的混合粒度物体识别模型的训练方法处理器加载并执行以实现如上述的混合粒度物体识别模型的训练方法或混合粒度物体识[0033]本申请实施例提供的混合粒度物体识别模型训练及识别方法、度类别进行学习，能够实现在同一个网络结构中进行粗粒度类别识别和细粒度类别识别；[0044]图9是本申请实施例提供的一种对预训练模型的细粒度分支分类模块进行调整的8[0052]图17是本申请实施例提供的一种混合粒度物体识别方法的服务器的硬件结构框[0056]粗粒度物体识别:类别级别的识别，不考虑对象的特定实例，仅考虑对象的类别9[0062]featuremap:样本图像和滤波器进行卷积后得到的特征图。featuremap可以和[0065]目前与本方案比较接近的有三个技术：HyperFace(ADeepMulti-taskLearningFrameworkforFaceDetection,LandmarkLocalization,PoseEstimation,andGenderRecognition)、CTF(Coarse-to-fine:ARNN-basedhierarchicalattentionmodelforvehiclere-identification)和LSFG(EmbeddingLabelStructuresforFine-Grained[0066]如图1所示，HyperFace使用一个multitask框架在主体网络(conv1到fc6)中对输取特征最后通过全连层分类；细粒度分支主要对粗粒度的RNN特征进行根据主体featuremap和粗粒度RNN特征同时激活后续模块学习到主体featuremap中不同通道特征的重要[0068]如图3所示，LSFG方法在传统的分类深度网络的分类损失函数中加入triplet-以一种端到端的方式把多任务目标并列学习直接用在混合细粒度识别中，存在如下缺陷：由于其模型仅对同一粗粒度间的细粒度类别进行区分，未对粗粒度间的区分性进行学习，故经过模型学习后粗粒度类别内部会存在细[0078]具体的，服务器101可以根据图像的细粒度类别对图像进行聚类处理获得图像集本的样本图像。服务器101可以根据样本图像和样本图像的类别标签对初始深度学习模型[0080]第二服务器可以根据样本图像和样本图像的类别标签对初始深度学习模型进行[0081]第三服务器接收到终端设备102发送的待识别图像，并将该待识别图像发送至第[0082]第三服务器可以根据所述粗粒度类别的概率和细粒度类别的[0086]图5是本申请实施例提供的一种混合粒度物体识别模型的框架图，本申请设计了度识别模块540构成粗粒度分支分类模块，细粒度特征模块550和细粒度识别模块560构成[0087]本申请实施例提供的混合粒度物体识别模型框架包括粗粒度分支分类模块和细实施例提供的一种物体识别的应用场景示意图，将混合粒度物体识别模型用于执行如图6习框架中引入粗粒度识别，通过共享部分网络参数可以同时胜任粗粒度和细粒度识别任[0089]以下介绍本申请一种混合粒度物体识别模型训练方法的具体实施例，图7是本申[0097]S7015、根据所述图像的细粒度类别和所述细粒度类别的特征对所述图像进行聚[0106]表2是本申请实施例提供的混合粒度物体识别模型的粗粒度识别模块的层结构，其中M_cr为残差结构的层数；表3是本申请实施例提供的混合粒度物体识别模型的粗粒度识别模块结构表，其中假设粗粒度特征模块输出的特征为Nfeat_cr1xNfeat_[0111]表4是本申请实施例提供的混合粒度物体识别模型的细粒度识别模块的层结构，其中M_fg为残差结构的层数；表5是本申请实施例提供的混合粒度物体识别模型的细粒度识别模块结构表，其中假设细粒度特征模块输出的特征为Nfeat__fg1xNfeat_[0120]S803:对所述样本图像进行前向计算，得到所述样本图像属于粗粒度类别的预测[0121]S805:基于所述粗粒度类别的预测概率和所述细粒度类别的预测概率确定所述样[0122]S807:将所述类别预测结果与所述类别标签进行对比，计算得到粗粒度损失值和[0124]S811:将所述整体损失值反向传播到卷积神经网络模型中，通过随机梯度下降法[0125]S813:将所述样本图像和所述样本图像的类别标签输入更新权重参数后的卷积神经网络模型，重复S803-S811调整权重参数步骤至当前调整权重参数步骤的执行次数达到[0127](1)初始化模型参数：Conv1-Conv5采用在ImageNet数据集上预训练的ResNet101[0128](2)模型训练：采用基于SGD(StochasticGradientDescent)的梯度下降法求解[0130]经过上述S703的训练获得的预训练模型已具有识别粗粒度类别和细粒度类别的进行微调。图9是本申请实施例提供的一种对预训练模型的细粒度分支分类模块进行调整[0137]具体的，所述细粒度分支分类损失值可以通过公式(2)所示的细粒度分支的损失像属同一细粒度类别的样本图像，所述负样本图像为与所述样本图像属同一粗粒度类别、内不同细粒度类别的样本图像为负样本图像(n)，组成(a,p,n)三样本。计算三样本的大细粒度类别间特征差异。公式(3)中fa指样本图像a在模型前向计算中得到的特征表达，fp指正样本图像p在模型前向计算中得到的特征表达,fn指负样本图像n在模型前向计算中[0150]具体的，S705仅对所述预训练模型的细粒度分支分类模块(即细粒度特征模块和[0152]使用上述训练获得的混合粒度物体识别模型可以对新输入的图像进行类别属于的前N个细粒度类别时，选择粗粒度类别概率中概率最大的一类作为所述图像所属粗粒度类别，并选择该粗粒度类别下的所有细粒度类别概率中最大的N个类别作为所述图像述待识别图像属于各粗粒度类别的概率和属于所述粗粒度类别[0160](1)提取待识别图像的主体特征；所述主体特征包括待识别图像中关键部位的特[0161](2)将所述待识别图像的主体特征与混合粒度物体识别模型中存储的各粗粒度类[0162](3)将所述待识别图像的主体特征与混合粒度物体识别模型中存储的各细粒度类配度与所述第一匹配度的平均值作为所述待识别图像属[0166]S1205：基于所述粗粒度类别的概率和所述细粒度类别的概率确定所述待识别图的概率为99％、属于猫这一粗粒度类别的概率为40％、属于鸟这一粗粒度类别的概率为1属于柯基犬这一细粒度类别的概率为10％、属于秋田犬这一细粒度类别的概率为20％、属于吉娃娃这一细粒度类别的概率为5％、属于哈士奇这一细粒度类别的概率为[0169]本实施例混合细粒度物体识别方法能够同时识别物体的粗粒度类别和细粒度类述样本图像属于粗粒度类别的预测概率和属于所述粗粒度类别下细粒度类别的预测概率；基于所述粗粒度类别的预测概率和所述细粒度类别的预测概率确定所述样本图像的类别[0189]本实施例混合细粒度物体识别装置能够同时识别物体的粗粒度类别和细粒度类大的差异，可以包括一个或一个以上中央处理器(CentralProcessingUnits，CPU)1710(处理器1710可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1730，一个或一个以上存储应用程序1723或数据1722的存储介质1720括对服务器中的一系列指令操作。更进一步地，中央处理器1710可以设置为与存储介质相连从而可与互联网进行通讯。在一个实例中，输入输出接口1740可以为射频(Radio存用于实现方法实施例中一种混合粒度物体识别方法相关的至少一条指令、至少一段程[0198]本领域普