CN113627422B 一种图像分类方法及其相关设备 （华为技术有限公司）

本申请提供一种图像分类方法及其相关设于基础类别的图像，从而提高图像分类的准确2根据所述第一特征生成第一分类结果，所述第一分类结果用于将所述第一分类结果与所述图像分类模型的模型参数进行相将所述第四分类结果与所述第六分类结果进行相减处理，3.根据权利要求1或2所述的方法，其特5.根据权利要求1或2所述的方法，其特征在于将所述参考图像和所述待分类图像输入至待训练模型，得到所述待分述第三特征生成第二分类结果；将所述第一分类结果和所述第二分类结果进行相加处理，根据所述第一分类结果确定所述参考图像的第一预测类别，并根据所根据所述参考图像的第一真实类别、所述第一预测类别，所述待3根据所述目标损失对所述待训练模型的模型参数进行更新，直至满足模型训练条件，根据所述参考图像的第一真实类别以及所述第一预测类别一子损失用于指示所述第一真实类别与所述第一预测根据所述待分类图像的第二真实类别以及所述第二预测类别，第二子损失用于指示所述第二真实类别与所述第二预9.根据权利要求6或7所述的方法，其特征在于，第一分类模块，用于根据所述第一特征生成第一分类结果分类结果调整模块，用于将所述第一分类结果和所述第处理模块，用于将所述参考图像和所述待分类图像输入至待训练模型，得4确定模块，用于根据所述第一分类结果确定所述参考图像的第述第三分类结果确定所述待分类图像的第二预测类更新模块，用于根据所述目标损失对所述待训练模型的模型参所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施权利要求1至11任5为参考图像(也可称为支持图像)，另一个分支的输入为待分类图像(也可称为查询图像)。[0008]得到待分类图像和参考图像后，可将参考图像和待分类图像输入至图像分类模[0010]然后，通过图像分类模型根据参考图像的第一特征生成参考图像的第一分类结6待分类图像的第三分类结果具备足够的准确性，可以认为是待分类图像的最终分类结果，故基于第三分类结果可确定待分类图像的类别。图像的第一分类结果包含参考图像属于各个类别的概率(即参考图像呈现的目标物体属于7果包含待分类图像属于各个类别的概率(即待分类图像呈现的目标物体属于各个类别的概89一真实类别与第一预测类别之间的差异，以及第二真实类别与第二预测类别之间的差异；[0044]本申请实施例的第五方面提供了一种图像分类装置，该装置包括存储器和处理[0045]本申请实施例的第六方面提供了一种模型训练装置，该装置包括存储器和处理中任意一种可能的实现方式、第二方面或第二方面中任意一种可能的实现方式所述的方[0072]为了解决上述问题，本申请提供了一种图像分类方法，该方法可结合人工智能提供给基础平台提供的分布式计算系统中的智能芯片[0077]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、[0096]上述图2a和图2b中的用户设备具体可以是图2c中的本地设备301或者本地设备[0097]图2a和图2b中的处理器可以通过神经网络模型或者其它模型(例如，基于支持向量机的模型)进行数据训练/机器学习/深度学习，并利用数据最终训练或者学习得到的模[0099]在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理(比如进行本申请中神经网络的功能实现)过程中，执行设备110可以调入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库置在如图3所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则。器控制运算电路提取存储器(权重存储器或输入存储器)中络计算，如池化(pooling)，批归一化(batchnormalization)，局部响应归一化(local[0111]权重数据直接通过存储单元访问控制器(directmemoryaccesscontroller，[0115]一般地，统一存储器，输入存储器，权重存储器以及取指存储器均为片上(On-态随机存储器(doubledataratesynchronousdynamicrandomaccessmemory，DDR施例涉及的相关术语及神经网络等相关概念[0118]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文所述的输入空也就是最终得到训练好的神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个loss的过[0127]图4为本申请实施例提供的图像分类方法的一个流程示意图，该方法可利用图像的(即不同的参考图像呈现有不同类别的物体)，属于基础类别的参考图像的数量通常较[0131]具体地，可将多个参考图像输入第一特征提取模块Es。对于任二特征提取模块Eq可对其进行特征提取，得到待分类图像Q的子图像块Qj的第二特征EqqT，第二特征提取模块E可将待分类图像的所有子图像块的第二特征输入至特征融合模块q[0140]特征融合模块得到待分类图像的第三特征后，可将第三特征发送至第二分类模图像呈现的目标物体属于各个类别的概率)，故第二分类结果可用于确定待分类图像的类别(但本申请实施例并不利用第二分类结果来确定待分类图像的类别，此处先不做展开)。qq可对其进行计算，得到子图像块Qj在参考图像Si的作用下的第二分类结果为子子图像块Qj在各个参考图像的作用下的第二分类结果(即子图像块Qj的第二分类结果)。同样地，也可以得到其余图像块在各个参考图像的作用下的第二分类结果(即其余图像块的参考图像的作用下的第三分类结果(相当于得到所有子图像块的第三分类结果，即待分类这些子图像块在待分类图像Q的坐标即为目标物体在待分类图像类结果。Si的第一分类结果对子图像块Qj在参考图像Si的作用下的第二分类结果的调分类结果对子图像块Qj在参考图像Si的作用下的第二分类结果的调整作用是为已训练的图像分类模型中，特征融合模块和分类结果调整模块的模型参数(可以认为是可得到相应新的最终分类结果(即子图像块Qj在[0169]基于公式(9)可得到子图像块Qj在参考图像Si的作用下的第三分类结果，以此类个子图像块在所有参考图像的作用下的第三分类结果(相当于得到每个子图像块的第三分别为同一类别时，这些子图像块的类别即为待分类图像Q的类别(即待分类图像Q呈现的目标物体的类别)，且这些子图像块在待分类图像Q的坐标即为目标物体在待分类图像Q中的图像分类模型的模型参数，以及等同于前述参考图像的第五分类结果，(1-a)(b⃞+A-B)以及(1-a)(c⃞+A-B)等同于前述参考图像的第六比表示待分类图像中目标物体的预测位置(即包含目标物体的预测检测框)与真实位置(即包含目标物体的真实检测框)之间的比值。在表2和表4中，示意出六种条件下的平均召回实施例提供的模型训练方法进行介绍。图7为本申请实施例提供的模型训练方法的一个流类图像输入至第二特征模块，以通过第二特征提取模块对待分类图像进行特征提取处理，[0190]特征融合模块得到待分类图像的第三特征后，可将第三特征发送至第二分类模[0194]关于待训练模型获取参考图像的第一分类结果和待分类图像的第三分类结果的[0196]通过待训练模型得到参考图像的第一分类结果和待分类实施例提供的图像分类装置和模型训练装置分别进行介绍。图8为本申请实施例提供的图[0214]在一种可能的实现方式中，特征提取模块801包括第一特征提取模块和第二特征量可以一个或多个，图10中以一个处理器为例)，其中，处理器1003可以包括应用处理器1003和存储器1004可通过总线或其它数据。存储器1004的一部分还可以包括非易失性随机存取存储器(non-volatilerandom[0231]上述本申请实施例揭示的方法可以应用于处理器1003中，或者由处理器1003实理器或微控制器，还可进一步包括专用集成电路(applicationspecificintegrated或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central只读存储器(read-onlymemory，ROM)或可存储静态信息和指令的其他类型的静态存储设片可以表现为神经网络处理器NPU1200，NPU120矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器存储器获取指令，还用于存储单元访问控制器1205从外部存储器获取输入矩阵A或者权重[0246]DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1206或将权重数据搬运到权重存储器1202中或将输入数据数据搬运到输入存[0248]在一些实现中，向量计算单元1207能将经处理的输出的向量存储到统一存储器