CN110378381A 物体检测方法、装置和计算机存储介质 （华为技术有限公司）

的初始图像特征和增强图像特征来确定待检测示了待检测物体相关联的其他物体对应的不同2对所述待检测图像进行卷积处理，得到所述待检测图根据知识图谱信息确定所述待检测物体的增强图像特像特征指示与所述待检测物体相关联的其它物体对应根据所述待检测物体的初始图像特征和所述待检测物体的应的不同物体类别之间的关联关系包括以下信息采用基于注意力机制的图卷积方式或者基于空间信息的图稀疏卷积方式对所述待检特征提取单元，用于对所述待检测图像进行卷积处理，所述特征提取单元还用于根据知识图谱信息确定所述述知识图谱信息包括所述待检测图像中的不同物体对应的不同物体类别之间的关联关系，所述待检测物体的增强图像特征指示了与所述待检测物体相关联的其它物体对应的物体检测单元，用于根据所述待检测物体的初始图像特征3对应的不同物体类别之间的关联关系包括以下信息采用基于注意力机制的图卷积方式或者基于空间信息的图稀疏卷积方式对所述待检4机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量5可以将打分较高的方框A和方框B筛选出来作为初始候选框，然后再以方框A内的图像对应的特征确定方框A内的图像的初始分类，以方框B内的图像对应的特征确定方框B内的图像取待检测物体的图像特征的方式与每次都单独获取各个待检测物体对应的图像特征的方6忆池信息中包含的物体类别的种类以及知识图谱信息中包含的不同物体类别之间的关联不同物体类别之间的关联关系包括以下信息中的至少一种：不同物体类别的属性关联关7[0035]上述不同类别的物体的属性关联关系具体可以是指不同类别的物体之间是否具[0038]在上述训练过程中，可以先预设一个初始知识图谱信息(该初始的知识图谱信息可以是)，然后在利用训练数据对神经网络模型进行训练的过程中不断调整该初始知识图谱信息，当到训练图像的检测结果与训练图像的标记结果比较接近时(也可以是在训练次[0039]上述初始知识图谱信息可以包括待检测图像中的不同物体对应的不同物体类别稀疏卷积方式对待检测物体相关联的其它物体对应的物体类别的语义信息进行卷积处理，8[0049]上述训练图像中的待检测物体的物体检测标注结果包括该训练图像中的待检测[0050]上述标注候选框和标注分类结果可以是预先(具体可以是通过人工进行标注)标[0052]在对上述神经网络进行训练的过程中，可以为神经网络设置一套初始的模型参体检测结构与训练图像中的待检测物体的物体检测标注结果之间的差异在一定的预设范法在训练过程中提取了更多的特征来进行物体检测，可以训练得到性能更好的神经网络，[0057]这里的其它神经网络模型可以是不同于第二方面的训练方法中进行训练的神经9施例的物体检测方法对手机拍摄到的图片进行物体检测时的效果更好(例如，物体的位置[0090]通过部署在街边的摄像头可以对往来的车辆和人群进行拍照，在获取到图片之(如本申请中的图片)输入到所述训练好的神经网络中，得到输出数据(如本申请中的图片请实施例涉及的相关术语及神经网络等相关[0097]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运得到输出向量j。由于DNN层数多，系数W和偏移向量的数量也比的第2个神经元的线性系数定义为上标3代表系数W所在的层数，而下标对应的是输出[0106]卷积神经网络(convolutionalneuronnetwork，CNN)是一种带有卷积结构的深取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过[0118]GCN是对卷积神经网络在图域(graphdomain)上的自然推广。它能同时对节点特是(人工)预先标注的训练图像中的各个待检测物体的分类结果。在采集到训练数据之后，对输入的训练图像进行物体检测，将输出的检测结果与物体预先标注的检测结果进行对比，直到训练设备120输出的物体的检测结果与预先标注的检测结果的差异小于一定的阈测图像(通过相关预处理后)输入该目标模型/规则101，即可得到待检测图像的检测结果。[0125]根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备载终端等，还可以是服务器或者云端等。在图1中，执行设备110配置输入/输出(input/[0126]预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如待处[0127]在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行[0128]最后，I/O接口112将处理结果，如上述得到的物体的检测结果呈现给客户设备入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库经网络(deepconvolutionalneuralnetwo[0133]由于CNN是一种非常常见的神经网络，下面结合图2重点对CNN的结构进行详细的图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络[0145]在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利(如图2由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏[0147]需要说明的是，如图2所示的卷积神经网络200仅作为一种卷[0148]应理解，可以采用图2所示的卷积神经网络(CNN)200执行本申请实施例的物体检也可以被设置在如图1所示的训练设备120中，用以[0150]神经网络处理器NPU50NPU作为协处理器挂载到主中央处理器(central控制器504控制运算电路503提取存储器(权重存储器或输入存储器(localresponsenormaliza[0154]在一些实现种，向量计算单元能507将经处理的输出的向量存储到统一缓存器[0156]权重数据直接通过存储单元访问控制器505(directmemoryaccesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器率同步动态随机存储器(doubledataratesynchronousdynamicrandomaccess[0164]上文中介绍的图1中的执行设备110能够执行本申请实施例的物体检测方法的各个步骤，图2所示的CNN模型和图3所示的芯片也可以用于执行本申请实施例的物体检测方[0166]图4所示的方法可以由物体检测装置执行，该物体检测装置可以是具有物体检测[0170]当图4所示的方法应用在移动终端识别万物的场景时，步骤1001中的待检测图像[0171]当图4所示的方法应用在街景识别的场景时，步骤1001中的待检测图像可以是路取待检测物体的图像特征的方式与每次都单独获取各个待检测物体对应的图像特征的方[0186]在上述训练过程中，可以先预设一个初始知识图谱信息(该初始的知识图谱信息可以是)，然后在利用训练数据对神经网络模型进行训练的过程中不断调整该初始知识图谱信息，当到训练图像的检测结果与训练图像的标记结果比较接近时(也可以是在训练次[0187]上述初始知识图谱信息可以包括待检测图像中的不同物体对应的不同物体类别刀碗刀10100碗010000100001的相似程度越高。例如，勺子和刀之间的相似值为0.016，而碗和勺子之间的相似值为息确定出待检测物体，然后将待检测物体周围连接的节点(也就是与该待检测物体相关联池信息中包含的物体的类别的种类以及知识图谱信息中包含的各个种类的物体之间的关[0205]步骤1004确定得到的待检测物体的候选框和分类可以分别是待检测物体的最终括：基于空间信息的图稀疏卷积方式对其它物体对应的物体类别的语义信息进行卷积处可以将打分较高的方框A和方框B筛选出来作为初始候选框，然后再以方框A内的图像对应的特征确定方框A内的图像的初始分类，以方框B内的图像对应的特征确定方框B内的图像[0219]在上述步骤1004中根据待检测物体的初始图像特征和待检测物体的增强图像特终图像特征对初始候选框进行调整可以是根据该最终图像特征对初始候选框的四周的坐[0220]为了更好地理解本申请实施例的物体检测方法的完整流程，下面结合图5对本申[0222]图6所示的方法可以由物体检测装置执行，该物体检测装置可以是具有物体检测功能的电子设备。该电子设备具体包含的装置的形态可以如上文介绍图4所示的方法中的[0224]其中，步骤2001至2003可以是步骤1002的细化实施方式(或者称为具体实施方4002主要是综合初始候选区域的初始图像特征和增强图像特征来确定待处理图像的最终[0228]步骤2001中获取待检测图像的方式与上述步骤1001中获取待检测图片的方式类[0230]在步骤2002中，可以将待检测图像输入到一个传统的物体检测器中进行处理(如初始候选框对应的图像特征确定初始候选框(可以通过对待检测图像的整个图像进行卷积处理来得到待检测图像的整个图像的图像特征)对应到方框A和方框B中，以获取方框A对应的初始图像特征和方框B对应的初始图像特[0237]在步骤3001中，可以采用物体检测器(如Faster-RCNN)中的分类器提取分类层参[0241]在训练过程中，分类器中的不同分类对应的分类层参数可能会[0245]在步骤3004中可以通过构建的图结构，利用图卷积网络传播节点上记忆池的信始候选区域的物体相关联的其他物体对应的物体类别的语义信息的卷积处理结果作为该[0249]在步骤4001中，可以对初始候选区域的初始图像特征和增强骤4002中得到的最终分类结果相当于步骤[0255]图7所示的方法可以由物体检测装置执行，该物体检测装置可以是具有物体检测功能的电子设备。电子设备具体包含的装置的形态可以如上文介绍图4所示的方法中的相记忆池可以包含对待检测物体进行物体检测时的各从待检测图像的初始卷积图像特征中获取待检测物体对应的初始图像特征，也就是图7中[0266]另外，在步骤4中还可以采用基于空间信息的图稀疏卷积方式对与待检测物体的[0267]步骤5：根据待检测物体的初始图像特征和待检测物体的增强图像特征确定待检[0268]上述步骤5中确定检测结果的具体过程可以参见上文图4所示的方法中的相关描方法2(Faster-RCNNwFPN)、传统方法3(CascadeRCNN)和传统方法4(Faster-RCNN)，其[0271]表2中所示的本申请的方法是指在卷积处理时采用了基于注意力机制的图卷积方式，并且知识图谱是人工设计的。测试用的数据集包括1.4版本的视觉基因组(Visual数据集拥有445类的大规模通用物体检测数据集，2万的张图片的训练数据集以及1千张的[0277]另外，还可以在传统方案的现有架构的基础上应用本申请实施例的物体检测方法，具体效果可以如表3所示。表3相对于表2新增了上下文信息通用物体检测数据集有约1.1万训练数据集以及5千张测试集。表3中的评价指标包括平均AP(meanaverage[0278]由表3可知，本申请方法能够显著提升已有检测器的识别准确率以及召回率，并以通过学习的方式获取，下面结合表4对本申请实施例中的知识图谱信息是通过学习方式[0282]如表4所示，一共有5种传统方法，这5种传统方法分别是传统方法A(light-head法E(FPN)，基于不同的实现架构，本申请的方法可以分为为本申请方法X(Faster-RCNNw可以是按照一定的训练方法训练得到的，下面结合附图8对本申请实施例的神经网络的训[0288]步骤5001中的训练数据包括训练图像以及训练图像中待检测物体的物体检测标[0291]步骤5003中的知识图谱信息包括训练图像中的不同物体对应的物体类别之间的[0292]5004、根据该神经网络对待检测物体的初始图像特征和增强[0295]上述标注候选框和标注分类结果可以是预先(具体可以是通过人工进行标注)标[0297]在对上述神经网络进行训练的过程中，可以为神经网络设置一套初始的模型参体检测结构与训练图像中的待检测物体的物体检测标注结果之间的差异在一定的预设范[0298]应理解，通过图8所示的方法训练得到的神经网络能够用于执行本申请实施例的法在训练过程中提取了更多的特征来进行物体检测，可以训练得到性能更好的神经网络，[0301]可选地，上述知识图谱信息是根据训练数据对其它神经网络模型进行训练得到[0302]这里的其它神经网络模型可以是不同于图8所示的训练方法中进行训练的神经网[0304]上文结合附图对本申请实施例的物体检测方法和神经网络训练方法进行了详细经网络训练装置能够执行本申请实施例的神经网络训练方法的各个步骤，下面在介绍图9[0308]上述特征提取单元7002还用于根据知识图谱信息确定待检测物体的增强图像特置7000中的图像获取单元7001可以相当于执行设备110中的I/O接口112，而物体检测装置7000中的特征提取单元7002和检测单元7003相当于执行设备11[0313]当本申请实施例的物