CN110543578A 物体识别方法及装置 （华为技术有限公司）

视觉领域，公开了一种优化用户拍照姿势的方2使用基于多层次环境信息特征的度量学习，从图使用基于多层次环境信息特征的度量学习结合所3.如权利要求1或2所述的图片推荐方法，使用基于多层次环境信息特征的度量学习，计算所述根据计算结果，从所述图片库中选择相似度排名靠前的使用基于多层次环境信息特征的度量学习，从图将所有的最相似图片进行排序，选择排名靠前的至少一推荐模块，用于使用基于多层次环境信息特征的度量学3使用基于多层次环境信息特征的度量学习结合所推荐单元，用于根据计算结果，从所述图片库中选择相似度计算单元，用于基于多层次环境信息推荐单元，用户将所有的最相似图片进行排序，选推荐给用户至少一张目标图片和至少一张对应的原始在拍摄界面上显示一个预览框，在所述预览框中显示所接收模块，用于接收用户在当前地点取景的包含拍摄目标推荐模块，用于推荐给用户至少一张目标图片和至少4呈现模块，用于在拍摄界面上显示一个预览框，在所述预览对于所述人体姿态库中的每一张图片，根据所述人体姿态使用度量学习的方式对所述三元组训练样本进行训练，得到CNN特征提取模型；所述CNN特征提取模型使得能相互推荐的样本映射到特征空间后距离相近，不能推荐的样本映使用所述CNN特征提取模型，对人体姿态图片库中的每张图片提取预定数量维度的特计算所述人体姿态库中人体姿态图片的两两之间的背融合所述人体姿态库人体姿态图片的两两之间的通过场景分类算法和场景解析算法计算所述人体姿态库中人体姿态图片的两两之间通过人体属性提取算法计算所述人体姿态库中人体姿态图片的两两之间的前景相似对于所述人体姿态库中的每一张图片，在所述人体姿态CNN特征学习模块，用于使用度量学习的方式对所述三元组训练样本进行训练，得到5相似度计算单元，用于计算所述人体姿态库中人融合单元，用于融合所述人体姿态库中人体姿对于所述人体姿态库中的每一张图片，在所述人体姿态将人体姿态推荐图片按照预定的预览方式呈现；所述人体姿态图片为使用度量学习，计算所述取景图像的特征与特征库中每一张图像的特征的相将相似度排序，从图片库中选取对应排名靠前的相似度的接收所述人体姿态推荐图片；所述人体姿态推荐图片为26.如权利要求23-25任一项所述的方法，其基于度量学习结合所述用户的推荐偏好，从图片库中选取同所述输入图片相6进入姿态推荐模式，将人体姿态推荐图片按照预定的预计算所述取景图像的特征与特征库中每一张图像的特征的相将相似度排序，从图片库中选取对应排名靠前的相似度的接收所述人体姿态推荐图片；所述人体姿态推荐图片为31.如权利要求28-30任一项所述的电子设备，基于度量学习结合所述用户的推荐偏好，从图片库中选取同所述输入图片相32.如权利要求28-31人一向所述的方法7得所述计算机执行如权利要求1至6中任一项所述的得所述计算机执行如权利要求23至27中任一项所述8从图片库中选取同所述输入图片相似度最高的至少一张图片作为人体姿态推荐图片，包9述接收模块接收到的输入图片相似度最高的至少一张图片作为人体姿态推荐图片；其中，接收用户在当前地点取景的包含拍摄目标的多张不述CNN特征提取模型使得能相互推荐的样本映射到特征空间后距离相近，不能推荐的样本[0058]使用所述CNN特征提取模型，对人体姿态图片库中的每张图片提取预定数量的维[0063]通过场景分类算法和场景解析算法计算所述人体姿态库中人体姿态图片的两两[0064]通过人体属性提取算法计算所述人体姿态库中人体姿态图片的两两之间的前景[0079]获取所述拍摄界面的取景图像，根据所述取景图像确定所述拍摄界面上包括人取景图像特征从从图片库中选取同所述取景图像相似度排[0101]获取所述拍摄界面的取景图像，根据所述取景图像确定所述拍摄界面上包括人取景图像特征从从图片库中选取同所述取景图像相似度排[0146]图22为本申请实施例提供的一种可以提示用户进行相似构图拍照的智能终端示[0158]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运一层仅仅是对输入向量主经过如此简单的操作得到输出向量由于DNN层数多，则系数W和个三层的DNN中，第二层的第4个神经元到第三层的第2个神经[0165]卷积神经网络(CNN，ConvolutionalNeuronNetwork)是一种带有卷积结构的深或者卷积特征平面(featuremap)做卷积。卷积层是指卷积神经网络中对输入信号进行卷间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过[0172]本申请实施例所要解决的技术问题是针对各种日常场景下的人体姿态推荐问请实施例可以直接应用在移动设备上的以图搜图的场景，帮助用户搜索出高度相似的图拍摄者的主体信息，从预筛选的专业人像摄影图片图库或用户自定义\收藏的摄影图库中的主体属性推荐出的人体姿态图片，(c)为被拍摄者参考推荐的人体姿态图片调整姿态后采集设备160用于采集训练数据，本申请实施例中训练数据包括：包含人体的图像或图像申请后面的实施例将会将更详细地描述训练设备120如何基于训练数据得到CNN特征提取输入该CNN特征提取模型101，即可得到包含人体的图像或图像块预定数量的维度的特征。[0181]本申请实施例中的CNN特征提取模型101可以通过CNN卷积神经网络实现。需要说行CNN特征提取模型101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，[0182]根据训练设备120训练得到的CNN特征提取模型101可以应用于不同的系统或设备[0183]在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理(比如进行本申请中提到的寻找相似图片的过程)过程中，执行设备110[0187]本申请实施例提供的方法和装置还可以用于扩充训练数据库，如图1所示执行设申请实施例将输入数据(如本申请中的人体姿态图片)输入到所述训练好的CNN特征提取模[0189]如前文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络[0201]在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利(如图2由240至210方向的传播为反向传播)就会开始更新前面提到的各层的[0203]需要说明的是，如图2所示的卷积神经网络200仅作为一种卷[0205]图5是本发明实施例提供的一种模块实现示意图。本发明实施例的落地产品形态模块和在线模块。离线模块分为两个子模块：计算图像相似性子模块和CNN特征训练子模[0211]CNN特征学习子模块：根据计算图像相似性子模块中获得的图像相似度信息在人[0212]通过利用大量的三元组训练数据，使用度量学习的方式训练一个轻量级的CNN特映射到特征空间后尽可能远离。训练完CNN特征提取模型后，利用已经训练好的度量学习CNN特征提取模型对每张人体姿态图片库中的人体姿态图像提取预定数量的维度的特征荐图库中计算最为相似的若干张图像作为正样本(如按照相似度排序取前K张)，剩下的图照预定的预览方式反馈给用户进行选择。为了在手机等设备上加速相似度计算和排序过块和在线推荐子模块，这两个子模块包括利用离线模块获取的CNN特征提取模型部署到手[0227]对于离线处理，我们分为两个子模块：计算图像相似性模块和CNN特征学习子模包括性别和衣着等。本发明实施例中的人体检测和人体属性网络可使用任意高精度的结构，人体检测可使用MSCOCO等公开数据用于训练人体的检测模型，人体属性可使用PA-[0234]1和2：首先给定任意一张图片(本部分计算图像相似性是用于产生三元组训练数图片库)；输入图像具有相似场景并且相似人数和人体属性(可选地，具体人体属性包括性别、衣着[0241]由此方法可获得大量的三元组样本作为度量学习的训练数据。训练度量学习CNN[0242]基于三胎网络，通过该网络学习CNN特征提取模型。三胎网络由三个权重共享的CNN网络分支组成，该CNN可为任何可部署到移动端的轻量级CNN基础网络，包括但不限于外假设每个三张人体姿态图片<A,P,N>的场景类别标签分别为和该标签可为上[0250]在线阶段，使用离线训练的度量学习CNN特征提取模型，部署到手机等移动设备上。对于摄像机捕获得视频流(在人体姿态推荐的使用场景下，这里的取的景是这个视频[0255]下面图9a是本发明实施例一的技术效果图，每行第一列是不同场景下的输入图对应关系(因为是基于每张原图的特征向量计算人体姿态的相似度，将相似度高的原图推的推荐姿态图片在界面上(图b),将最优选的排在第一位，并默认打上已选择的标识(图b/图c中带对号图标的第一张推荐图片)，如果当前推荐的图片都不能令用户满意，可以通过图b所示的方式换一批图片或通过图c所示的方式上拉加载更多，以向用户呈现更多的推荐片作为姿态库。[0272](2)提供了本地图库和云端图库的更新和扩充方式，针对新扩充的数据进一步优[0277]可选地，这里的部署，实际上直接将CNN特征提取模型放到手机上和服务器上运[0278]本实施例的后台算法采用一种多任务度量学习方案。本实施例方案分为三个步等主体相似度，也包括拍摄姿态所借助的道具等物体空间布局的相似度和场景的相似度。[0286]当模型部署到手机等移动设备上进行个性化推荐时，用户开[0289]实施例三将本发明实施例的推荐方法与实际应用场景下的个性化推荐进行结[0291]本实施例阐述的是基于本发明方法并且支持拍摄目标属性的自动检测和过滤的化标签分别是和其中oj,ofeR",RD为标像特征计算相似度Simb进行初始的人体姿态推荐，将排序前K的人体姿态图像作为个性化[0309]本实施例提供用户选择多角度的推荐模式，即需要用户移动(手机)摄像头(例如态推荐界面(图b)后，在姿态推荐界面上显示让用户转换拍摄角度的功能提示(如图b中右片推荐给用户(例如，最后排序的结果是对应预览图片2产生的推荐结果列表中的一张图此左转60度回到刚才获取预览图片2的位置进行拍摄，同时也可以在姿态推荐界面查看前所述接收模块接收到的输入图片相似度最高的至少一张图片作为人体姿态推荐图片；其[0357]S210，接收用户在当前地点取景的包含拍摄目标的多张不同角度的原始图片集[0363]接收模块210，用于接收用户在当前地点取景的包含拍摄目标的多张不同角度的[0376]通过场景分类算法和场景解析算法计算所述人体姿态库中人体姿态图片的两两[0377]通过人体属性提取算法计算所述人体姿态库中人体姿态图片的两两之间的前景[0381]计算图像相似性模块310，用于计算人体姿态库中的人体姿态图片的两两之间的[0384]CNN特征学习模块330，用于使用度量学习的方式对所述三元组训练样本进行训[0387]相似度计算单元311，用于计算所述人体姿态库中人体姿态图片的两两之间的背[0388]融合单元312，用于融合所述人体姿态库中人体姿态图片的两两之间的背景相似述特征库是通过对所述图片库中的每张图片[0417]获取所述拍摄界面的取景图像，根据所述取景图像确定所述拍摄界面上包括人取景图像特征从从图片库中选取同所述取景图像相似度排[0437]存储器2002可以是只读存储器(read-onlymemory，ROM)或可存储静态信息和指信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器申请的推荐方法的各个步骤可以通过处理器2001中的硬件的集成逻辑电路或者软件形式的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2001还可以是通用处理[0444]图27为本发明实施例提供的一种芯片硬件结构，该芯片包括神经网络处理器片也可以被设置在如图1所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则。如图2所示的卷积神经网络中各层的算法均可在如图3所示的芯片中得以[0445]神经网络处理器NPU30，NPU作为协处理器挂载到主CPU(HostCPU)上，由Host矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器层的网络计算，如池化(Pooling)，批归一化(BatchNormalization)，局部响应归一化(LocalResponseNorma[0449]在一些实现中，向量计算单元能307将经处理的输出的向量存储到统一缓存器[0452]权重数据直接通过存储单元访问控制器305(DirectMemoryAccessController，DMAC)将外部存储器中的输入数据搬运到输入存储器301和/或统一存储器[0456]可选地，本申请中此处的输入数据为图片，输出数据为图片中感兴趣物体的2D、率同步动态随机存储器(DoubleDataRateSynchronousDynamicRandomAccess