CN112154476B 用于快速对象检测的系统和方法 （三星电子株式会社）

2020.11.20PCT/KR2019/0061262019.05.22WO2019/225964EN2019.11.28号US2005264658A1,2005.12.01DetectionthroughDeepResponses.IEEETransactionsonPAnalysisandMachineIntelligenceDetectionthroughDeepResponses.IEEETransactionsonPAnalysisandMachineIntelligence在电子设备处对输入图像中的兴趣区域(RoI)的间的关系来确定输入图像中的对象的估计全外2通过在电子设备处利用多标签分类网络对所述输入图像的一组输入切片进行分类来将所述一组输入切片中的一个或多个其它输入切片分类为表示所述对象的所述一个或多基于所述一个或多个显著部分以及由用于所述一个或多个显著部分的一个或多个边通过生成包括一个或多个金字塔层的稀疏图像金字塔对所述输入图像基于所述一组特征图确定所述输入图像中的对于所述稀疏图像金字塔的每个金字塔层的每个输入切片，利用多标的一个或多个全局特征以及所述对象的一个或多个显著部分的一个或多响应于所述多标签分类网络捕获到所述对象通过检测所述输入图像中每个对象的位置和大小来确定所述图片的当3基于所述当前组成提供一个或多个建议以改变所述图片非暂时性处理器可读存储器设备，存储有指令，所述指令在由通过在电子设备处利用多标签分类网络对所述输入图像的一组输入切片进行分类来将所述一组输入切片中的一个或多个其它输入切片分类为表示所述对象的所述一个或多基于所述一个或多个显著部分以及由用于所述一个或多个显著部分的一个或多个边通过生成包括一个或多个金字塔层的稀疏图像金字塔对所述输入图像基于所述一组特征图确定所述输入图像中的对于所述稀疏图像金字塔的每个金字塔层的每个输入切片，利用多标的一个或多个全局特征以及所述对象的一个或多个显著部分的一个或多响应于所述多标签分类网络捕获到所述对象对象之间的关系来推断所述对象在所述输入图4[0010]图6示出在一个或多个实施例中经由常规级联卷积神经网络系统执行的对象检测[0016]图12是示出包括用于实现所公开的实施例的计算机系统的信息处理系统的高级5测具有与输入切片的尺寸相似的对象尺寸的对象。为了使用小尺寸CNN来检测具有不同对6减少输入图像必须被重调尺寸/重新缩放的次数，并进而减少包括在作为输入提供给多标[0033]图1示出在一个或多个实施例中用于实现对象检测系统300的示例性计算体系结110和一个或多个存储单元120。一个或多个应用可以利用电子设备100的资源在电子设备[0035]在一个实施例中，电子设备100包括集成在电子设备100中或联接到电子设备1007GPS或深度传感器。电子设备100的传感器可用于捕获内容和/或捕获基于传感器的上下文[0039]在一个实施例中，电子设备100包括集成在电子设备100中或联接到电子设备100务)和/或分发一个或多个软件移动应用150的在线平台。作为另一个示例，对象检测系统器200维护和分发用于对象检测系统30[0042]图2详细示出一个或多个实施例中的示例性对象检测系统3310利用经过训练的多标签分类网络(MCN)320通过同时捕获对象的局部特征和全局特征来片55来生成一组输入切片55。训练系统315向初始MCN317提供输入切片55以用作训练数用图像重调尺寸单元330来调整/重新缩放输入图像60以形成稀疏图像金字塔65(图4)。提输入图像60中的、在其中与整个面部和/或面部部位相关联的特征被捕获的一个或多个区8[0046]提取和检测系统318将特征图70转发给建议生成系统340。建议生成系统340被配个建议指示输入图像60中的一个或多个候选ROI。如本文稍后详细描述的，在一个实施例及显示从图像B分割出的耳朵的输入切片BA。在一个实施例中，输入切片55用于训练初始消除了使用滑动窗或其他方法来分割出输入切片的需要。在一个实施例中，经训练的MCN330通过生成具有一个或多个金字塔层(pyramidlevel)66的稀疏图像金字塔65来将输入图像60重调尺寸到不同的比例，其中每个金字塔层66用输入图像60的不同比例进行编码。稀疏图像金字塔65具有比使用常规级联CNN生成的密集图像金字塔更少的金字塔层66。与建议生成系统340为输入图像60生成的9面部和面部部位的一组特征图70。基于从MCN320接收到的特征图70和每个面部部位的预例如，如图4所示，面部建议80可以包括用于输入图像60中所示的每个面部的候选面部窗切片中面部部位的局部特征，则建议系统310基于输入切片的位置以及面部部位和整个面七组感受野323中的每个具有1×1×64的尺寸；以及(8)包括第八组感受野的最后一层322是MCN320可以接收作为输入的输入图像60的最大图像分辨率，x是MCN320训练成对其进配置为生成表示输入图像60中的、在其中与分类相关联的特征被MCN320捕获的一个或多输入图像60中的、在其中捕获到与鼻子相关联的特征的一个或多个区域的第三特征图70输入图像60中的、在其中捕获到与耳朵相关联的特征的一个或多个区域的第七特征图70[0059]在一个实施例中，对象检测系统300配置为当对象的对象尺寸超过处理尺寸(例[0060]图6示出在一个或多个实施例中，经由常规级联CNN系统4执行的对象检测和经由对象检测系统300执行的对象检测之间的比较。假设相同的输入图像60被提供给常规级联[0061]响应于接收到输入图像60，常规级联CNN系统4生成包括多个金字塔层6的密集图[0065]图7示出一个或多个实施例中的示例性建议生成过程。在一个实施例中，由MCN其他面部部位的特征图未在图7中示出)，一组特征图70可以包括第一特征图70A和第二特p且设τ通常表示用于在对应于面部部位p的特征图的局部区域中保持强响应点的相应的预p值单元341对特征图70应用非极大值抑制(NMS)以获得特征图70的一个或多个局部区域中的最强响应点71A(对应于嘴的位置)以及用于第二特征图70B的两个最强响应点71BA和值单元341确定的局部极大值)和面部部位的一个或多个边界框模板来确定面部部位的一面部的边界框，边界框单元342将对应的置信度得分pi设置为等于其在特征图70中的对应除用于进行合并的边界框。PBC单元343针对原始集合中的剩余边界框重复搜索和合并过[0077]图8示出一个或多个实施例中的对象检测系统300的示例性应用。在一个实施例中，加载到或下载到电子设备100的一个或多个软件移动应用150可以与对象检测系统300整面部(即，没有被物体或阴影部分遮挡/遮住的面部)并且没有部分地位于相机视图之外学习系统例如但不限于可以通过监督标签数据(supervisedlabeleddata)来构建的张嘴[0078]如果对象检测系统300检测到要被捕获的每个对象的预期特征，则相机应用使得例中，相机应用可以利用对象检测系统300来分析相机的相机视图内的场景的当前组成如图9所示，相机应用可以提供其中一个对象进一步移回以创建备选组合420的第一建议(建议1)以及其中另一个对象进一步向前移动以创建备选组合430的第二建议(建议2)。建[0081]图10是在一个或多个实施例中用于执行快速对象检测的示例性过程800的流程[0082]在一个实施例中，过程框801-805可以由对象检测系统300的一个或多个组件执[0083]图11是在一个或多个实施例中用于执行快速人脸检测的示例性过程900的流程[0084]在一个实施例中，过程框901-905可以由对象检测系统300的一个或多个组件执[0085]图12是示出包括用于实现所公开的实施例的计算机系统600的信息处理系统的高上述设备/模块601至607连接到该通信基础设施[0086]经由通信接口607传送的信息可以是能够由通信接口607经由携带信号的通信链可以通过计算机程序指令来实现这种图示/图的每个框或其组合。计算机程序指令在被提供给处理器时产生机器，使得经由处理器执行的指令创建用于实现流程图和/或框图中指储在计算机可读介质中的指令产生包括实现在流程图和/或框图的一个或多个框中指定的[0091]用于执行一个或多个实施例的各方面的操作的计算机程序代码可以用一种或多种编程语言的任意组合来编写，该编程语言包括面向对象的编程语言(例如Java、行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机或者连接到外部计算机(例如，通过使用因特网服务提供商的[0092]上面参考方法、装置(系统)和计算机程序产品的流程图和/或框图描述了一个或行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动介质中的指令产生包括实现在流程图和/或框图一个或多个框中指定的功能/动作的指令[0094]计算机程序指令还可以被加载到计算机、其他可编程数据处理设备或其他设备实现的过程，使得在计算机或其他可编程设备上执行的指令提供用于实现在流程图和/或[0096]除非明确地如此陈述，否则权利要求中对单数元件的引用不意味着“一个且唯性实施例的元件的所有结构和功能等同物都包括在所提出的权利要求书中。除非使用短语权利要求的精神和范围不应限于本文所包含的优选形式