CN112154436B 在电子装置中识别对象的设备和方法 （三星电子株式会社）

2020.11.11PCT/KR2019/0057252019.05.13WO2019/221464EN2019.11.21JP2007241402A,2007.US7809171B2,2010.10.05接收至少一个图像，识别至少一个图像中的对2无线通信电路，所述无线通信电路与所述天线阵列电耦接，并存储器，所述存储器存储指令、反射波的幅度的降低模经由所述天线阵列接收与所述第一定向波束相对应并由所述基于所述至少一个图像和所述第一反射波的幅度的第一降低模式，经由所述天线阵列使用基于所述对象的活动性检测位置计算的坐标沿至少一个方向经由所述天线阵列接收与所述第二定向波束相对应并由所述确认用于指示所述反射波与所述第二反射波匹配的程用于检测活动性的所述神经网络基于所述降低模式与所述第二反射波的幅度的第二降低在所确认的得分指示所述第二降低模式与所述降低模式中的针对人体的面部的特定使用基于所述对象的识别位置而计算的坐标沿至少一个方向经由所述天线阵列接收与所述第三定向波束相对应并且由所述对象反射的第三反射基于所述第三反射波执行与所述面部相对应的所述其中，在未确认与所述面部相对应的所述对象的活动性的情36.根据权利要求1所述的电子装置，其中，所述指令当被所述处理器执行时使得所述电子所述第三反射波所确认的轮廓与所述参考图像和所述参考轮廓进行比较来执行所述对象8.根据权利要求1所述的电子装置，其中，经由天线阵列使用所计算的坐标沿至少一个方向经由所述天线阵列接收与所述第一定向波束相对应且由所述基于所述至少一个图像和所述第一反射波的幅度的第一降低模式，经由所述天线阵列使用基于所述对象的活动性检测位置而计算的坐标沿至少一个方经由所述天线阵列接收与所述第二定向波束相对应并由所述确认用于指示反射波与所述第二反射波匹配的程度的得分，其是由用于检测活动性的所述神经网络基于所述降低模式与所述第二反射波的幅度的第二在所确认的得分指出所述第二降低模式对应于所述降低模式中的针对人体的面部的使用基于所述对象的识别位置而计算的坐标沿至少一个方向经由所述天线阵列接收与所述第三定向波束相对应并且由所述对象反射的第三反射基于所述第三反射波执行与所述面部相对应的所述其中，在未确认与所述面部相对应的所述对象的活动性的情4述神经网络是基于所述反射波的幅度的所述降低模基于所识别的对象来确定用于所述第一定向波束的所述至通过将所识别的对象和由所述第三反射波所确认的轮廓与所述参考图像和所述参考5[0002]随着电子装置的性能提高，通过电子装置提供的各种服务和附加功能正得到扩[0006]主要在电子装置上使用的面部识别算法可以使用用于利用在红、绿和蓝(RGB)相机上获得的对象图像的方法，以及使用用于通过对在RGB相机获得的对象图像和在深度相机上获得的深度信息进行组合来识别对象的方法。利用在RGB相机上获得的对象图像的方机和深度相机的方法需要在电子装置处有多个相公开的一方面在于提供一种电子装置，该电子装置可以提供用于通过组合RGB相机模块和[0008]本公开的另一方面在于提供一种电子装置，该电子装置可以提供一种设备和方识别出的对象反射的一系列波束的特征来识[0010]另外的方面将在随后的描述中部分地阐述，并且部分地将从描述中变得显而易6或所述壳体的一部分中设置的天线阵列沿所述对象的方向发送一系列的一个或更多个定[0019]图4是示出根据本公开的实施例的计算在电子装置处获得的图像数据和被摄体的[0025]提供以下参考附图的描述以帮助全面理解由权利要求及其等同形式所限定的本7或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例8[0033]可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统[0034]输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它[0035]声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可[0038]传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据[0039]接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接[0041]触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激9星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据[0047]上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出[0048]根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件像传感器。可使用例如电荷耦接器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图[0052]图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测[0053]存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的[0054]图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使由第三元件与所述另一元件连接。外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的[0060]根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转[0065]相机模块320(例如，图1或图2的相机模块180)可以包括图像传感器(未示出，例像素数据。可以通过壳体的第一板的第二部分来查看相机模块320，并且可以将相机模块[0067]天线阵列340可以设置在壳体中和/或壳体的一部分中。天线阵列340可以经由选定的天线阵列沿至少一个第二方向发送一系列定向波束。无线通信模块350可以电耦接到器310可以存储用于驱动学习引擎以识别在无线通信模块350处接收的反射波的软件(例据存储在存储器310中的指令识别对象。处理器300可以通过相机模块320获得并接收至少要选择对象的必要部分并提取通过将毫米波朝着选定的对象部分发送而反射的对象信息。电子装置101可以通过将毫米波装置的独特信号特性添加到对象识别来增强对象识别的安对象的特定位置)以使用RGB相机的图像数据在毫米波装置处进行波束成形来缩短毫米波户可以通过驱动相机模块320来捕获面部。处理器300可以从相机模块320获得包括面部的别面部的部分。处理器300可以通过使用无线通信模块350和天线阵列340沿与所提取的面络或深度神经网络来学习面部的主要部分的信息。存储器310可以存储习得的面部的主要可以确认深度学习系统的输出，该深度学习系统将存储在存储器310中的面部的主要部分[0074]根据各种实施例，电子装置101可以将用于面部图像识别和反射波识别的机器学[0075]在一个实施例中，处理器300可以识别在相机模块320处获得并从相机模块320接收到的图像数据中的面部部分，并在识别出的面部图像中设置用于识别面部的识别位置。[0077]处理器300可以通过波束成形并且向活动性检测位置发送毫米波并接收由面部反的活动性的活动性检测位置以及用于识别面部的识别位置。处理器300可以通过波束成形理器300可以通过波束成形并向所设置的活动性检测位置发送毫米波并接收由面部反射的毫米波来检测面部的活动性。处理器300可以通过波束成形并向所设置的识别位置发送毫米波并接收由面部反射的毫米波来识别其是否与设置的用户面部相对应。根据一个实施[0079]根据各种实施例，电子装置101可以使用包括RGB相机的相机模块320、天线阵列器(未示出)指导以相机模块320在特定收到的图像中确认与面部部分相对应的像素。处理器300可以在所确认的面部图像中确认[0082]根据各种实施例，电子装置101可以选择与所识别的面部图像相对应的像素或者线阵列340可以是毫米波装置，并且可以通过沿面部图像中的所选像素的方向发送和接收[0083]如果执行波束成形以生成用于所选像素的毫米波图像数据，则电子装置101可以[0084]图4是示出根据本公开的实施例的计算在电子装置101处获得的图像数据和被摄445，并且确认面部区域445的中心坐标443。被摄体410的实际捕获区域420和由电子装置和在电子装置101处获得的图像440的面部区域445的中心坐[0087]如果在被摄体410与电子装置101之间保持特定距离，则电子装置101可以获得高离可以是±4cm。电子装置101可以基于20厘米远处的相机比例尺预先计算水平比例尺A和[0089]通过以与式1相同的方式使用图像(例如，面部区域445)中的标志部分的坐标(像的RF的三维坐标可以是(0,xmmWave,ymmWave)，并且实际被摄体的面部的三维中心坐标可以是[0092]如果使用无线通信模块350获得针对面部图像的所选像素的毫米波图像数据，则电子装置101可以使用获得的毫米波图像执行面部识别。面部识别可以进一步包括存在检送用于检测存在和/或活动性的一系列波束和用于面部识别的[0096]这种方法可以使用普通用户的参数预先配置模板，并以[0097]电子装置101可以通过将在执行面部识别应用时接收到的图像信息和反射波与存子装置101可以通过基于实时接收到的图像和反射波输入参数值作为CNN的输入来执行识[0098]图5是根据本公开的实施例的电子装置的框图。图5示出了电子装置101检测通过相机模块180获得的图像的活动性并且基于检测到的活动性来识别[0101]位置检测模块520可以在检测到的面部图像中检测面部特征或面部标志。根据各特定像素位置)，以及通过无线通信模块350和天线阵列340的对波束进行波束成形以向选[0103]活动性检测模块540可以基于被摄体反射并在天线阵列340处接收到的信号来检位模块550处设置的用于面部识别的波束成形信息(例如，方位角和仰角)沿相应的方向发[0104]面部识别模块560可以基于被摄体反射并在天线阵列340处接收到的信号来识别[0105]根据各种实施例，电子装置101可以检测使用毫米波装置获得的面部图像的活动可能会连续出现。这样的移动可能相对于毫米波装置的反射波连续地使相位或TOF值发生波动。电子装置101可以使用深度学习(或机器学习)以特定模式将这种移动特性预先存储活动性定位模块530可以执行波束成形以向用于检测活动性的位置(例如，面部图像的眼块540可以通过将毫米波图像数据的相位或TOF图案与存储在存储器中的通过训练的面部面部识别的面部位置(面部区域或在面部区域中包括多个标志的面部的一部分)执行附加并且接收由被摄体的相应的面部位置反射的信号。面部识别模块560可以基于识别出的面机处获得的面部图像的像素信息确定毫米波装置的波束成形方向，则电子装置101会根据相机模块和毫米波装置的安装位置或用户与电子装置101之间的距离而引起波束成形误[0109]根据各种实施例，如果生成毫米波图像数据，则电子装置101可以通过深度学习[0114]根据各种实施例，指令可以使处理器300至少部分地基于识别出的对象或识别出且指令可以通过比较识别出的对象和由一系列反射波检测到的轮廓与参考图像和参考轮[0116]根据各种实施例，指令可以使处理器300至少部分地基于一系列反射波来确定对中的意图对象区域和对象的主要部分，并在识别出的对象图像中检测用于识别对象的标和天线阵列340)基于检测到的对象标志来发送一系列定向波束。电子装置101可以在与识射波检测到的轮廓与参考图像和参考轮廓进行比较来执行对象出了电子装置101进行以下操作的流程图：