CN114967907B 识别方法及电子设备 （华为技术有限公司）

一图像获取目标对象的N个部位的关键点信息；根据关键点信息和第二图像的灰度值确定N个部2所述电子设备获取第一图像和第二图像，所述第一图像为通过光学相机拍摄的图像，所述电子设备根据所述第一图像获取所述目标对象的N个部位的关键点所述电子设备根据所述关键点信息和所述第二图像的灰度值确定所述N个部位中运动所述电子设备融合所述第一图像和所述第二图像以所述电子设备根据所述第三图像获取所述N个部位所述电子设备根据所述第一图像的参数确定所述第一图像的第一权重和所述第二图所述电子设备基于所述第一权重和所述第二权重，融合所述第一5.如权利要求2所述的方法，其特征在于，所述电子设备在所述第三图像中识别出所述N个部位所在的目所述电子设备在所述目标区域中识别出所述N个部位所述电子设备根据所述第二图像的灰度值从所述M个部位中确定出所述第一部位，所3述第二图像中的像素的灰度值大于所述M个部位中其他部位在所述第二图像中的像素的灰7.如权利要求6所述的方法，其特征在于，所述M个部位上的关键点的坐标和预设坐标的差值小于第二所述电子设备根据第二信息从所述Q个信息中确定出所述第一信息，所述第二信息为所述电子设备执行权利要求1至11任一项所4为正整数；上述电子设备根据上述关键点信息和上述第二图像的灰度值确定上述N个部位5[0011]在一种可能的实现方式中，上述电子设备根据上述第三图像获取上述N个部位的上述电子设备在上述目标区域中识别出上述N个部位上的至少一个关键点的坐标；上述电子设备根据上述第二图像的灰度值从上述M个部位中确定出上述第一部位，上述第一部位在上述第二图像中的像素的灰度值大于预设灰度阈值，或者上述第一部位在上述第二图像中的像素的灰度值大于上述M个部位中其他部位在[0015]在一种可能的实现方式中，上述M个部位上的关键点在第一时刻的坐标和在第二部位上的关键点的坐标和预设坐标的差值大[0016]示例性地，或者也可以是上述M个部位上的关键点在第一时刻的坐标和预设坐标的差值为第一差值，上述M个部位在关键点在第二时刻的坐标和预设坐标的差值为第二差6一图像，也可以通过关键点的坐标和虚拟键盘上按键的坐标的差值确定可能运动的M个部上述Q个信息中确定出上述第一信息，上述第二信息为上述目标对象输入上述第一信息之7[0043]和事件相机的输出不同，光学相机输出的可以是一帧由多个像素组成的完整图并根据这多帧图像得到用户手部关键点的位置8申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing9器110通过运行存储在存储器120的指令，从而执行电子设备100的各种功能应用以及数据[0055]移动通信模块可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的能模块可以与处理器110的至少部分模块被设置在同一个器GNSS，WLAN，NFC，FM，和/或IR技术等。上述GNSS可以包括全球卫星定位系统(global系统(quasi_zenithsatellitesystem，QZSS)和/或星基增强系统(satellitebased[0058]无线通信模块可以提供应用在电子设备100上的包括无线局域网(wirelesslocalareanetworks，WLAN)(如无线保真(wirelessfidelity，Wi_Fi)网络)，蓝牙晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight_emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active_matrixorganiclightemittingdiode的，AMOLED)，柔性发光二极管(flexlight_emitting[0060]当电子设备100安装在用户头上时，用户眼睛可以看到电子设备100的显示屏140者用户眼睛可以透过显示屏140看到另外的显[0063]光学相机161用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光摄场景中，物体运动或光照改变造成大量像素变化时，事件相机162可以输出一系列的事识别第三图像中的关键点信息(例如用户手部的21个或22个关键点的坐标)。然后处理器[0069]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路[0076]示例性地，假设虚拟界面300已显示有用户200通过虚拟键盘400已输入的第二信并结合第二图像、关键点信息以及第二信息得到用户200当前输入的第二信息。电子设备[0077]基于上图2所示的应用场景，接下来介绍电子设备100对件相机输出第二图像420的时刻相同的第一求和得到第三图像430，即使用第一算法融合第一图像410和第二图像420以得到第三图像第一图像410的灰度直方图的分布不均匀，例如灰度直方图的分布集中在某一固定区间内时，第一图像410在细节上的清晰程度较低，电子设备可以将第一图像410的权重设置为第三阈值时第一图像410的对比程度较低，电子设备可以将第一图像410的权重设置为[0091]具体地，电子设备可以先根据包括关键点的目标区域450中手部关键点的坐标信统一到一个坐标系下(例如以用户左眼中心为原点t和虚拟键盘400上的按键的坐标差值最小的关键点所属手指为可能执行敲击动作的手指，[0097]可以理解地，图3所示的用于获取用户当前输入的第一信息的图像可以是单帧图中用户可能执行敲击动作的手指为三个手指，电子设备可以将第二图像420中这三个手指的关键点和虚拟键盘400上的按键的坐标差值，当坐标差值大于第六预设差值时确定该手图像中的物体和第二图像可以均用于拍摄同一时刻下运动的目标对象的N个部位，例如用二图像是根据运动的目标对象的像素的亮度变化确定的，第二图像可以包括N个部位中运再从该目标区域中识别出关键点信息，其中，该目标区域的一组对边为N个部位的最宽线[0117]S103：电子设备根据关键点信息和第二图像的灰度值确定N个部位中运动的第一基于上述事件相机的说明可以知道，运动越剧烈(运[0119]在一些实施例中，电子设备可以先根据关键点信息得到目标对象的第一运动信中的像素的灰度值可以大于第二灰度阈值，或者T个部位在第二图像中的像素的灰度值大子设备可以根据第一部位和用户输入的第二