CN115147451B 目标跟踪方法及其装置 （华为技术有限公司）

置相比第一图像帧中待检测对象的位置之间位预设值且位移方向为靠近焦平面的方向的待检2确定视频流中第一相邻图像帧之间的变化区域为待检确定第二图像帧中待检测对象的位置相比第一图像帧中待检测对象的位置之间位移选定跟踪目标，所述跟踪目标为位移值大于第一预设值且位移方向为靠其中，待检测对象为视频流中第一相邻图像帧之间的与人像帧中与人体关键点的第二部位之间的深度信息差大于第三预设值的待跟踪时，确定跟踪目标在第二相邻图像帧中的位置，第二相邻图像确定第四图像帧中跟踪目标的位置相比第三图像帧中跟踪目标的位置之间位移值及跟踪时，确定跟踪目标在第二相邻图像帧中的位置，第二相邻图像确定第四图像帧中跟踪目标的位置相比第三图像帧中跟踪目标的位置之间位移值及若位移值大于第二预设值且位移方向为远离焦平面的方向，或4.如权利要求1至3中任一项所述的目标跟踪方法确定单元，用于确定视频流中第一相邻图像帧之间的变化区域为待所述确定单元，还用于确定第二图像帧中待检测对象的位置相比第一所述确定单元，还用于选定跟踪目标，所述跟踪目标为位移3所述确定单元，还用于确定视频流中第一相邻图像帧之间的与人所述确定单元，还用于确定第四图像帧中跟踪目标的位置相比第三所述确定单元，还用于若位移值大于第二预设值且位移方所述确定单元，还用于确定第四图像帧中跟踪目标的位置相比第三所述确定单元，还用于若位移值大于第二预所述深度信息的位移值为像素点的平均深度变化值述程序使得计算机设备实现如权利要求1至4中任一项所述的令使得所述设备执行如权利要求1至4中任一项所述的目4[0002]目标跟踪是计算机视觉方向的一个重要的研究课题，目前广泛地应用于视频直一相邻图像帧包括第一图像帧和第二图像帧，第一图像帧为位于第二图像帧前面的图像预设值且位移方向为靠近焦平面的方向的待5图像帧中与人体关键点的第二参数之间的深度信息差大于第三预设值的待检[0009]本申请若待检测对象的深度信息的位置显著前移且与人体关键点的第一参数相[0011]本申请在若跟踪目标的深度信息的位置显著后移或与人体关键点的第一参数不用于确定第二图像帧中待检测对象的位置相比第一图像帧中待检测对象的位置之间位移第二参数之间的深度信息差大于第三预设值6预设值且位移方向为远离焦平面的方向，或者跟踪目标与人体关键点的第一参数不相连，执行所述计算机执行指令使得所述设备执行如上任一项所述的目7像模组111为普通单目摄像头，后续可采用单目深度估计算法来获得所述图像中的被摄物务器12可将所述视频流存储到与直播频道标识相关联的存储位置以供播放端对所述视频流进行播放或者将所述视频流发送至其他的电子设备进流中相邻图像帧之间的变化区域为待检测对象，相邻图像帧包括第一图像帧和第二图像第二图像帧中待检测对象的位置相比第一图像帧中待检测对象的位置之间位移值及位移8手持计算机、笔记本电脑、超级移动个人计算机(ultra_mobilepersonalcomputer，(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing信号处理器(digitalsignalprocessor，DSP)，基带处理器，和/或神经网络处理器9[0049]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general_purpose[0055]天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆[0056]移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信信模块150的至少部分功能模块可以与处理器110的至少部分模块被设[0058]无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalareanetworks，WLAN)(如无线保真(wirelessfidelity，Wi_Fi)网络)，蓝牙modulation，FM)，近距离无线通信技术(nearfieldcommunication，NFC)，红外技术无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，GSM)，通用分组无线服务(generalpacketradioservice，GPRS)，码分多址接入(codedivisionmultipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，WCDMA)，时分码分多址(time_divisioncodedivisionmultipleaccess，TD_(globalnavigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigationsatellitesystem，BDS)，准天顶卫星系统(quasi_zenithsatellite晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight_emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active_matrixorganiclightemittingdiode的，AMOLED)，柔性发光二极管(flexlight_emitting[0065]在一些实施例中，彩色摄像模组的摄像头的感光元件可以是电荷耦合器件(chargecoupleddevice，CCD)或互补金属氧化物半导体(complementarymetal_oxide_组的工作原理是先对被拍摄物体发射特定图案的光斑(pattern)，再接收该物体表面上的域。TOF3D感测模组还可应用于游戏机、增强现实(augmentedreality，AR)/虚拟现实个或更多个摄像头可采用立体视觉(stereovision)技术来采集被拍摄物体的深度数据。同的角度对同一物体拍摄影像，再进行三角测量法等运算来得到电子设备100与被拍摄物或者唯一视角下的RGB图像。处理器110中GPU可根据单目深度估计算法估计图像中每个像常可用于采集面对显示屏194的拍摄者自己的彩色图像数据以及深度数据，后置摄像模组[0072]在一些实施例中，处理器110中的CPU或GPU或NPU可以对摄像模组193所采集的彩用于根据摄像模组193(可以是3D感测模组)所采集的深度数据和已识别出的骨骼点来确认基于摄像模组193所采集的彩色图像数据和深度数据对被拍摄人物的图像进行美体处理，[0074]视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种[0077]内部存储器121可以用于存储计算机可执行程序代码，该可执行程序代码包括指[0079]音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风[0083]耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是蜂窝电信工业协会(cellulartelecommunicationsindustryassociatio力传感器180A检测该触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号[0086]气压传感器180C用于测量气压。在一些实施例中，电子设备100根据气压传感器[0087]磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮[0088]加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大备100使用光电二极管检测来自附近物体的红外反射光。当检测到的反射光的强度大于阈100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用[0091]环境光传感器180L可以用于感知环境光亮度。电子设备100可以根据感知的环境[0092]指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹[0093]温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器频模块170可以基于该骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信[0105]应用程序框架层为应用程序层的应用程序提供应用编程接口(application[0107]窗口管理器提供窗口管理服务(WindowMa息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通[0114]安卓运行时包括核心库和安卓运行时。安卓运行时负责将源代码转换为机器现。用于中断视频通话。手机可以检测作用在挂断控件52的触控操作(如在挂断控件52上的点用在更多选项控件54的触控操作(如在更多选项控件54上的点击操作)，显示窗口切换控[0128]跟踪模式开关控件57用于接收用户输入的跟踪模式开启或关闭指令。如图6A所[0130]视频显示区71用于显示手机的摄像模组采集的视频流。播放/暂停控件72用于暂[0132]跟踪模式开关控件75用于接收用户输入的跟踪模式开启或关闭指令。如图8A所设备可获取图9B所示的图像帧2中的人的所有像素点的深度信息、桌子的所有像素点的深[0139]摄像模组所采集的视频流在时间上是连续的，被摄物体的位置也不会发生突中的整个人的相似度小于阈值时才确定人为变述的图9A及图9B为例对本申请进行说明，一个第一相邻图像帧可包括图9A所示的图像帧1所示的图像帧2、图9B所示的图像帧2与图像帧3、及图像帧3与图像帧4为三个相邻的图像[0143]第一相邻图像帧之间的相似度为第一相邻图像帧像素点息的变化值超过阈值的像素点为第一像素点；确定相邻图像帧中第一像素点的深度变化[0144]继续以上述的图9A及图9B为例来说明如何在一个第一相邻图像帧的情况下根据定第一相邻图像帧中第一像素点度信息的变化值小于阈值，数值不为0的像素点表示第一相邻图像帧中的像素点的深度信[0146]为了方便描述，继续以上述的第一像素点中的像素点f及以像素点f具有4个与其在空间上相邻的像素点为例进行说明如何计算深度变化图像中每个像素点与其空间上相素点f与其空间上相邻的像素点之间的最小深度变化值为0.01米。所述距离差图像的的值为所述像素点与其空间上相邻的像素点之间的最[0147]对所述距离差图像进行阈值二值化处理可为，若像素点所表示的值小于预设值也可确定在二值图像中的像素值，则根据上述的图9A及图9B所得的二值图像示的像素值为最小深度变化值进行阈值二值化处具有最大的区域面积及/和第一相邻图像帧中的深度变化值最大的连通域为待检测对象。[0149]在多个第一相邻图像帧的情况下根据像素点确定待检测对象的过程与在一个第帧之间的像素点的深度信息的变化值的平均值确定第一像素点及确定第一像素点的深度杯子的位置相比图像帧1中待检测对象杯子的位置之间像素点的平均深度变化值_1.05米/4，确定图像帧2中待检测对象杯子的位置相比图像帧1中待检测对象杯子的位置之间位移[0153]继续以上述的图9A及图9B为例来说明本申请，图9B所示的图像帧2中待检测对象杯子的位置相比图9A所示的图像帧1中待检测对象杯子的位置之间位移值|_1.05米/4|大碍认为摄像模组采集的图像帧即为图11A及图11B跟踪目标杯子的位置之间像素点的平均深度变化值为0.31米，确定图像帧8中跟踪目标杯踪目标杯子的位置相比图像帧7中跟踪目标杯子的位置之间像素点的平均深度变化值0.31[0164]图4所示的目标跟踪方法不仅可用于根据深度信息的变化选定跟踪目标并进行跟的场景下。在根据图像帧中人体的关键点及深度信息的变化选定跟踪目标并跟踪的场景即为图13A及图13B中的图像帧。电子设备并根据图13B所示的图像帧10中的所述人体关键[0167]根据图像帧中的所述人体关键点的位置及所述连通域确定与人体关键点的第一的第一参数的位置及图像帧中的每个连通域的中心的位置确定图像帧中的人体关键点的的中心的位置确定图像帧中的人体关键点的第一参数与连通域的中心之间的欧氏距离包图像帧中的每个连通域的中心的位置确定图像帧中的人体关键点的第一参数与连通域的ji为图像帧中的人体关键点的第一参数中的第j个腕与第i个图像帧10中的人体关键点的第一参数中的左腕与连通域剃须刀的中心之第一参数中的右腕与连通域的中心之间的欧氏距离为小先确定待检测对象中位移值大于第一预设值且位移方向为靠近焦平面的方向的待检测对[0171]根据图像帧的深度信息及图像帧中的人体关键点的位置确定人体关键点的第二在图像帧中与人体关键点的第二参数之间的深度信息差大于第三预设值的为1.51米及1.53米，则图像帧10中的人体关键点的第二参数躯体的深度信息为(1.5米+待检测对象在图像帧中与人体关键点的第二参数之间的深度信息差为待检测对象在图像帧中的像素点与人体关键点的第二参数之间的平均深度[0173]继续以上述的图13A及图13B为例来说明本申请，图13B所示的图像帧10中待检测对象剃须刀的位置相比图13A所示的图像帧9中待检测对象剃须刀的位置之间位移值大于r，在图像帧10中的深度信息与人体关键点的第二参数躯体之间的平均相对深度差大于第[0174]在聚焦显示跟踪目标时，如图4中步骤S409至步骤S410中确定位移值小于第二预确定位移值小于第二预设值且位移方向为远离焦平面的方向或者位移方向为靠近焦平面帧中与人体关键点的第一参数相连与判断待检测对象与人体关键点的第一参数相连相似，[0175]在退出跟踪时，如图4中步骤S411中确定位移值大于第二预设值且位移方向为远离焦平面的方向，电子设备确定位移值大于第二预设值且位移方向为远离焦平面的方向，位置及图像帧中的跟踪目标的中心的位置确定图像帧中的人体关键点的第一参数与跟踪[0177]确定图像帧中的跟踪目标的中心的位置与上述的确定图像帧中的每个连通域的帧中的跟踪目标的中心的位置确定图像帧中的人体关键点的第一参数与跟踪目标的中心连通域的中心的位置确定图像帧中的人体关键点的第一参数与连通域的中心之间的欧氏数据，实现所述服务器14的各种功能。所述存储器143可主要包括存储程序区和存储数据电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field_[0182]图4所示的目标跟踪方法不仅可用于电子设备上，还可用于电子设备和服务器所[0187]确定单元152用于确定视频流中第一相邻图像帧之间的变化区域为待检测对象，[0188]确定单元152还用于确定第二图像帧中待检测对象的位置相比第一图像帧中待检[0189]确定单元152还用于选定跟踪目标，所述跟踪目标为位移值大于第一预设值且位二相邻图像帧包括第三图像帧和第四图像帧，第三图像帧为位于第四图像帧前面的图像息的位移值及位移方向。确定单元152还用于若位移值大于第二预设值且位移方向为远离还用于确定视频流中第一相邻图像帧之间的与人体关键点的第一参数相连的变化区域为息的位移值及位移方向。