CN112446255B 一种视频图像处理方法及装置 （华为技术有限公司）

本申请实施例公开了一种视频图像处理方为：获取第i帧视频图像中每个人物的身份信息图像帧中的人物的身份信息，从第i帧视频图像2根据所述第i帧视频图像之前的N个视频图像帧中的人物的身份信息以及所述人物信根据所述主体人物的位置信息，裁剪所述第i帧视频图像，裁剪后的将裁剪后的所述第i帧视频图像缩小或放大，以便显示屏按照预设显示规格显示裁剪其中，所述根据所述第i帧视频图像之前的N个视频图像帧中将在所述N个视频图像帧中讲话的帧数大于等于第二预设阈值并且出现在所述第i帧述N个视频图像帧中讲话的帧数大于等于第二预设阈值并且出现在所述第i帧视频图像中将在所述N个视频图像帧中出现的帧数大于等于第一预设阈值并且出现在所述第i帧所述方法还包括：将所述第i帧视频图像划分为Y个区域；配置每所述根据所述第i帧视频图像之前的N个视频图像帧中的人物的身份信息，从所述第i将在所述N个视频图像帧中出现的帧数大于等于所在区域对应的预设阈值并且出现在所述第i帧视频图像中的人物确定为M个主获取第一待选裁剪框的中心点与前一帧视频图像的裁剪框的中心待选裁剪框包括所述M个主体人物的最小外接若所述距离大于或等于距离阈值，确定第二裁剪框，所述3若所述第二裁剪框未完整包含所述最小外接矩形框，将所述第确定单元，用于根据所述第i帧视频图像之前的N个视频图像所述确定单元具体用于：将在所述N个视频图像帧中讲话的帧数大于等于第二预设阈像帧中优先级信息大于第三预设阈值并且出现在所述第i帧视频图像中的人物确定为M个将在所述N个视频图像帧中出现的帧数大于等于第一预设阈值并且出现在所述第i帧将在所述N个视频图像帧中出现的帧数大于等于所在区域对应的预设阈值并且出现在所述第i帧视频图像中的人物确定为M个主获取第一待选裁剪框的中心点与前一帧视频图像的裁剪框的中心待选裁剪框包括所述M个主体人物的最小外接若所述距离大于或等于距离阈值，确定第二裁剪框，所述4若所述第二裁剪框未完整包含所述最小外接矩形框，将所述第当所述计算机软件指令在电子设备中运行时，使得所述电子设备执行如权利要求1-6得所述计算机执行如权利要求1-6中任一项所述的视5[0003]通常采集显示基于固定硬件平台实现，由采集摄像头采集固定视野的视频图[0005]但是，当采集端设备环境复杂(例如，背景画面复杂或者有其他人物频繁进出画帧图像的人物身份信息以及本帧之前的N个视频图像帧的人物身份信息，使得人物感知过物裁剪缩放后的小分辨率图像中能完整显示主体人物，以保证呈现的主体人物的画面连6该人物的连续视频图像帧的数量；连续视频图像帧中可以包括S帧未出现该人物的视频图图像帧中优先级信息大于第三预设阈值并且出现在第i帧视频图像中的人物确定为M个主7物信息包括优先级信息时，待选裁剪框或者第一待选裁剪框可以为以M个主体人物中优先级最高的人物为中心且包含M个主体人物的外接物信息包括是否讲话信息时，待选裁剪框或者第一待选裁剪框可以为以M个主体人物中讲8请提供的视频图像处理方法还可以包括：保存第i帧视频图像中每个人物下述信息中至少如第一方面或第一方面的可能实现方式中任一项所述的[0041]第七方面，本申请实施例提供一种图形用户界面(graphicaluserinterface，9或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效[0087]位置信息，可以用于指示视频图像中人物在该视频图像中的相对位置或者区过语音定位出说话者位置)定位人物位置，然后控制云台将摄像头指向说话者的方向进行踪算法实时定位出人物位置，然后根据定位出的人物位置对大分辨率图像进行相应的裁对视频图像进行处理定位出人物后，结合当前帧以及历史帧的人物身份信息确定主体人[0094]本申请实施例提供的视频图像处理方法可以应用于电子设备的视频图像采集显示过程。该图像采集显示过程可以是视频通话(视频会议)场景或视频监控场景中或者其[0095]图2为本申请实施例提供的一种上述视频图像处理方法应用于视频通话场景中的如，一个或多个用户1可通过发送端设备201与接收端设备202的一个或多个用户2进行通少包括摄像头和显示屏，接收端设备202也至少包括摄像头和显示屏。另外，发送端设备视频通话中的视频图像逐帧进行视频图像采集，将采集到的视频图像传给视频前处理器接收端设备202的接收器2024，接收器2024将接收到的视频图像传给视频解码器2023进行(ultra-mobilepersonalcomputer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personaldigitalassistant，PDA)、增强现实(augmentedreality，AR)\虚拟现实[0103]图7为本申请实施例提供的一种上述视频图像处理方法应用于视频监控场景的系通用串行总线(universalserialbus，USB)接口130，充电管理模块140，电源管理模块(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing器，数字信号处理器(digitalsignalprocessor，DSP)，基带处理器，神经网络处理器[0112]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general-purpose块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块[0117]移动通信模块150可以提供应用在电子设备上的包括第二代手机通信技术(thesecondgenerationmobilecommunicationtechnology，2G)/第三代手机通信技术(thegenerationmobilecommunicationtechnology，4G)/第五代手机通信技术((the5th模块可以与处理器110的至少部分模块被设置在同一个器[0119]无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocalareanetworks，WLAN)(如无线保真(wirelessfidelity，Wi-Fi)网络)，蓝牙通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，GSM)，通用分组无线服务(generalpacketradioservice，GPRS)，码分多址接入(codedivisionmultipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，WCDMA)，时分码分多址(time-divisioncodedivisionmultipleaccess，TD-航卫星系统(globalnavigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigationsatellitesystem，BDS)，准天顶卫星系统(quasi-zenithsatellitesystem，QZSS)，星基增强系统(satellitebasedaugmentationsystems，晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode，AMOLED)，柔性发光二极管(flexlight-emitting采集视频通话或视频会议过程中的视频图像。物体通过镜头生成光学图像投射到感光元[0130]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据[0132]音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频近麦克风170C发声，将声音信号输入到麦克风170C。电子设备可以设置至少一个麦克风[0136]耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是蜂窝电信工业协会(cellulartelecommunicationsindustryassociatio过陀螺仪传感器180B确定电子设备围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器[0145]指纹传感器180H用于采集指纹。电子设备可以利用采集的指纹特性实现指纹解频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音电子设备可以接收按键输入，产生与电子设备的用户设置以及功能控制有关的键信号输行视频图像处理时，若视频图像中识别出的人物与存储的某一照片相似度大于相似门限，则将存储的照片对应的优先级信息作为识别出的人物[0172]S902、电子设备根据第i帧视频图像之前的N个视频图像图像之前的N个视频图像帧在视频流中的具体该人物的连续视频图像帧的数量；连续视频图像帧中可以包括S帧未出现该人物的视频图[0185]实现2、电子设备将第i帧视频图像划分为Y个区域；配置每个区域对应的预设阈应的预设阈值并且出现在第i帧视频图像中的人物确定为M个[0190]将在N个视频图像帧中讲话的帧数大于等于第二预设阈值并且出现在第i帧视频讲话的帧数大于等于第二预设阈值并且出现在第i帧视频图像中的人物，按照优先级信息[0199]一种可能的实现中，待选裁剪框可以为M个主体人物的最小外接矩形框加裁剪余[0200]例如，电子设备将最小外接矩形框作为确定的裁剪框裁体人物中优先级最高的人物为中心且包含M个主体人物的[0202]例如，图14示意了确定的裁剪框为以M个主体人物中优先级最高的人物为中心且主体人物中讲话人物为中心且包含M个主体人物的外接频图像的分辨率大于预设显示规格，则S904中电子设备将裁剪后的第i帧视频图像缩小为预设显示规格的图像；若S903中裁剪后的第i帧视频图像的分辨率等于预设显示规格，则S904中电子设备将裁剪后的第i帧视频图像作为预设显帧图像的人物身份信息以及本帧之前的N个视频图像帧的人物身份信息，使得人物感知过物裁剪缩放后的小分辨率图像中能完整显示主体人物，以保证呈现的主体人物的画面连[0223]一种可能的实现中，执行图9或图16所示的视频图像处理方法的电子设备可以为[0224]一种可能的实现中，执行图9或图16所示的视频图像处理方法的电子设备可以为设显示规格显示裁剪后的第i帧视频图像，同时按照预设显示规格显示裁剪后的对端的视[0225]一种可能的实现中，执行图9或图16所示的视频图像处理方法的电子设备可以为或放大得到的预设规格的图像通过显示装置显示。具体过程参见图2所示系统架构的工作[0229]例如，电子设备1701可以接收用户对图17A所示的应用图标17011的点击操作(如1802用于添加新的联系人。电子设备1701响应于用户对用户311的联系人选项1804的点击操作(如单击操作或通过遥控装置的操作)，向用户311这一账户登录的电子设备1702发送将原始图像缩小为对端显示规格的图像进行编码发送到对端。电子设备1701、电子设备1702可以对第i帧(i大于120)帧视频图像，按照本申请实施例提供的视频图像处理方法处子设备1701的摄像头采集的固定视野的视频图像如图19中的(a)所示，电子设备1701按照[0235]在电子设备1701与电子设备1702进行视频通话的过程中的另一时刻，电子设备频图像如图20中的(a)所示，电子设备1701按照本申请实施例提供的视频图像处理方法处电子设备1702的采集场景中人物位置与图19A中示意的相同未发生变化。此时，电子设备[0236]在电子设备1701与电子设备1702进行视频通话的过程中的另一时刻，电子设备图21中的(a)所示，电子设备1701按照本申请实施例提供的视频图像处理方法处理确定主体人物进行裁剪、缩放为电子设备1702的显示规格的图像如图21中的(b)所示。电子设备1701将图21中的(b)所示的图像编码后向电子设备1702发送。同时，在该时刻，电子设备图像如图22中的(a)所示，电子设备1701按照本申请实施例提供的视频图像处理方法处理子设备1702的采集场景中人物位置与图21A中示意的相同未发生变化。此时，电子设备[0238]下面以具体监控场为例，对本申请实施例提供的视频图像处理方法进行详细说提供的视频图像处理方法处理确定主体人物进行裁剪、缩放为显示设备3的显示规格的图像头1采集的固定视野的视频图像如图24中的(a)所示，摄像头1将采集的图像发送至服务2按照本申请实施例提供的视频图像处理方法处理确定主体人物进行裁剪、缩放为显示设像头1采集的固定视野的视频图像如图26中的(a)所示，摄像头1将采集的图像发送至服务也可以是能够和电子设备匹配使用的装置。其中，该视频图像处理装置280可以为芯片系中电子设备的功能。示例性地，处理模块2801可以用于执行图9或图16中的过程S901、[0250]视频图像处理装置280还可以包括通信模块2803，用于通过传输介质和其它设备[0251]视频图像处理装置280还可以包括显示模块2804，可以用于执行图16中的过程请实施例图28所涉及的视频图像处理装置280可以为图8所述9或图16所示实施例中电子设备执行的[0261]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。