CN114072850B 获得前景视频的方法、系统和计算机可读介质 （谷歌有限责任公司）

2021.12.17PCT/US2020/0283762020.04.15WO2021/011040EN2021.01.21US2016171706A1,2016.US2017200279A1,2017.US9443316B1,2016.09.13arxiv/papers/1302/1302.6379.2013,1-3.质本文中描述的实施方式涉及获得前景视频2基于所述深度数据，生成将所述帧的每个像素分类为前景像素或背景像基于所述颜色数据或所述初始分割掩膜中的一个或多个来检为所述帧的非头部部分生成第一三分图，其为所述帧的头部部分生成第二三分图，其中对于在所述三分图中被分类为未知的所述帧的每个像素，计算所述像素基于所述颜色数据、所述三分图和所述权重图进行精细分割，以获得2.根据权利要求1所述的计算机实施的方法，其特征在于，生成所述初始分割掩膜包在所述直方图均衡之后，通过哈尔级联面部检测来检测所述帧中的一个或多个面部，38.根据权利要求1所述的计算机实施的方法，其特征在于，生成所述初始分割掩膜包计算所述像素的像素位置与所述初始分割掩膜的掩膜如果所述L1距离满足前景距离阈值，并且所述如果所述L1距离满足背景距离阈值，并且所述如果所述像素未被分类为已知前景并且未被分类为已知9.根据权利要求8所述的计算机实施的方法，其特征在于，确定所述三分图进一步包如果所述像素在为所述头部包围盒确定的外掩膜外，则将所述像素分类为已知背景；如果检测到均匀亮背景，则基于所述头部包围盒、所述保持所述视频的背景图像，其中，所述背景图像是与所述视基于肤色检测来识别所述帧中的一个或多个皮肤区域，其中，所4如果所述像素的颜色和所述背景图像的所述背景颜色满如果所述像素的所述颜色和所述背景图像的所述背将所述初始分割掩膜与所述序列中紧接的前一帧的前一帧二进制定类似于所述前一帧的像素被分类的所述帧的所述其中，计算所述像素的所述权重并且将所述权重存储在全局连贯性权重和所述像素与所述前一帧二进制掩膜的掩膜边界之间的距离来确定所述基于所述深度数据，生成将所述帧的每个像素分类为前景像素或背景像基于所述颜色数据或所述初始分割掩膜中的一个或多个来检为所述帧的非头部部分生成第一三分图，其为所述帧的头部部分生成第二三分图，其中对于在所述三分图中被分类为未知的所述帧的每个像素，计算所述像素5基于所述颜色数据、所述三分图和所述权重图进行精细分割，以获得保持所述视频的背景图像，其中，所述背景图像是与所述视基于所述深度数据，生成将所述帧的每个像素分类为前景像素或背景像基于所述颜色数据或所述初始分割掩膜中的一个或多个来检为所述帧的非头部部分生成第一三分图，其为所述帧的头部部分生成第二三分图，其中对于在所述三分图中被分类为未知的所述帧的每个像素，计算所述像素基于所述颜色数据、所述三分图和所述权重图进行精细分割，以获得6789[0028]图8示出了根据一些实施方式的输入视频的四个帧以及包括通过分割输入视频而和126，该客户端设备120,122,124和126可以经由网络130彼此进行通信和/或与服务器系120和122之间的对等通信的一个示例器设备104分离的数据库106和/或其它存储设备可以被提供在服务器系统框中，并且可以经由网络130与服务器设备104和其它服U4可以经由在各自的客户端设备和/或服务器系统102上运行的应用、和/或经由网络服务彼此进行交互，该网络服务例如是在服务器系统102上实施的社交网络服务或其它类型的端设备并且经由服务器和/或网络服务源自不同的客户端设备(或者直接源自不同的客户[0038]在一些实施方式中，客户端设备120,122,124和/或126中的任何一个都可以提供客户端设备的相机(例如，前置相机、后置相机和/或一个或多个其它相机)捕获的现场视[0040]如参考图9描述的，可以使用客户端设备120的硬件和/或软件来实施视频应用频应用152a和视频应用152b可以提供视频呼叫(包括具有两个或更多个参与者的视频呼[0042]客户端设备120,122,124和/或126上的用户界面可以使得能够显示用户内容和其断开连接或间歇连接的一个或多个客户端或服务器设备上提供本文中描述的一个或多个施方式中，方法200中的一些或全部可以被实施在如图1中所示的一个或多个客户端设备户端设备上。在描述的示例中，实施系统包括一个或多个数字处理器或处理电路(“处理多个服务器和/或客户端的不同组件可以进行方法200的不同框或其它部分。在一些示例中，第一设备被描述为进行方法200的框。一些实施方式可以具有由一个或多个其它设备[0049]如果已经从相关用户获得用户同意，在方法200中可以使用该相关用户的用户数据，则在框204中，确定可以合理使用如为本文中的方法的框描述的用户数据来实施那些用户数据而使用合成数据和/或通用或公共可访问且公共可使用的数据来实施框。在一些[0059]在框218中，为帧的非头部部分(例如，帧的在头部包围盒外的部分)生成三分图[0060]在一些实施方式中，生成初始分割掩膜可以包括计算作为非头部部分(在头部包围盒外)的帧的每个像素的像素位置与初始分割掩膜的掩膜边界(maskboundary)之间的些实施方式中，阈值可以是基于初始分割掩膜的质量和/或下采样比率。在一些实施方式[0066]在生成帧的头部部分的三分图之后，可以将它和图像的非头部部分的三分图合并，以获得整个帧的三分图。以该方式，生成的三分图将帧的每个像素分类为已知背景可以提供由于头部部分的三分图生成中的头部特定特征的识别和合并而导致的改善的分[0069]可以基于视频的一个或多个帧的二进制掩膜(binarymask)来确定背景图像。保持的背景图像可以包括在视频的一个或多个先前帧的二进制掩膜中被识别为背景的每个用于基于来自先前帧的移动平均来估计当前帧中的像素是实施方式中，确定权重图可以包括计算在三分图中被分类为未知的帧的每个像素的权重。[0074]在一些实施方式中，像素颜色和保持的背景颜色可以在红-绿-蓝(RGB)颜色空间如，可以通过对帧(除了帧的在头部包围盒内的部分之外)进行肤色检测来排除面部区域。实施方式中，可以将初始分割掩膜与帧序列中紧接的前一帧的前一帧二进制掩膜进行比[0086]此外，可以基于全局连贯性权重来计算在三分图中被分类为未知的像素的权景像素的初始标记。GMM基于每个未知像素与在初始标记中已经被标记为前景或背景的像[0091]在一些实施方式中，图形切割技术被应用到在三分图中被分类为未知的帧的像切割的计算负荷大约是当包括已知前景和已知背景时的计算负荷的33％。框226之后可以续帧可以包括对应像素的类似深度值。如果对应像素的深度值存在变化而场景是静态的，[0096]在框234中，对于多个帧中的每个帧获得的相应二进制掩膜被上采样到例如原始[0098]通过减去背景并且获得前景视频，可以为视频提供任何合适的或用户偏好的背换背景部分从参与者已经加入视频呼叫的房间中的[0102]在一些实施方式中，方法200的框可以并行进行或以与图2中所示不同的顺序进频的一个部分的上采样和前景视频渲染(框234和框236)可以与对于视频的后续部分的框[0104]并行进行方法200或其部分以渲染前景视频可以使得能够在没有用户可感知的滞[0105]方法200可以由客户端设备(例如，客户端设备120-126中的任一个)和/或服务器[0106]图3是示出根据一些实施方式的检测头部包围盒的示例方法方法300可以用于在框216中检测视频过使用由以下公式给出的肤色标准来确定它是否[0117]在框316中，每个有效面部的面部区域被扩大以覆盖头部区域。在一些实施方式保消除误报(在框308的哈尔级联面部检测期间被错误地识别为面部区域的非面部区域)。如果检测到的面部没有被验证)，则可以通过初始分割掩膜的掩膜分析和验证来构造头部[0125]图4是示出根据一些实施方式的生成头部区域的三分图的示例方法400的流程[0135]图6示出了在不使用如上面描述的三分图的情况下的具有分离的前景和背景的两像(612)中，可以看到，虽然图像的其余部分正确地将背景(以浅灰色)与包括人的前景分说明具有不同权重的三分图的部分。图像702的红色部分在权重图中具有前景权重。图像[0139]图8示出了根据一些实施方式的输入视频的四个帧(802,812,822,832)以及包括通过分割输入视频而生成的前景的输出视频的对应输出帧(804,814,824,834)。如可以看方式中，设备900可以用于实施客户端设备、服务器设备或者客户端设备和服务器设备两者。设备900可以是如上面描述的任何合适的计算机系统、服务器或者其它电子或硬件设[0141]本文中描述的一个或多个方法可以被运行在可以在任何类型的计算设备上执行可以用于基于背景和前景的分割来渲染视频帧，例如，以在减去背景之后渲染前景视频。[0145]在一些实施方式中，处理器902可以包括实施神经网络处理的一个或多个协处理器902产生的输出可能是不精确的或者可能在距预期输出的范围内是精确的。处理不需要中，视频呼叫应用910和/或其它应用可以各自包括使得处理器902能够进行本文中描述的[0148]存储器904中的任何软件可以替代地被存储在任何其它合适的存储位置或计算机[0149]I/O接口906可以提供功能以使得能够将设备900与其它系统和设备进行接合。接口设备可以被包括作为设备900的一部分，或者可以与设备900分开并且与设备900进行通[0150]可以连接到I/O接口906的接合设备的一些示例可以包括可以用于显示内容(例[0151]I/O接口906可以接合到其它输入和输出设备。一些示例包括可以捕获图像和/或用于输出声音的音频扬声器设备或者其它输入和910以及应用数据912中的每一个的一个框。这些框可以表示一个或多个处理器或处理电关联的任何合适的一个或多个处理器可以进行供为电子信号，例如以从服务器(例如，分布式系统和/或云计算系统)传递的软件即服务[0155]在本文中讨论的某些实施方式可以收集或使用关于用户的个人信息(例如，用户用户的活动以及人口统计信息)的情况下，向用户提供一个或多个机会以控制是否收集信