CN114981844B 计算机实现的生成3d身体模型的方法、用于生成3d身体模型的系统以及非暂态机器可读存储介质 （斯纳普公司）

2022.05.13PCT/EP2020/0820622020.11.13WO2021/094537EN2021.05.20US2014078144A1,2014.03.20US2020005138A1,2020.01.02生成3D身体模型的系统以及非暂态机器可读存本公开内容的各方面涉及用于执行以下操2基于所接收的骨缩放系数和所接收的关节角度系数来生成所获得描绘不同姿势和形状的各种人的3D扫描的集合，所述3D扫描的集通过关节角度和骨缩放上的梯度下降将个体模板拟合到所述一组解通过将所述参数中的每一个的预测配准到每个3D扫描，来细化所述个体模板的拟合；使基于客观真实模板与经细化的拟合个体模板之间的差型的每个骨元素来映射所述身份表面上的表面点，以及针对每个相应的映射计算加权因3基于从所述输入2D图像确定的所述多个骨缩放系数和所述多个关节角度系数来生成将所述2D投影叠加到所述输入2D图像中的身基于所接收的骨缩放系数和所接收的关节角度系数来生成所获得描绘不同姿势和形状的各种人的3D扫描的集合，所述3D扫描的集通过关节角度和骨缩放上的梯度下降将个体模板拟合到所述一组解通过将所述参数中的每一个的预测配准到每个3D扫描，来细化所述个体模板的拟合；使基于客观真实模板与经细化的拟合个体模板之间的差19.根据权利要求18所述的系统，所述骨骼模型包括每个骨元素的静止位置以及每个4基于所接收的骨缩放系数和所接收的关节角度系数来生成所获得描绘不同姿势和形状的各种人的3D扫描的集合，所述3D扫描的集通过关节角度和骨缩放上的梯度下降将个体模板拟合到所述一组解通过将所述参数中的每一个的预测配准到每个3D扫描，来细化所述个体模板的拟合；使基于客观真实模板与经细化的拟合个体模板之间的差5[0002]本申请要求于2019年11月15日提交的美国临时申请第62/936,272号的优先权的[0007]图2是根据一些示例的具有客户端侧和服务器端侧两者的功能的消息系统的图解[0011]图6示出了根据一些示例的3D身体模型生成系统并且更具体地示出了3D身体模型[0013]图8示出了根据一些示例的通过使模板沿一个有效自由度摆姿势来合成的示例网行一组指令以使机器执行本文中讨论的任何一个或6皮多人线性模型(SMPL))首先通过基于线性的扩展以标准姿势合成模板网格。然后通过从[0020]本公开内容描述了生成3D身体模型(特别是在模板合成之前设置骨缩放的骨级蒙特定于身份的骨长度、特定于姿势的关节角度和特定于身份的表面变化(通过线性混合蒙7来传送所绘制的点。可以以这种方式基于骨骼模型的每个骨元素映射身份表面上的表面[0033]3D身体模型可以基于从输入2D图像确定的多个骨缩放系数和多个关节角度系数8[0036]图1是示出用于通过网络交换数据(例如，消息和相关联的内容)的示例消息系统[0037]消息客户端104能够经由网络112与其他消息客户端104和消息服务器系统108通信并交换数据。在消息客户端104之间以及消息客户端104与消息服务器系统108之间交换[0038]消息服务器系统108能够经由网络112向特定消息客户端104提供服务器端功能。虽然消息系统100的某些功能在本文中被描述为由消息客户端104或由消息服务器系统108执行，但是某些功能的在消息客户端104或消息服务器系统108内的定位可以是设计选择。后面将该技术和功能迁移至客户端设备102具有足够处理能力的消括向消息客户端104发送数据、从消息客户端104接收数据以及对由消息客户端104生成的104的用户接口(UI)可用的功能来激活和控制消息系统100内的服务器114并向应用服务器114提供编程接口。应用服务器114通信地耦接至数据库服务器[0041]应用程序接口(API)服务器116在客户端设备102与应用服务器114之间接收和发别是与从消息客户端104的多个实例接收到的消息中包括的内容(例如，文本和多媒体内9[0043]应用服务器114还包括图像处理服务器122，该图像处理服务器122专用于执行各调整由3D身体模型生成系统230生成的模型的参数，以生成与在2D图像中检测到的人对应[0045]社交网络服务器124支持各种社交联网功能和服务并使这些功能和服务可用于消息服务器118。为此，社交网络服务器124维护和访问数据库126内的实体图308(如图3所设备102上或者位于客户端设备102的远端(例如，在第三方服务器110上)的第三方应用的[0047]响应于接收到对启动或访问外部资源(外部应用109)的特征的选项的用户选择，例如通过在客户端的主页画面上选择与外部应用109对应的图标来与消息客户端104分开可以通过消息客户端104从外部应用服务器110接收与小规模外部应用相关联的标记语言应用109对应的本地存储的代码来指示客户端设备102启动外部应用109。响应于确定外部资源是基于web的资源，消息客户端104与外部应用服务器110通信以获得与所选择的资源[0049]消息客户端104可以向客户端设备102的用户或与这样的用户相关的其他用户(例客户端104中的对话(例如，聊天会话)的参与者提供与一组用户的一个或更多个成员当前动(在朋友组中)最近使用过但当前不活动的外部资源。外部资源可以向对话中的参与者(各自使用各自的消息客户端104)提供与一组用户的一个或更多个成员将外部资源中的项息客户端104上向用户发送响应消息。外部资源可以基于外部资源的当前上下文在响应中选择性地包括不同的媒体项。[0050]消息客户端104可以向用户呈现可用外部资源(例如，第三方或外部应用109或小应用)的列表以启动或访问给定的外部资源。该列表可以被呈现在上下文相关菜单中。例[0053]短暂定时器系统202负责强制由消息客户端104和消息服务器118对内容进行临时或限时访问。短暂定时器系统202包含若干个定时器，这些定时器基于与消息或消息集合204还可以负责向消息客户端104的用户接口发布提供特定集合存在[0056]增强系统208提供使用户能够增强(例如，注释或以其他方式修改或编辑)与消息处理的消息的媒体叠加(mediaoverlay)相关的功能。增强系统208基于客户端设备102的识包括客户端设备102的地理位置处的商家的名称的媒体叠加。媒体叠加可以包括与商家括所上传的内容并将所上传的内容与所选择的地理位动选择和激活与由客户端设备102捕获的图像相关的增强现实体验。一旦在用户使用用户来自客户端设备102的前置摄像装置而不是客户端设备102的后置摄像装置的图像开始被户端设备102的前置摄像装置捕获和显示的图像顶部界面上，可以将用户从特定地理位置发布到消息系统100的消息在地图的该特定位置的上户端104的地图界面的上下文内被显示给选定用[0060]游戏系统212在消息客户端104的上下文内提供各种游戏功能。消息客户端104提游戏可以由用户在消息客户端104的上下文内启动并且与消息系统100的其他用户一起玩。消息系统100还使特定用户能够通过从消息客户端104向这样的其他用户发出邀请来邀请其他用户参与玩特定游戏。消息客户端104还支持游戏上下文内的语音和文本两者的消息[0061]外部资源系统220为消息客户端104提供接口以与外部应用服务器110通信以启动管的应用利用由消息服务器118提供的软件开发工具包(SDK)以JavaScript编程。SDK包括[0062]为了将SDK的功能集成到基于web的资源中，SDK由外部资源(app)服务器110从消息服务器118下载或者由外部资源(app)服务器110以其他方式接收。一旦被下载或接收，以调用或激活SDK的某些功能以将消息客户端104的特征集成到[0063]存储在消息服务器118上的SDK有效地提供了外部资源(例如，第三方或外部应用与消息客户端104之间建立两个单向通信通道。消息经由这些通信通道在外部资源与消息消息客户端104的GUI选择视觉表示或指示消息客户端104访问基于web的外部资源的特征，消息客户端104就获得HTML5文件并且使访问基于web的外部资源的特征所需的资源实例先前已被授权访问消息客户端104的用户数据。响应于确定所启动的外部资源先前已被授括外部资源的功能和特征。响应于确定所启动的外部资源先前未被授权访问消息客户端客户端104向上滑动菜单(例如，将菜单动画化为从画面底部浮现到画面的中间或其他部分)以授权外部资源访问用户数据。该菜单标识了外部资源将被授权使用的用户数据的类由消息客户端104根据OAuth2框架授权访问[0066]消息客户端104基于被授权的外部资源的类型来控制与外部资源共享的用户数据第一类型的用户数据(例如，具有或不具有不同化身特征的用户的仅二维化身)的访问权。换为新的姿势，产生最终的骨骼T(cb,θ)[0071]图3是示出根据某些示例的可以存储在消息服务器系统108的数据库126中的数据述关于可以被包括在消息中并且被包括在存储在消息表302中的消息数据中的信息的另外[0075]简档数据316存储关于特定实体的多种类型的简档数据。基于由特定实体指定的表示中的一个或更多个选择性地包括在经由消息系统100传送的消息的内容中以及在由消用户可以选择在特定时间进行通信的状态或活动的(视频数据被存储在视频表304中)和图像(图像数据被存储在图像表312)相关联并且应用发送用户的一组过滤器中用户选择的过滤器。其他类型的过滤器包括地理定位过滤器(也102的全球定位系统(GPS)单元确定的地理定位信息，由消息客户端104在用户接口内呈现[0079]另一种类型的过滤器是数据过滤器，其可以由消息客户端104基于在消息创建过程期间由客户端设备102收集的其他输入或信息选择性地呈现给发送用户。数据过滤器的用镜头或增强现实体验)。增强现实内容项可以是可以添加到图像或视频的实时特效和声记图像与从客户端设备102接收的查询图像匹配时，标记图像的相应增强现实体验(例如，用具有多个增强现实内容项的单个视频片段来查看不同的增强现实内容项将如何修改存[0083]可以利用保存在任何类型的计算机化系统的存储器中的任何类型的视频数据(例配置成在客户端设备102上有效执行的卷积神经网络实现的任何其他合适的图像或视频操中，用户可以使用具有神经网络的客户端设备102来捕获用户的图像或视频流(例如，自端104内操作的变换系统确定图像或视频流中的面部的存在并且提供与计算机动画模型相样的选项可以基于用于发起特定计算机动画模型的接口内显示的各个面部或一系列各个面部来单独切换件处的用户可以例如经由消息客户端104的用户接口被呈现有选项，以将内容贡献给特定故事的贡献可能需要二级认证以验证最终用户属于特定组织或其他实体(例如，是大学校的消息相关联的图像数据。实体表306可以使来自增强表310的各种增强与存储在图像表于发送或接收的消息400的增强数据可以被存储在增[0105]●消息地理定位参数416：与消息的内容有效载荷相关联通过其将消息400的消息图像有效载荷406中的特定内容项与所述一个或更多个内容集合[0108]●消息发送者标识符422：指示在其上生成消息400并且从其发送消息400的客户[0109]●消息接收者标识符424：指示消息400寻址到的客户端设备102的用户的标识符[0110]消息400的各种组成部分的内容(例如，值)可以是指向表中的存储内容数据值的储在消息注释412中的值可以指向存储在注释表310中的数据，存储在消息故事标识符418者标识符424中的值可以指向存储在实体表306[0111]图5是根据一些实施方式的由3D身体模型生成系统230执行的操作的图解表示[0113]将参数θ应用于经缩放的骨骼，以运动学地将经缩放的骨骼的骨和关节调整为处线性混合蒙皮(LBS)540被应用于经缩放和摆姿势的骨骼530以及在缩放校正和形状更新之“绑定姿势”由表示两个骨关节处的坐标系之间的位移和旋转的模板旋转矩阵Rt和平移矢量Ot来表达。变换是通过旋转矩阵R和缩放因子s相对于绑定姿势建模的，R和s一起被捆绑在4×4矩阵T中：化都是通过修改绑定姿势处的位移O来建模的。这是仅隐式地通过从3D合成形状回归绑定[0120]为了调整骨骼的姿势以创建经缩放和摆姿势的骨骼530，对关节角度进行建模以这样的自由度，使用无约束变量x∈R并通过使用双曲正切单元将其映射到有效的欧拉角θ[0122]这使得在将模型拟合到数据时实现无约束优化，同时得到运动学上可行的姿[0125]在考虑了形状可变性的骨长度相关部分以生成中间模板560之后，考虑特定于人[0129]图6示出了根据一些实施方式的3D身体模型生成系统230并且更具体地示出了3D由界标位置提供，该界标位置根据描绘人并由神经网络处理的2D图像生成)。在一些情况[0130]为了训练3D身体模型生成系统230，处理描绘不同姿势和形状的各种人的3D扫描化问题的结果是4400个θn和骨缩放Sn参以找到使距给定3D扫描612的界标的距离最小化的关节角度θ和骨缩放s参数。这得到了初始拟合，该始拟合通过将预测配准到每个扫描通过求解式5的优化问题将模板VT与每个配准$n匹配：[0137]式5的输出被提供给骨校正和平均形状模块630以计算和确定骨校正参数Pbc和平与使用如通过式4或5针对特定3D扫描612计算的对应姿势θn和骨缩放系数计算的模板之[0140]一旦使用骨校正混合形状来改进模型与配准形状的拟合，重建中的残差仅归来估计每个配准$e,以确保残差由T-姿势坐和平均形状模块630使用这些经适配的参数来调整模板。然后通过将3D扫描的界标应用于[0147]图9示出了根据一些实施方式的将化身或角色与图像中的人匹配的示例。在一些[0148]图10是示出根据示例实施方式的执行过程1000中的消息客户端104的示例操作的流程图。过程1000可以以由一个或更多个处理器执行的计算机可读指令实现，使得过程[0150]在操作1002处，图像处理服务器122接收共同限定骨骼模型的姿势的多个关节角[0151]在操作1003处，图像处理服务器122基于接收到的骨缩放系数和接收到的关节角图像处理服务器122基于骨参数来调整模板550，并且使用形状更新参数562应用身份信息[0154]在操作1006处，图像处理服务器122通过将身份表面映射到摆姿势的骨骼模型上令1108将通用的非编程的机器1100转换成被编程为以所描述的方式执行所描述和所示功[0157]机器1100可以包括处理器1102、存储器1104和输入/输出部件1038，所述处理器令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路和用户输入部件1126。用户输出部件1124可以包括视觉部件(例如，诸如等离子显示面板[0161]环境部件1132可以包括例如一个或更多个摄像装置(具有静止图像/照片和视频测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近物体的红外传感客户端设备102的前表面上的前置摄像装置和客户端设备102的后表面上的后置摄像装置。件1136能够进行操作以经由相应的耦接或连接分别将机器1100耦接至网络1120或设备码的多维条形码、Aztec代码、数据矩阵、数据符号(Dataglyph)、最大码(MaxiCode)、及存储单元1116可以存储由本文中描述的方法或功能中的任何一个或更多个实现或使用介质并且使用多个公知的传输协议中的任意一种传输协议(例如，超文本传输协议(HTTP))，通过网络1120来发送或接收指令1108。类似地，可以使用传输介质经由至设备[0170]图12是示出可以安装在本文中所描述的设备中的任何一个或更多个上的软件架[0171]操作系统1212管理硬件资源并且提供公共服务。操作系统1212包括例如：内核对接。例如，驱动器1222可以包括显示驱动器、摄像装置驱动器、BLUETOOTH@或BLUETOOTH@低功耗驱动器、闪存驱动器、串行通信驱动器(例如，USB驱动器)、[0172]库1210提供由应用1206使用的公共低级基础设施。库1210可以包括系统库1218IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTPhone的移动操作系统或另外的移动操作系统上运行的移动软件。在该示例中，外部应用1240可以激活由操作系统1212提供的API调用1250以有助于本文中[0177]“客户端设备”是指与通信网络对接以从一个或更多个服务器系统或其他客户端移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进