CN113168737A 用于三维模型共享的方法和系统 （奇跃公司）

PCT/US2019/052798201WO2020/068878EN2020.04.本公开的示例描述了用于分解和共享3D模对主机装置进行关于与虚拟三维模型的第二版头部装置的显示器显示虚拟三维模型的第二版2从所述主机计算系统接收与所述组成部分请通过与所述组成部分请求对应的一个或多个组成部分组成所将所述一个或多个组成部分的列表发送到包括头戴式将与所述组成部分请求对应的一个或多个组成部分通过与所述组成部分请求对应的一个或多个组成部分组成所15.一种存储一个或多个指令的非暂时性计算机可读介质，所述一个或多个指令在由3将所述一个或多个组成部分的列表发送到包括头戴式将与所述组成部分请求对应的一个或多个组成部分通过与所述组成部分请求对应的一个或多个组成部分组成所将所述一个或多个组成部分存储在一个或多个数组中，4模型的第二版本相关联的数据的请求，其中虚拟三维模型的第二版本包括组成部分维模型的第一版本不包括组成部分，对主机装置进行关于与组成部分相关联的数据的请[0006]本说明书中描述的主题的一种或多种实现方式的细节在附图和以下描述中阐[0007]图1描绘了具有某些虚拟真实对象以及人观看的某些物理对象的混合现实场景的5[0019]图12示出使用本文描述的系统和方法的在服务器与客户端之间的示例3D模型共[0020]图13示出用于使用本文描述的系统和方法来共享3D资产的示例3D模型共享系统[0023]图16示出使用本文描述的系统和方法的在3D模型共享应用中使用的用于存储3D[0024]图17示出使用本文描述的系统和方法从完整的3D模型的组成部分重组该完整的6可以例如被并入到可穿戴头部装置中)、组合真实环境和虚拟环境的方面的混合现实虚拟对象可以包括具有大致与真实灯杆相同的高度和半径的圆柱(反映了灯柱的形状可以7同)的特性。例如，当MR环境中的真实环境可以包括绿色、两臂仙人掌—多刺的无生命对虚拟环境中的虚拟怪物，其可能处于与真实环境中的空的空间对应的位置处)的纯粹的想例，虽然VR系统的用户可能努力感知或与虚拟环境中显示的虚拟对象交互—因为如上所环境和虚拟环境，混合现实系统可以减少与VR系统相关联的负面心理感受(例如，认知障[0037]图19A示出其中用户1910使用混合现实系统1912的示例真实环境1900。混合现实还包括位置坐标1906，其可以被认为是真实环境1900的原点。如图19A所示，其原点在点1906(世界坐标)处的环境/世界坐标系1908(包括x轴1908X、y轴1908Y和z轴1908Z)可以定合现实系统1912的一个或多个组件来定义。例如，用户/收听者/头部坐标系1914的原点8期间。矩阵(其可以包括平移矩阵和四元数矩阵或其他旋转矩阵))或其他合适的表示可以表征用户/收听者/头部坐标系1914空间与环境/世界坐标系1908空间之间的变换。在一些可以表征左耳坐标1916和右耳坐标1917与用户/收听者/头部坐标系1914空间之间的变换。用户/收听者/头部坐标系1914可以简化相对于用户头部或者相对于头戴式装置(例如，相[0038]图19B示出与真实环境1900对应的示例虚拟环境1930。所示的虚拟环境1930包括与真实矩形房间1904A对应的虚拟矩形房间1904B；与真实对象1922A对应的虚拟对象1922B；与真实对象1924A对应的虚拟对象1924B；以及与真实对象1926A对应的虚拟对象中的任何真实对象。真实环境1900中的真实对象1928A不对应于虚拟环境1930中的任何虚元数矩阵或其他旋转矩阵)或者其他合适的表示可以表征持久坐标系1933空间与环境/世[0039]关于图19A和19B，环境/世界坐标系1908定义用于真实环境1900和虚拟环境1930[0040]图19C示出经由混合现实系统1912同时向用户1910呈现真实环境1900和虚拟环境9应真实对象的视图的信息的实例中(诸如在其中虚拟对象呈现古代受损雕塑的缺失片段的1912中的一个或多个扬声器和/或一个或多个外部扬声器向用户[0045]对象的3D数字模型可以作为虚拟对象被显示给AR/VR/MR(出于简化的目的，在下出设计的基本版本(例如，观看者可能仅看到设计的外部，但是不能打开它来查看内部组求学生下载3D模型或退出并重新进入应用，使得教师可以将新的青蛙模型更新推送给学[0049]这些问题可以通过用于在服务器与一个或多个客户端之间的网络上流播[0053]可穿戴系统(在此也称为增强现实(AR)系统)可以被配置为向用户呈现2D或3D虚[0054]图1描绘了具有某些虚拟真实对象以及由人观看的某些物理对象的混合现实场景[0057]图2示出可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200[0058]在一些实施例中，扬声器240可以被耦合至框架230并且邻近用户的耳道放置(在一些实施例中，未示出的另一个扬声器邻近用户的另一耳道放置以提供立体声/可塑的声音控制)。显示器220可包括用于检测来自环境的音频流并捕获环境声音的音频传感器(例观察用户周围环境中的世界。可穿戴系统200还可以包括可以跟踪用户的眼睛运动的面向内成像系统462(图4中所示)。面向内成像系统可以跟踪一只眼睛的运动或两只眼睛的运模块260或270可以处理由面向内成像系统获取的图像信息以确定用户210的例如眼睛的瞳孔直径或取向的眼睛运动或眼睛姿势。面向内成像系统462可以包括一个或多个相机。例的瞳孔大小或眼睛姿势，从而允许将图像信息呈现给每只眼睛以针对该只眼睛动态地调[0060]作为示例，可穿戴系统200可使用面向外成像系统464或面向内成像系统462来获[0061]显示器220可以诸如通过有线引线或无线连接可操作地耦合250到本地数据处理[0062]本地处理和数据模块260可以包括硬件处理器以及数字存储器，诸如非易失性存之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或264(诸如经由有线或无线通信链路)可操作地耦合至远程处理模块270或远程数据储存库280，使得这些远[0063]在一些实施例中，远程处理模块270可以包括被配置为分析和处理数据或图像信息的一个或多个处理器。在一些实施例中，远程数据储存库280可以包括数字数据存储设收集与可穿戴系统200的用户或用户的环境相关联的各种数据(诸如例如，音频或视觉数220可以包括可以安装到用户的头部或与框架230相对应的壳体或框架230上的显示透镜重捕获可见光/不可见(例如，红外)光相机。相机316可以是图4中所示的面向外成像系统势处理器可被配置为根据从捕获装置316输出的宽视场图像信息来计算实时或接近实时的据模块260的一部分。如图3中所示的可穿戴系统200还可包括诸如例如GPS337(全球定位[0070]可穿戴系统可以将由GPS337获取的数据与可以提供有关用户环境的更多信息的200可以使用世界相机316(其可以是图4中所示的面向外成像系统464的一部分)来监测环[0071]可穿戴系统200还可以包括渲染引擎334，该渲染引擎334可以被配置为提供用户擎334可以由硬件处理器(诸如例如，中央处理单元或图形处理单元)实现。在一些实施例由有线或无线链路)到可穿戴系统200的其他组件。例如，渲染引擎334可以经由通信链路274耦接到眼睛相机324，并且经由通信链路272耦接到投射子系统318(其可以以类似于视334还可以分别经由链路276和294与其他处理单元(诸如例如传感器姿势处理器332和图像示例眼睛姿势可以包括用户正在看的地方或他或她正在聚焦的深度(这可以通过眼睛的聚316中的一个或多个可以获取图像和姿势，该图像和姿势可以与来自关联的云计算资源的如，用于会聚眼睛的视线以固定在对象上的瞳孔朝向或远离彼此的转动运动)与眼睛晶状适应和聚散之间提供更好匹配的显示系统可以形成更逼真的和更舒[0077]在一些实施例中，显示系统优选地对于视觉对象对准具有小于[0078]在一些实施例中，可穿戴系统200被配置为基于用户的眼睛的适应来显示一个或此，一些实施例的可穿戴系统200可以允许用户的眼睛以更自然的方式起作用而不是迫使[0079]这样的可穿戴系统200可以消除或减少通常关于虚拟现实装置观察到的眼睛疲置为通过一个或多个可变聚焦元件(VFE)以变化的焦距投射虚拟图像。在一个或多个实施[0080]在多平面聚焦系统和可变平面聚焦系统二者中，可穿戴系统200可以采用眼睛跟踪来确定用户的眼睛的聚散，确定用户的当前焦点以及将虚拟图像投射在所确定的焦点200的显示器以变化的焦距投射图像的能力不仅减轻了用户观看3D对象的调焦，而且还可定波导相关联的深度平面的特定角度(和发散曲的)，具有主要的顶部表面和底部表面以及在那些主要的顶部表面和底部表面之间延伸432b可以被配置为将注入到这种波导432b中的准直光传输到眼睛410。准直光可以代表光准直光到达眼睛410之前发出该准直光。第一透镜452可以被配置为产生轻微的凸波前曲率，使得眼睛/大脑将来自下一个波导向上434b的光解释为来自光学无限远朝内更加靠近产生另一增量的波前曲率，使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面二者都可以是静态的(例面的情况下无法在一个瞳孔大小下清楚地感知第一深度平面和第二深度平面二者的细节。然而，这两个深度平面可以同时在不改变适应的情况下以另一个瞳孔大小对用户充分聚块260的实施例)可以被配置或编程以停止向这些波导中的一个波导提供图像信息。有利应于观看者的瞳孔大小的确定而改变出射束的大小，在宽范围的瞳孔大小上满足该条件。[0096]可穿戴系统400可以包括对世界470的一部分进行成像的面向外成像系统464(例提供关于音频源位于何处的这样的有用的定向信息。可穿戴系统400可以在定位语音源时风获取的声音来确定说话者在环境中的位置。可穿戴系统400可以采用语音识别算法来解眼睛304的瞳孔的大小和/或取向。面向内成像系统466可以用于获得图像以用于确定用户可以假定对于用户的两只眼睛是相似的。可以分析由面向内成像系统466获得的图像以确定用户的眼睛姿势或心情，可穿戴系统400可以使用该眼睛姿势或心情来确定应该向用户[0099]可穿戴系统400可以包括用户输入装置466，用户可以通过该用户输入装置466向输入装置上按下或滑动以向可穿戴系统400提供输入(例如，向由可穿戴系统400提供的用户界面提供用户输入)。用户输入装置466可以在可穿戴系统400的使用期间被用户的手握[0102]可穿戴系统可以例如包括可由用户操纵以允许输入可穿戴系统或与可穿戴系统键盘或虚拟触控板进行的选择或输入。用户输入装置466(图4中所示)可以是图腾的实施[0104]图5是用于与虚拟用户界面进行交互的方法500的示例的过程流程图。方法500可以由在此描述的可穿戴系统执行。方法500的实施例可以由可穿戴系统用来检测可穿戴系如2D点或3D点)并找到新的地图点以渲染世界模型的更准确版本。可以将第一用户的世界测量单元，其通常包括加速度计和陀螺仪组件)以及与真实或虚拟环境中的对象有关的表行时间感测的技术来确定深度信息。图像信息和活动图案(诸如使用活动投射器创建的红示的实施例中，可以输入游戏参数来确定系统的用户正在与各个位置处的一个或多个怪如，如果用户射击了怪物)。世界地图可以包括关于对象的位置的信息或对象的语义信息配置为了解位置和取向，以及用户是否点击了触发器或可能配备有传感器(诸如IMU)的其[0114]手势跟踪或识别也可以提供输入信息。可穿戴系统600可以被配置为跟踪和解释可穿戴系统600可以被配置为利用最小量的手势，该最小量的手势可以是动态的或可以不[0115]眼睛跟踪可以是另一种输入(例如，跟踪用户正在看向控制显示技术以在特定深以识别说话者的身份，诸如说话者是可穿戴系统600的用户210还是用户正在交流的其他[0118]可穿戴系统的实现方式可以经由UI使用这些用户控件或输入。UI元素(例如，控理立体成像过程640并捕获在用户面部前方跟踪的手势和图腾/对象。FOV相机和用于立体括朝向用户的眼睛取向的眼睛跟踪相机(其可以是图4中所示的面向内成像系统462的一部[0120]可穿戴系统600可以包括化身处理和渲染系统690。化身处理和渲染系统690可以些或全部可以单独地或组合地实现为本地处理和数据模块260或远程处理模块262、264的可穿戴装置(或其他此类可穿戴装置)可以例如经由[0122]上下文信息分析系统688可以被配置为基于参考图2和图3描述的一个或多个装置的观看者的面向外成像系统464获取的图像，分析环境和用户环境或渲染用户化身的环境的对象(包括物理或虚拟对象)。上下文信息分析系统688可以单独或者与从位置数据或世分没有处于不舒适(或不现实)的位置(例如，化身的头部未转动270度)。在某些实现方式中，一个或多个对象识别器708(图7中所示)可以被实现为上下文信息分析系统688的一部的意图映射系统694可以继续将第二化身的面部渲染给第一用户，这是远程呈现会话的推整系统698可以被配置为基于不舒适曲线来调整用户的头部与用户的躯干之间或用户的上[0126]3D模型处理系统680可以被配置为对显示器220制作动画并使其渲染虚拟化身理系统682可以被配置为生成和更新用户的3D模型(用于创建虚拟化身并对其制作动画)。化身的外部外观的表面表示(例如，可变形的网格)和用于对网格制作动画的互连关节(例[0128]图7是MR环境700的示例的框图。MR环境700可以被配置为从一个或多个用户可穿提供图像或各种提示。由相机(诸如房间相机和/或面向外成像系统的相机)获取的图像数[0129]一个或多个对象识别器708可以爬行通过所接收的数据(例如，点的集合)并且识包括随时间推移收集的各种点及其对应的对象。各种装置和地图数据库可以通过网络(例示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转的BRIEF习算法可以由HMD存储。机器学习算法的一些示例可以包括有监督或无监督的机器学习算法，包括回归算法(诸如例如普通最小二乘回归)、基于实例的算法(诸如例如学习矢量量统(其可驻留在本地或可通过无线网络访问)从世界收集更多数据而增长。一旦对象被识[0134]图8是关于所识别的对象渲染虚拟内容的方法800的示例的过程流程图。方法800境900也可以包括一个或多个远程计算系统920。远程计算系统920可以包括集群的并且位[0138]远程计算系统920可以包括远程数据仓库980，该远程数据仓库980可以维持关于特定用户的物理和/或虚拟世界的信息。数据存储器980可以存储与用户、用户的环境(例一部分可以由本地处理和数据模块260(如图2中所示)提供。远程计算系统920可以使给定用户能够与另一用户共享关于特定用户自己的物理所示的可穿戴系统200(或图4中所示的可穿戴系统400)置可以在处理获取的信息的同时与远程数据储存库1280通信。多个用户装置和/或多个服或3DStudioMax，并且可以具有任何文件类型。主机可以利用资产导入插件(例如，[0146]在步骤1005处，组成部分可以被发送到作为具有主机的网络的一部分的客供装置稍后使用。[0151]图11示出用于使用本文描述的系统和方法来共享3D资产的示例3D模型共享系统主机系统1118可包括被可操作地耦接到至少一个显示器并且能够从其他计算系统接收通还可以包括网络接口971))通信的网络接口。客户端系统1116可以包括被可操作地耦接到至少一个显示器并且能够从其他计算系统接收通信的一个或多个处理器。在一些实施例可以各自包括经由网络1114与远程计算系统(诸如920(其还可以包括网络接口971))通信1112可以将可转移的数据片段发送到被连接在通信网[0155]图12示出使用本文描述的系统和方法的在服务器与客户端之间的示例3D模型共机应用中。例如，完整的3D模型文件可以起源于主机系统1118并源自被下载到主机系统1118上的不同的3D建模软件(例如AutoCad)。在一些实施例中，3D模型文件可以从外部源模型可以包括将数据级改变应用于3D模型和/或其组成部分(例如，应用数据格式化改变、[0165]在步骤1220处，客户端可以根据从服务器发送的新项目来重组一个或多个3D模[0168]图13示出用于使用本文描述的系统和方法来共享3D资产的示例3D模型共享系统[0169]3D模型共享系统配置1300可以包括由通信链路1302(诸如网络)可操作地耦合的或930c。客户端系统1304可包括被可操作地耦接到至少一个显示器的一个或多个处理器，能够将3D资产导入或加载到3D模型共享主机应用中或者导入或加载到主机系统1306上的模型已被共享并且在客户端处被本地地重组之后)，主机世界模块1322包含与客户端世界来自主机世界模块1322的输入数据，将其放置通过主机系统1306渲染器管线(pipeline)，通过过程1200中的步骤1222或通过过程1000中的步骤1011(即，在3D模型已被共享并在客在3D模型已被共享并且在客户端处被本地地重组之后)，客户端世界模块1312可包含与主且可以在客户端系统1304的显示器上显示一[0179]示例3D模型共享系统配置1300可以使得两个或更多个装置能够在运行时间期间[0191]在一些实施例中，可以使用示例性分解过程1400来分解示例性完整的3D模型组1600中)。可以针对完整的3D模型1500中的每个组成部分重复步骤1402、1404、1406和[0193]图16示出使用本文描述的系统和方法的在3D模型共享应用中使用的用于存储3D[0195]被包含在3D共享应用的库1600中的所有数据可被组合以表示完整的可渲染的3D[0197]图17示出用于使用本文描述的系统和方法从完整的3D模型的组成部分重组完整部分。在一些实施例中，完整的3D模型1800可作为世界对象被存储在世界模块1322和/或1312中。在一些实施例中，完整的3D模型1800可以是在过程1200中的步骤1204和/或过程1000中的步骤1001处被加载到3D模型共享服务器应用中的3D模型。在一些实施例中，完整的3D模型1800可以是来自过程1200中的步骤1220和/或过程1000中的步骤1009的输出。在3D模型不再处于FBX文件格式。分的3D模型和/或定义物理对象的子组。算法可以存储关于子组的关联的数据以基于组成[0209]在此描述和/或附图中描绘的过程、方法和算法中的每一个可以在由一个或多个以包括采用特定计算机指令或专用计算机、专用电路等编程的通用计算机(例如服务器)。专用硬件或一个或多个物理计算装置(利用适当的专用可执行指令)可能有必要例如由于[0211]代码模块或任何类型的数据可以被存储在任何类型的非暂态(或数据)还可以作为所生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其他方式存储在任何类型[0215]在单独实现方式的上下文中在本说明书中描述的某些特征也可以在单个实现方等通常旨在传达某些实施例包括某些特个实施例必须包括用于决定是否在任何特定实施例中包括或将要执行这些特征、元件和/含意义上(而不是在其独有意义上)使用，因此当使用时，例如，为了连接元素列表，术语言通常不旨在暗示某些实施例需要X中的至少一个、Y中的至少一个和Z中的至少一个各自[0223]确定所述组成部分的所述第一版本是否需要基于所述组成部分的所述第二版本[0224]根据确定所述组成部分的所述第一版本需要基于所述组成部分的所述第二版本[0227]根据确定所述组成部分的所述第一版本不需要基于所述组成部分的所述第二版[0233]6.根据实施例1所述的方法，所述方[0234]7.根据实施例1所述的方法，所[0240]确定所述组成部分的所述第一版本是否需要基于所述组成部分的所述第二版本[0241]根据确定所述组成部分的所述第一版本需要基于所述组成部分的所述第二版本[0244]根据确定所述组成部分的所述第一版本不需要基于所述组成部分的所述第二版[0252]15.一种存储指令的非暂时性计算[0255]确定所述组成部分的所述第一版本是否需要基于所述组成部分的所述第二版本[0256]根据确定所述组成部分的所述第一版本需要基于所述组成部分的所述第二版本[0259]根据确定所述组成部分的所述第一版本不需要基于所述组成部分的所述第二版[0263]18.根据实施例15所述的非[0265]20.根据实施例15所述的非暂[0266]21.根据实施例15所述的非暂[0279]27.根据实施例22所述的方法，[0297]34.根据实施例29所述的系统，所[0301]36.一种存储指令的非暂时性计算[0311]39.根据实施例36所述的非暂时性计[0313]41.根据实施例36所述的非暂[0325]将与所述组成部分请求对应的所述一个或多个组成部分发送到所述客户端计算[0330]通过与所述组成部分请求对应的一个或多个组成部分组成(compose)所述虚拟三[0335]48.根据实施例43所述的系统，所述方[0342]将与所述组成部分请求对应的所述一个或多个组成部分发送到所述客户端计算[0346]通过与所述组成部分请求对应的一个或多个组成部分组成所述虚拟三维模型的[0351]55.根据实施例50所述的方法，所[0353]57.一种存储一个或多个指令的[0358]将与所述组成部分请求对应的所述一个或多个组成部分发送到所述客户端计算[0362]通过与所述组成部分请求对应的一个或多个组成部分组成所述虚拟三维模型的[0367]62.根据实施例57所述的非暂时性计[0368]63.根据实施例57所述的非暂时性[0387]69.根据实施例64所述的系统，所述方[0407]76.根据实施例71所述的方法，所[0409]78.一种存储一个或多个指令的非暂时[0427]83.根据实施例78所述的非暂时性[0428]84.根据实施例78所述的非暂时[0450]