CN113168007A 用于增强现实的系统和方法 （奇跃公司）

PCT/US2019/052992201WO2020/069006EN2020.04.本公开的示例描述了用于共享虚拟内容的其中，第二视角视图是基于来自第一用户的输2确定所述虚拟对象的第二视角视图，其中，根据所述第二视角视图经由所述第二可穿戴设备的4.根据权利要求1所述的方法，其中，所述第一视角视图以第一尺寸呈现所述虚拟对根据所述第一视角视图经由所述第二头戴式设确定所述虚拟对象的第二视角视图，其中，根据所述第二视角视图经由所述第二可穿戴设备的319.一种存储指令的非暂态计算机可读介质，所述指令在由一个或多个处理器执行时确定所述虚拟对象的第二视角视图，其中，根据所述第二视角视图经由所述第二可穿戴设备的化的所述输入包括所述第一头戴式设备从第45[0002]本申请要求于2018年9月25日提交的美国临时申请号62/736,432的优先权，其全觉到他或她正在在占用真实空间的对象周围走动。如果将头戴式显示器用于在虚拟空间和取向)来重新渲染场景以匹配用户动态变化的头部位置和取向，并提供增强的虚拟空间6[0012]在某些增强现实技术(例如GoogleGlass⃞)中，虚拟内容显示在固定位置中。[0014]本公开的示例描述了用于共享虚拟内容的视角视图(perspectiveview)的系统[0027]图11A_11C示出根据一些实施例的具有距离变化的观看者与所得虚拟内容显示之[0030]图13A_13D示出示例混合现实系统的组件，该示例混合现实系统可用于生成混合7[0034]本发明涉及用于创建多个坐标系的系统和方法，多个坐标系用于确定虚拟内容、味道、气味)来感知真实环境，并通过在真实环境中移动自己的身体来与真实环境进行交果虚拟环境中的对象在时间t0位于第一坐标，并且具有某些已编程的物理参数(例如，质环境的任何合适的已知信息和/或任何合适的输入(例如，真实世界参数)来确定在时间t1光等的表示)。处理器可以确定虚拟环境的视图(例如，与具有原始坐标、视图轴和视锥户。8[0041]混合现实系统可以例如使用透射式显示器和/或一个或多个扬声器(其例如可以结合到可穿戴头部设备中)向用户呈现结合了真实环境和虚拟环境的各个方面的混合现实括与真实灯柱具有大致相同的高度和半径的圆柱体(反映出灯柱的形状可以大致为圆柱环境中的对应虚拟对象可具有带有人脸特征功能且风度翩翩的绿色的两臂虚拟角色的特张的或幻想的方式表示真实对象，或赋予行为(例如人格特质)给其它无生命的真实对象。管VR系统的用户可能难以感知虚拟环境中所显示的虚拟对象或与之交互，因为如上所述，9进一步包括位置坐标1206，该位置坐标可以被认为是真实环境1200的原点。如图12A中所户/收听者/头部的坐标空间。可以相对于混合现实系统1212的一个或多个组件来定义用阵(其可以包括平移矩阵和四元数矩阵或其它旋转矩阵)或其它合适的表示可以表征用户/收听者/头部坐标系1214空间与环境/世界坐标系1208空间之间的变换。在一些实施例中，可以相对于用户/收听者/头部坐标系1214的原点1215来定义左耳坐标1216和右耳坐标征左耳坐标1216和右耳坐标1217与用户/收听者/头部坐标系1214空间之间的变换。用户/收听者/头部坐标系1214可以简化相对于用户头部或相对于头戴式设备(例如相对于环境/以实时确定和更新用户坐标系1214与环境坐标系[0046]图12B示出与真实环境1200对应的示例虚拟环境1230。所示的虚拟环境1230包括与真实矩形房间1204A对应的虚拟矩形房间1204B；与真实对象1222A对应的虚拟对象1222B；与真实对象1224A对应的虚拟对象1224B；以及与真实对象1226A对应的虚拟对象对应于真实环境1200中的任何真实对象。真实环境1200中的真实对象1228A不对应于虚拟环境1230中的任何虚拟对象。其原点在点1234(持久(persistent)坐标)处的持久坐标系可以包括平移矩阵和四元数矩阵或其它旋转矩阵)或其它合适的表示可以表征持久坐标系1233空间与环境/世界坐标系1208空间之间的变换。在一些实施例中，虚拟对象1222B、和1232中的每一个可以相对于一个或多个持[0047]关于图12A和图12B，环境/世界坐标系1208为真实环境1200和虚拟环境1230二者矩阵(其可以包括平移矩阵和四元数矩阵或其它旋转矩阵)或其它合适的表示可以表征真[0048]图12C示出示例MR环境1250，该示例MR环境1250经由混合现实系统1212同时向用合现实系统1212的显示器的透射部分)；以及呈现来自虚拟环境1230的虚拟对象1222B、(例如，经由使用像素化遮挡快门的有源像素遮挡)，以便遮挡对应的真实对象(1222A、1232可以与一个或多个音频信号(诸如当怪物在MR环境1250周围走动时生成的脚步声效多个扬声器和/或一个或多个外部扬声器将音频信置耦接到框架(64)，并且与用户的耳道相邻定位(在一个实施例中，可以将另一个扬声器[0055]本地处理和数据模块(70)可以包括省电的处理器或控制器，以及数字存储器(诸和/或陀螺仪)捕获的数据；和/或使用远程处理模块(72)和/或远程数据存储库(74)获取[0056]本地处理和数据模块(70)可以诸如经由有线或无线通信链路可操作地耦接(76、据模块中存储所有数据并且可以执行所有计算，从而允许从任何远程模块完全自主地使[0059]示例混合现实系统1212(其可以对应于图2A_2D中所示的示例AR系统)可包括：可括左和右透射显示器，其可以是近眼显示器)以及用于将光从显示器耦合到用户的眼睛的相关联组件)；左和右扬声器(例如，分别与用户的左耳和右耳相邻定位)；惯性测量单元统1212可以结合联网特征(例如，Wi_Fi能力)以与包括其它混合现实系统的其它设备和系[0060]图13A_13D示出示例混合现实系统1300(其可以对应于混合现实系统1212)的组件，该示例混合现实系统1300可以用于向用户呈现MRE(其可以对应于MRE1250)或其它虚示出佩戴在用户的头部2202上的可穿戴头部设备2102的顶视图。图13C示出可穿戴头部设量单元(IMU)2140可以位于右镜腿臂2132中，或者位于可穿戴头部设备2102中的另一合适[0062]在图13A_13D中所示的示例中，可以通过左入耦合光栅组2112将逐图像调制光的图像所指示的距离的距离来显示虚拟对象。该技术还可以减少一些用户所经历的晕动病，这可能是由于立体左眼和右眼图像所提供的深度感知提示与人眼的自主适应(例如，与对[0065]图13D示出从示例可穿戴头部设备2102的右目镜2110的顶部起的边缘视图。如图装在混合现实系统1300的头部单元(例如可穿戴头部设备2102)中)一起来跟踪手持式控制[0067]图14B示出混合现实系统1300的示例辅助单元1420。辅助单元1420可以包括电池以被附接到手持式控制器1400和/或辅助单元1420或与手持式控制器1400和/或辅助单元调例如可以位于耦合到用户的头部(120)的头戴式组件(58)和耦合到用户的皮带(308)的作地耦合(115)到本地计算资产(诸如耦合到如上所述的用户的头部(120)和皮带(308)的在远程显示设备处的人(其可以像坐在办公桌上的个人计算机一样简单)可以从云中有效行世界模型的更多信息可以在题为“用于增强和虚拟现实的系统和方法(Systemandmethodforaugmentedandvirtualreality)”的美国专利申请序列号14/205,126中找可以通过应用从本地坐标系到世界坐标系的变换来处理虚拟内容的放置。位置相对于办公桌的拐角被确定)。然后可以将(例如办公桌的)本地坐标系变换为可以将[0079]图5描绘了头部坐标系与用于任一显示单元(即，双目系统中的左/右或单眼视野中的单个系统)的渲染相机之间的另一个坐标系变换。由于显示介质的位置在用户的眼睛中可能改变，因此相对于该位置所渲染的虚拟内容的位置可能需要进一步的坐标系分析。将内容投影到显示器而不考虑渲染相机，则眼睛位置的变化可能会使内容的预期位置变于确定和/或评估头戴式图像显示设备的定位地图的方法和设备(MethodsandApparatusesforDeterminingand/orEvaluatingLocalizationMapsofHead_Worn用户2可能无法测量头部姿势，并且因此虚拟内容可能会开始随用户2的移动而浮动或偏使用位置跟踪(例如GPS坐标或Wi_Fi三角测量)和/或使用计算机视觉(例如识别房间中的特征，并将那些特征与先前地图绘制的房间的特征进行匹配)来识别房间。在一些实施例户的单只眼睛的瞳孔从位置A移动到位置B。对于显示虚拟对象的光学目镜，给定光焦度为头部坐标的瞳孔坐标可导致静态虚拟内容的抖动。这被称为视图相关的显示或投影系[0089]图10A示出显示给用户1和用户2二者的共享虚拟对象1102。用户1和用户2可以分别具有如在示例性x_y_z世界坐标系1100中相对于虚拟对象1102所测量的观看矢量1和2。[0091]图10B示出用户1与用户2之间的同步视图，其中用户1可以被指定为“主管[0092]在用户1在用户之间作为主管的状态的持续时间内，虚拟内容1102可以在时间tn动到与用户2具有角度差θB的位置，但是与图11A和11B中用户1的距离相比，到虚拟内容的函数二者的用户1相对于虚拟内容1102的位置来显示虚拟内容1102_1。图11E示出用户2所显示的同步虚拟内容都可以显示相对于观看用户的头部姿势和/或位置可能不是固定的虚拟内容。例如，观看用户可以在佩戴混合现实系统(其可以对应于混合现实系统1212或不缩放(例如，随着主导用户移近，显示给观看用户的同步虚拟内容在大小上没有显现更保持同步虚拟内容的相同视角。在一些实施例中，主导用户可以是使用混合现实系统(例它们是为了说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况逻辑上可能的所叙述事件的任何顺序以及所叙述事件的顺序来和下限与该规定范围内的任何其它所述或中间值之间的每[0104]在不使用此类排他性术语的情况下，与本公开内容相关联的权利要求中的术语者特征的添加可以被认为是改变了此类权利要求中提出的要素的性质。除本文中明确定义外，在保持权利要求有效性的同时，在此使用的所有技术和科学术语应尽可能广泛地赋予通常理解的含义。[0105]本发明的范围不限于所提供的示例和/或本说明书，而是仅限于与本公开相关的