CN114637376B 用于与三维环境进行交互的设备、方法和图形用户界面 (苹果公司)_第1页
CN114637376B 用于与三维环境进行交互的设备、方法和图形用户界面 (苹果公司)_第2页
CN114637376B 用于与三维环境进行交互的设备、方法和图形用户界面 (苹果公司)_第3页
CN114637376B 用于与三维环境进行交互的设备、方法和图形用户界面 (苹果公司)_第4页
CN114637376B 用于与三维环境进行交互的设备、方法和图形用户界面 (苹果公司)_第5页
已阅读5页,还剩179页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

202080064537.82020.09.25本公开涉及用于与三维环境进行交互的设算机系统在与该三维环境的一部分对应的第一算机系统在三维环境中显示对使用手势进行的2当显示所述三维环境的视图时,在对应于所述三维环境的部分的第一位置处检测手根据确定所述手部在所述第一位置处被保持为第一预定义构示指示响应于从所述第一预定义构型开始在所述三维环境中检测到使用手势进行的手势根据确定所述手部在所述第一位置处未被保持为所述第一预定根据确定所述手部的所述至少一部分的移动导致所述手部作为整体的根据确定所述手部的所述至少一部分的移动导致所述手部的构型在所述第一位置处2.根据权利要求1所述的方法,其中所述第一显示位置是所述三维环境的所述部分中4.根据权利要求3所述的方法,其中所述一个或多个用户界面对象包括多个应用程序及根据确定在所述时间窗口期间所述手部的移动不满足所述交互响应于检测到所检测到的手部的所述构型从所述第一预定义构型到不满足所述输入3在停止显示所述视觉指示之后,检测所述手部的所述构型到8.一种计算机可读存储介质,所述计算机可读存储当显示所述三维环境的视图时,在对应于所述三维环境的部分的第一位置处检测手根据确定所述手部在所述第一位置处被保持为第一预定义构示指示响应于从所述第一预定义构型开始在所述三维环境中检测到使用手势进行的手势根据确定所述手部在所述第一位置处未被保持为所述第一预定根据确定所述手部的所述至少一部分的移动导致所述手部作为整体的根据确定所述手部的所述至少一部分的移动导致所述手部的构型在所述第一位置处9.根据权利要求8所述的计算机可读存储介质,其中所述一个或多个程序包括当由所述计算机系统执行时使得所述计算机系统执行根据权利要求2至7中任一项所述的方法的存储器,所述存储器存储被配置用于由所述一个或多个处理器执行的一个或多个程当显示所述三维环境的视图时,在对应于所述三维环境的部分的第一位置处检测手根据确定所述手部在所述第一位置处被保持为第一预定义构4示指示响应于从所述第一预定义构型开始在所述三维环境中检测到使用手势进行的手势根据确定所述手部在所述第一位置处未被保持为所述第一预定根据确定所述手部的所述至少一部分的移动导致所述手部作为整体的根据确定所述手部的所述至少一部分的移动导致所述手部的构型在所述第一位置处11.根据权利要求10所述的计算机系统,其中所述一个或多个程序包括用于执行根据机系统执行时使得所述计算机系统执行根据权利要求1-7中任一项5[0003]本专利申请要求2019年9月27日提交的美国临时专利申请号62/907,480和2020年[0004]本公开整体涉及具有显示生成部件和一个或多个输入设备的提供计算机生成体[0007]因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体[0008]所公开的系统减少或消除了与用于具有显示生成部件和一个或多个输入设备的6间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入处理器执行的非暂态计算机可读存储介质或其他计算机程序在三维环境中显示对使用手势进行的手势输入的第一操作上下文的视7的放置;响应于检测到显示生成部件在相对于计算机系统的用户的预定义位置中的放置,图时并且当虚拟环境的视图不包括存在于用户所位于的物理环境中的第一物理对象的第第一部分的物理特征的第一方式改变虚拟环境的检测与触敏表面的接触强度的一个或多个传感器)以及任选地一个或多个触觉输出发生器器中的一个或多个程序的一个或多个处理器的计算机系统的图形用户界面包括在本文所8检测与触敏表面的接触强度的一个或多个传感器)以及任选地一个或多个触觉输出发生任选地用于检测与触敏表面的接触强度的一个或多个传感器)以及任选地一个或多个触觉输出发生器的计算机系统中的信息处理装置包括用于执行或使得执行本文所述的方法中于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统的常规[0020]为了更好地理解各种所述实施方案,应结合以下附图参[0021]图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框[0022]图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体[0023]图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视[0024]图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手[0025]图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼[0028]图7K至图7P是示出根据一些实施方案的用于有利于用户在物理环境中使用设备9[0033]图12是根据一些实施方案的有利于用户转变进入和退出三维环境的方法的流程[0034]图13是根据一些实施方案的有利于用户转变进入和退出三维环境的方法的流程[0035]根据一些实施方案,本公开涉及用于向用户提供计算机生成的现实(CGR)体验的指或部分的微小移动执行的微手势来与三维环境(例如,虚拟或混合现实环境)进行交互。对应的位置处检测手部的附加要求确保了手部的准备状态构型不会被计算机系统意外识程序的主用户界面或起始用户界面、可以从其中选择并重新启动最近显示的体验和/或应执行手势的用户手部或用户想要使用手势来控制的物理对象),在当前显示的操作上下文仅当还发现用户手部处于用于提供手势输入的预定义准备状态时才显示对于虚拟对象可准备状态的组合来确定是否显示虚拟对象是否具有用于手势输入的相关联的交互选项的用计算机系统进行计算机生成的沉浸式体验时的体验和象的已经处于用户的阈值距离内并且潜在地在用户的针对虚拟环境的视场内的部分的位的不在用户的阈值距离内的部分(例如,通过在与物理对象的不在用户的阈值距离内的这部分的视觉变化使得物理对象的在用户的阈值距离内的部分的一个或多个物理特征被表[0043]图1至图6提供了对用于向用户提供CGR体验的示例性计算机系统的描述。图7A至图7G示出了根据一些实施方案的使用手势输入和/或注视输入与三维环境进行的示例性交互时在物理环境周围移动时显示的示例性用户界面。图8至图11是根据各种实施方案的与三维环境进行交互的方法的流程图。图7A至图7G中的用户界面分别用于示出图8至图11中和外围设备195中的一者或多者与显示生成部件120集成(例如,在头戴式设备或手持式设[0045]当描述CGR体验时,各种术语用于不同地指代用户可以感测并且/或者用户可以计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)与[0046]物理环境:物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互并且作为响应,以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视过以图形方式消除其部分或将其部分进行模糊处理而进行[0054]硬件:有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图,相同的物理壳体或支撑结构。[0055]在一些实施方案中,显示生成部件120被配置为向用户提供CGR体验(例如,至少110的功能由显示生成部件120提供和/或与案中,显示生成部件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电成部件120。参考用于显示CGR内容的一种类型的硬件(例如,手持式设备或三脚架上的设三脚架安装的设备相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动而触发的与CRG内容的交互的用户界面可以类似地用HMD来实现,开中认识到,为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方[0059]图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征,些实施方案中,控制器110包括一个或多个处理单元202(例如,微处理器、专用集成电路连这些部件和各种其他部件的一条或多条通信[0060]在一些实施方案中,一条或多条通信总线204包括互连和控制系统部件之间的通存取存储器(SRAM)、双倍数据速率随机存取存储器(DDRRAM)或者其他随机存取固态存储[0062]操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中,CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元部))或相对于经由显示生成部件120显示的CGR内容的位置或移动。下文相对于图5更详细包括指令和/或用于指令的逻辑以及启发法和用243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变[0070]在一些实施方案中,一条或多条通信总线304包括互连和控制系统部件之间的通些实施方案中,一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似的显示器类型。在一些实施方案中,一个或多个CGR显示器312对应于衍[0072]在一些实施方案中,一个或多个图像传感器314被配置为获取与用户面部的包括中,一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件[0074]操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中,CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现[0075]在一些实施方案中,数据获取单元342被配置为至少从图1的控制器110获取数据据获取单元342包括指令和/或用于这些指令的逻辑以及启发法和用于这些启发法的元数[0077]在一些实施方案中,CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如,混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生指令和/或用于这些指令的逻辑以及启发法和用于这些该启[0079]尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,部跟踪设备140(图1)由手部跟踪单元243控制(图2)来跟踪用户的手部的一个或多个部分经由应用程序接口(API)提供给在控制三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的,景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像[0086]软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的功能中的一些或全部可以在专用硬件(诸如,定制或半定制集成电路或可编程数字信440分开的单元,控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部[0088]图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即,[0089]图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射帧上的位置和移动来根据一些实施方案确定由手部执行的手势踪设备130由眼睛跟踪单元245(图2)控制来跟踪用户注视相对于场景105或相对于经由显戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件近眼显示面板)来在用户眼睛前方显示包括左图像和右图像的帧,从而向用户提供3D虚拟过相应的眼睛跟踪相机和照明源来跟踪用户的[0093]在一些实施方案中,使用设备特定的校准过程来校准眼睛跟踪设备130以确定用设备130确定了设备特定参数和用户特定参数,就可以使用闪光辅助方法来处理由眼睛跟示器面板,或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用如,控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面踪信息来调整眼睛透镜520的焦点,使得用户当前正看向的虚拟对象具有适当的聚散度以[0099]如图5中所示的注视跟踪系统的实施方案可以例如用于计视跟踪管道通过闪光辅助的注视跟踪系统(例如,如图1和图5中所示的眼睛跟踪设备130)[0104]图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。设备或输入方法来提供示例,并且使用另一个输入设备或输入方法来提供另一个示例时,或多个相机的计算机系统(诸如,便携式多功能设备或头戴式设备)上实现的用户界面[0108]图7A至图7C示出了根据一些实施方案的用于与虚拟或混合现实环境进行交互的的整个手部或手臂从其自然位置和姿势移开来立即执行操作)。关于图7A至图7C所述的输[0109]在一些实施方案中,关于图7A至图7C所述的输入手势通过分析由传感器系统(例101(例如,如图7C中所示的便携式电子设备7100或HMD))的部件或者向该计算机系统提供VR头戴式耳机,该立体显示器为用户的左眼提供左图像并为用户的右眼提供右图像)检测多个深度传感器包括一个或多个基于光的(例如,红外)传感器和/或一个或多个基于声音利用他/她的手部提供输入手势时是执行大幅运动还是保持相对静止,而不经受由特定输抬起位置7102移动到触压位置7104(例如,其中拇指7106已经与食指7110接触并且保持搁压位置7104至少第一阈值时间量(例如,轻击时间阈值或长于轻击时间阈值的另一个时间食指的该侧并且手部作为整体在拇指搁置在食指的该侧上时移动时检测轻击-保持-拖动[0111]图7A的部分(B)示出了通过拇指7116跨食指7118(例如,从食指的手掌侧到背侧)7126相邻的或在手掌侧上的一侧)移动进行的轻扫输入。拇指7126沿着箭头7130所示的轴近)移动到远节位置7124(例如,在食指7118的远节指骨处或附近)并且/或者从远节位置着不同手指和/或在不同方向上(例如,朝向手指的远侧端部或近侧端部)执行的不同轻扫响应于用背对用户面部的用户手掌执行的轻击手势而执行的操作(例如,相同操作)相比,用面向用户的用户手掌执行的轻击手势执行的操作具有增加(或[0121]图7B示出了示出在一些实施方案中包括用户界面对象7172至7194的菜单7170的势输入的手部在设备的显示器上对用户不可见(例如,向用户提供物理世界的视图的相机备7100的图像或设备7100的表示在虚拟现实环应于包括拇指沿着y轴从食指上的远节位置移动到食指上的近节位置的输入,将当前选择指示符7198从项目7190向上移动到上方用户界面对象7182。相对于用户界面对象7172至[0126]图7C示出了在由计算机系统(例如,设备7100或HMD)显示的手部7200在所显示的增强现实视图中可见(例如,作为由相机捕获的物理环境的视图的的预定义部分(例如,拇指的指尖)对应并且具有与用户手部的取向对应的取向的位置处。而显示的用户界面对象是不同的,这取决于当前用户界面上下文和/或用户注视在混合现[0129]图7D至图7E示出了根据一些实施方案的处于示例性非准备状态构型(例如,静止松弛和静止但不满足用于检测准备状态手势的标准的其他手部构型(例如,其中拇指搁置[0131]在一些实施方案中,容器7206显示在混合现实环境中(例如,如图7D和图7E中所7200相对于远离用户定位并且经由与远程物理环境并置的相机的实时馈送显示的物理环7100的图像或设备7100的表示在虚拟现实构型或停止保持为准备状态构型(例如,由于手部姿势的变化或无法在进入准备状态构型的阈值时间量内提供有效输入手势))时,计算机系统(除确定手部是否已经进入准备状态户界面上下文内执行操作或某些类型的操作时不必要地限制用户的自由手部移动。此外,对准备状态构型施加微小且离散的运动要求不会对用户施加过度的物理负担(例如,过度于在应用程序内执行操作的一个或多个控件、远程设备的用户的一个或多个表示和/或媒选定表示的用户的通信,以及/或者发起与媒体项目的选定表示对应的媒体项目的回放);并且当计算机系统在首先发现了手部处于准备状态构型的情况下选择用户界面对象并且不特定于当前选定用户界面对象的系统操作(例如,系统操作包括响应于发现手部处于准输入手势使得计算机系统执行与新启用的输入手势相关联的附加功能。在一些实施方案的输入手势触发附加功能(例如,当显示系统示能表示时检测到的拇指轻弹手势使得显示括一个或多个成像传感器(例如,与便携式设备或头戴式系统相关联的一个或多个相机)、能表示图标7214与由计算机系统的一个或多个相机(例如,设备7100的一个或多个后向相提供有效输入手势并且不再处于准备状态构型,计算机系统停止显示系统示能表示图标行的后续激活或选择输入手势使得计算机系统启动对应应[0141]图7F至图7G提供了根据各种实施方案的响应于在发现手部处于准备状态构型的[0142]图7F示出了根据一些实施方案的在发现手部处于准备状态构型的情况下执行的示例性输入手势和所显示的三维环境(例如,虚拟现实环境或混合现实环境)的示例性响了在当前用户界面上下文中已经可用的其他输入手势(例如,用于滚动用户界面对象的拇手势以显示任务栏或系统菜单,拇指轻击手势以激活基于语音的助手)。在一些实施方案来移动,使得系统示能表示的位置相对于手部的预定义部分(例如,手部7200的拇指的指触摸屏显示器或立体投影仪或HMD的显示器)的显示生成部件显示的三维环境7300(例如,[0144]在一些实施方案中,三维环境7300是包括虚拟对象(例如,用户界面对象7208、的物理环境。在一些实施方案中,虚拟现实环境对应于物理环境(例如,基于如使用设备象在对应物理环境中的位置对应的位置处显示虚拟对象中的至少一些虚拟对象)。在一些显示为(例如,基于如使用设备7100的该一个或多个相机或该一个或多个相机的实时视图起来叠加在周围物理环境的透过显示器的透明区域可见的部分上方。在一些实施方案中,在三维环境7300中与物理对象在物理环境中的位置对应(例如,基于如使用设备7100的一过显示器的透明区域可见的部分)的位置处显示一个或多个相应虚拟对象,使得相应虚拟部未在三维环境7300中示出(例如,三维环境7300不包括来自该一个或多个相机的实时视视场中但在该视场的在三维环境7300中的实时视图中显示的部分之外)。在一些实施方案用户手部的表示或手部的一部分的表示)在三维环境7100中可见(例如,被显示为渲染表手势或拇指推动手势),该第一类型的输入手势包括手部7200的拇指沿着箭头7120所示的7100的该一个或多个相机跟踪手部7200在执行手势(诸如图7F中所示的那些手势)时的移或多个相机的实时视图执行图像分析来检测由手部7200执行的手势。在一些实施方案中,[0147]根据一些实施方案,图7F的部分(B)示出了第二类型的手势(例如,拇指轻扫手部处于准备状态构型的情况下将不会被启用的与当前用户界面上下文对应的另一个操手部7200的拇指的移动方向上移位通过容器7206中态构型开始的拇指轻击手势(例如,该手势包括在拇指在食指上的轻击之前拇指远离食指的向上移动),计算机系统执行与拇指轻击手势对应的第三操作(例如,基于语音的助手态构型的情况下将不会被启用的与当前用户界面上下文对应的另一个操作)。在一些实施轻弹手势使得基于语音的助手或语音通信用户界面在三维环境中的空间中从用户手部旁助手的不同预设功能或者滚动通过语音通信信道的潜在接收者列表。在一些实施方案中,一些实施方案中,交互与用户注视的位置或用户注视在三维环境的部分内的精确位置无于准备状态的手部执行的示例性手势和所显示的三维环境根据用户注视进行的示例性响户手部)或该其他物理对象的预定义部分来实现相对于图7G所述的用户界面响应和交互,A-2和B-2、A-3和B-3)中的左列图和右列图示出了根据一些实施方案的针对在相同用户界面上下文中提供的相同输入手势根据用户注视是否聚焦于用户手部(或由计算机系统定义为控制或受控物理对象的其他物理对象)上而做出的不同用户界面响应。关于图7G所述的静态位置或拇指的指尖附近)显示系统示能表示,并且响应于用户手部退出准备状态构型计算机系统响应于在用户手部保持为准备状态构型时用户注视指向预定义物理对象(例及/或者用户注视从用户手部或预定义物理对象移开)而恢复系统示能表示的外观(例如,用户手部的表示在设备7100的一个或多个相机的视场内或者透过HMD或平视显示器的透传向相机)来跟踪用户眼睛的移动(或跟踪用户的两只眼睛的移动),以便确定用户注视的方注视指向手部7200(例如,如由将用户眼球7512与用户手部7200或用户手部的表示7200’响应于使用手部7200执行的手势而执行系统用户界面操作(例如,与系统示能表示7214或用户界面的其他区域或元素相关联或与在设备7100上执行的单独的软件应用程序相关联的用户界面操作)。图7G的部分B-0示出了在用户手部处于准备状态构型时用户使他/她的定义物理对象上达超过阈值时间量并且具有预设量的稳定性(例如,保持基本上静止或在[0153]在一个示例中,图7G的部分A-1示出了从手部的准备状态构型开始并且包括拇指分A-1中从准备状态构型开始的拇指轻弹手势,以及根据确定用户注视指向预定义物理对[0154]在另一个示例中,图7G的部分A-2示出了从准备状态构型开始并且包括手部7200于图7G的部分A-2中从准备状态构型开始的拇指轻扫手势,以及根据确定用户注视指向预扫手势是从处于准备状态构型的手部开始的两个或更多个输入手势的序列中的一个输入[0155]在又一个示例中,图7G的部分A-3示出了从手部的准备状态构型开始并且包括手从抬起位置沿着箭头7110所示的轴线向下移动到其中拇指再次与食指接触的手部位置)而分A-2所述的拇指轻扫手势)正在显示系统菜单(例如,菜单7170)时执行图7G的部分A-3中定用户界面对象7190,并且执行与用户界面对象7190对应的操作(例如,停止显示菜单且/或者发起与用户界面对象7190对应的应用程序)。在一些实施方案中,用户界面对象势是从处于准备状态构型的手部开始的两个或更多个输入手势的序列中的一个输入手势,并且表示与系统用户界面元素(例如,系统菜单或系统控制对象等)的连续系列的用户交[0156]与图7G的部分A-0相比,图7G的部分B-0示出了用户使他/她的注视离开三维环境部7200),计算机系统放弃响应于使用手部7200执行的拇指轻弹手势而执行系统用户界面7200执行的拇指轻弹手势而执行与用户界面的其他区域或元素相关联或与在计算机系统准备状态构型),并且系统示能表示7214在输入手势期间并且在用户界面响应于输入手势户注视未聚焦于预定义物理对象(例如,用户手部)上时执行图7G的部分B-2中的拇指轻扫手势(例如,因为没有响应于本文参考图7G的部分B-1所述的拇指轻弹手势而显示菜单户注视未聚焦于预定义物理对象(例如,用户手部)上时执行图7G的部分B-3中的拇指轻击手势(例如,因为没有响应于本文参考图7G的部分B-1所述的拇指轻弹手势而显示菜单在三维环境中不与手部7200的位置对应的位置处显示用户界面对象73[0160]应当理解,在图7G所示的示例中,计算机系统将用户手部7200视为将其位置(例如,与用户注视相比)用于确定是否应响应于预定义手势输入而执行系统操作的预定义物理对象。尽管手部7200的位置在图7G的左列和右列中所示的示例中在显示器上看起来不物理对象用作预定义物理对象,以用于确定是否应响应于预定义手势输入而执行系统操作,则即使当物理对象可以相对于环境或用户移动时以及/或者当用户相对于物理对象移对象相对于预定义物理对象显示在固定位置处))与输入手势是否是从处于准备状态构型的手部开始的结合使用来确定是否执行系统操作(例如,显示系统用户界面或系统用户界注视满足预定义要求(例如,注视聚焦于可激活虚拟对象上并且满足稳定性和持续时间要在显示器上被显示为使得该计算机生成环境叠加在透过显示器的透明部分可见的物理环一个或多个相机的视场内或透过设备7100的显示器的透明部分可见的部分)对应的计算机的虚拟表示的虚拟现实环境,计算机生成环境是包括物理对象7504的表示75049作为设备7100的显示器的透明部分可见)。此外,显示器上所示的计算机生成环境包括虚拟对象象7504的平坦前表面上面)。虚拟对象7506被显示为看起来附着到计算机生成环境的墙壁起来附着到计算机生成环境的地板上(例如,覆盖在物理环境的地板或地板的表示的一部被用户输入激活并且被显示来提高计算机生成环境的美学质量并向用户提供信息的虚拟个或多个相机相对于物理环境的视角响应于设备7100在物理环境中的移动和/或旋转而改[0164]图7I示出了计算机生成环境响应于在用户7502未准备好提供手势输入(例如,用户手部未处于准备状态构型)时用户将他/她的注视指向计算机生成环境中的相应虚拟对用于提供手势输入的准备状态之外的状态(例如,保持在除第一预定义准备状态构型之外部相对于用户抬起至高于预定水平(例如,手部响应于手臂围绕肘关节旋转或手腕围绕手腕旋转或手指相对手部举起等而举起)而确定用户手部处于用于提供手势输入的预定义准备状态)。在一些实施方案中,计算机系统根据检测到用户手部的姿势改变为预定义构型由移动或模拟预定义手势的移动)不会被认为和/或视为指向虚拟对象(其为用户注视的焦输入手势的准备状态的指示符,以向用户提供反馈并且在他/她希望提供输入手势的情况个或多个相机(例如,前向相机)来跟踪用户眼睛的移动(或跟踪用户的两只眼睛的移动),以便确定用户注视的方向和/或对象。图1至图6(具体地图5至图6)和随附的描述中提供了提供手势输入的准备状态(例如,左手不是静止的并且未被保持为第一预定义准备状态构向虚拟对象7508(例如,如由连接用户眼球7512的表示和虚拟对象7508的虚线所指示的),根据确定用户手部未处于用于提供手势输入的准备状态,不响应于用户将他/她的注视指向虚拟对象7510(例如,如由连接用户眼球7512的表示和虚拟对象7510的虚线所指示的)。根据确定用户手部未处于用于提供手势输入的准备状态,不响应于用户将他/她的注视指拟对象一段时间)而不是与环境中的任何特定虚拟对象进行交互时阻止所显示的环境中不境响应于在用户准备好提供手势输入时用户将他/她的注视指向计算机生成环境中的相应7510显示在三维环境中时,用户将他/她的左手保持为用于提供手势输入的第一准备状态的表示和虚拟对象7506的虚线所指示的)。根据确定用户的左手处于用于提供手势输入的足持续时间和稳定性要求),计算机系统提供指示虚拟对象7506可被手势输入激活的视觉示虚拟对象7506是交互式的(例如,可以响应于用户的手势输入而执行与虚拟对象7506相算机系统提供指示虚拟对象7506可被手势输入激活的视觉反馈(例如,虚拟对象7508被突算机系统提供指示虚拟对象7506可被手势输入激活的视觉反馈(例如,虚拟对象7510被突视从相应虚拟对象移开并且/或者用户手部停止处于用于提供手势输入的准备状态而不提应虚拟对象是交互式的视觉指示时检测到的手腕轻弹手势或拇指轻弹手势使得计算机系统显示用于控制物理对象的增强用户界面(例如,显示开/关按钮和当前播放的媒体专辑,入和其他类型的输入,诸如音频输入和触摸输入等)的视觉反馈包括显示在用户注视输入部处于用于提供手势输入的准备状态时用户将他/她的注视指向虚拟窗户,计算机系统显示与透过所显示的虚拟窗户可见的虚拟场景相关联的位置和/或当天时间,以指示可以改在用户手部处于用于提供手势输入的准备状态时用户将他/她的注视指向显示的照片,计生成部件120)被放置在相对于设备的用户的预定义位置时(例如,当用户最初进入计算机的示例性视图响应于检测到用户手部对计算机系统(例如,图1中的计算机系统101(例如,手持式设备或HMD))的显示生成部件的外壳的抓握变化而改变。三维环境的视图的变化形成进入由用户控制而不是在无用户输入的情况下完全由计算机系统确定的计算机生成的定显示生成部件(例如,HMD)被放置在用户头部上使得用户的针对物理环境的视野仅可能成部件和用户处于预定义的相对位置,用户的针对物理环境的视野就可能至少部分地(或的显示生成部件相同的外壳中(例如,传感器是向计算机系统提供捕获的图像数据以用于[0175]在一些实施方案中,传感器系统包括跟踪用户和/或计算机系统的显示生成部件个成像传感器跟踪用户的一个或多个特征(诸如用户手部和/或用户头部)的位置和/或移感器系统包括一个或多个运动传感器(例如,加速度计)和/或位置传感器(例如,陀螺仪、GPS传感器和/或接近传感器),这些传感器检测电子设备的显示器的运动和/或位置信息统包括不同类型的传感器的组合,以提供用于确定显示生成部件相对于用户的放置的数示器很好地与眼睛对准),并且在该时间期间手部抓握和位置的变化不会触发所显示的第激活控件以开始沉浸式体验手部抓握的组合是被监测变化的初始方案中,三维环境的第一视图7820是欢迎/入门用户界面。在一些实施方案中,第一视图或透明使得用户可以在不移除显示生成部件的情况下透过其看到用户周围的真实世界的设备的与头戴式显示器相关联的后向相机,或者将图像数据馈送到电子设备的其他相机)或多个相机指向物理环境的在用户眼睛的正前方(例如,在显示生成部件后方)的一部分。中的位置对应的位置处显示虚拟对象中的至少一些虚拟对象(例如,使用一个或多个相机或者将图像数据馈送到计算机系统的其他相机)连续提供周围物理环境7800的在该一个或拟内容被显示为取代透传部分(例如,叠加在透传部分上方或替换透传部分中显示的内界面)逐渐淡入以在用户的手部抓握保持不变的时间段内叠加在或阻挡透传部分上方或阻在欢迎/入门用户界面中具有透传部分,从看到用户周围的物理环境到用户的虚拟沉浸式地控制在看到欢迎/入门用户界面之后需要多少时间来准备好进入完全沉浸式体验,而不是让计算机系统或内容提供商为所有用户规定转变为完全沉浸式体三维环境的另一个示例性视图7920(也被称为“三维环境的第二视图7920”或“第二视图抓握)改变为图7L的部分(B)中的手部构型(例如,一只手抓握))而替换三维环境的第一视器相对于用户的预定义位置的变化(例如,头戴式显示器仍在用户头部上覆盖着用户眼示的开关或控件)上的触摸,并且用户手部的抓握变化的第一预先确定的标准要求触摸显件的手指)停止触摸显示生成部件的特定部视图7920中的虚拟内容向用户提供比第一视图7820中的虚拟内容更具沉浸感的体验。例在用户转动他/她的头部和/或四处走动时可观看的全景或360度视图中表示的三维世界。[0190]图7M示出了又一个示例性第三视图7821(例如,三维环境的第一视图7820或其修部抓握变化而显示第二视图7920之后,如图7L所示)再次在显示生成部件的外壳上检测到测到用户手部对计算机系统的显示生成部件的另一抓握变化(例如,从图7L中的手部构型7800的成视图角度的变化(例如,设备7100或设备7100的一个或多个相机相对于物理环境分显示来自被配置为捕获物理环境7800的至少一部分的图像数据的一个或多个相机的实环境的示例性视图响应于检测到用户的位置相对于用户周围的物理环境中的对象(例如,示并且可被替换为包括显示生成部件的HMD或其他计算机系统,该显示生成部件在显示虚虚拟内容以及由显示生成部件形成的其他物理屏障或其外壳部分地或完[0195]图7N的部分(B)示出了由计算机系统(例如,设备7100或HMD)的显示生成部件(也[0196]在一些实施方案中,第一视图7610是提供沉浸式虚拟体验(例如,三维电影或游物理环境(其远离物理环境7800)中的位置对应的位置处显示虚拟对象中的至少一些虚拟拟任务栏或虚拟菜单)或与物理环境7800无关的其他7612和虚拟表面7614)不对应于或不在视觉上传达物理环境7800中的任何物理对象的存括替换将存在于用户的正常视场(例如,在用户眼睛前方没有放置显示生成部件的情况下的用户的视场)中的至少一些物理对象或其部分的显示的虚[0198]图7O示出了由计算机系统的显示生成部件显示的三维虚拟环境的另一个示例性象7602的也在与部分7604相同的用户的视场内但不在用户的阈值距离内的其他部分)。在分,而是改变虚拟内容的在与物理对象的部分7604对应的位置处的一部分的视觉特征(例与物理对象的部分7604对应的位置处的部分和虚拟内容的紧靠在与物理对象的部分7604相对于物理环境7800为静态时在物理环境7800中相对于用户7802移动的另一个人或狗(例绕声音效应和其他虚拟感官知觉的全景三维显示),并且对来自与计算机系统耦接的传感器系统的传感器数据的实时分析指示用户7802足够靠近物理对象7602(例如,通过用户朝理对象7602的至少一部分的阈值距离内(例如,物理对象7602具有基于用户的针对虚拟环中可见。虚拟环境的第二视图7620中的部分7604包括物理对象7602的对应部分的玻璃态外观。例户的一部分被示出为具有覆盖在虚拟内容上面的光泽半透明的透视外观(例如,虚拟视图中的虚拟球或虚拟草地),并且桌子的该部分后面的虚拟内容透过玻璃态外观桌子的部分户通过在物理环境中移动来在三维环境内导航,并且改变呈现给用户的三维环境的视图,7602行走时,用户将他/她的移动感知为在三维虚拟环境中在相同方向上朝向虚拟对象[0204]图7P示出了由计算机系统的显示生成部件(例如,设备7100或HMD)显示的三维环器数据的分析示出了用户7802和物理对象7602的部分7606之间的距离低于预定义阈值距7606和部分7604(这两个部分当用户在物理环境7800中的不同位置时在用户的预定义阈值距离内)任选地是物理对象的完全不同且不重叠的部分,部分7606任选地完全包含部分那些物理对象是在用户的预定义阈值距离内还是率等的变化)应用于虚拟环境的与物理对象的相应位置对应的部分来预先指定一直在虚拟7630包括物理对象7602的在距用户的阈值距离内的部分7606的渲染。在一些实施方案中,用户的身体将一只或两只手臂抬起至预设水平(例如,为预防摔倒或撞到某物而产生的肌部分对应的位置处修改虚拟环境的显示特性而在虚拟环境中在视觉上表示物理对象的部分地在用户的阈值距离内的部分(例如,在用户的针对虚拟环境的视场内潜在可见的所有部分)或在用户的针对虚拟环境的视场中潜在可见的所有物理对象。该特征有助于允许用户在感觉他/她在物理环境中的身体位置不安全时快速进行重新取向,而无需完全退出沉[0209]图8是根据一些实施方案的用于使用预定义输入手势与三维环境进行交互的示例未覆盖有或附接到输入设备/表面的左手或右手)的用户拇指在用户食指上方的移动。例生成部件的透传部分中或作为用户周围的物理环境的增强现实视图的一部分)。在一些实测到用户拇指在用户食指上方的移动(例如,而不是使用手指或手部在空气中挥动或在触x轴的移动是沿着食指的长度的移动,并且沿着y轴的移动是在跨食指的方向上的移动(例项目行中向左和向右)迭代对项目的选择;调整用户界面对象在显示的用户界面中的位置应于使用一个或多个相机检测到用户拇指在用户食指上方的移动(例如,而不是使用手指移动是第一手部的拇指在食指上方在食指上的第一位置处(例如,在食指的第一部分诸如远节指骨、中节指骨和/或近节指骨处)的轻击(包括在阈值时间量内拇指在食指上的触压轻扫(例如,在第二方向的子方向中的一个子方向上的移动,而不是在食指的中节上的轻与沿第一方向的轻扫方向确定第一操作的方向方式类似的方式来确定与选定内容或内容的一部分对应的值)调整与拇指在食指上方的移动量对应的量。在一些的移动,根据确定该移动是拇指在食指上方在食指上的与第一位置不同的第二位置处(例确定用户拇指在中指上方的轻扫包括拇指沿着中指的长度从指尖朝向中指的基部的移动和/或跨中指从中指的手掌侧到中指的顶部的移动而执行一于检测到用户手部处于预定义准备状态而在三维环境中显示该多个用户界面对象时),计算机系统使用一个或多个相机检测用户的第一手部的移动(例如,整个手部在物理环境中期间保持在手部的预定义距离内显示该多个用户界面对象(例如,对象的菜单粘贴到拇指扩展当前选定对象,并且如果在两只手上拇指从食指的基部朝向食指的指尖移动(并且手的移动(例如,而不是使用手指或手部在空气中挥动或在触敏表面上滑动而产生的更加夸大的手势),以及根据确定该移动包括第一手部的拇指在食指上的触压然后是第一手部的一操作不同(例如,与和用户手指的其他类型的移动模式对应的第一操作至第九操作中的一些实施方案中,当设备检测到用户注视指向三维环境中的可选对象(例如,照片文件图的移动(例如,而不是使用手指或手部在空气中挥动或在触敏表面上滑动而产生的更加夸大的手势),以及根据确定该移动包括第一手部的拇指在食指上的触压然后是第一手部的执行与第一操作不同(例如,与和用户手指的其他类型的移动模式对应的第一操作至第十助手相关联的用户界面对象,以及/或者在与第一手部的手掌对应的位置处显示图像(例户的手掌和用户的面部之间的距离减小到低于阈值距离而满足的标准。在一些实施方案用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法9000、[0225]图9是根据一些实施方案的用于使用预定义输入手势与三维环境进行交互的示例[0226]在方法9000中,计算机系统显示(9002)三维环境(例如,虚拟环境或增强现实环手部(例如,在物理环境的根据用户的针对三维环境的当前视场而对用户可见的位置中检用户手部的表示或图像。响应于在与三维环境的该部分对应的第一位置处检测到手部境的该部分中显示的手部的表示)显示对使用手势进行的手势输入的第一操作上下文的视放弃在三维环境中显示对使用手势进行的手势输入的第一操作上下文的视觉指示(例如,觉指示(例如,主示能表示或任务栏等)显示在所检测到的手部位置处和/或在所检测到的型或也指示手部的准备状态的某个其他预定义构型时)在三维环境中的移动和/或旋转)。位置变化改变视觉指示的显示位置(例如,以保持在三维环境中在手部的预定义距离内显示由手部提供的下一个手势将使得系统级操作(例如,非对象或应用程序特定的操作,例能表示指示由手部提供的下一个手势将使得应用程序或对象特定的操作(例如,特定于当[0230]在一些实施方案中,该一个或多个用户界面对象包括多个应用程序启动图标(例序启动图标的任务栏),其中应用程序启动图标中的相应应用程序启动图标的激活使得与对象集合中的相应用户界面对象的激活使得与该相应用户界面对象相关联的操作被执行。等的时间窗口)期间手部的移动是否满足交互标准(例如,根据确定手部的至少一根手指和/或拇指移动增大到大于阈值距离的距离并且/或者根据预定义手势移动而满足的交互根手指的移动)和/或手部的食指和/或中指的位置变化(例如,手指的伸展和/或手指相对定义构型的变化(例如,根据确定用户手部从作为第一接受手势的起始状态的构型改变为的集合中的选定相应用户界面对象从第一相应用户界面对象调整为第二相应用户界面对受手势的起始状态的构型改变为不与任何接受手势的起始状态对应的状态而确定第三构[0236]在一些实施方案中,响应于在与三维环境的该部分对应的第一位置处检测到手势输入的第一操作上下文的视觉指示不同的操作(例如,在没有视觉指示的情况下显示手用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、[0238]图10是根据一些实施方案的用于使用预定义输入手势与三维环境进行交互的示并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,势的时间期间,注视指向并保持在该位置;或者根据确定在手部处于手势的最终状态(例手势引起与系统用户界面元素(诸如,系统示能表示7214、系统菜单7170和应用程序图标用程序图标(例如,该一个或多个应用程序图标中的相应应用程序图标当激活时启动相应不考虑用户注视是否保持指向三维环境中的位置(例如,即使在用户注视已经从处于准备状态的用户手部移开或在手势完成之后,系统示能示能也在预定义的超时时段内保持显维环境中所示的用户手部的位置已经随着用户的头部或手部的移动而改变);以及响应于不变(例如,当用户手部的位置在三维环境中改变时,系统示能表示跟随用户手部的位置义位置处显示系统示能表示包括:根据确定用户注视不指向与预定义物理位置对应的位在一些实施方案中,确定用户未准备好执行手势包括检测用户未准备好执行手势的指示案中,在相对于与预定义物理位置对应的位置的预定义位置处显示系统示能表示还包括:三维环境中在相对于与预定义物理位置对应的位置的预定义位置处显示系统示能表示时,统示能表示。如果检测到后续输入手势(例如,当系统示能表示未显示或以第一外观显示示能表示未显示或以第一外观或第二外观显示时),则计算机系统不执行与输入手势对应如果检测到后续手势输入(例如,当系统示能表示未显示或以第一外观或第二外观显示[0249]在一些实施方案中,与预定义物理位置对应的位置是三维环境内的固定位置(例中与沿着车辆的内部的固定位置对应的固定位置(例如,是沿着车辆的内部的固定位置的[0250]在一些实施方案中,与预定义物理位置对应的位置是相对于三维环境的显示(例在该边缘的预定义距离内)的固定位置。在一些示例中,位置相对于三维环境的显示居中(例如,在沿着三维环境的显示的底部边缘、顶部边缘、左边缘或右边缘的显示区域内居指向与预定义物理位置对应的位置的注视之后显示系统用户界面时)。响应于检测到第二程序的一行应用程序图标的任务栏)响应于由手部进行的第一轻扫手势而替换该指示符,针对所有安装的应用程序的应用程序图标的二维网格响应于由手部进行的第二轻扫手势而替换该任务栏;并且三维工作环境(其中交互式应用程序图标以不同深度和位置悬浮在三维工作环境中)响应于由手部进行的第三轻扫手势而替换二维[0253]在一些实施方案中,三维环境的当前上下文包括显示对接收到的通知的指示(例括显示包括关于接收到的通知的附加信息的扩展通知(例如,显示除最初显示的子集之外一些实施方案中,当通知在三维环境中被接收并指示并且用户注视被检测到朝向该通知与该通知的交互,并且响应于检测到用户的手势(例如,由拇指或手腕进行的向上轻弹手一张或多张照片的一个或多个相应缩略图)的指示,并且在三维环境的当前上下文中执行象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、[0256]图11是根据一些实施方案的用于使用预定义输入手势与三维环境进行交互的示并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,的表示中显示的物理对象处或在物理环境或纯虚拟环境的增强现实视图中显示的虚拟对位置触发了用于确定是否示出对与三维环境中的第一对象相关联的交互选项的指示的启三维环境中的第一对象的一个或多个交互选项的指示(例如,改变三维环境中所示的第一一个手势输入的第一对象的注视(11006):根据确定手部未处于用于提供手势输入的预定并且每当在三维环境中的交互式对象上检测到用户注视并且用户注视满足预定义标准(例用户对与环境进行交互感兴趣并且想要知道哪个对象是交互式的以及哪些交互选项是可示,然后允许用户在通过注视(或其他输入)选择对象之后使用手势来与选定对象进行交统发起针对附加手势输入的手势识别程序之前将他/她的手部置于准备状态,但是这些常规系统不要求注视和准备状态同时存在来触发对用于对象的交互选项的视控制元件不用于识别第一对象或指定要示出对其交互选项的指示的对象的位置(例如,物子设备的物理控制元件检测手部是否处于预定义且当注视在图标上时并且当显示介绍时,设备响应于手势输入而显示用于电影的回放控图像或视频)的虚拟窗户的一些示例中,关于第一虚拟对象的信息包括所显示的虚拟场景响应于在显示位置和/或时间时接收到的后续输入,设备显示不同位置和/或当天时间/当括以动画方式显示图像本身和/或以动画方式显示图像中显示的一个或多个元素。在一些输入的第二虚拟对象的注视:根据确定手处部于用于提供手势输入的预定义准备状态(例执行与第一对象的交互包括扩大图像并将该图像放置到三维环境中以提供与该图像相关与第一对象的交互包括将具有第一位置和/或第一时间的第一虚拟场景的显示切换为具有第二位置和/或第二时间的第二虚拟场景,该第二位置和/或第二时间不同于该第一位置一音频内容或第一多媒体内容),并且执行与第一对象的交互包括切换第一可播放媒体内对象的交互包括用与第一虚拟场景不同的第二虚拟场景的显示替换第一虚拟场景的显示。任选地随着用户对三维环境内的虚拟窗户的视角改变(例如,在用户移动电子设备或电子示具有用于第一对象的一个或多个交互选项(或者在一些实施方案中,一个或多个附加交为对可用于第一对象的一个或多个交互选项联的内容时检测第一手势输入。在一些实施方案中,手腕的使得手掌向下旋转的旋转(例右手都)使得输出音量减小,而手腕或手指的顺时针旋转使得内容的输出音量增大(例如,[0271]在一些实施方案中,第一标准包括注视保持指向第一对象达至少阈值时间量(例象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、[0273]图12是根据一些实施方案的用于转变进入三维环境的示例性方法12000的流程实施方案中,方法12000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个的预定义位置中的放置(例如,检测用户将HMD戴在他或她的头部上(例如,经由设备取向和/或HMD上检测穿戴状态的传感器)、结合看向显示器的用户注视检测显示器取向(例如,经由在显示生成部件上实现的运动传感器和眼睛跟踪技术)、直接在显示器前方检测用户对于计算机系统的用户的预定义位置中的放置指示用户将要使用电子设备发起虚拟和沉需要电子设备暂时阻挡用户的针对用户周围的真实世界的当前视野(例如,通过紧靠用户示(12004)三维环境的包括透传部分的第一视图,其中该透传部分包括用户周围的真实世考图12,当显示三维环境的包括透传部分的第一视图时(并且当显示生成部件处于相对于耦接的外壳上有手部接触到无手部接触的变化和/或与显示生成部件物理耦接的外壳上的件物理耦接的外壳的相对抓握力的变化引起的)。手部对与显示生成部件物理耦接的外壳显示生成部件物理耦接的外壳的抓握变化包括检测手部对与显示生成部件物理耦接的外显示生成部件物理耦接的外壳上检测到的手部(或手指)的总数量从第一预定义数量减少上之后将用户的两只手中的一只手从HMD移除时,或者当在用户使用两只手将显示器直接手部将显示器或HMD放置在预定义位置中(例如,在用户头部上或用户眼睛前方)之后用户总量(例如,与用户手部接触的总面积)从第一数量/量减少到小于第一数量/量的第二数对显示生成部件的手动控制量需要减少,以指示用户准备好屏蔽他/她周围的物理世界并一视图包括用虚拟内容替换透传部分的一部分(例如,新虚拟内容覆盖在透传部分的该部当透传部分用显示器的半透明或透明状态来实现时),使得显示在显示器的半透明或透明围的第一组虚拟对象;并且第二视图包括跨越第二视角或观看深度范围的第二组虚拟对对象,该多个用户界面对象当被激活时在三维环境中产生各种沉浸式应用程序环境和/或显示具有多个用户界面对象和示出用户周围的物理世界的一部分的透传部分的第一视图。的一些手指或完全松手放开显示生成部件),显示用完全沉浸式虚拟体验或环境替换该多命令来激活第一视图中的该多个用户界面对象中的一个用户界面对象以发起应用程序或测到的触摸等)以响应于该用户输入而选择并激活表示应用程序的虚拟对象,设备通过显[0279]在一些实施方案中,当显示三维环境的第二视图时(并且当显示生成部件处于相对于计算机系统的用户的预定义位置时),计算机系统检测手部对与显示生成部件物理耦握变化:根据确定手部对与显示生成部件物理耦接的外壳的第二抓握变化满足第二标准(例如,第二标准要求手部的抓握从手部的满足第一标准的第一状态改变为其中对与显示部/接触的变化而产生的从(1)包括真实世界的透视视图(例如,甚至是全屏的真实世界视少一部分的透传部分的相应视图(例如,第二视图或第三视图)时(并且当显示生成部件处于相对于用户的预定义位置时),计算机系统检测与显示生成部件物理耦接的外壳上的用方和侧面上用户通常抓住以将HMD拿下来的区域)内的用户的手部接触,以便满足第三标满足第一标准时的方式相同的方式)用三维环境的第二视图替换三维环境的第一视图。在时间段已经到期之后)而用三维环境的第二视图替换第象、用户界面对象和/或动画任选地具有本文参考本文所述的其他方法(例如,方法8000、[0283]图13是根据一些实施方案的用于转变进入三维环境的示例性方法13000的流程实施方案中,方法13000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个部件周围的真实世界中的一个或多个其他物理对象的存在、位置和/或物理结构。换句话没有放置显示生成部件的情况下的用户的视场)中的物理对象的显示的虚拟内容。当显示虚拟环境的视图时并且当虚拟环境的视图不包括存在于用户所位于的物理环境中的第一户相对于物理环境为静态时在物理环境中相对于用户移动的另一个人或狗(例如,用户的宠物在用户坐在沙发上看电影时四处移动)。当虚拟环境的视图不包括存在于用户所位于相对于用户的位置(例如,第一物理对象的第一部分未被第一物理环境中的其他物理对象部或部分将在显示用户前方的物理环境的透传部分中可见),计算机系统以指示第一物理针对虚拟环境的视场而潜在地对该用户可见的范围的一部分(例如,第一物理对象的第一部分是第一物理对象的潜在可见的范围的比第一物理对象的第一部分距离用户更远的第外相机))检测/由电子设备的一个或多个传感器检测的物理环境的范围;(2)普通用户(例如,在正常观看距离内并且未被其他物理对象阻挡)在用户眼睛的当前位置和方向看到的范围)的边界内的(1)中的物理环境的范围或(2)中的物理环境的裸眼视图。在一些实施方理环境中的第一物理对象的第一部分的位置/距离/取向对应的一部分。在一些实施方案当前在相机的视场内捕获的周围物理环境(例如,周围物理环境的与第一物理对象相邻或一物理对象的第一部分的视觉边界),因此即使电子设备拥有用于基于第一物理对象的更大范围来改变虚拟环境的视图的外观并基于第一物理对象的周围物理环境的一部分来改理对象的不同部分距用户的距离来确定第一物理对象的用于改变虚拟环境的视图的外观户的预定义部分(例如,用户的手部或脚部))不在存在于用户周围的物理环境中的第一物拟环境的视图的外观(例如,尽管事实上第一物理对象具有基于用户的针对虚拟环境的视虚拟环境的视图的外观还包括:在改变虚拟环境的第二部分中的虚拟环境的视图的外观中虚拟环境的第一部分和虚拟环境的第二部分之间的边界对应于第一物理对象的第一部分的物理边界(例如,虚拟环境的改变的部分和虚拟环境的未改变的部分之间的边界的位置

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论