版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
(12)发明专利(22)申请日2020.11.11(85)PCT国际申请进入国家阶段日PCT/US2020/0600282020WO2021/118745EN2021.06专利代理师赵腾飞(56)对比文件审查员戴自立权利要求书3页说明书17页附图9页头戴式设备及调整对虚拟内容项的渲染的(诸如头戴式设备的用户的一只或两只眼睛)的位置(57)摘要式设备相对于在用户的面部上的参考点的位置;以及基于设备相对于面部的位置或该位置的变量的在头戴式设备与用户的面部上的参考点之间的距离或该距离的变化来调整对虚拟内容项的渲染。用户的面部上的参考点可以是用户的眼睛中的一21.一种用于在增强现实系统中使用的头戴式设备,包括:存储器;耦合到所述存储器和所述接触传感器的处理器,其中,所述处理器被配置为:从所述接触传感器接收信息,其中,所述信息指示所述头戴式设备相对于在佩戴所述头戴式设备的用户的面部上的参考点的位置变化;以及基于所述位置变化来调整对虚拟内容项的渲染。2.根据权利要求1所述的头戴式设备,其中,从所述接触传感器接收的所述信息与所述头戴式设备相对于所述用户的眼睛的位置变化有关,并且其中,所述处理器被配置为基于所述头戴式设备相对于所述用户的所述眼睛的所述位置变化来调整对所述虚拟内容项的所述渲染。3.根据权利要求2所述的头戴式设备,还包括:红外(IR)传感器和被配置为朝着所述用户的面部发射IR光的IR光源。4.根据权利要求2所述的头戴式设备,还包括:超声传感器,所述超声传感器被配置为朝着所述用户的面部发射超声脉冲。5.根据权利要求2所述的头戴式设备,还包括第一相机,所述第一相机被配置为用于对所述用户的第一只眼成像。6.根据权利要求5所述的头戴式设备,还包括第二相机,所述第二相机被配置成用于对所述用户的第二只眼成像。7.根据权利要求1所述的头戴式设备,还包括:图像渲染设备,所述图像渲染设备耦合到所述处理器并且被配置为渲染所述虚拟内容项。8.根据权利要求1所述的头戴式设备,其中,所述处理器还被配置为:确定从所述头戴式设备上的图像渲染设备到所述用户的眼睛的角度;以及基于所确定的到所述用户的眼睛的角度以及所确定的在所述头戴式设备与所述用户的面部上的所述参考点之间的距离,来调整对所述虚拟内容项的所述渲染。9.根据权利要求1所述的头戴式设备,其中,所述接触传感器包括电容式接触感测电路。10.根据权利要求1所述的头戴式设备,其中,所述接触传感器嵌入在所述头戴式设备用于接触所述用户的面部的表面上。11.根据权利要求10所述的头戴式设备,其中,所述接触传感器被配置成接触所述用户的鼻部。12.根据权利要求1所述的头戴式设备,还包括生物传感器。13.根据权利要求1所述的头戴式设备,还包括陀螺仪传感器和加速度计中的一个或多14.一种在增强现实系统中调整对虚拟内容项的渲染以补偿头戴式设备在用户上的移从接触传感器接收信息,其中,所述信息指示所述头戴式设备相对于在佩戴所述头戴式设备的用户的面部上的参考点的位置变化;以及基于所述头戴式设备相对于在所述用户的面部上的所述参考点的位置变化来调整对3所述虚拟内容项的所述渲染。15.根据权利要求14所述的方法,其中,所述用户的面部上的所述参考点包括所述用户的眼睛。16.根据权利要求14所述的方法,还包括:基于从红外(IR)传感器和被配置为朝着所述用户的面部发射IR光的IR光源接收的信息,确定所述头戴式设备相对于所述用户的面部上的所述参考点的位置。17.根据权利要求14所述的方法,还包括:基于从被配置为朝着所述用户的面部发射超声脉冲的超声传感器接收的信息,确定所述头戴式设备相对于所述用户的面部上的所述参考点的位置。18.根据权利要求14所述的方法,还包基于由所述头戴式设备上的传感器发射的信号使用飞行时间测量来确定所述头戴式设备相对于所述用户的面部上的所述参考点的位置。19.根据权利要求14所述的方法,还包括:基于由所述头戴式设备上的成像传感器捕获的一幅或多幅图像来确定所述头戴式设备相对于所述用户的面部上的所述参考点的位置。20.根据权利要求14所述的方法,其中,所述接触传感器包括电容式接触感测电路。21.根据权利要求14所述的方法,其中,所述接触传感器嵌入在所述头戴式设备用于接合所述用户的面部的表面上。22.根据权利要求21所述的方法,其中,所述接触传感器被配置成接合所述用户的鼻23.一种在其上存储有处理器可执行指令的非易失性处理器可读介质,所述处理器可执行指令被配置为使得头戴式设备的处理器执行包括以下各项的操作:从接触传感器接收指示了所述头戴式设备相对于在佩戴所述头戴式设备的用户的面部上的参考点的位置变化的信息;以及基于所述头戴式设备相对于在所述用户的面部上的所述参考点的位置变化,调整对虚拟内容项的渲染。24.根据权利要求23所述的非易失性处理器可读介质,其中,所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行还包括如下的操作:接收与所述头戴式设备相对于所述用户的眼睛的位置有关的信息,以及其中,所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行操作,使得调整对所述虚拟内容项的所述渲染包括基于所述头戴式设备相对于所述用户的所述眼睛的所述位置来调整对所述虚拟内容项的渲染。25.根据权利要求23所述的非易失性处理器可读介质,其中,所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行还包括如下的操作:基于从红外(IR)传感器和被配置为朝着所述用户的面部发射IR光的IR光源接收的信息来确定所述头戴式设备相对于所述用户的面部上的所述参考点的位置。26.根据权利要求23所述的非易失性处理器可读介质,其中,所存储的处理器可执行指令被配置为使得头戴式设备的处理器执行还包括如下的操作:基于从被配置为朝着所述用户的面部发射超声脉冲的超声传感器接收的信息,确定所4基于由所述头戴式设备上的传感器发射的信号使用飞行时间测量来确定所述头戴式基于由所述头戴式设备上的成像传感器捕获的一幅或多幅图像来确定所述头戴式设用于从接触传感器接收指示了所述头戴式设备相对于在佩戴所述头戴式设备的用户用于基于所述头戴式设备相对于在所述用户的面部上的所述参考点的位置变化来调用于基于红外(IR)传感器和被配置为朝着所述用户的面部发射IR光的IR光源确定所述头戴式设备相对于所述用户的面部上的所用于基于朝着所述用户的面部发射超声脉冲确定所述头戴式设备相对于所述用户的用于基于由所述头戴式设备上的传感器发射的信号使用飞行时间测量来确定所述头用于基于由所述头戴式设备上的成像传感器捕获的一幅或多幅图像来确定所述头戴5[0002]本专利申请要求享受于2019年12月13日递交的、编号为16/713,462、名称为“ContentStabilizationforHead-MountedDisplays”的非临时申请的优先权,该非临时申请被转让给本申请的受让人并且据此通过引用的方式明确地并入本文中。背景技术[0003]近年来,将来自用户的物理环境的真实世界图像与计算机生成的影像或虚拟对象(VO)进行组合的增强现实软件应用已经在普及度和使用方面得以增长。增强现实软件应用可以向在应用的用户周围的自然世界添加图形、声音和/或触觉反馈。关于人和/或对象的图像、视频流和信息可以叠加在视觉世界上,作为在可穿戴电子显示器或头戴式设备(例如,智能眼镜、增强现实眼镜等)上的增强场景而呈现给用户。发明内容[0004]各个方面包括用于在增强现实系统中使用的头戴式设备,该头戴式设备被配置为补偿设备在用户的面部上的移动。在各个方面中,一种头戴式设备可以包括:存储器;传感器;以及耦合到存储器和传感器的处理器,其中,处理器可以被配置为:从传其中,该信息可以指示头戴式设备相对于在用户的面部上的参考点的位置;以及基于该位置来调整对虚拟内容项的渲染。[0005]在一些方面中,从传感器接收的信息与头戴式设备相对于用户的眼睛的位置有关,其中,处理器可以被配置为基于头戴式设备相对于用户的眼睛的位置来调整对虚拟内容项的渲染。在一些方面中,传感器可以包括红外(IR)传感器和被配置为朝着用户的面部发射IR光的IR光源。在一些方面中,传感器可以包括超声传感器,超声传感器被配置为朝着用户的面部发射超声脉冲并且确定头戴式设备相对于在用户的面部上的参考点的位置。在一些方面中,传感器可以包括第一相机,并且在一些方面中,传感器还可以包括第二相机。在一些方面中,头戴式设备还可以包括:图像渲染设备,其耦合到处理器并且被配置为渲染虚拟内容项。[0006]在一些方面中,处理器还可以被配置为:确定从头戴式设备上的图像渲染设备到用户的眼睛的角度;以及基于所确定的到用户的眼睛的角度以及所确定的在头戴式设备与用户的面部上的参考点之间的距离,来调整对虚拟内容项的渲染。[0007]一些方面可以包括一种在增强现实系统中调整对虚拟内容项的渲染以补偿头戴式设备在用户上的移动的方法,该方法可以包括:确定头戴式设备相对于用户的面部上的参考点的位置;以及基于所确定的头戴式设备相对于用户的面部上的参考点的位置来调整对虚拟内容项的渲染。在一些方面中,用户的面部上的参考点可以包括用户的眼睛。[0008]一些方面还可以包括从传感器接收与头戴式设备相对于用户的眼睛的位置有关的信息,其中,基于所确定的头戴式设备相对于在用户的面部上确定的参考点的位置来调整对虚拟内容项的渲染可以包括:基于根据头戴式设备相对于用户的眼睛的位置而确定的6到用户的眼睛的距离和角度,来调整对虚拟内容项的渲染。[0009]在一些方面中,确定头戴式设备相对于用户的面部上的参考点的位置可以包括:基于从红外(IR)传感器和被配置为朝着用户的面部发射IR光的IR光源接收的信息,来确定头戴式设备相对于用户的面部上的参考点的位置。[0010]在一些方面中,确定头戴式设备相对于用户的面部上的参考点的位置可以包括:基于从被配置为朝着用户的面部发射超声脉冲的超声传感器接收的信息,来确定头戴式设备相对于用户的面部上的参考点的位置。[0011]在一些方面中,确定头戴式设备相对于用户的面部上的参考点的位置可以包括:确定头戴式设备相对于用户的面部上的参考点的位置的变化;以及基于所确定的头戴式设备相对于用户的面部上的参考点的位置来调整对虚拟内容项的渲染可以包括:基于头戴式设备相对于用户的面部上的参考点的位置的变化来调整对虚拟内容项的渲染。[0012]在一些方面中,确定头戴式设备相对于用户的面部上的参考点的位置可以包括:通过处理器基于由头戴式设备上的传感器发射的信号来执行飞行时间测量。在一些方面中,确定头戴式设备相对于用户的面部上的参考点的位置可以包括:通过处理器基于由头戴式设备上的成像传感器捕获的图像来执行三角测量操作。[0013]进一步的方面包括在其上存储有处理器可执行指令的非暂时性处理器可读存储介质,该处理器可执行指令被配置为使得在头戴式设备或相关联的计算设备中的处理器执行上文概述的方法中的任何方法的操作。进一步的方面包括头戴式设备或相关联的计算设备,其具有用于完成上文概述的方法中的任何方法的功能。附图说明[0014]被并入本文并且构成本说明书的一部分的附图示出了各个实施例的示例实施例,并且与上文给出的总体描述和下文给出的详细描述一起用于解释权利要求的特征。[0015]图1A是根据各个实施例的头戴式设备(例如,增强现实眼镜)的示图,该头戴式设备可以被配置为执行基于视觉的配准操作,该配准操作考虑了在头戴式设备的相机之间的距离/角度的变化。[0016]图1B是示出根据各个实施例的可以被包括在头戴式设备中的计算机架构和传感器的系统框图,该头戴式设备被配置为执行基于视觉的配准操作,该配准操作考虑了在头戴式设备的相机与用户的眼睛之间的距离/角度的变化。[0017]图2A-图2E是适于在平视显示系统上显示电子生成的图像或虚拟内容项的成像系统的示图。[0018]图3-图5是示出根据各个实施例的执行基于视觉的配准操作的额外方法的处理器流程图,该配准操作考虑了在头戴式设备的相机与用户的眼睛之间的距离/角度的变化。[0019]图6是适于实现一些实施例的移动设备的组件框图。[0020]图7是适于与各个实施例一起使用的示例计算设备的组件图。具体实施方式[0021]将参照附图来详细描述各个实施例。在可能的情况下,将贯穿附图使用相同的附图标记来指代相同或相似的部分。对特定示例和实现方式的提及是出于说明性目的,而不7场景内渲染虚拟内容项的任何系统,包括渲染虚拟内容项使得它们表现为悬浮在真实世(其可以是单独的计算设备或在头戴式设备内的处理器),其生成虚拟内容项(例如,图像、[0023]为了便于描述各个实施例,虚拟内容项相对于选择的真实世界对象的定位关联”。[0024]在配准与远处的真实世界对象相关联的虚拟内容项时,头戴式设备渲染虚拟内设计为经由头带固定到用户的头部。随着增强现实软件应用在普及度和使用方面持续增部上移动或移位,并且用户将频繁地调整头戴式设备在用户的鼻子和面部上的地点(location)、位置(position)和朝向(类似于人们目前如何调整其阅读眼镜或护目镜)。设8对焦,并且表现为保持与在由增强现实系统确定的固定的相对位置上的真实世界对象配部上),这将改变虚拟内容项的表观深度和/或地点,而与真实世界对象的距离以及真实世戴式设备相对于用户的眼睛的这些移动可能导致虚拟对象出现在与真实世界对象不同的距离处(例如,当用户观看真实世界对象时表现为不对焦),以及与真实世界对象相比出现[0028]一些传统的解决方案尝试通过以下方式来提高配准的准确性:从外部感测设备(诸如通信地耦合到头戴式设备的磁性或超声传感器)收集信息以确定相对于用户的眼睛合由面向外部的相机提供的图像)向增强现实系统提供实现虚拟现实项与相关联的真实世传感器/相机和面向内部的注视视图传感器/相机。面向内部的注视视图传感器/相机可以个真实世界对象相关联(即,表现为在一个或多个真实世界对象上或位于一个或多个真实9的面部上的移动而导致的图像渲染设备相对于用户的眼睛的位置的变化,在头戴式设备内的或与头戴式设备进行通信(例如,经由无线或有线链路)的处理器可以被配置为使用来自被配置为确定到用户的面部或眼睛的距离和角度的变化的传感器的距离和角度测量,以及调整对虚拟内容项(例如,增强影像)的渲染,以考虑在头戴式设备与用户的眼睛之间的距离/角度的变化。这样的调整可以起到稳定虚拟内容项相对于距离真实世界对象的表观地点的作用,使得当头戴式设备在用户的头部上移位时,虚拟内容相对于观察到的真实世界保持在与由增强现实系统确定的地点相同的表观地点。[0030]在一些实施例中,头戴式设备可以被配置为确定在头戴式设备上的配准点(例如,距离/角度传感器)与用户的面部上的配准点(例如,用户的眼睛)之间关于六个轴或自由度和角度朝向的一般引用,并且旨在包括关于六个轴或自由度的任何尺寸或角度测量。例如,头戴式设备从用户的鼻子向下移动将导致沿着X轴和Z轴(例如)的距离变化以及围绕俯仰轴的旋转,其中的所有的组合在本文中可以被称为头戴式设备相对于用户的眼睛的位置的变化。[0031]假设头戴式设备是刚性的,则在面向外部的图像传感器、渲染虚拟内容项的图像的投影仪或显示器、以及被配置为确定头戴式设备相对于在用户的面部上的参考点的位置的面向内部的传感器之间将存在恒定的距离和角度关系。例如,传感器可以测量到用户的面部上的点的距离(或距离变化)和角度(或角度变化),以确定沿着六个轴或自由度的位置(或位置的变化)。此外,传感器相对于在用户的面部上的配准点的位置的测量可以通过固定的几何变换与面向外部的图像传感器和投影仪或显示器两者相关。因此,面向内部的距离和角度测量传感器可以被放置在头戴式设备上的任何地方,并且处理器可以使用距离和角度测量来确定头戴式设备相对于用户的眼睛的位置,以及调整对虚拟内容项的渲染,使得其对于用户表现为仍然与相关联的真实世界对象配准。[0032]在各个实施例中,可以使用各种类型的传感器来确定头戴式设备相对于用户的眼睛的相对位置或位置的变化。在示例实施例中,传感器可以是面向内部的红外传感器,其生成红外光的小闪光,检测红外光的小闪光从用户的眼睛的反射,并且通过执行对所检测到的反射的飞行时间测量来确定在面向外部的图像传感器与用户的眼睛之间的距离和角度(或距离和/或角度的变化)。在另一示例中,单个可见光相机可以被配置为基于观察到的在两个或更多个图像之间的特征的位置的变化来确定在面向外部的图像传感器与用户的眼睛之间的距离和/或角度的变化。在另一示例中,两个间隔开的成像传感器(即,双目图像传感器或立体相机)可以用于通过由处理器进行的图像处理来确定距离,以确定在每个传感器中到用户的面部上的公共参考点(例如,一只眼睛的瞳孔)的角度,并且使用三角测量来计算距离。在另一示例实施例中,传感器可以是一个或多个电容式接触感测电路,其可以嵌入在头戴式设备的内部以便与用户的面部(例如,鼻梁、眉毛区域或太阳穴区域)接触,以及被配置为输出电容数据,处理器可以分析该电容数据以确定该设备是否已经在用户的面部上移动或移位。在另一示例实施例中,传感器可以是超声换能器,其生成超声脉冲,检测超声脉冲从用户的面部的回波,并且通过执行对所检测到的回波的飞行时间测量来确定面向外部的图像传感器与用户的面部之间的距离(或距离变化)。距离或距离变化可以基于在IR闪光或超声的生成与光速或声速之间的时间来确定。传感器可以被配置为确定与用户的眼睛的角度,并且因而还测量头戴式设备(以及因此面向外部的相机)和用户的眼睛的角度朝向的变化。处理器然后可以使用这样的测量来确定头戴式设备相对于用户的眼睛的位置(或位置的变化),并且确定要对虚拟内容项的渲染进行的调整,使得该项表现为保持与相关联的真实世界对象配准。[0033]头戴式设备处理器可以在经更新的显示地点(即,距离和角度处渲染经调整或经更新的虚拟内容的图像以生成增强场景,使得虚拟内容项保持与如由增强现实系统确定的真实世界对象配准。[0034]术语“移动设备”在本文中用于指代以下各者中的任何一者或全部:蜂窝电话、智掌上计算机、无线电子邮件接收器、启用多媒体互联网的蜂窝电话、无线游戏控制器、头戴式设备、以及包括可编程处理器、存储器和用于向无线通信网络发送无线通信信号和/或从无线通信网络接收无线通信信号的电路的类似的电子设备。虽然各个实施例在诸如智能电话和平板设备的移动设备中特别有用,但是这些实施例通常在包括用于接入蜂窝或无线通信网络的通信电路的任何电子设备中是有用的。[0035]短语“头戴式设备”和首字母缩写词(HMD)在本文中用于指代向用户呈现计算机生成的影像和来自用户的物理环境的真实世界图像(即,用户在不利用眼镜的情况下将看到的图像)的组合和/或使得用户能够在真实世界场景的背景下查看所生成的图像的任何电子护目镜和其它类似的科技/设备或者可以被包括在头盔、眼镜、虚拟现实眼镜、增强现实眼镜、电子护目镜和其它类似的科技/设备中。如本文所描述的,头戴式设备可以包括处理六自由度三角测量扫描器、以及用于与互联网、网络或另一计算设备连接的无线接口。在一些实施例中,头戴式设备处理器可以被配置为执行或执行增强现实软件应用。[0036]在一些实施例中,头戴式设备可以是用于移动设备(例如,台式计算机、膝上型计算机、智能电话、平板计算机等)的附件和/或从移动设备接收信息,其中,所有或部分处理在该移动设备(例如,在图6和图7中所示的计算设备等)的处理器上被执行。因此,在各个实施例中,头戴式设备可以被配置为在头戴式设备中的处理器上本地执行所有处理,将所有主要处理卸载到另一计算设备(例如,与头戴式设备位于同一房间的膝上型计算机等)中的处理器,或者在头戴式设备中的处理器与所述另一计算设备中的处理器之间拆分主要处理设备中或在相关联的移动设备中的处理器经由网络连接(例如,到互联网的蜂窝网络连接)与该服务器进行通信。[0037]短语“六自由度(6-D0F)”在本文中用于指代头戴式设备或其组件(相对于用户的眼睛/头部、计算机生成的图像或虚拟对象、真实世界对象等)在三维空间中或相对于关于用户的面部的三个垂直轴的移动自由度。头戴式设备在用户的头部上的位置可以改变,诸如在向前/向后方向上或沿着X轴(纵荡)、在向左/向右方向上或沿着Y轴(横荡)、以及向上/向下方向上或着沿Z轴(垂荡)移动。头戴式设备在用户的头部上的朝向可以改变,诸如围绕三个垂直轴旋转。术语“翻滚”可以指代沿着纵轴旋转或在X轴上一侧到另一侧倾斜。术语11“俯仰”可以指代沿着横轴旋转或在Y轴上向前和向后倾斜。术语“偏航”可以指代沿着法向轴旋转或在Z轴上向左和向右转动。确定用户的面部上的点的地点、位置或朝向(例如,在用户的眼睛周围的面部结构上的点、各个实施例中,和/或由各个实施例使用。如上所述,各种类型的传感器(包括IR、图像传感器、双目图像传感器、电容式接触感测电路和超声传感器)可以用于测量从头戴式设备上的传感器到用户的面部上的点的距离和角度。处理器可以将三边测量或多边测量应用于由传感器进行的测量以及加速计和陀螺仪传感器数据,以确定头戴式设备相对于用户的面部的通过六自由度(D0F)的位置(即,距离和角度朝向)的变化。例如,头戴式设备可以被配置为将声音(例如,超声)、光或无线电信号发送到目标点,测量由在头戴式设备上的传感器检测声音、光或无线电信号的反射花费了多长时间,以及使用上述任何或所有技术(例如,到达时间、到达角度等)来估计在头戴式设备的透镜或相机与目标点之间的距离和角度。在一些实施例中,处理器(诸如头戴式设备的处理器)可以在处理由面向内部的图像传感器(例如,数码相机)拍摄的图像时使用用户的面部的三维(3D)模型(例如,3D重建),以确定头戴式设备相对于用户的眼睛的位置。[0039]如上文所讨论的,增强现实系统可以使用基于视觉的配准技术/科技来对准虚拟内容项(例如,计算机生成的影像等)的经渲染的图像,使得该项对于用户而言表现为与真实世界对象配准。因此,基于头戴式设备在用户的面部或头部上的位置和朝向,设备对虚拟内容项进行投影或以其它方式渲染虚拟内容项,使得其相对于相关联的真实世界对象表现为用户所期望的。基于视觉的配准技术的示例包括基于光学的配准、基于视频的配准、与人工标记的配准、与自然标记的配准、基于多相机模型的配准、混合配准和通过模糊估计的配[0040]例如,增强现实系统可以执行包括以下各项的操作:头戴式设备捕获真实场景(即,用户周围的物理环境)的图像;处理所捕获的图像以从真实场景的图像中识别四个已知点;在这些点周围设置四个单独的跟踪窗口;基于这些点来确定相机校准矩阵(M);基于投影矩阵;以及使用投影矩阵来将所生成的虚拟对象中的每一者顺序地叠加到真实场景的图像上。[0041]上文提及的基于视觉的配准技术中的每一者都可以包括定位阶段、渲染阶段和合并阶段。在定位阶段期间,头戴式设备可以捕获真实世界场景(即,用户周围的物理环境)的图像,并且确定虚拟对象要在真实世界场景中显示的地点。在渲染阶段期间,头戴式设备可以生成虚拟内容项的二维图像。在合并阶段期间,头戴式设备可以经由图像渲染设备(例如,投影仪或显示器)渲染虚拟内容项,所以这些项对于用户而言表现为叠加在真实世界场景上或与真实世界场景叠加。具体地,头戴式设备可以向用户呈现所叠加的图像,使得用户能够以对于用户而言看起来自然的方式查看虚拟内容项和/或与虚拟内容项交互,而不管头戴式设备的位置和朝向如何。在采用视频透传技术的混合现实设备中,合并阶段可以涉及在显示器中一起渲染真实世界的图像和虚拟内容项两者。[0042]在合并阶段之后或作为合并阶段的一部分,随着头戴式设备在用户的头部上的位置和/或朝向改变(诸如当用户手动重新放置用户的面部上的头戴式设备时),处理器可以从面向内部的距离和角度传感器获得到用户的面部上的配准点的距离和/或角度测量,并且调整对虚拟内容项的渲染以使得虚拟内容项表现为保持在到真实世界场景的相同的相[0043]图1A示出了可以根据各个实施例而配置的头戴式设备100。在图1A中所示的示例中,头戴式设备100包括框架102、两个光学透镜104和处理器106,处理器106通信地耦合到面向外部的世界视图图像传感器/相机108、面向内部的注视视图传感器/相机110、传感器阵列112、存储器114和通信电路116。在一些实施例中,头戴式设备100可以包括沿着框架的臂120或在头戴式设备100的鼻梁122中的电容式接触感测电路。在一些实施例中,头戴式设程表和压力传感器。传感器还可以包括用于收集与环境和/或用户状况有关的信息的各种戴式设备100的外部,并且经由有线或无线连接(例如,蓝牙⑧等)与头戴式设备100配对或分[0044]在一些实施例中,处理器106还可以通信地耦合到图像渲染设备118(例如,图像投影仪),图像渲染设备118可以嵌入在框架102的臂部分120中,并且被配置为将图像投影到光学透镜104上。在一些实施例中,图像渲染设备118可以包括发光二极管(LED)模块、光隧道、均化透镜、光学显示器、折叠镜或其它组件(公知的投影仪或头戴式显示器)。在一些实施例(例如,其中不包括或不使用图像渲染设备118的实施例)中,光学透镜104可以是、或者可以包括透明或部分透明的电子显示器。在一些实施例中,光学透镜104包括图像产生元件,诸如透明的有机发光二极管(OLED)显示元件或硅上液晶(LCOS)显示元件。在一些实施例中,光学透镜104可以包括独立的左眼和右眼显示元件。在一些实施例中,光学透镜104可以包括用于将光从显示元件传递到佩戴者的眼睛的光导管或者作为光导管操作。[0045]面向外部或世界视图图像传感器/相机108可以被配置为从用户的物理环境捕获真实世界图像,并且将对应的图像数据发送给处理器106.处理器106可以将真实世界图像与计算机生成的影像或虚拟对象(VO)进行组合以生成增强场景,并且在头戴式设备100的电子显示器或光学透镜104上渲染增强场景。[0046]面向内部或注视视图传感器/相机110可以被配置为从用户的眼睛或用户的眼睛周围的面部结构获取图像数据。例如,注视视图传感器/相机110可以被配置为产生小闪光(红外光等),捕获它们从用户的眼睛的反射(例如,眼窝、眼角、角膜、瞳孔等),并且将对应的图像数据发送给处理器106.处理器106可以使用从注视视图传感器/相机110接收的图像数据来确定用户的眼睛中的每只眼睛的光轴、每只眼睛的注视方向、用户的头部朝向、各种眼睛注视速度或加速度值、眼睛注视方向的角度变化、或其它类似的注视相关信息。此外,处理器106可以使用从注视视图传感器/相机110和/或头戴式设备100中的其它传感器组件(例如,电容式接触感测电路)接收的图像数据来确定在用户的眼睛中的每只眼睛与世界视图图像传感器/相机108或光学透镜104之间的距离和角度。[0047]在一些实施例中,头戴式设备100(或面向内部或注视视图传感器/相机110)可以包括扫描器和/或跟踪器,其被配置为确定在用户的眼睛中的每只眼睛与世界视图图像传感器/相机108或光学透镜104之间的距离和角度。扫描器/跟踪器可以被配置为测量到用户的面部上的配准点(例如,在用户的眼睛或用户的眼睛周围的面部结构上的点)的距离和角度。可以使用各种类型的扫描器或跟踪器。在一个示例实施例中,扫描器/跟踪器可以是面向内部的双目图像传感器,其对用户的面部或眼睛进行成像,并且通过三角测量来确定到配准点的距离和角度。在另一示例实施例中,扫描器/跟踪器可以是IR传感器,其被配置为将激光光束朝着配准点投影,并且通过测量在扫描器/跟踪器与点之间的距离(例如,通过测量反射IR闪光的飞行时间)和两个角度(例如,经由绝对测距仪、干涉仪、角度编码器等)来确定配准点的坐标。在一些实施例中,扫描器/跟踪器可以包括超声换能器(例如,压电换能器),其被配置为通过以下操作来执行飞行时间测量:朝着用户的眼睛的表面或用户的眼睛周围的面部特征发射超声,测量在声脉冲与检测到的回波之间的时间,以及基于所测量到的飞行时间来确定距离。[0048]在一些实施例中,扫描器/跟踪器可以是或包括三角测量扫描器,其被配置为基于本领域已知的各种图像三角测量技术中的任何一者来确定对象(例如,用户的眼睛或用户的眼睛周围的面部结构)的坐标。通常,三角测量扫描器将光线(例如,来自激光线探头的光)或者在区域之上的二维(2D)光图案(例如,结构光)投影到对象表面上。三角测量扫描器可以包括耦合到光源(例如,IR发光二极管激光器)的相机,该光源与头戴式设备上的面向外部的相机具有固定机械关系。所投影的从光源发射的光线或光图案可以从用户的面部(例如,用户的一只或两只眼睛)上的表面反射并且由相机成像。由于相机和光源被布置为处于与彼此的固定关系,因此可以根据三角学原理,从所投影的光线或图案、所捕获的相机图像以及分离光源和相机的基线距离来确定到对象表面的距离和角度。[0049]在一些实施例中,扫描器/跟踪器可以被配置为获取一系列图像,并且将这些图像相对于彼此配准使得每个图像相对于其它图像的位置和朝向是已知的,使用位于图像中的特征(例如,基点)来匹配相邻图像帧的重叠区域,并且基于重叠区域来确定在用户的眼睛中的每只眼睛与世界视图图像传感器/相机108或光学透镜104之间的距离和角度。[0050]在一些实施例中,头戴式设备100的处理器106可以被配置为使用定位和建图技术(诸如即时定位和建图(SLAM)、视觉即时定位和建图(VSLAM)、和/或本领域已知的其它技术)来构建和更新可视环境的地图和/或确定在用户的眼睛中的每只眼睛、光学透镜104中的每个光学透镜104和/或世界视图图像传感器/相机108中的每个世界视图图像传感器/相机108之间的距离和角度。例如,世界视图图像传感器/相机108可以包括从环境中捕获图像或帧的单目图像传感器。头戴式设备100可以识别在所捕获的图像内的突出对象或特征,估计图像中的特征的尺寸和比例,将所识别的特征彼此比较和/或与测试图像中的具有已知尺寸和比例的特征进行比较,并且基于比较来识别对应关系。每个对应关系可以是值集合或信息结构,该值集合或信息结构将一个图像中的特征(或特征点)标识为具有作为另一图像(例如,随后捕获的图像)中的相同特征的高概率。换句话说,对应关系可以是处于对应关系的图像点集合(例如,第一图像中的第一点和第二图像中的第二点等)。头戴式设备100可以基于所识别的对应关系来产生单应矩阵信息结构,并且使用单应矩阵来确定其在环境内[0051]图1B示出了根据一些实施例的可以被包括在头戴式设备100中的计算机架构和各种传感器,头戴式设备100被配置为考虑在头戴式设备的相机与用户的眼睛之间的距离/角度的变化。在图1B中所示的示例中,头戴式设备100包括主板组件152、图像传感器154、微控制器单元(MCU)156、红外(IR)传感器158、惯性测量单元(IMU)160、激光距离和角度传感器(LDS)162和光流传感器164。[0052]传感器154、158-164可以收集对于在头戴式设备100中采用SLAM技术有用的信息。例如,光流传感器164可以测量光流或视觉运动,并且基于光流/视觉运动来输出测量。光流可以标识或定义由在观察者(例如,头戴式设备100、用户等)与场景之间的相对运动而引起的视觉场景中的对象、表面和边缘的表观运动的图案。MCU156可以使用光流信息来确定在头戴式设备100与在头戴式设备100附近的真实世界对象之间的视觉运动或相对运动。基于真实世界对象的视觉或相对运动,处理器可以使用SLAM技术来确定与真实世界对象的距离和角度。通过确定与真实世界对象的距离和角度,增强现实系统可以确定渲染虚拟内容项的虚拟距离,使得它们表现为与虚拟内容要与其配准的真实世界对象相同的距离(即,焦点)。在一些实施例中,光流传感器164可以是耦合到MCU156(或在图1A中所示的处理器是在相同芯片或管芯上包括图像传感器和处理器的视觉芯片。罗盘、高度计、相机、光学读取器、朝向传感器、单目图像传感器[0054]图2A示出了作为增强现实系统的一部分的适于在头戴式设备上渲染电子生成的图像或虚拟内容项的成像系统。图2A中的示例示图包括用户的视网膜252、真实世界对象视网膜图像254、眼睛焦点256、虚拟内容项(虚拟球)视网膜图像258、虚拟内容项焦点260、用266、用户的眼睛周围的表面或面部特征268、用于测量在传感器272与面部特征268之间的距离(d)270和角度的传感器272、图像传感器透镜274、图像渲染设备276、来自真实世界对象的光278、图像传感器透镜274的视野(FOV)锥体280以及真实世界对象282。在一些实施例中,图像渲染设备276可以是投影仪或显示器(例如,波导管、激光投影仪等),其被配置为渲染虚拟内容项的图像,以便出现在真实世界对象的一距离处以及靠近真实世界对象。[0055]图2B示出了当用户调整头戴式设备在用户的面部上的位置时,或者当头戴式设备在用户的鼻子上移位时,在传感器272与面部特征268之间的距离(d')270改变。虽然头戴式设备在用户的面部上的移动改变了图像渲染设备276相对于用户的眼睛262和面部268的位置(例如,距离和/或角度)(这改变了虚拟内容项258的感知地点),但是与真实世界对象282的距离D284没有变化。因此,真实世界对象282的感知地点(其与对象图像254在视网膜252上的地点相关)保持不变,但是随着虚拟内容视网膜图像258相对于真实世界对象视网膜图像254改变,图像渲染设备276相对于用户的眼睛262和面部268的位置的变化改变了用户感知虚拟内容项(虚拟球)的地点。[0056]图2C示出了根据各个实施例的被配置为执行基于视觉的调整的系统可以确定图像传感器274相对于眼睛262的位置(或位置的变化),以及基于位置或位置的变化来调整对虚拟内容项258的渲染,使得虚拟内容相对于真实世界对象而言表现为稳定的,并且对于用户而言表现为自然的,而不管头戴式设备在用户的头部上的位置如何。[0057]在一些实施例中,该系统可以被配置为通过各种技术(诸如测量IR闪光或超声脉冲的飞行时间、对从双目图像传感器获得的图像进行三角测量)来确定在传感器272与用户的眼睛262(或用户的面部上的另一参考点)之间的新距离(d')270(或距离变化)。该系统可以基于在图像传感器与用户的眼睛之间的所确定的距离或距离变化来调整对虚拟内容项258的渲染,使得虚拟内容项(图中的球)再次表现为(即,视网膜图像)与真实世界对象(图中的球拍)配准,这是因为球的视网膜图像258在到真实世界对象的视网膜图像254的相同焦距处并且在真实世界对象的视网膜图像254旁边。[0058]图2D和图2E示出了在一些实施例中,确定图像传感器274相对于用户的眼睛262的位置可以包括确定由于头戴式设备在用户的面部上的移动而导致的图像渲染设备276的角度朝向的变化。例如,如图2D中所示,随着头戴式设备从用户的鼻子滑下,分离距离d'将改变,并且头戴式设备的垂直朝向将相对于用户的眼睛262的中心线290下降高度h,从而导致围绕俯仰轴的变化。作为垂直距离变化h的结果,从图像渲染设备276到虹膜264的投影277的角度将改变一个量a1,这将进一步改变虚拟内容项的表观地点,除非调整对虚拟内容的渲染。作为进一步的示例,如图2E中所示,如果头戴式设备在用户的面部上或围绕用户的面部旋转,则在从图像渲染设备276到虹膜264的投影277的角度之间的角度将改变一个量a2,这还将改变虚拟内容项的表观地点,除非调整对虚拟内容的渲染。[0059]在一些实施例(诸如向内聚焦传感器272是双目图像传感器的实施例)中,传感器还可以被配置为基于用户的眼睛262(或用户的面部上的与眼睛相关的另一配准点)相对于传感器272的位置的角度变化来测量垂直平移和旋转变化。例如,对垂直平移和旋转变化的测量可以通过图像处理来确定,该图像处理识别用户的面部上的在多个图像中辨别出的特征或斑点(例如,虹膜、眼角、痣等),并且跟踪该特征在多个图像上并且来自两个图像传感器的表观位置的变化,并且使用三角学来确定从传感器到眼睛的距离以及头戴式设备相对于用户的眼睛的旋转移动(即,投影角度和距离的变化)。在一些实施例中,可以通过头戴式设备上的不同传感器来获得旋转变化测量。通过确定图像渲染设备276相对于用户的眼睛的位置和朝向的这种变化,处理器可以应用一个或多个三角变换来适当地调整对虚拟内容项的渲染。[0060]图3示出了根据一些实施例的在头戴式设备中调整对虚拟内容项的渲染以考虑头戴式设备相对于用户的眼睛的位置(例如,距离/角度)的变化的方法300。方法300的全部或部分可以由头戴式设备中的组件或处理器(例如,处理器106)或另一计算设备(例如,在图6和图7中所示的设备)中的处理器来执行。[0061]在启动方法300之前,诸如在头戴式设备中实现的增强现实系统可以使用面向外部的图像传感器从头戴式设备周围的物理环境捕获真实世界场景的图像。所捕获的图像可以包括在用户的视野中物理存在的表面、人和对象。增强现实系统可以处理所捕获的图像,以识别在所捕获的真实世界场景的图像中的真实世界对象或表面的地点。例如,增强现实系统可以执行图像处理操作,以识别在所捕获的图像内的突出对象或特征,估计图像中的特征的尺寸和比例,将所识别的特征彼此比较和/或与测试图像中的具有已知尺寸和比例的特征进行比较,并且基于比较来识别对应关系。作为这样的操作的一部分,增强现实系统可以基于所识别的对应关系来产生单应矩阵信息结构,并且使用单应矩阵来识别在所捕获的图像中的真实世界对象或表面的地点。增强现实系统可以生成虚拟对象的图像,并且基于真实世界对象或表面的地点来确定虚拟对象的显示地点。[0062]在框302中,头戴式设备处理器可以处理从面向内部的传感器接收的信息,以确定头戴式设备相对于在头戴式设备的用户的面部上的参考点的位置(或位置的变化)。在一些实施例中,用户的面部上的参考点可以是相对于用户的眼睛具有固定地点的面部特征。在一些实施例中,参考点可以是用户的一只眼睛或两只眼睛。如所描述的,如果头戴式设备是刚性的,则传感器相对于虚拟内容图像渲染设备的位置和面向外部的成像传感器的图像平面将是固定的,因此,由传感器在头戴式设备上的任何位置测量到的距离和角度的变化将转化为在虚拟内容图像渲染设备与面向外部的成像传感器的图像平面之间的距离和角度的等效变化。类似地,因为用户的面部上的特征通常处于相对于用户的眼睛的固定位置,所以传感器可以向处理器提供指示头戴式设备相对于在用户的面部上的各种配准点(诸如以下各者中的一者或多者:用户的眼睛(或眼睛的一部分点的位置的信息,这是因为任何变化将转化为到用户的眼睛的距离和角度的等效变化。例如,由处理器从传感器接收的信息可以与头戴式设备相对于用户的一只眼睛或两只眼睛的位置有关。[0063]如本文所描述的,各种传感器中的任何一种传感器都可以用于进行由处理器在框302中使用的测量。例如,在一些实施例中,头戴式设备处理器可以使用图像处理(诸如跟踪用户的面部上的特征从一个图像到下一个图像的地点或相对移动)使得面向内部的图像传感器提供与头戴式设备或图像渲染设备相对于用户的眼睛或周围面部结构的相对位置(例如,在距离和角度方面)有关的信息。在一些实施例中,面向内部的传感器可以被组合或耦合到IR发射器(例如,IRLED激光器),IR发射器可以被配置为发射IR光的闪光,并且传感器可以被配置为检测IR光的散射,并且基于在发射IR闪光的时间与检测到散射光的时间之间的飞行时间测量来提供与头戴式设备或图像渲染设备相对于用户的面部或眼睛的相对位置(例如,在距离和角度方面)有关的信息。IR成像传感器还可以基于来自眼睛的反射(相对于散射)光的图像地点,来提供与头戴式设备或图像渲染设备相对于用户的眼睛的相对位置(例如,角度)有关的信息。在一些实施例中,处理器可以使得压电换能器发射声脉冲(诸如超声脉冲),并且记录来自用户的眼睛或周围面部结构的回波的时间以确定飞行时间,根据该飞行时间可以计算在传感器与用户的面部之间的相对距离。在框302中,头戴式设备处理器可以基于由传感器提供的飞行时间测量信息来确定面向外部的图像传感器相对于用户的眼睛的位置。在一些实施例中,传感器可以是双目图像传感器,并且处理器可以基于由面向内部的传感器获得的信息,使用三角测量操作和/或6-DOF计算来确定头戴式设备相对于在用户的面部上的参考点(例如,用户的一只或两只眼睛)的位置。在一些实施例中,传感器可以在处理由图像传感器获得的图像时使用用户的面部的3D渲染来确定头戴式设备相对于用户的眼睛的位置。在一些实施例中,传感器可以是一个或多个电容式接触感测电路,其可以嵌入头戴式设备的内部,以便与用户的面部(例如,鼻梁、眉毛区域或太阳穴区域)接触,以及被配置为输出电容数据,处理器可以分析该电容数据以确定该设备是否已经在用户的面部上移动或移位。[0064]在框304中,头戴式设备处理器可以基于在框302中确定的头戴式设备相对于用户的面部(例如,用户的眼睛)上的参考点的位置(或位置的变化),来确定并且应用对由图像渲染设备对虚拟内容项或虚拟对象的显示位置的渲染的调整(例如,在焦点和/或地点方面)。在一些实施例中,处理器可以被配置为基于图像渲染设备相对于用户的一只或两只眼睛的位置(或位置的变化)来确定并且应用对由图像渲染设备对虚拟内容项或虚拟对象的显示地点的渲染的调整(例如,在焦点和/或地点方面)。处理器可以调整虚拟内容渲染,以考虑在头戴式设备的面向外部的相机、用户的眼睛和头戴式设备的图像渲染设备(例如,投影仪或显示器)之间的位置、朝向、距离和/或角度的变化。例如,随着头戴式设备的鼻梁从用户的鼻子滑下,对虚拟内容渲染的调整可以针对图像渲染设备的距离和高度(相对于眼睛中心线)的变化进行调整。作为另一示例,对虚拟内容渲染的调整可以针对由于具有薄或轻量的框架的头戴式设备在用户的面部上的移动而导致的投影角度的旋转变化进行调整。[0065]处理器可以连续地、周期性地或由事件触发而偶发地重复在框302和框304中的操作,以便频繁地调整对虚拟内容项的渲染,使得尽管头戴式设备在用户上移动,图像仍然相对于真实世界表现为保持稳定。[0066]图4示出了根据一些实施例的执行基于视觉的配准操作的方法400,该配准操作考虑了头戴式设备相对于用户的眼睛的位置(即,距离/角度)的变化。方法400的全部或部分可以由头戴式设备中的组件或处理器(例如,处理器106)或另一计算设备(例如,在图6和图7中所示的设备)中的处理器来执行。[0067]在框402中,头戴式设备的面向外部的图像传感器可以从头戴式设备周围的物理环境中捕获真实世界场景的图像。所捕获的图像可以包括用户/佩戴者的视野中物理存在的表面、人和对象。作为框402中的操作的一部分,所捕获的图像可以被提供给头戴式设备处理器。[0068]在框404中,头戴式设备处理器可以处理所捕获的图像,以识别在所捕获的真实世界场景的图像中的真实世界对象或表面的地点(在增强现实场景中一个或多个虚拟内容项可以与其相关)。例如,头戴式设备100可以执行图像处理操作,以识别在所捕获的图像内的突出对象或特征,估计图像中的特征的尺寸和比例,将所识别的特征彼此比较和/或与测试图像中的具有已知尺寸和比例的特征进行比较,并且基于比较来识别对应关系。作为在框404中识别真实世界对象或表面的地点的一部分,处理器可以使用已知方法(诸如VSLAM或双目三边测量(如果传感器是双目的话))来确定到这样的对象或表面的距离。同样作为框404中的操作的一部分,头戴式设备100可以基于所识别的对应关系来产生单应矩阵信息结构,并且使用单应矩阵来识别所捕获的图像中的真实世界对象或表面的地点。[0069]在框406中,作为生成增强现实场景的一部分,头戴式设备处理器可以生成虚拟对象的图像,并且基于真实世界对象或表面的地点来确定虚拟对象的显示地点。头戴式设备处理器可以执行框406中的操作,作为增强现实过程中的基于视觉的配准的定位阶段的一[0070]在框302中,头戴式设备处理器可以处理从面向内部的传感器接收的信息,以确定头戴式设备相对于在用户的面部上的参考点(诸如头戴式设备的用户的一只或两只眼睛)的位置(或位置的变化),如针对方法300的类似编号的框所描述的。[0071]在框410中,头戴式设备处理器可以基于所确定的头戴式设备上的面向外部的图像传感器或图像渲染设备相对于用户的一只或两只眼睛的位置来调整虚拟内容项的图像。和调整改变了在头戴式设备的相机、用户的眼睛和头戴式设备的电子显示器之间的相对位置和朝向(例如,在距离和角度方面)。例如,当头戴式设备的鼻梁从用户的鼻子上滑下时,头戴式设备的薄或轻量的框架在用户的面部上移动或移位,或者用户手动调整头戴式设备在用户的鼻子或面部上的地点、位置和/或朝向时,这种调整可以进行补偿。[0072]在框412中,头戴式设备处理器可以调整对虚拟内容项的经调整的图像的渲染,使得内容表现为在真实世界对象的相同焦深处与真实世界场景配准(例如,与真实世界场景相邻或叠加在真实世界场景上)。头戴式设备处理器可以执行框412中的操作,作为基于视觉的配准过程的合并阶段的一部分。[0073]在框414中,头戴式设备处理器可以使用头戴式设备的图像渲染设备来渲染增强场景。例如,图像渲染设备可以是投影仪(例如,激光投影仪或波导管),其将虚拟内容项的图像投影到头戴式设备的透镜上或用户的眼睛中,使得虚拟内容与相关联的远处真实世界对象对焦并且出现在相关联的远处真实世界对象附近。头戴式设备处理器可以执行框414中的操作,作为用于增强现实场景的基于视觉的配准的渲染阶段的一部分。在框414中,头戴式设备可以向用户呈现叠加图像,使得用户可以查看虚拟对象和/或与虚拟对象交互。[0074]处理器可以连续地、周期性地或由事件触发而偶发地重复在框302和410-414中的操作,以便频繁地调整对虚拟内容项的渲染,使得尽管头戴式设备在用户上移动,图像仍然相对于真实世界表现为保持稳定。此外,处理器可以周期性地或由事件触发而偶发地重复方法400,以更新增强现实场景,诸如添加、移除或改变虚拟内容项,以及随着用户移动穿过环境而调整虚拟内容项相对于真实世界对象的表观位置。[0075]图5示出了根据一些实施例的执行基于视觉的配准操作的方法500,该配准操作考虑了在头戴式设备的面向外部的相机与用户/佩戴者的眼睛之间的距离/角度的变化。方法500的全部或部分可以由头戴式设备中的组件或处理器(例如,处理器106)或另一计算设备(例如,在图6和图7中所示的设备)中的处理器来执行。在框402-406中,头戴式设备处理器可以执行与在参考图4描述的方法400的类似编号的框中的操作相同或类似的操作。[0076]在框508中,头戴式设备处理器可以与头戴式设备的面向内部的图像传感器进行通信,以使得面向内部的图像传感器朝着用户的眼睛生成红外光的短暂闪光。面向内部的注视视图传感器/相机可以被配置为捕获用户的眼睛的图像,并且执行三角学计算以确定到每只眼睛(或角膜、瞳孔等)的距离以及在每只眼睛(或角膜、瞳孔等)与头戴式设备的面向外部的相机(例如,世界视图相机、注视视图相机)和/或图像渲染设备(例如,投影仪或显示器)之间的角度。[0077]在框510中,头戴式设备处理器可以接收在面向内部的图像传感器捕获红外光的短暂闪光从用户的眼睛或周围面部特征的反射或散射时从面向内部的图像传感器接收的信息。反射可以由头戴式设备中的面向内部的注视视图传感器/相机或另一传感器捕获。[0078]在框512中,头戴式设备处理器可以使用从传感器接收的信息,以通过基于所捕获的反射光和/或散射光执行飞行时间测量和/或三角学计算,来确定面向外部的相机相对于用户的一只或两只眼睛的位置。例如,头戴式设备处理器可以处理从传感器接收的与头戴式设备相对于用户的眼睛的位置有关的信息,以确定头戴式设备或面向图像传感器相对于[0079]在框514中,头戴式设备处理器可以基于所确定的面向外部的图像传感器相对于用户的一只或两只眼睛的位置来调整对虚拟对象的渲染。头戴式设备处理器可以执行框514中的操作,作为增强现实场景的基于视觉的配准的渲染阶段的一部分。在框514中,头戴式设备可以向用户呈现叠加图像,使得用户可以查看虚拟对象和/或与虚拟对象交互。[0080]处理器可以连续地、周期性地或由事件触发而偶发地重复在框508-514中的操作,以便频繁地调整对虚拟内容项的渲染,使得尽管头戴式设备在用户上移动,图像仍然相对于真实世界表现为保持稳定。此外,处理器可以周期性地或由事件触发而偶发地重复方法500,以更新增强现实场景,诸如添加、移除或改变虚拟内容项,以及随着用户移动穿过环境而调整虚拟内容项相对于真实世界对象的表观位置。[0081]各个实施例可以在各种移动设备上实现,在图6中示出了以智能电话的形式的移动设备的示例。例如,由头戴式设备100的成像传感器捕获的图像可以被无线地发送(例如,经由蓝牙或WiFi无线通信链路610)给智能电话600,其中,处理器601可以执行方法200、300、400和500中的任何一种方法中的处理的一部分,并且然后将结果发送回头戴式设备100。智能电话600可以包括耦合到内部存储器602、显示器603和扬声器604的处理器601。另外,智能电话600可以包括用于发送和接收无线信号610的天线605,无线信号610可以连接到耦合到处理器601的无线数据链路和/或蜂窝电话收发机606。智能电话600通常还包括用于接收用户输入的菜单选择按钮或翘板开关607。[0082]典型的智能电话600还包括声音编码/解码(CODEC)电路608,其将从麦克风接收的声音数字化为适于无线传输的数据分组,以及对接收到的声音数据分组进行解码以生成提供给扬声器以生成声音的模拟信号。此外,处理器601、无线收发机606和CODEC608中的一者或多者可以包括数字信号处理器(DSP)电路(未单独地示出)。[0083]各种实施例方法可以在各种个人计算设备(诸如如图7中所示的膝上型计算机700)中实现。例如,由头戴式设备100的成像传感器捕获的图像可以被无线地发送(例如,经由蓝牙或WiFi无线通信链路708)给膝上型计算机700,其中,处理器701可以执行在方法200、300、400和500中的任何一种方法中的处理的一部分,并且然后将结果发送回头戴式设备100。膝上型计算机700通常将包括处理器701,其耦合到易失
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026-2027学年上学期单元测试八年级道德与法治专题训练卷及答案解析
- 2026-2027学年上学期单元测试八年级地理易错题卷及答案解析
- 2025教师资格证-初中教育知识与能力基础巩固题及答案
- 2025建筑八大员-机械员机械安全期末复习题及答案
- 半导体 X 射线检测设备:先进封装与芯片微型化推动高精度无损检测需求增长
- 医院检验科通风变频柜方案
- 能源行业工程项目技术创新绩效评定表
- 智能客服系统数据管理标准手册
- 医疗机构医务主管管理效能评估表
- 零售智能购物体验提升指南
- 个人无偿租赁合同模板
- T-CCSAS014-2022《化工企业承包商安全管理指南》
- 《行政伦理学教程(第四版)》课件 第7、8章 行政人格、行政组织伦理
- 七彩阳光广播体操(踢腿运动)(教案)人教版体育一年级上册
- 港口煤炭现货知识讲座
- 上鼓室前隐窝的应用解剖结构
- 船舶推进课程设计
- 2022年11月四川省监狱管理局度凉山监狱、金堂监狱公开考试转任30名公务员(人民警察)参考题库+答案详解
- 铁路客车轮轴组装检修及管理规则
- 1.罂粟碱-经典扩血管药物
- GA/T 1970-2021法医临床学检验规范
评论
0/150
提交评论