版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2020.08.21PCT/US2019/0140862019.01.17WO2019/143864EN2019.07.25US2014375540A1,2014.12.25WO2017139667A1,2017.08.17US2018004002A1,2018.01.04用于确定显示器与用户的眼睛之间的配准可穿戴设备可包括用于渲染看起来位于显示器的用户的周围环境中的三维(3D)虚拟对象眼睛的相对位置可不在期望的位置以接收或配准针对不同的用户而变化并且可随时间变化(例如,当给定的用户四处移动时或随着HMD滑动或且可采取措施来减小或最小化任何未对准的影2被设置在所述框架上的头戴式显示器,所述显示器被配置为将光至少部分地基于用于显示当前正在运行的应用的虚拟内容的视场的一部分来确定相基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像来确定所述眼睛的位基于确定所述眼睛的所述位置是否在所述显示配准体积内来提供配置为在所述框架和所述用户的前额之间调整配置为在所述框架和所述用户的头部的后部之间调整包括向所述用户提供将当前安装的可互换适配件换成另一个可互3所述处理电子器件被配置为确定所述角膜球的所述曲率述显示器相对于所述显示器的其他像素提高所述显示器的多个像素的亮度的指令来提供15.一种用于由用户的眼睛来评估来自头戴式显示系统的显示器的虚拟图像内容的配至少部分地基于用于显示当前正在运行的应用的虚拟内容的视场的一部分来确定相确定所述眼睛的所述第一位置是否在所述头戴式显示系统的基于确定所述眼睛的所述位置是否在所述显示配准体积内来提供确定所述眼睛的所述第一位置包括利用所述眼睛跟踪相机对所述用户的所述眼睛进行成所述用户。4述头戴式显示系统被正确适配到所述用户的其中,所述头戴式显示系统包括至少一个显示器,当所述眼其中,所述通知包括对所述用户的用可替代的可互换适配向所述用户提供所述通知包括提示所述用户安标识由于所述眼睛的所述第一位置在所述显示配准体积之外而所述用户被预期感知相对于所述显示器中的其他像素提高所述显示器的所述多个像素的亮度以减轻所预5[0002]本申请要求2018年3月16日提交的题为“DISPLAYSYSTEMSANDMETHODSFORDETERMININGREGISTRATIONBETWEENADISPLAYANDAUSER'SEYES(用于确定显示器和日提交的题为“EYECENTEROFROTATIONDETERMINATION,DEPTHPLANESELECTION,ANDRENDERCAMERAPOSITIONINGINDISPLAYSYSTEMS(显示系统中的眼睛中心旋转确定、深题为“EYECENTEROFROTATIONDETERMINATION,DEPTHPLANESELECTION,ANDRENDER年7月14日提交的美国申请号14/331218,2015年10月29日公开为美国公开号2015/0309263;美国专利公开号2016/0270656;2015年6月25日公开的美国专利公开号2015/公开的美国专利公开号2017/0053166;2016年11月2日提交的美国申请号15/341,760,于2017年5月4日公开为美国公开号2017/0122725;2016年11月2日提交的美国申请号15/6睛的图像来确定眼睛的位置;确定该眼睛的位置是否在头戴式显示系统的显示配准体积7[0017]基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像来确定所述眼睛述通知至少指示所述显示器和所述眼睛未被被配置为调整所述框架在所述框架和所述用户的鼻机使用来自所述一个或多个光源的光来形成所述8使所述显示器相对于所述显示器的其他像素提高所述显示器的多个像素的亮度的指令来[0033]示例15.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统,[0038]基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像来确定所述眼睛[0039]确定所述眼睛的所述位置是否在所述头戴式显示系统的视体积之外大于第一阈[0040]响应于确定所述眼睛的所述位置在所述头戴式显示系统的所述视体积之外大于[0043]响应于确定所述眼睛的所述位置距离所述头戴式显示系统小于所述第二阈值距[0046]响应于确定所述眼睛的所述位置距离所述头戴式显示系统大于所述第二阈值距[0048]确定所述眼睛的所述位置是否在所述眼睛跟踪相机的视场的子空间之外大于第9[0049]响应于确定所述眼睛的所述位置在所述眼睛跟踪相机的所述视体积的所述子空望表示由所述头戴式显示器呈现的虚拟图像内容的每个[0051]示例20.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统,[0057]如果所述头戴式显示器未被正确调整以适配所述用户以配准由所述显示系统投其被配置为调整所述框架在所述框架和所述用配置为使得向所述用户提供所述头戴式显示器未被正确地调整为适配所述用户的反馈包[0063]示例26.一种用于通过用户的眼睛评估来自头戴式显示系统的虚拟图像内容的配述用户提供所述通知包括提示所述用户安装更大的[0085]标识由于所述眼睛的所述第一位置在所述显示配准体积之外而所述用户被预期[0086]相对于所述显示器中的其他像素提高所述显示器的所述多个像素的亮度以减轻[0087]示例39.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统,眼睛中以显示由虚拟渲染相机渲染的具有不同波前发散量的虚拟图像内容以呈现看起来[0094]示例40.一种被配置为将光投射到用户的眼睛上以显示虚拟图像内容的显示系眼睛中以显示具有不同波前发散量的虚拟图像内容以呈现看起来在不同时间段位于不同[0107]示例45.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统,[0115]基于确定所述眼睛的所述位置是否在所述显示配准体积内来控制所述显示器的配置为通过向所述用户呈现至少指示所述显示器和所述眼睛未被正确配准的虚拟图像内[0121]确定所述眼睛的所述位置是否在所述头戴式显示器的外壳的所述视体积的子空[0122]响应于确定所述眼睛的所述位置在所述头戴式显示器的所述外壳的所述视体积[0126]本说明书中描述的主题的一个或多个实施方式的细节在附图和以下描述中阐[0127]图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景[0138]图8C-8E示出了通过可穿戴系统中的眼睛跟踪模块定位用户的角膜中心的示例阶[0140]图9D-9G示出了通过可穿戴系统中的眼睛跟踪模块定位用户的瞳孔中心的示例阶[0142]图11是用于在渲染内容中使用眼睛跟踪并提供关于可穿戴设备中的配准的反馈述显示元件和用户的眼睛相对于彼此的位置的坐[0144]图13A和13B示出了在头戴式显示系统中显示元件相对于用户的眼睛的标称定位[0146]图14示出了针对用户的眼睛相对于显示器的各种位置的显示器的感知调暗的示[0147]图15A和15B是头戴式显示系统的分解透视图,该头戴式显示系统具有诸如后部[0148]图16是用于观察配准并提供关于与头戴式显示系统的配准的反馈的方法的示例[0149]图17A-17H示出了由显示器投射的光场的视图以及光场的相交可如何部分地限定[0150]图18示出了由显示器投射的光场的俯视图以及光场的相交可如何部分地限定显[0155]显示系统的显示部分可包括头戴式显示器(HMD),该头戴式显示器可显示三维部分没有进入眼睛的瞳孔和/或没有落到眼睛的视网膜上,则观看者将看不到图像或图像而确定用户的眼睛是否位于所需显示配准体积内。作为示例,用户之间的解剖学变化(anatomicalvariation)可意味着头戴式显示器以将他们的眼睛放在显示配准体积之外[0158]本文描述的各种系统和技术至少部分针对解决与显示器细的三维几何形状。显示配准体积的基部的形状可至少部分地由显示器的几何形状限定,并且显示配准体积的深度(即,在z轴上从基部到顶部的距离)可至少部分由显示器的视场例,具有较大FOV的显示器可产生具有比具有较小FOV的显示器更小的深度的显示配准体示配准体积可具有平截头体(例如,诸如矩形金字塔形的金字塔形的平截头体)的总体形户调整HMD的适配。例如,该通知可告知用户该设备已经滑动并且需要调整或建议以进行HMD的连续使用过程中校正HMD的适配,以确保在使用头戴式显示系统时高水平的图像质[0164]可穿戴系统(在本文中也称为头戴式显示系统或增强现实(AR)系统)可被配置为[0165]图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景[0168]图2示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200也可以称为AR系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各[0169]在一些实施例中,扬声器240耦合到框架230并且邻近用户的耳道定位(在一些实控制)。显示器220可以包括用于检测来自环境的音频流并捕获环境声音的音频传感器(例音识别。用户周围的环境中的世界。可穿戴系统200还可以包括可用于跟踪用户的眼睛移动的面向通,处理模块260或270可以处理由面向内部的成像系统获取的图像信息以确定例如用户[0172]显示器220可以例如通过有线引线或无线连接250可操作地耦合到本地数据处理地附接到用户穿戴的头盔或帽子上、嵌入耳机中、或以其他方式可拆卸地附接到用户210样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或[0174]在一些实施例中,远程处理模块270可以包括被配置为分析和处理数据或图像信图4所示的面向内部的成像系统462的一部分。可穿戴系统200的特征还在于传感器组件捕获设备316输出的宽视野图像信息来计算实时或近实时用户头部姿势。头部姿势处理器336可以是硬件处理器,并且可以被实现为图2A中所示的本地处理和数据模块260的一部穿戴系统可以基于GPS数据确定用户的位置,并检索包括与用户的位置相关联的虚拟对象用世界相机316(其可以是图4所示的面向外部的成像系统464的一部分)来监控环境。基于示的一个或多个对象识别器708)。可穿戴系统可以进一步使用由GPS337获取的数据来解[0182]可穿戴系统200还可包括渲染引擎334,该渲染引擎334可被配置为提供用户本地一些示例眼睛姿势可以包括用户正在看的地方、或他或她正聚焦的深度(这可以通过眼睛云计算资源的数据一起可以用于映射本地环境并与其他用组件的位置不限于图3所示的位置。某些组件可安装到其他组件或容纳在其他组件中,例聚散距离之前或之后的光却变得模糊了。在美国专利公开号2016/0270656(其全部内容通过引用合并于此)中也描述了本公开的可穿戴设备和其他显示系(accommodation-vergencereflex)的关系下,改变眼睛晶状体的焦点或适应眼睛以将焦点从一个对象变化为不同距离的另一对象,将自动导致在相同距离上的聚散的匹配变化。[0187]人眼可以正确地分辨出光束直径小于[0189]在一些实施例中,可穿戴系统200被配置为基于用户的眼睛的适应来显示一个或例的可穿戴系统200不是迫使用户达到预定的焦点,而是允许用户的眼睛以更自然的方式起作用。[0190]这样的可穿戴系统200可以消除或减少通常关于虚拟现实设备观察到的眼睛压[0191]在多平面聚焦系统和可变平面聚焦系统中,可穿戴系统200都可以使用眼睛跟踪变的方式以不同的焦点以光栅图案跨视网膜投射光束。因此,如在美国专利公开号2016/眼睛/大脑提供三维感知。在一些实施例中,可穿戴系统400可以对应于图2的可穿戴系统相关联,并且可被配置为输出与该深度平面相对应的图像信息。图像注入设备420、422、直光束的整个视野,该准直光束以对应于与特定波导相关联的深度平面的特定角度(和发可以是处理模块260或270(在图2中示出曲的),并且可以具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸二透镜454。第一透镜452和第二透镜454的组合光功率可被配置为产生另一增量的波前曲下一个上行波导434b的光从光学无穷远向可被配置为使得来自世界470的光以与初始被堆叠的波导组件480接收时的光具有的基本相同的发散(或准直)级别被传送到眼睛410)。这样的配置提供与可用的波导/透镜对一样滴切换到与主体介质的折射率不匹配的折射率(在这种情况下,该图案会主动衍射入射[0206]在一些实施例中,可能希望使出射光束满足直径小于观看者眼睛的直径的条[0207]可穿戴系统400可以包括对世界470的一部分进行成像的面向外部的成像系统464大于可穿戴系统400的观看者210的观看者210。可用于观看者观看或成像的整个区域可以上下文中,穿戴者的移动可能会更受限制,并且因此穿戴者的FOR可能会对向较小的立体可以提供关于音频源位于何处的有用的定向信息。可穿戴系统400可以在定位语音源时使取的声音来确定说话者在环境中的位置。可穿戴系统400可以使用语音识别算法解析来自说话者的位置的声音,以确定语音的内容,并使用语音识别技术来确定说话者的标识(例像以确定眼睛304的瞳孔的大小和/或定向。面向内部的成像系统466可以用于获取图像以认为该瞳孔直径或定向对于用户的两只眼睛是相似的。可以分析由面向内部的成像系统[0210]可穿戴系统400可以包括用户输入设备466,用户可以通过该用户输入设备466向备上按下或滑动以向可穿戴系统400提供输入(例如,向由可穿戴系统400提供的用户接口(fiducialazimuth)确定的方位角偏转)和φ(顶角偏转,有时也称为极角偏转(polar术都可用于在本文所述的眼睑形状估计技术中确定戴式604的一个或多个部件执行的一些或全部功能可通过头戴式显示系统600中其他地方通过一个或多个云计算设备或其他远程计算设备以类似于上面参考图2所述的方式来提供[0224]渲染控制器618可使用来自眼睛跟踪模块614的信息来调整由可以是GPU621中的软件模块并且可向显示器220提供图像的渲染引擎)向用户显示的图像。作为示例,渲染控制器618可基于用户的旋转中心或视角中心来调整显示给用户的图具有渲染相机的位置和取向(例如,渲染相机的外在参数)的这种相机的视角拍摄虚拟图置的相机的视角捕获虚拟图像一样,以提供看起来像从用户或穿戴者的视角来看的图像。为好像是从相机的视角捕获的,该相机具有在相对于用户或穿戴者的眼睛的特定位置(例[0226]在一些实施例中,系统可针对用户的左眼来创建或动态地重新定位和/或重新定眼相关联的渲染相机的视角渲染的虚拟内容可通过头戴式显示器(例如,头戴式单元602)通过这种头戴式显示器右侧的目镜呈现给用户。在题为“METHODSANDSYSTEMSFORDETECTINGANDCOMBININGSTRUCTURALFEATURESIN3DRECONSTRUCTION(用于在3D重建渲染引擎622等)可基于用户的头部和眼睛的位置和取向(例如,分别基于头部姿势和眼睛渲染相机捕获的一样。在题为“SELECTINGVIRTUALOBJECTSINATHREE-DIMENSIONAL示例,渲染控制器618可通过选择在任何给定时间利用哪个深度平面(或多个深度平面)来[0228]配准观察器620可使用来自眼睛跟踪模块614的信息来标识头戴式单元602是否正从而将显示器220从用户的眼睛向远处和下面移动(这可能是不希望的);是否头戴式单元户的鼻梁上方,或者是否头戴式单元602已经以这些或其他方式从期望的位置或位置范围是否与用户的左眼正确地对准,并且显示系统220中的右显示器是否与用户的右眼正确地位置和/或取向的期望范围内来确定头戴式单元602是否被[0230]在2017年9月27日提交的美国专利申请No.15/717,747(代理人案号MLEAP.052A2)[0232]在图7A中示出了示例眼睛跟踪模块614的详细框图。如图7A所示,眼睛跟踪模块户的眼睛。作为示例,眼睛跟踪模块614可利用可用数据,包括眼睛跟踪外在和内在参数726(代理人案案号MLEAP.023A7)中描述了眼睛跟踪模块614可采用的外在参数、内在参数了可能妨碍瞳孔和闪光确定的噪声。图像预处理模块710可将预处理后的图像输出给瞳孔瞳孔标识模块712还可向坐标系归一化模块718提供相同种类的瞳孔[0235]瞳孔标识模块712可利用的瞳孔检测技术在2017年2月23日公开的美国专利公开号2017/0053165和2017年2月23日公开的美国专利公开号2017/0053166中进行了描述,其[0236]闪光检测和标记模块714可从模块710接收预处理的图像,并且从模块712接收瞳孔标识数据。闪光检测模块714可使用该数据在示出用户的瞳孔的预处理图像的区域内检检测和标记模块714还可传递数据,例如来自模块710的预处理图像和来自模块712的瞳孔[0237]由诸如模块712和714之类的模块执行的瞳孔和闪光检测可使用任何合适的技孔标识数据的预处理图像。3D角膜中心估计模块716可使用这些数据来估计用户的角膜的心估计模块716可将指示角膜球和/或用户的角膜的估计的3D坐标的数据提供给坐标系归的更多细节在本文中结合图8A-8E提供。2017年4月26日提交的美国专利申请No.15/497,726(代理人案号MLEAP.023A7)(其全部内容通过引用合并于此)中讨论了用于估计眼睛特块716和其他模块使用。[0239]坐标系归一化模块718可可选地(如其虚线轮廓所示)被包括在眼睛跟踪模块614(诸如30毫米)处(即,模块718可取决于是否确定眼睛相机324比预定距离更近或更远而放化模块718可向3D瞳孔中心定位器模块720提供角膜的中心(和/或角膜球)的3D坐标、瞳孔[0240]3D瞳孔中心定位器模块720可在归一化或非归一化坐标系中接收数据,包括用户心定位器模块720可分析此类数据以确定用户的瞳孔的中心在归一化或非归一化的眼睛相机坐标系中的3D坐标。3D瞳孔中心定位器模块720可基于以下在三个维度上确定用户的瞳26日提交的美国专利申请No.15/497,726(代理人案卷号MLEAP.023A7)中讨论了本公开的可穿戴系统中的3D瞳孔中心定位器模块720和其他模块可利用的用于估计诸如瞳孔之类的[0241]光轴确定模块722可从模块716和720接收数据,该数据指示用户的角膜和用户的[0242]旋转中心(CoR)估计模块724可从模块722接收数据,该数据包括用户的眼睛的光的中心(由模块720标识)或角膜的曲率中心(由模块716标识)沿着光轴(由模块722标识)向旋转中心的估计,其准确性随着时间的推移而提高。可采用各种技术来提高CoR估计模块块724可过滤随时间推移所估计的CoR位置或对其求平均,可计算随时间推移所估计的CoR位置的移动平均值,和/或可应用卡尔曼滤波器以及眼睛和眼睛跟踪系统的已知动力学来位置(即,在眼睛的角膜曲率中心后4.7mm处)随时间推移缓慢漂移至用户的眼睛内的稍有睛的光轴基本上彼此平行),用户的左眼的估计CoR和用户的右眼的估计CoR之间的距离可[0245]聚散深度估计模块728可从眼睛跟踪模块614中的各个模块和子模块接收数据(如722和/或模块730所提供)。聚散深度估计模块728可检测或以其他方式获得用户的聚散深大致等于用户的左眼和右眼的旋转中心之间的距离),用户的左眼和右眼的聚散深度为无计模块728可通过将瞳孔中心之间的这种确定的3D距离与估计的IPD(例如,旋转中心的估在该距离处用户的左和右光轴相交(或者用户的左和右光轴在例如水平面的平面上的投射与已知或导出的空间关系一起进行三角测量来确定聚[0246]在一些实施例中,聚散深度估计模块728可基于用户的视轴(而不是他们的光轴)少一些实施例中,模块730还可移位左和右光轴的原点以对应于用户的CoP(由模块732确[0247](当提供时)可选的视角中心(CoP)估计模块732可估计用户的左和右视角中心膜曲率中心的3D位置或这样的合适的数据或任何组合来估计用户的左和右视角中心的位着光轴的方向上距角膜球中心5.01mm)并且可沿光轴或视轴在用户的角膜的外表面后方约这些值之间的任何范围。作为另一个示例,视角中心可对应于眼睛的前房(anterior[0248]本文描述的视角中心(作为渲染相机的针孔的潜在期望位置和用户的眼睛中的解的两个点光源(或对象)围绕针孔的开口刚性旋转(例如,沿等于他们距针孔的开口的距离解剖等同物可以是位于用户的眼睛的角膜的外表面与用户的眼睛的瞳孔或虹膜的中心之[0252]深度平面选择模块750可接收聚散深度信息,并且基于这样的数据可使渲染引擎和/或提供深度平面选择数据给诸如显示器220之类的显示硬件。诸如显示器220之类的显示硬件可响应于由诸如深度平面选择模块750和渲染引擎622之类的模块生成和/或提供的深度平面选择数据(其可以是控制信号)来执行电学深度切换时(例如在眨眼或眼睛扫视期间)切换深[0254]滞后(hysteresis)带交叉检测模块752可帮助避免深度平面之间的过度切换,特户的聚散深度超过第一阈值之后才使深度平面选择模块750从第一更远的深度平面切换到远的第二阈值之后才使深度平面选择模块750(其继而可引导诸如显示器220的显示器)切面选择模块750保持当前选择的任何深度平面作为所选深度平面,从而避免深度平面之间测模块750可使深度平面选择模块750延迟计划的深度平面切换,直到检测到用户眨眼为并且在存在较大的适应误差时也不会延迟深度[0257]渲染相机控制器758可向渲染引擎622提供指示用户的左眼和右眼在哪里的信然后,渲染引擎622可通过在用户的左眼和右眼的位置处模拟相机并基于模拟的相机的视[0258]渲染相机控制器758可基于由CoR估计模块724确定的左眼和右眼旋转中心(CoR)和/或基于由CoP估计模块732确定的左眼和右眼的视角中心(CoP)来确定左相机和右相机将渲染相机沿CoR和CoP位置之间的光(或视)轴配准到不同位置范围中的任意位置。CoR和滤器756可随着时间对CoR和CoP位置进行平均以减少这些位置中的噪声并防止渲染模拟渲适配公差可指示根据用户的眼睛的位置所期[0263]3D位置适配模块770还可将误差距离与显示器外在参数和适配公差进行比较,以[0264]作为另一示例,3D位置适配模块770和/或设备3D适配模块772可计算可见面积度和772可通过以下来计算可见面积度量:评估用户的左眼和右眼相对于显示器220的位置(例如,其可基于用户的眼睛的旋转中心)并且使用一个或多个模型(例如,数学或几何模型)、一个或多个查表或其他技术或这些技术与其他技术的组合以根据用户的眼睛的位置望显示器220显示的图像的哪些区域或部分对于是否眼睛跟踪系统当前正在跟踪用户的眼睛的位置或者眼睛跟踪数据是否不可用或处于[0266]在至少一些实施例中,配准观察器620可向用户提供关于适配质量以及误差的性具有中心点816(也称为角膜中心)和半径818。用户的眼睛的半球形角膜可围绕角膜中心[0269]图8B-8E示出了使用3D角膜中心估计模块716和眼睛跟踪模块614来定位用户的角[0270]如图8B所示,3D角膜中心估计模块716可接收包括角膜闪光854的眼睛跟踪图像852。然后3D角膜中心估计模块716可在眼睛相机坐标系850中模拟眼睛相机324和光源326据库704的假设的眼睛尺寸)和角膜曲率中心816a。3D角膜中心估计模块716然后可检查以[0273]如图8E所示,3D角膜中心估计模块716最终能够确定角膜球的正确位置是角膜球射离开角膜球并由相机324成像在图像852上的闪光854的正确位置来确认所示出的位置正3D角膜中心估计模块716可确定角膜曲率中心8为模块716可试图标识角膜位置,该角膜位置导致一些或所有闪光和光线在它们各自的光在图8B-8E的3D角膜位置确定(例如,迭代、优化技术等)过程中依赖一些或全部光源的位[0276]图9A-9C示出了通过诸如图7A的坐标系归一化模块718之类的可穿戴系统中的部这种归一化可在眼睛跟踪图像与用户的眼睛之间建立[0277]如图9A所示,坐标系归一化模块718可接收用户的角膜旋转中心的估计的3D坐标852和坐标900可处于基于眼睛跟踪相机324的位置的非转换成归一化坐标系910,使得角膜曲率中心坐标900是距归一化坐标系910的原点的标准[0281]图9D-9G示出了使用3D瞳孔中心定位器模块720和眼睛跟踪模块614来定位用户的器模块720可模拟眼睛相机324的归一化3D位置910,以通过瞳孔形心913在归一化坐标系(并且如结合图8B-8E更详细地讨论的)来模拟诸如具有曲率中心900的角膜球901的角膜可基于角膜中心与瞳孔中心之间的距离来确定角膜中心900与瞳孔球918之间的距离(即瞳[0285]如图9G所示,3D瞳孔中心定位器模块720可基于各种输入来定位用户的瞳孔中心角膜球901和与归一化眼睛跟踪图像912中的瞳孔形心913相关联的光线914之间的交点9163D瞳孔中心定位器模块720可在模拟中基于空气(大约1.00的第一折射率)和角膜材料(大约1.38的第二折射率)之间的折射差将光线916弯曲成折射光线922。在考虑到由角膜引起的折射之后,3D瞳孔中心定位器模块720可确定折射光线922与瞳孔球918之间的第一交点瞳孔中心920的坐标非归一化为原始眼睛相机坐标系850。瞳孔中心920可与角膜曲率中心中心1008、和眼睛的平均旋转中心(CoR)1010。在至少一些人群中,眼睛的角膜曲率中心些范围中的任何一个范围内任何值。眼睛的视角中心(CoP)1014对于可穿戴系统可以是有眼1000的(a)瞳孔或虹膜1006的中心以及(b)角膜曲率中心1008更靠近角膜的外表面。例渲染相机的针孔的位置1014和/或位置1014所对应的人眼1000的解剖区域视为表示人眼或虹膜1006中心的最直接线。人眼1000的视轴1004与光轴1002不同,因为它表示从人眼[0290]图11是用于在渲染内容中使用眼睛跟踪并提供关于可穿戴设备中的配准的反馈施例可由可穿戴系统用来基于来自眼睛跟踪系统的数据来渲染内容并提供关于配准的反为示例,框1120可包括由闪光检测和标记模块714处理眼睛图像以标识眼睛图像中的闪光的二维位置以及由瞳孔标识模块712处理眼睛图像以[0293]在框1130处,可穿戴系统可估计用户的左和右角膜相对于可穿戴系统的三维位与用户的左和右角膜之间的距离。框1130可涉及本文至少结合图7A和8A-8E描述的标识曲[0295]在框1150处,可穿戴系统可估计用户的左和右旋转中心(CoR)相对于可穿戴系统3D位置来估计用户的IPD,聚散深度估计模块728可通过找到左和右光轴的交点(或接近交点)或左和右视轴的交点来估计用户的深度,光轴确定模块722可随时间标识左和右光轴,光轴到视轴映射模块730可随时间标识左和右视轴,CoP估计模块732可标识左和右视角中[0297]在框1170处,可穿戴系统可部分地基于在框1120-1160中标识的眼睛跟踪数据来户提供指示设备的适配是否需要调整的可选反馈,如结合配准观察器620所讨论的和结合系统200的输入和输出与用户的头部的对应部分正确地对接,并且使得该设备稳定且穿戴或多个相机324和一个或多个红外光源326)优选地被正确地放置在一个位置和取向上,以穿戴系统200优选地正确地适配用户的各种原因[0300]为了确保可穿戴系统200被正确地与用户配准,可穿戴系统200可包括诸如图6的显示器被定位成使得用户的一只或两只眼睛能够接收足够的图像光以基本上看到由可穿[0301]配准观察器620可使用各种传感器来确定可穿戴系统200如何适配在用户上(例用面向内部的成像系统462(其可包括眼睛跟踪系统)来确定如何相对于用户特别是相对于的配准监控的一部分,该用户反馈指示何时可穿戴系统200被正确配准以及何时可穿戴系配准的特定建议。作为示例,配准观察器620可推荐用户在检测到可穿戴设备的滑动之后[0304]图12A-12B示出了示例眼睛位置坐标系,该示例眼睛位置坐标系可用于定义用户[0305]图12A示出了用户的眼睛1200和显示表面1202(其可以是图2的显示器220的一部移1209。标称位置1206可表示针对用户的眼睛1200相对于显示表面1202的优选位置(有时示系统可被配置为从虚拟渲染相机的视角渲染内容。结果,渲染相机的各种参数(例如焦对象的感知的大小可能逐眼睛不同。大小上的这种差异可导致用户感到某种程度的不适文中描述的一个或多个操作来执行渲染相机焦距调整,例如以上参考图11所描述的步骤1170和下文中参考图16更详细地描述的步骤1610。在2018年1月17日提交的题为“EYECENTEROFROTATIONDETERMINATION,DEPTHPLANESELECTION,ANDRENDERCAMERAPOSITIONINGINDISPLAYSYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”的美国临时专利申请62/618559以及在2018年7月24日提交的题为“EYECENTEROFROTATIONDETERMINATION,DEPTHPLANESELECTION,ANDRENDERCAMERAPOSITIONINGINDISPLAYSYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲[0312]图12A还示出了显示表面1202可位于用户的视域下方的中心(当用户笔直向前看[0314]图13A-13B示出了示例显示配准体积1302a。显示配准体积1302a可表示眼睛1200的旋转中心位于显示配准体积1302a内时,用户能够以高亮度均匀性看到由显示设备输出可采取以任何方式截断的体积的形状,诸如通过一个或多个非平行剪切平面(例如,如图[0317]配准体积的尺寸可取决于显示表面1202和可穿戴系统的其他元件的具体实施方体积1302b的最靠近显示表面1202的部分可与显示表面1202成一定角度,从而当用户的眼的形状可基于眼睛跟踪系统的能力,该眼睛跟踪系统可能无法在图13B的成角度的体积可堆叠并可为用户提供多个聚散提示)、从图像注入设备接收光并将光耦合到波导中的入耦合元件、光分布元件(有时称为设置在波导上将光分配到出耦合元件的正交光瞳扩展器元件或EPE限定的区域,而显示表面1202的周长是由出耦合元件或EPE限定的区域的周长。至少结合2018年3月14日提交的美国临时专利申请号62/642,761的图9A-9C还描述了光场轴距显示表面的最大距离)。类似地,配准体积1302a的y尺寸可跨越大约2.5mm、3.0mm、且可表示在其中用户以100%的亮度均匀性感知显示表面1202提供的所有内容的体积,而较大的体积1302b可表示在其中用户以100%的亮度均匀性感知显示表面1202提供的内容示器的配准或视体积之内,和/或可被配置为确定用户的眼睛是否在距配准体积的阈值距较大的体积1302b的边界可被认为是从配准体积划分出可接受的阈值距离。在一些实施例被配置为向用户提供指示显示器和眼睛未被正确配准的反馈,以用于输出和/或采取措施在显示系统上运行的应用所呈现的内容时给用户的关于未配准的不必要的通知。类似地,在另一个示例中,当运行其中预期头戴式显示器相对于用户的眼睛移位的应用(例如面向眼睛相对于用户的眼睛和显示表面的位置的参考点。特别地,图13C示出了在用户的眼睛施例中,显示表面1202的相关周边是在其上输出图像光或显示内容的显示器的区域的周的旋转中心1204的各种特征,从而允许在显示配准体积1302b与这些各种特征之间进行比[0325]在一些实施例中,眼睛的旋转中心1204在限定显示配准体积1302b的截头锥体内器并提供关于配准质量和即使不理想也可接受的配准级别的准调暗。眼睛的旋转中心的位置1204a、1204b、1204c和1204d相对于旋转中心的理想位置1204'有效地移位了;显示表面1202相对于眼睛1200的运动可导致眼睛的旋转中心可能移13A和13B)也是如此。图14示出了用户的眼睛的旋转中心的各种位置(例如,位置1204a、有劣化的体积)的次要配准体积内。表示1400b可表示当用户的眼睛的旋转中心在位置1302b(图13B)的第二配准体积的外部(或外部边缘上)。表示1400c可表示当用户的眼睛的在暗部分1406和表示的其余部分之间可存在图像的具有逐渐减小的亮度的带或部分可互换后部垫;而图15B示出了系统200如何可包括诸如垫1502的可互换前额垫和诸如垫接到框架230,而具有相对较大的头部的用户通过附接相对较小的后部垫或甚至省去后部鼻子和/或前额突出的用户可受益于较小的前额垫1502和/或鼻梁垫1504;而鼻子和/或前[0339]图16是用于观察设备配准并提供关于配准或补偿可穿戴设备中的未配准的反馈例可由可穿戴系统用来基于来自眼睛跟踪系统的数据提供关于配准的反馈(即,可穿戴设向和大小的信息(例如,配准体积或标称位置与用户的眼睛或其他身体部位的实际位置之睛太低,则可穿戴系统可在框1608向用户提供通知,该通知建议用户使用适当的鼻梁垫于显示器的位置或其他度量(例如由系统标识的可见图像部分)来生成用户反馈。作为示[0345]在其中由作为可穿戴设备的一部分的诸如显示器的输出设备提供用户反馈的布且该反馈可通过网络被传达给销售人员的计算机(例如,当用户离麦克风太远时提高麦克风增益,或当用户离麦克风太近时降低麦克风增[0350]图17A-17H示出了由显示器投射的光场以及光场的交点可如何部分地限定显示配示器(其可以是图2的显示器220)的几何形状以及出耦合的光传播出显示器的角度(例如,入耦合元件1702、正交光瞳扩展器(OPE)1704和出射光瞳扩展器(EPE)1706(可形成显示表接收来自图像源的光并且将光耦合到波导1701中。波导1701可将光传送到OPE1704,OPE一步的光瞳扩展并将光传送到用户的眼睛。至少结合于2018年3月14日提交的美国临时专利申请号62/642,761的图9A-9C还描述了光场显示器以及这种显示器的部件的进一步示例的最右区域(如图17A中所示)和FOV的最左区域(如图17B中所示)的对象(例如,显示器220图17F示出了图17D的光1716和图17E的光1718的重叠区域1720。区域1720可以是垂直配准(如图17D中所示)和FOV的最顶部区域(如图17E中所示)处的对象(例如,显示器220能够向[0354]图17G和17H示出了图17C的区域1714和图17F的区域1720的交点(作为区域1722显示器呈现的虚拟图像内容的每个像素的光预[0355]在一些实施例中,在保持其他属性(例如显示器尺寸)恒定的同时增加显示器220220的水平FOV的增加意味着来自右侧水平边缘上的对象的光1710以更锐角度(例如,从法[0356]图18示出了包括显示表面1202的显示器220的俯视图,显示表面1202可具有矩形那些光场相交的位置(其可对应于体积1802)以及光场不相交的位置(其可对应于体积可有助于减少噪声在用户的眼睛的位置确定中的影响,否则可能会在金字塔形配准体积的处理电子器件)可被配置为通过至少部分地确定一只眼睛或两只眼睛距离显示器220是否统可向用户提供指示配准不正确的反馈,和/或可被配置为采取措施来减轻由未配准引起[0360]作为确定眼睛是否在距显示器220的最小距离之内的补充或替代,在一些实施例只眼睛距离显示器220是否大于最大阈值距离来确定用户的眼睛是否在配准体积1802内。向用户提供指示配准不正确的反馈,和/或可被配置为采取措施来减轻由未配准引起的显[0361]除了确定眼睛是否在距显示器220的最小距离之内和/或超出最大距离之外或作为替代,可穿戴系统还可具有眼睛跟踪系统,包括诸如图6的相机324和光源326之类的元[0363]图19A示出了示例壳体配准体积1900。来自周围环境的光穿过显示器的框架或壳靠近壳体开口1510的部分以及最远离壳体开口1510的部分可被截断(例如,从壳体配准体中,显示系统可被配置为确定用户的眼睛(例如,眼睛的旋转中心)是否在壳体配准体积[0365]图19B示出了叠加在图1900的壳体配准体积1900(与壳体开口1510相关联)上的图眼睛的旋转中心位于图19A的壳体配准体积1900和诸如图13A的显示配准体积1302a(或本文讨论的任何其他显示配准体积)的显示配准体积内。当用户的眼睛位于壳体和显示配准显示配准体积1204两者)之外则提供未配准的识别以确定在用户的视场中面部和/或人眼的存在和位置。可使用一种或多种计算机视觉速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关按键点统使用计算机视觉算法或使用从一个或多个传感器组件(其可以是或可不是显示系统的一部分)接收到的数据检测到周围环境中存在或缺乏标准时,显示系统可随后发信号通知对据的分析指示通过了阈值条件,则显示系统可提供指示检测到周围环境中对象存在的信与阈值分数进行比较。如果分数高于阈值水平,则显示系统可检测到反射和/或对象的存在。在一些实施例中,阈值条件可基于用户的情绪状态和/或用户与周围环境的交互来确个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能,业上合理的时间量内提供所需的图像处理任务或[0379]代码模块或任何类型的数据可以存储在任何类型的非暂程数据存储库(160)中的一个或多个的一部分。方法和模块(或数据)还可以作为生成的数[0382]本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被在商业上合理的时间量内提供所需的图像处理任务或应[0384]代码模块或任何类型的数据可以存储在任何类型的非暂数据)也可以作为生成的数据信号(例如作为载波或其他模拟或数字传播信号的一部分)在包括基于无线的和基于有线/电缆的介质的各种计算机可读传输介质上进行发送,并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分,或作为多个离散数字分组或帧)。所公开的过程或过程步骤或动作的结果可以永久地或以其他方式存储在任何类型[0388]在本说明书中在单独的实现的上下文中描述的某些特征也可以在单个实现中组如此宣称,但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征,有或没有作者输入或提示的情况下决定这
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年上海市青浦区网格员招聘考试参考试题及答案解析
- 2026道德与法治一年级阅读角 夸父追日故事
- 2026年成都市新都区幼儿园教师招聘笔试备考试题及答案解析
- 2026年洛阳市廛河回族区街道办人员招聘考试参考题库及答案解析
- 2026年天津市大港区网格员招聘考试模拟试题及答案解析
- 2025年哈密地区哈密市幼儿园教师招聘笔试试题及答案解析
- 2026 一年级上册《安全游戏活动规则》课件
- 2026三年级上《万以内加减法》知识点梳理
- 5.1.2+硫酸++课件++2025-2026学年高一下学期化学人教版必修第二册
- 2026年上海市静安区网格员招聘笔试模拟试题及答案解析
- 2026年银行竞聘面试无领导小组讨论案例集含答案
- 北京市2025中国国家话剧院应届毕业生招聘11人笔试历年参考题库典型考点附带答案详解
- (二模)2026年深圳市高三年级第二次调研考试英语试卷(含答案)
- GA 1817.1-2026学校反恐怖防范要求第1部分:普通高等学校
- 代垫运费合同样本
- 保险转账委托书模板
- 云南省公路工程试验检测费用指导价
- 期中测试卷(试题)-2023-2024学年六年级下册数学苏教版
- 2024年赣州市国投集团招聘笔试参考题库附带答案详解
- 护士培训课程 药物计算和药物剂量调整技能
- 二手房交易资金监管协议书
评论
0/150
提交评论