CN114730068B 用于可穿戴装置的环境光管理系统和方法 （奇跃公司）

2022.05.12PCT/US2020/0602542020.11.12WO2021/097102EN2021.05.20US2017344114A1,2017.11.30于由光学系统检测到的信息来确定光学系统的检测到的信息来确定用于系统视场的该部分的暗值调整光学系统的调光器以减小与系统视场2位于所述双折射膜的堆叠与所述塑料基板之间的位于所述双折射膜的堆叠与所述空间光调制器位于所述部件的外部堆叠与所述双折射膜的位于所述第一四分之一波片和所述第二四分3述用户穿戴时位于所述用户的眼睛与所述光4[0002]尽管在这些显示技术中取得进步，但是在本领域中需要与增强现实系统(特别是[0003]本公开通常涉及用于改进在变化的环境光条件下的光学5所述系统视场中的世界对象相关联的所述光至少部分地调暗的部分至少部分地基于所述至至少部分调暗的部分至少部分地基于包括在所述虚拟图像中眼睛的瞳孔直径以及所述用户眼睛的视锥和视杆位置中的6完全阻挡与所有所述系统视场中的世界对象相关联的所低与所述系统视场的所述部分中的世界对象相关联的光的7定解剖学区域的所确定的位置和位于所述用户的环境内的三维空间中的相应点来标识所空间中的所述一个或多个点分别对应于虚拟内容的所述一个或多个像素将由所述用户感空间中的所述一个或多个点分别对应于与所述虚拟对象相关联的虚拟阴影的一个或多个空间中的所述一个或多个点对应于由所述用户的所述环境中的真实世界对象占据的三维8及标识一条或多条光线的所述集合与所述调光组件之间的一个或多个交所述调光组件的所标识的一个或多个像素的集合确定一个或多个调暗值的集合，以及其件的所标识的一个或多个像素的集合确定所述一个或多个调基于所述用户眼睛的一个或多个确定的特性来标识所述调光组件的所述一个或多个像素所述调光组件的所标识的一个或多个像素的集合确定所述一个或多个调暗调光组件的所标识的一个或多个像素的集合确定所述一个或多个述用户的环境中的位置以及所述虚拟对象将由所述用户感知的深度中的地耦接到所述控制电路并被配置为分别监测光的与所述用户的环境的一个或多个部分相9组件的所标识的一个或多个像素的集合确定所述一个或分地基于与所述用户的环境的所述一个或多个部分相关联的所述一个或多个亮度水平来控制所述投射器发射表示虚拟内容的一个或多述用户的环境内的三维空间中的相应点来标识所述右调光组件的一个或多个像素的集合；所述右调光组件以调暗所述右调光组件的所标识的一个或多个像基于所述用户的所述左眼的所述特定解剖学区域的所确定位置和位于所述用户的环境内分地基于所述用户的所述右眼的所述特定解剖学区域的所确定位置和位于所述用户的环境内的三维空间中的相应点来标识所述右调光组件的所述一个或多及位于所述双折射膜的堆叠与塑料基板之间的空间可包括线栅偏振器和胆甾型液晶(CLC)反射器中的现出曲率。所述可穿戴显示系统还可包括通信地耦接到所述空间光调制器组件的控制电[0087]通过本公开实现了相对于常规技术的许多益处。例如，本文所描述的增强现实(AR)装置可以通过全局调暗和/或选择性调暗到达用户眼睛的环境光，在从黑暗的室内到明亮的室外的不同光照水平中使用。通过使用像素化调光器将世界光衰减大于99本发[0088]图1示出了根据本文所描述的一些实施例的如通过可穿戴AR装置观看的增强现实[0098]图8示出了用于基于检测到的光信息以及眼睛内的视锥和视杆位置来确定注视矢[0103]图13示出了已被调整以产生使用使用瞳孔位置计算的注视矢量确定的被调暗的[0104]图14示出了已被调整以产生使用在高光条件下使用视锥和视杆位置计算的注视[0105]图15示出了已被调整以产生使用在低光条件下使用视锥和视杆位置计算的注视[0107]图17示出了已被调整以产生使用使用眼睛的旋转中心计算的注视矢量确定的被[0108]图18A和图18B示出了用于基于图像信息来确定系统视场的要被调暗的部分的方[0109]图19A和图19B示出了用于基于图像信息来确定系统视场的要被调暗的部分的方[0110]图20示出了通过调整调光器和/或调整投射器来改进虚拟内容的不透明度的示[0111]图21示出了通过调暗对应于虚拟对象的系统视场的一部分来改进虚拟内容的不[0114]图24示出了示出改变遮光器直径对调光元件的作为角度范围的函数的透射的影[0120]图30和图31示出了根据一些实施例的包括环境光管理模块(ALMM)的ARHMD的示[0122]光学透视(OST)增强现实(AR)装置的当前技术挑战是在变化的环境光条件下虚拟内容的不透明度和/或可见度的变化。该问题在诸如完全暗的房间或在全亮阳光的室外的AR装置能够在比传统上可能的更宽的各种条件下来使用。[0123]图1示出了根据本发明的一些实施例的如通过可穿戴AR装置观看到的AR场景10凝土平台120的各种真实世界对象130为特征的真实世界公园状设置106。除了这些项目之装置200可以包括目镜202和动态调光器203，该目镜202和动态调光器203被配置为当AR装动态调光器203观看时看到一个或多个世界对象230。如所示出的，目镜202和动态调光器203可以以并排配置来布置，并且可以形成用户在通过目镜202和动态调光器203观看时看或两者占据的整个二维区域。尽管图2A示出了单个目镜202和单个动态调光器203(出于示到用户的视网膜上，以使得用户将对应的虚拟内容感知为位于用户环境内的某个位置处。例如，由目镜202耦出的虚拟图像光222可以使用户将角色202-1感知为位于第一虚拟深度平面210-1处并将雕像202-2感知为位于第二虚拟深度平面210-2处。用户感知虚拟内容以及对应于一个或多个世界对象230(诸如平台120)的环境光传感器234可被定位为使得由环境光传感器234检测到的世界光232类似于和/或表可被配置为检测对应于动态调光器203的不同像素的多个空间分辨的光值。在这些实施例并且可以进一步检测系统视场的与太阳250相关联的世界光232穿过AR装置200的方向和/区域236的边缘更大的量来减小在被调暗的区域236的中心处的世界光232[0129]图2C示出了基于虚拟图像光222来确定被调暗的区域236的AR装置200的示例。具体地，可以基于由用户观察虚拟图像光222而导致的由用户感知到的虚拟内容来确定被调调光器203内用户感知到虚拟内容的位置)和/或虚拟图像光222的亮度(例如，所感知到的动态调光器203可被调整以将被调暗的区域236设置为覆盖系统视场的对应于虚拟图像光检测到的世界光232和/或虚拟图像光222[0130]图2D示出了基于与用户的眼睛对应的注视信息来确定被调暗的区域236的AR装置调暗的区域236设置为覆盖系统视场的对应于注视矢量238和动态调光器203之间的交点[0131]图3示出了根据本发明的可穿戴AR装置300的示意图。AR装置300可包括以并排配左侧的世界相机306C；直接附接到右目镜302B或靠近右目镜302B的面向右侧的世界相机装置，诸如光学链接到左目镜302A的左投射器314A和光学链接到右目镜302B的右投射器线连接与AR装置300的其他部件物理上分离并且被通信耦接到AR装置300的其他部件。例[0133]处理模块350可以包括处理器352以及相关联的数字存储器356，诸如非易失性存相机306C接收(一个或多个)左侧图像320C，以及从面向右侧世界相机306D接收(一个或多[0134]目镜302A和302B可以包括被配置为分别引导来自投射器314A和314B的光的透明目镜302A上(从而导致与左虚拟图像光322A相关联的对应光场将被投射到用户的视网膜中的每一个目镜可以包括对应于不同颜色和/或不同深度平面的多个波导。在一些实施例个动态调光器可被合并到多层目镜中并且可形成构成目镜302中的一个目镜的一个或多个[0135]相机306A和306B可以被定位成捕获分别与用户的左眼和右眼的视场基本上重叠要与使用相机306A和306B捕获的(一个或多个)图像320A和3角度表示)被投射到用户的视网膜上，以使得用户将对应的虚拟内容感知为位于用户的环[0143]在步骤412处，基于所检测到的信息来确定系统视场的要被至少部分地调暗的部于确定系统视场的要被至少部分地调暗的不同部分，并且随后可使用AND或OR操作将该不可以执行调暗以减轻由能够在整个视场上进行调暗的[0145]在步骤414处，基于检测到的信息来确定用于系统视场的该部分的多个空间分辨息(其可以由所确定的调暗值来修改)指示的与世界对象相关联的光值相关，以及C是期望像素位置处的虚拟图像光的亮度和特定像素位置处的与世界对象相关联的光值来计算特[0152]图5示出了具有目镜502和像素化调光元件503的AR装置500，该像素化调光元件以包括提供入射光的完全调暗的一个或多个暗像素506和提供入射光的完全透射的一个或[0153]图6示出了用于基于用户的眼睛的瞳孔位置605来确定注视矢量610的技术。在一与眼睛的旋转中心和瞳孔位置605相交的矢量。旋转中心可使用由眼睛跟踪器收集的数据[0154]使用瞳孔位置605来确定注视矢量610的几个固有问题中的一个问题在图6中示[0155]图7示出了用于基于用户的眼睛的旋转中心720来确定注视矢量710的技术。旋转距离D3[0156]图8示出了用于基于检测到的光信息和眼睛内的视锥804和视杆806位置来确定注膜层的对应于高密度视锥804的中心位置向外调整到沿着对应于高密度视杆806的环的一的注视矢量可以是通过将沿着围绕视网膜层825的中心位置的环的一个或多个点连接到瞳矢量与在高光条件854下使用视锥804和视杆806位置所确定的注视矢量共线。在一些实施[0158]在被调暗的区域显著大和/或调暗值显著高的一些实施例中，使用AR装置的光传锥1004和视杆1006位置相关，在这些位置处可以定义(一个或多个)注视矢量的(一个或多[0161]图11示出了用于确定高光条件(例如具有5000NITS的室外环境光1155)下的注视各项中的一项或多项进一步促进第二技术：瞳孔位置(用于提供用于定义注视矢量的第二环境光1257。使用第一和第三技术(分别使用瞳孔位置和旋转中心)确定的注视矢量1210A[0163]图13示出了已被调整以产生使用注视矢量确定的被调暗的区域A的调光器1303，[0164]图14示出了已被调整以产生使用注视矢量确定的被调暗的区域B的调光器1403，[0165]图15示出了已被调整以产生使用注视矢量确定的被调暗的区域[0166]图16示出了已被调整以在具有100NITS的室外环境光1657下产生被调暗的区域B'[0167]图17示出了已被调整以产生在例如具有5000NITS的室外环境光处的被调暗的区[0168]图18A和图18B示出了用于基于图像信息来确定系统视场的待调暗的一部分的方(例如，由通过目镜1812呈现的虚拟内容投射或以其他方式与通过目镜1812呈现的虚拟内考点)相交。然后可以在矢量1804与动态调光器1803相交的每个位置处定义交点1806(例实施方式中，可以采用一种或多种光线或椎体投射技术来定义矢量1804(例如，1804-01、1804-02和1804-03)并标识或以其他方式确定交点1806(例如，1806-01、1806-02和1806-03)的数量和/或点1802的密度的函数。例如，在一些实例中，被调暗的部分1808(例如，图18A和图18B的示例中，定义矢量1804(例如，1804-01、1804-02和1804-03)的起始位置[0170]图19A和图19B示出了用于基于类似于图18A和图18B所示的图像信息来确定系统定义为与点1902(例如，1902-01、1902-02和1902-03)中的每一个和眼睛1900的旋转中心1908-02和1908-03)中的每一个可以被设置为包含交点1906(例如，1906-01、1906-02和1906-03)中的每一个的区域或者包含交点1906的动态调光器的特定像素。在一些示例中，18B、图19A和图19B描述了眼睛1900的瞳孔位置和旋转中心1920作为可用于确定系统视场[0172]图21示出了通过调暗系统视场的与虚拟对象对应的部分来改善所显示的虚拟对透明度和可见度相对大于虚拟对象2102的位于没有调暗的区域中的部分2106的不透明度[0174]图23A和23B示出了示出小遮挡对世界场景的影响的图。图23A示出了用户的眼睛度的光被聚焦到视网膜230上的不同位置。图23B示出了在远离瞳孔2304的距离d处的放置-A[0175]图24示出了示出改变遮挡物直径而对作为角度范围(以度为单位)的函数的调暗HMD的架构的附加示例，该微型显示器利用中继光学系统将光2736递送到衍射波导结构的耦入光栅中。波导结构可包括放大输入图像平面并递送到用户的眼睛2700的耦出光栅(例世界光2732透过。可变焦元件2704可包括眼睛2700与目镜2702之间的深度平面变化/切换[0180]图28示出了OST-HMD的架构的附加示例，其中平坦的动态调光器2802沿着弯曲的整个系统视场提供调暗量，其可在确定动态调光器2802的空间分辨的调暗值时被考虑。[0181]图29示出了根据本发明的AR装置2900的示意图。AR装置2900一般包括本地模块当AR装置2900在使用中时，将体积大的和/或高功耗的部件与靠近用户的头部定位的那些头戴式耳机处理器2940可将数据流发送到本地模块2910的显示器头戴式耳机处理器2942，并且将原始或经处理的图像发送到远程模块2912的感知处理单[0182]在一些实施例中，本地模块2910的一个或多个部件可以类似于参照图3描述的一似于被包括在投射器314中的一个或多个部件的功能性，并且传感器头戴式耳机处理器2940和显示器头戴式耳机处理器2942中的一个或两者的功能性可类似于被包括在处理模单元(GPU)2946接收虚拟内容数据和像素化的调光器数据，并且可以在控制像素化的调光数据发送到CPU2948，该CPU2948可被配置为执行/生成可传递世界几何形状和应用场景件的功能性可以类似于被包括在处理模块350中的一个或多个在具有衍射波导组合器的光学透视增强现实(AR)头戴式显示器(HMD)中被利用以在变化的视场中产生衍射伪影。各种其他因素和照明条件也可用于将衍射伪影引入用户的视场中。这样的系统和技术可用于具有类似于或等同于上文参考图1至图29所描述的动态调光器中影的一个或多个这样的系统和技术可用于具有类似于或等同于上述调光器组件中的一个有类似于或等同于如上文分别参考图26和图28所描述的动态调光器2604和动态调光器器组件满足某些美学和工业设计(ID)要求(产品的外观和感觉)和/或提供抗碎裂性以有效保护目镜和系统的其他精密部件。考虑到上述用于在不同光条件下保持虚拟内容实度和/境光管理模块(ALMM)可用于ARHM[0189]图30示出了根据一些实施例的包括环境光管理模块(ALMM3050)的ARHMD的示ARHMD包括位于用户的眼睛3000与世界3030之间的ALMM3050，以及位于用户的眼睛30003008(彩虹伪影减轻层)和/或用于装置的美学或装饰外观的其他面向世界的膜3012。在一3050的塑料基板3010可以具有在10度和30度之间的一维或二维曲率角。在一些示例中，3003/3103包括层压在1D/2D弯曲塑料基板上的基于柔性有机薄膜晶体管(O-TFT)的液晶一些示例中，层D1和D5对应于被配置为将调光器组件3103保持在一起和/或保护其中包含电的光学透射材料制成，例如氧化铟锡(ITO)。调光器组件3103的部件本质上可以是柔性的，使得调光器组件3103可以以某种方式设置在ALMM3150中以大体符合由弯曲塑料基板y维度上可以展现出类似于或等同于上述像素几何形状中的一个或多个的几何形状，并且[0192]在一些实施方式中，角度衰减器组件3018/3108包括层压在1D/2D弯曲塑料基板塑料基板上的一个或多个线栅偏振器或胆甾型液晶(CLC)膜，以在从外部观看装置时向用包括多个层W1和W2。在一些实施方式中，层W1对应于线栅偏振器(WGP)或多层反射偏振器以及层W2对应于CLC偏振器(CLCP)。在一些实施例中，(一个或多个)面向世界的膜3012/多个)面向世界的膜与世界之间的抗反射层或其组合。另外，在一些实施方式中，ALMM3050/3150与目镜堆叠3005/3105之间的空间可以至少部分地填充有折[0195]在一些示例中，图30和图31的目镜堆叠3005/3105可以以类似于ALMM3050/3150个波导中的一个或多个可以由基于聚合物的[0197]示出计算机系统3200包括可以经由总线3205电耦接或者可以适当地以其他方式[0198]计算机系统3200可以还包括一个或多个非暂态存储装置3225和/或与之通信，该但不限于磁盘驱动器、驱动器阵列、光存储装置、固态存储装置(诸如随机存取存储器于调制解调器、网卡(无线或有线)、红外通信装置、所需的功能和/或其他实施方式，便携式电子装置或类似装置可以经由通信子系统3219来代码和/或指令可以用于配置和/或适配通用计算机或其他装置以执行根据所描述的方法[0201]这些指令和/或代码的集合可以存储在非暂态计算机可读存储介质上，诸如上述和/或可能采取源代码和/或可安装代码的形式，该源代码和/或可安装代码例如使用各种[0202]对于本领域技术人员而言显而易见的是，可以根据特定要求进行实质性的变个指令可能被并入操作系统3240和/或工作存储器3235中包括的其他代码，诸如应用程序读介质可能涉及向处理器3210提供指令/代码以供执行和/或可用于存储和/或承载此类指[0206]各种形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列承载给