CN110163917B 用于校准可穿戴装置中的图像传感器的系统和方法 （托比股份公司）

用于校准可穿戴装置中的图像传感器的系所述可穿戴装置可以包括设置在所述可穿戴装像传感器来捕获所述全息膜的至少一个部分的性来确定所述图像传感器相对于所述全息膜的位置或取向。所述处理器可以进一步被配置用述位置或所述取向来改变所述图像传感器的至2眼睛跟踪设备(2210)，所述眼睛跟踪设备包括至少一个图像传感器至少一个全息膜，所述至少一个全息膜包括设置在所述第一透其中，所述至少一个图像传感器(2213)以相对于注视射线激活所述至少一个照明器(2216)来照亮所述至在所述至少一个全息膜被照亮时，利用所述至少一个图像传感器(基于所确定的特性来确定所述至少一个图像传感器(2213)相对于所述至少一个全息基于所述至少一个图像传感器(2213)相对于所述至少一个全息膜的所述位置或所述取向中的至少一者来改变所述至少一个图像传感器(2213)的所述第二全息膜(2230b)设置在所述显示器(225所述第三全息膜(2230c)设置在所述无透镜部分(226所述第一全息膜(2230a)、所述第二全息膜(2230b)或所述第三全息膜(2230c)中的每所述第一全息膜(2230a)、所述第二全息膜(2230b)或所述第三全息膜(2230c)中的每所述第一全息膜(2230a)、所述第二全息膜(2230b)或所述第三全息膜(2230c)中的每所述第一全息膜(2230a)、所述第二全息膜(2230b)或所述第三全息膜(2230c)中的每3所述第一全息膜(2230a)、所述第二全息膜(2230b)或所述第三全息膜(2230c)中的每所述第一全息膜(2230a)、所述第二全息膜(2230b)或所述第三全息膜(2230c)中的每所述第一全息膜(2230a)、第二全息膜(2230b)或第三全息膜(2230c)中的每一个都包4[0002]本申请要求于2018年2月15日提交的美国临时专利述美国临时专利申请的全部公开内容如在本文中完整阐述的那样出于所有目的通过引用[0005]眼睛跟踪技术的进步已使得使用个人的注视信息而与计算设备进行交互成为可以及基于所述特性来确定所述图像传感器相对于所述全息膜的位置或取向中的至少一者。所述取向中的至少一者来改变所述图像传感器的至少一戴装置的眼睛跟踪设备中的图像传感器的至少一个校准参数的方法。所述方法可以包括：激活眼睛跟踪设备的照明器来照亮设置在可穿戴装置上的全息膜。所述方法还可以包括：置或所述取向来改变所述图像传感器的至少一5所述位置或所述取向来改变所述图像传感器的至少一膜的特征的漫反射或者所述全息膜的特征的镜6活眼睛跟踪设备的照明器来照亮设置在可穿戴装置上的全息膜；在所述全息膜被照亮时，膜的特征的漫反射或者所述全息膜的特征的镜7过在参考标记之后用区分类似部件和/或特征的字母来区分相同类型的各部件。如果在说同的第一数字参考标记的类似部件和/或特[0058]眼睛跟踪技术的进步已使得使用个人的注视信息而与计算设备进行交互成为可[0063]本公开的实施例涉及提高检测注视信息的准确性以及依赖外部控制器的应用的推移的部件校准和/或基于考虑到总体尺寸限制的特定部件构造提高准确性。部件校准一8他或她的手指来准确且直观地操纵经锁定的虚100包括用于照亮(或照射)用户眼睛的照明器(或发光器)111和112，以及用于捕获用户眼睛的图像的图像传感器113。照明器111和112可以例如是发射红外频段中或近红外频段中[0066]第一照明器111被布置成与图像传感器113同轴(或靠近图像传感器113)，使得图像传感器113可以捕获用户眼睛的明亮瞳孔图像。由于第一照明器111与图像传感器113的照明器112照亮眼睛的图像中看起来比围绕其的虹膜暗。照明器111和112可以例如轮流照[0067]眼睛跟踪系统100还包括用于对由图像传感器113捕获的图像进行处理的电路系系统120可以设置在图像传感器113的光敏表面下方的一个采用图像处理(诸如数字图像处理)来提取图像中的特征。电路系统120可以例如采用瞳孔计在眼睛200处瞳孔210中心的位置以及闪光220中心的位置。闪光220是由来自照明器1119[0069]在参照图1描述的实施例中，照明器111和112被布置在放置于由用户观看的显示盘驱动器、光学存储设备、固态存储设备(诸如可编程、可闪存更新的随机存取存储器描述的眼睛跟踪系统的上述部件中的一些或全部。可穿戴计算设备400可以是可以由用户穿戴的VR头戴装置或AR头戴装置。如所展示的，可穿戴计算设备400包括一组透镜410(诸部件的布置允许在三维虚拟或真实空间中检测用户的注视[0075]图5示出了VR头戴装置的示例部件，所述VR头戴装置实施如结合图1至图5描述的处于基部。头戴式(HMD)透镜520安装在第一开口512中并且利用照明器盖530来进行保护。无需盖530。光照明器540可以包括发射在红外或近红外光谱中的光的一组发光二极管[0080]使用这种类型的校准的技术挑战是没有直接的方法来确定相机和透镜在使用期但具有超薄光学相控阵(OPA)的至少一个无透镜相机，所述至少一个无透镜相机在不使用对于可穿戴计算设备而言可以是本地的或远程的(例如，在用户标识时可从远程服务器中[0082]标记处于相机的同一侧，并且优选地可以被放置在透镜之一上和/或嵌入透镜之[0087]所述一个或多个处理器被配置为(例如，基于存储在一个或多个非暂态计算机可于所述第一距离来改变与眼睛跟踪设备一起使用的眼睛跟踪算法的至少一到第二标记的第二距离；以及基于所述第二距离来改变眼睛跟踪算法的至少一个校准参[0091]结合图6至图8进一步描述这些和其他特征。图6展示了透镜上或透镜中的标记的[0092]图6展示了根据本公开的某些实施例的透镜620上或透镜620中的标记610的示所述原始位置也可以在计算时使用。所述信息还可以标识标记610或透镜620(其可用于从[0095]不同的技术可用于基于图像数据来计算可穿戴计算设备的部件之间的相对移获得的信息来计算所述移动。由于所有的相对位置和对准都被映射在同一三维坐标系上，因此可以基于由图像传感器生成的图像数据通过将部件重新映射到三维坐标系来自动地[0096]图7展示了根据本公开的某些实施例的标记的图像的示例以及基于所述图像来计相机710的图像传感器的表面上的点)之间的直线距离。这个直线距离指示相机710与透镜个方向指示透镜相对于相机710的旋转(或者反之亦然)。对标记移动的确定不限于前述方[0097]用于导出距离和方向的图像数可能取决于由标记传达的信息和/或可从存储器获中的标记的当前位置之间(斜边是相机710的位置到当前位置)以及在当前位置与图像的边[0103]在图7中进一步展示了对两个图像的使用。这两个图像之间的差异被示出为差异转角度780以及当前位置740处的标记到相机710之间的新的距[0105]图8展示了根据本公开的某些实施例的用于更新校准参数的流程的示例。所述流便根据操作804中的距离和方向导出相机与透镜之间的距的距离和/或方向来改变与眼睛跟踪设备一起使用的眼睛跟踪算法的至少一个校准参数。可以在存储在计算机系统的本地存储器中的或存储在可由计算机系统通过数据网络访问机到所述另一标记的(多个)距离和(多个)方向以进一步更新如在表中指定的(多个)相关可以实施特定类型的微电子机械系统(或MEMS)来实取决于角膜中心到透镜中心的距离(在图9和图10中被示出为D0)。这意味着失真模型应当使用的失真模型可以取决于到眼睛的距离以及眼睛在x和y坐标中相对于透镜和显示器的繁地移动头戴装置)自动地调整图像捕获操作，移动由眼睛图像捕获以及机载加速计和陀螺仪来检测)以某速率自动地估计角膜中心到透镜中心(诸如，如图9至图10中示出的距离D13)的值心来建立新的/更新的失真校正模型。并且所述过程在建立失真校正模型与使用新估计值图案(pattern)；以及基于枕形失真的程度和图案来改变与眼睛跟踪设备一起使用的眼睛[0120]在示例中，基于所述枕形失真的程度或图案来改变器的所述相对位置或所述相对方向来改变与眼睛跟踪设备一起使用的眼睛跟踪算法的所[0123]图9展示了根据本公开的某些实施例的角膜中心到透镜中心的距离的示例。尽管括相机的位置和至少两个照明器的位置、角膜的球形区上的至少两个闪光位置(由至少两的人眼球920的角膜922的中心924之间的距离的标称值被定义为D0930。这个标称值表示所述标称值是基于穿戴这种设备的不同用户的统计平均值(或者通过使用数据建模和/或D12管在图10中未示出，但是所展示的失真是穿戴可穿戴计算设备的用户的眼睛的图像的失[0130]因此，在表示角膜中心到透镜中心的默认值的距离D01010处，可通过眼睛图像失真的程度和/或图案从距离D01010和D11020处的程度和/或图案变化(利用甚至更大的[0131]图11展示了根据本公开的某些实施例的用于基于眼睛的图像来更新校准参数的踪响应于可穿戴计算设备被开启(基于感测到这个设备已经被穿戴在用户的头部，或者基[0135]在操作1110处，计算机系统基于图像数据确定图像中的枕形失真的程度和/或图已知图像与预测模型中的枕形失真的程度和图个更新的距离是通过模式识别或图像分析算法导出的(如果在操作1110中使用了模式识别这个模型将枕形失真的程度和图案与更新的角膜中心到透镜中心的距离相关联。一般而的角膜中心到透镜中心的距离(或等效地，枕形失真的程度和/或图案)相关的校准参数的定的阶梯大小的环的透镜。这些菲涅尔阶梯的问题在于它们在眼睛跟踪图像(即，眼睛图像)中清晰可见，因为它们使图像局部扭曲并且它们散射来自照明器的可以被解释为闪光小化(由此提高了用户体验)，提高了图像质量并且不存在失真闪光(由此改善了眼睛跟素的像素大小(或者如果使用像素组合(binning)，则为组合像素的大小)除以相机的焦距的涂层工艺，所述复杂的涂层工艺昂贵并且可能不能很好地适于高生产量。像蛾眼结构(Motheye-structure,ME)或plasmaAR®等其他技术可能更合适。所产生的表面对污染物[0146]图12展示了根据本公开的实施例的优化的菲涅尔透镜120菲涅尔透镜1200包括中央(或中心)区1210以及围绕中央区1210的菲涅尔环1220。中央区涅尔透镜1200的直径的1％至25％的各自均具有凹槽深度和阶梯大小。凹槽深度和/或阶梯大小随着菲涅尔环1220的直径的增[0150]图14至图21展示了用于操纵虚拟环境中的虚拟对象的不对象具有控制如何呈现对象的一组参数(在本文中被称为呈现参数)以及适用于对象的操查阅并选择可用的菜单选项并且操纵虚拟环境中触摸区域相对应的菜单允许如在对象的呈现参数和操纵参数中设置的那样来编辑和操纵操纵应当从另一对象开展还是转移到另一对象以及如何可以将这两个对象一起操纵。例[0166]一旦菜单1440被呈现，用户就可以操作相应的触摸区域(或如在先前段落中解释接收相关控制信息、更新菜单1440的呈现以表明相应的控件正在被应用、并且更新对象[0167]图15展示了根据本公开的实施例的用于基于注视信息以及外部控制器(例如，物理控制器)上的物理控件来操纵虚拟环境中的对象的示例流程。所述示例流程在操作1502围绕对象的预定义注视区内并且并行地从外部控制器接收用户与物理控制器进行交互的[0172]如图16的左上角中所展示的，可穿戴计算设备检测用户在对象1610(虚拟3D打印拟环境中呈现关于操作外部控制器以与对象1610进行[0173]在示例中，可穿戴计算设备设置导引1620以至少复制虚拟控制器的形状(进而复稳定放置在用户的前方。图16的右下角示出了以第二倾斜角处于稳定状态下的菜单(被示[0179]图17展示了根据本公开的实施例的用于基于注视信息以及外部控制器(例如，物理控制器)上的物理控件来操纵虚拟环境中的多个对象的示例流程。所述示例流程在操作[0183]图18展示了根据本公开的实施例的操纵虚拟环境中的多个对象的另一示例。在一对象具有指定其可以在虚拟环境中移动并被放置在槽1850中的参数。所述槽是第二对[0188]图19展示了根据本公开的实施例的用于操纵虚拟环境中的多个对象的流程的另[0190]在操作1904处，可穿戴计算设备检测用于保持虚拟环境中的第一对象的用户交[0193]在操作1910处，可穿戴计算设备基于所检测的用户将第一对象放置到第二对象前控制器2010以及用于选择的其他(多个)可用控制器2020。如图20的右上角中所展示的，[0197]为了切换至可用控制器2020，用户可能需要对可用控制器进行敲击(punchor[0198]一旦选择了可用控制器2020(被示出为图20的下方中心部分中的所选控制器[0199]图21展示了根据本公开的实施例的用于更换虚拟环境中的控制器的流程的示计算设备更新第一控制器的参数及其在虚拟环境中的呈现以反映可穿戴计算设备在虚拟环境中用第二控制器少一个图像传感器2213和至少一个照明器2216(其在本文中分别被称为图像传感器2213和踪设备2210和/或装置2200的但都执行相同和/或类似功能的一个或多个处理器(在本文中且因此图像传感器2213可以响应于红外[0205]眼睛跟踪设备2210可以被配置用于选择性地激活照明器2216来照亮可穿戴装置[0206]可穿戴装置2200还可以包括设置在可穿戴装置2200上的某位置处的至少一个全[0207]另外，应当注意的是，可以基于在给定实施例中的这个示例修改眼睛跟踪设备明器2216可以被定位成相对远离图像传感器2213且更直接地寻址到(address)眼睛2220，[0209]图案和图像的反射可以是镜面反射或漫反射。镜面反射在单个方向上从全息膜[0210]当采用具有镜面反射的全息膜2230时，全息膜2230必须设置在装置2200的部分[0211]在使用眼睛跟踪设备2210来确定眼睛2220的注视方向的述的本发明的实施例。为了使来自全息膜2230的反射光的图像足以从其确定图像传感器[0215]图23A至图23F示出了可以用于实施本发明的实施例的具有不同特性的多种全息传感器2213的位置/取向，但较小的标记将降低图像传感器2213由于反射光而饱和的可能明器2216和图像传感器2213的放置而进行漫射式或镜面反射式呈现。可以以本领域已知[0217]图23B示出了也具有二维特性的替代标记。这个标记也可以取决于照明器2216和两者都可以用作可由本发明的系统和方法使用以确定图像传感器2213的位置和/或取向的[0220]图23E示出了另一标记，由此，整体反射全息膜的总体尺寸提供了必要的二维特节都应当是默认这种细节可以存在或可以不存在于本文所讨论的任何实施例的任何版本