CN114008665B 显示设备及用于校正该显示设备的图像畸变的方法 （阴影技术公司）

2021.12.08PCT/FI2020/05073320WO2021/105549EN2021.06.03显示设备及用于校正该显示设备的图像畸分别向第一眼睛(302)和第二眼睛(304)显示第面向第一眼睛和第二眼睛的第一部件(306)和第二部件(308)，第一部件和第二部件分别具有第眼睛和第二眼睛相对于相应光轴的位置和方向变换用于校正显示给定的输入图像帧时产生的二变换以生成第一畸变校正图像帧和第二畸变2至少一个第二显示器或投影仪(102、202)，在操作时显示要向所述用户的第二眼睛第一部件(306)和第二部件(308)，被布置成分别面向所述第一眼睛和所述第二眼睛，跟踪装置(106、206)，跟踪所述第一眼睛相对于所述第一光轴-分别获取所述第一眼睛相对于所述第一光轴的当前位置和方向以及所述第二眼睛相-分别基于所述第一眼睛的当前位置和方向以及所述第二眼睛的当前位置和方向，确定将应用于所述至少一个第一输入图像帧的至少一个第一变换以及将应用于所述至少一-将所述至少一个第一变换和所述至少一个第二变换分别应用于所述至少一个第一输其中，所述处理器被配置成分别通过所述至少一个第一显示器个第二显示器或投影仪来渲染所述至少一个第一畸变校正图像帧和所述至少一个第二畸投影仪(202)包括第一背景显示器或投影仪(210)和第一焦点显示器或投影仪(212)，所述至少一个第二显示器或投影仪(204)包括第二背景显示器或投影仪(214)和第二焦点显示器或投影仪(216)，所述至少一个第一畸变校正图像帧包括分别在所述第一背景显示器或投影仪和所述第一焦点显示器或投影仪中渲染的第一畸变校正的背景图像帧和第一畸变3投影仪和所述第二焦点显示器或投影仪中渲染的第二畸变校正的背景图像帧和第二畸变第一光学组合器(218)，被布置成将所述第一畸变校正的背景图像帧的投影与所述第及第二光学组合器(220)，被布置成将所述第二畸变校正的背景图像帧的投影与所述第-基于所述第一眼睛(302)的当前位置和方向确定所述第一畸变校正的焦点图像帧的至少一部分的不透明度值和所述第一畸变校正的背景图像帧的至少一部分的不透明度值，-基于所述第二眼睛(304)的当前位置和方向确定所述第二畸变校正的焦点图像帧的至少一部分的不透明度值和所述第二畸变校正的背景图像帧的至少一部分的不透明度值，所述第一光学组合器(218)的表面上所述第一畸变校正的背景图像帧的投影的位置来调整对于所述第二光学组合器(220)的表面上所述第二畸变校正的背景图像帧的投影的位置来6.根据权利要求1至4中任一项所述的显示设备(100、200、300)，其中，所述处理器的当前位置和方向以及所述第二眼睛(304)的当前位置和方向，确定所述至少一个第一畸变校正图像帧的至少一个第一遮挡区域以及所述至少一个第二畸变校正图像帧的至少一-控制所述至少一个第一显示器或投影仪(102、202)仅渲染所述至少一个第一畸变校-控制所述至少一个第二显示器或投影仪(104、204)仅渲染所述至少一个第二畸变校4置成分别面向用户的第一眼睛(302)和第二眼睛(304)的第一部件(306)和第二部件(308)，-分别跟踪所述第一眼睛相对于所述第一光轴的当前位置和方向以及所述第二眼睛相-分别基于所述第一眼睛的当前位置和方向以及所述第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输-将所述至少一个第一变换和所述至少一个第二变换分别应用于所述至少一个第一输-分别通过所述至少一个第一显示器或投影仪和所述至少一个第二显示器或投影仪来渲染所述至少一个第一畸变校正图像帧和所述至少一个第二畸变9.根据权利要求7所述的方法，其中，所述至少或投影仪(204)包括第二背景显示器或投影仪(214)和第二焦点显示器或投影仪(216)，所述至少一个第一畸变校正图像帧包括分别在所述第一背景显示器或投影仪和所述第一焦述至少一个第二畸变校正图像帧包括分别在所述第二背景显示器或投影仪和所述第二焦-经由所述第一光学组合器将所述第一畸变校正的背景图像帧的投影与所述第一畸变-经由所述第二光学组合器将所述第二畸变校正的背景图像帧的投影与所述第二畸变-基于所述第一眼睛(302)的当前位置和方向确定所述第一畸变校正的焦点图像帧的至少一部分的不透明度值和所述第一畸变校正的背景图像帧的至少一部分的不透明度值，5-基于所述第二眼睛(304)的当前位置和方向确定所述第二畸变校正的焦点图像帧的至少一部分的不透明度值和所述第二畸变校正的背景图像帧的至少一部分的不透明度值，-基于所述第一眼睛(302)的当前位置和方向，相对于所述第一光学组合器(218)的表面上所述第一畸变校正的背景图像帧的投影的位置来调整所述第一畸变校正的焦点图像-基于所述第二眼睛(304)的当前位置和方向，相对于所述第二光学组合器(220)的表面上所述第二畸变校正的背景图像帧的投影的位置来调整所述第二畸变校正的焦点图像-分别基于所述第一眼睛(302)的当前位置和方向以及所述第二眼睛(304)的当前位置-控制所述至少一个第一显示器或投影仪(102、202)仅渲染所述至少一个第一畸变校-控制所述至少一个第二显示器或投影仪(104、204)仅渲染所述至少一个第二畸变校正图像帧中除所述至少一个第二遮挡区域之外6统的专用设备被设计为使得用户的双眼通过专用设备的不同光轴(对应于用户的不同眼[0004]然而，传统的专用设备无法适应用户的给定眼睛相对于其相应光轴的错位和/或定眼睛的相对错位和/或未对准可能是由于用户不正确地在他/她的头上佩戴给定的传统的方法。本公开旨在提供一种针对由于用户的眼睛与传统专用设备之间的错位和/或未对7[0013]-分别获取第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二[0014]-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图示给定输入图像帧时产生的明显的每像素畸变；以及-将至少一个第一变换和至少一个第示器或投影仪来渲染至少一个第一畸变校正图像帧和至少一个[0016]在另一方面，本公开的实施例提供了一种用于校正显示[0017]-分别跟踪第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二[0018]-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图[0019]-将至少一个第一变换和至少一个第二变换分别应用于至少一个第一输入图像帧[0020]-分别通过至少一个第一显示器或投影仪和至少一个第二显示器或投影仪来渲染至少一个第一畸变校正图像帧和至少一个第8[0027]图3是根据本公开的实施例的显示设备相对于用户的第一眼睛和第二眼睛的布置[0028]图4A是根据本公开的实施例的给定眼睛相对于给定光轴的最佳位置和方向的示意图；图4B是根据本公开的实施例的给定眼睛相对于给定光轴的次佳位置和方向的示意的当给定眼睛相对于对应的光轴处于最佳位置和方向时给定眼睛可见的输入图像帧的视[0030]图6A是根据本公开的实施例的当用户的给定眼睛相对于相应的光轴处于最佳位定眼睛相对于相应的光轴处于次佳位置和方向时给定输入图像帧的给定遮挡区域的示意[0032]在附图中，下划线数字用于表示下划线数字所在的项目或下划线数字相邻的项[0040]-分别获取第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二[0041]-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将9应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图示给定输入图像帧时产生的明显的每像素畸变；以及-将至少一个第一变换和至少一个第示器或投影仪来渲染至少一个第一畸变校正图像帧和至少一个[0043]在另一方面，本公开的实施例提供了一种用于校正显示[0044]-分别跟踪第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二[0045]-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图[0046]-将至少一个第一变换和至少一个第二变换分别应用于至少一个第一输入图像帧[0047]-分别通过至少一个第一显示器或投影仪和至少一个第二显示器或投影仪来渲染至少一个第一畸变校正图像帧和至少一个第液晶显示器(LiquidCrystalDisplay，LCD)、基于发光二极管(LightEmittingDiode，光轴是对应于用户的第二眼睛的光学器件(尤其是至少一个第二个显示器或投影仪)的光的跟踪装置”是指检测和/或跟踪用户的第一眼睛相对于第一光轴的位置和方向以及用户睛的中心与给定光轴之间的距离确定为给定眼睛相对给定光轴的姿态。在一些实施方式跟踪第一眼睛的位置和方向以及第二眼睛的[0061]-给定眼睛定位于给定光轴上与显示设备的相应光学器件相距特定距离的特定点[0064]可选地，使用至少一个数学公式来确定给定眼睛的瞳孔中心和/或给定眼睛的中睛的发射光的反射，所捕获的第二眼睛的至少一个图像描绘了对第二眼睛的发射光的反一眼睛和第二眼睛的视觉特征(在其图像中描绘)用于确定第一眼睛和第二眼睛相对于第圆形时，该跟踪装置确定第一眼睛和第二眼睛的光轴分别沿着第一光轴和第二光轴定向。器或投影仪分别在第一眼睛的视野中心和第二眼睛的视野中心显示点第一摄像头和第眼睛相对于第一光轴以及第二眼睛相对第二应当理解，在至少一个外部处理器处执行至少一些与畸变校正相关联的计算任务是有益[0074]可选地，可以由第一外部处理器执行生成和存储预先计算的校正模型的步骤(稍[0076]处理器或至少一个外部处理器分别从跟踪第一眼睛和第二眼睛的位置和方向的跟踪装置获取第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二光轴别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向来确定至少一个第一的当前姿态的角度观看至少一个第一输入图像帧(无畸变校正)时产生的明显的每像素畸个第二输入图像帧(无畸变校正)时产生的明显的[0081]-控制至少一个第一显示器或投影仪以及至少一个第二显示器或投影仪分别显示[0082]-控制多个相机分别从第一眼睛和第二眼睛的多个姿态的角度捕获表示第一参考[0083]-分析所捕获的图像以确定校正在针对多个姿态所捕获的图像中产生的每像素畸正模型来确定至少一个第一变换和至少一个第预先计算的校正模型可能不包括用户眼睛的所有可能像素的前述空间移位对于生成对应于给定输入图像帧的畸变校正的图像帧来说非常有用。像素在空间上移位的给定二维偏移量可以是5个单位的水平(或X轴)偏移量以及3个单位的[0097]处理器或至少一个外部处理器分别将至少一个第一变换和至少一个第二变换应示器或投影仪)显示时在给定的眼睛看来没有任何畸变的图像帧。使用与用户的给定眼睛的变换对光从给定的畸变校正的图像帧的每个像素传播到达给定的眼睛的不同光学距离[0099]至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧分别通过至少一[0100]可选地，至少一个第一显示器或投影仪包括第一背景(context)显示器或投影仪示器或投影仪和第一焦点显示器或投影仪渲染的第一畸变校正的背景图像帧和第一畸变和第二焦点显示器或投影仪渲染的第二畸变校正背景图像帧和第二畸变校正焦点图像帧，户眼睛瞳孔位置的摄像机等方式实现。这种跟踪视线方向的装置在本领域中是众所周知投影与对应的畸变校正的焦点图像帧的投影进行光学组合以向给定眼睛呈现给定视图的的组合投影是描绘给定视图的至少一个给定畸变校正图合)可以在到达用户的眼睛之前通过显示设备的各个光学元件透射和/或从显示设备的各[0114]-基于第一眼睛的当前位置和方向确定第一畸变校正的焦点图像帧的至少一部分校正的焦点图像帧的该部分的投影将与第一畸变校正的背景图像帧的该部分的投影进行[0115]-基于第二眼睛的当前位置和方向确定第二畸变校正的焦点图像帧的至少一部分校正的焦点图像帧的该部分的投影将与第二畸变校正的背景图像帧的该部分的投影进行[0116]可选地，第一畸变校正的焦点图像帧和第一畸变校正的背景图像帧的上述部分(将针对该部分确定不透明度值)表示不同角分辨率下在第一畸变校正的焦点图像帧和第二畸变校正的背景图像帧的上述部分(将针对该部分确定不透明度值)表示不同角分辨率及第二背景显示器或投影仪和第二焦点显示器或投影仪)在显示设备内提供注视点渲染态来确定给定畸变校正的焦点图像帧和给定畸变校正的背景图像帧的给定部分的不透明[0120]-基于第一眼睛的当前位置和方向，控制至少一个第一致动器以相对于第一光学组合器的表面上第一畸变校正的背景图像帧的投影的位置来调整第一畸变校正的焦点图[0121]-基于第二眼睛的当前位置和方向，控制至少一个第二致动器以相对于第二光学组合器的表面上第二畸变校正的背景图像帧的投影的位置来调整第二畸变校正的焦点图正的背景图像帧的投影的位置来调整第一畸变校正的焦点图像[0127]-相对于至少一个第一焦点显示器或投影仪移动至少一个第一光学元件，该至少一个第一光学元件位于第一光学组合器和至少一个第一焦点显示器或投影仪之间的光路正的背景图像帧的投影的位置来调整第二畸变校正的焦点图[0132]-相对于至少一个第二焦点显示器或投影仪移动至少一个第二光学元件，该至少一个第二光学元件位于第二光学组合器和至少一个第二焦点显示器或投影仪之间的光路一遮挡区域以及至少一个第二畸变校正图像帧的至少一个[0137]-控制至少一个第一显示器或投影仪仅渲染至少一个第一畸变校正图像帧中除至[0138]-控制至少一个第二显示器或投影仪仅渲染至少一个第二畸变校正图像帧中除至态确定至少一个给定遮挡区域，以准确对应给定眼睛的当前视角(从给定眼睛的当前姿仅渲染至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧的选择性区域的同被配置成仅用至少一个第二畸变校正图像帧中除至少一个第二遮挡区域以外的区域来填或投影仪和第一焦点显示器或投影仪上渲染的第一畸变校正的背景图像帧和第一畸变校二焦点显示器或投影仪上渲染的第二畸变校正的背景图像帧和第二畸变校正的焦点图像[0147]-经由第一光学组合器将第一畸变校正的背景图像帧的投影与第一畸变校正的焦[0148]-经由第二光学组合器将第二畸变校正的背景图像帧的投影与第二畸变校正的焦[0150]-基于第一眼睛的当前位置和方向确定第一畸变校正的焦点图像帧的至少一部分校正的焦点图像帧的该部分的投影与第一畸变校正的背景图像帧的该部分的投影进行光[0151]-基于第二眼睛的当前位置和方向确定第二畸变校正的焦点图像帧的至少一部分校正的焦点图像帧的该部分的投影与第二畸变校正的背景图像帧的该部分的投影进行光[0153]-基于第一眼睛的当前位置和方向相对于第一光学组合器的表面上第一畸变校正[0154]-基于第二眼睛的当前位置和方向相对于第一光学组合器的表面上第二畸变校正[0156]-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定该至少一个第一畸变校正图像帧的至少一个第一遮挡区域以及至少一个第二畸变校正图像[0157]-控制至少一个第一显示器或投影仪仅渲染至少一个第一畸变校正图像帧中除至[0158]-控制至少一个第二显示器或投影仪仅渲染至少一个第二畸变校正图像帧中除至至少一个第一显示器或投影仪(描绘为第一显示器或投影仪102)、至少一个第二显示器或一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置106以及处理器108。处理器示器或投影仪102在操作时显示要向用户的第一眼睛呈现的第一图像。第二显示器或投影仪104在操作时显示要向用户的第二眼睛呈现的第二图像。第一部件与第二部件被布置成第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置106分别相对于第一光轴和[0161]处理器108或通信地耦接到处理器108的至少一个外部处理器(描绘为外部处理器[0162]-分别获取第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二[0163]-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图示给定输入图像帧时产生的明显的每像素畸变；以及-将至少一个第一变换和至少一个第仪104来渲染至少一个第一畸变校正图像帧和至少一个第二畸变包括至少一个第一显示器或投影仪(描绘为第一显示器或投影仪202)、至少一个第二显示显示器或投影仪202还包括第一背景显示器或投影仪210和第一焦点显示器或投影仪212。第二显示器或投影仪204还包括第二背景显示器或投影仪214和第二焦点显示器或投影仪理器(描绘为外部处理器226)。处理器208还可通信地耦接到第一致动器222和第二致动器[0167]参考图3，示出了根据本公开的实施例的显示设备300相对于用户的第一眼睛302[0168]参考图4A和4B，图4A是根据本公开的实施例