CN119497988A 视频透视增强现实系统中的失真校准方法 （三星电子株式会社）

2025.01.07PCT/KR2023/0103062023.07.18WO2024/029793EN2024.02.08获在视频透视AR系统的显示面板上显示的第一透镜引起的和由相机透镜引起的组合失真的一数和表示由透视相机引起的失真的一个或多个相机参数来确定表示由显示透镜引起的失真的个系统参数和所述一个或多个显示透镜参数存2由校准相机1702捕获在视频透视AR系统1700的显示面板1705上显示的第一校准图案第一校准图案与由视频透视AR系统1700的透视相机1706捕获的第二校准图案的图像基于第一校准图案来确定表示由视频透视AR系统1700的显示透镜1704引起的以及由基于所述一个或多个系统参数和表示由透视相机1706引起的失真的一个或多个相机视频透视AR系统1700的显示面板1705包括成对显示面板4.根据权利要求3所述的方法，还包括针对每个显示器6.根据权利要求1至5中任一项所述的方法，还包括8.根据权利要求1至7中任一项所述的方法，其中，表示由透镜1704引起的以及由透视相机1706的相机透镜1707引起的组合失真的所述一个或多个一个或多个处理器2602，耦接到所述一个或多个存储器260由校准相机1702捕获在视频透视AR系统1700的显示面板1705上显示的第一校准图案，第一校准图案与由视频透视AR系统1700的透视相机1706捕获的第二校准图案的图像基于第一校准图案来确定表示由视频透视AR系统1700的显示透镜1704引起的以及由基于所述一个或多个系统参数和表示由透视相机1706引起的失真的一个或多个相机3视频透视AR系统1700的显示面板1705包括一对显示面板11.根据权利要求10所述的系统，所述一个或多个处理器可操作以针对每个显示器和根据用于视频透视AR系统1700的一个或多个预定系统参数使真实世根据用于视频透视AR系统1700的显示透镜1704的一个或多个预定显示透镜参数使所在视频透视AR系统1700的显示面板1705上显示失真的真实世界图像和失真的所述一由第一校准相机1702捕获在视频透视AR系统1700的显示面板1705上显示的校准图案，第一校准图案与由视频透视AR系统1700的透视相机1706捕获的第二校准图案的图像基于第一校准图案来确定表示由视频透视AR系统1700的显示透镜1704引起的以及由基于所述一个或多个系统参数和表示由透视相机1706引起的失真的一个或多个相机4[0002]视频透视增强现实(AR)输出真实世界环境的图像(诸如视频)以及一个或多个虚镜使得光保持在光学透视系统附近)相反，视以是不在(一个或多个)相机附近的装置上显示的[0005]在本公开的实施例中，一种视频透视增强现实(AR)系统中的失真校准的方法包频透视AR系统的显示透镜引起的以及由透视相机的相机透镜引起的组合失真的一个或多方法包括将所述一个或多个系统参数和所述一个或多个显示透镜参数存储为用于视频透指令以基于第一校准图案来确定表示由视频透视AR系统的显示透镜引起的以及由透视相5行所述指令以基于所述一个或多个系统参数和表示由透视相机引起的失真的一个或多个处理器可操作以执行所述指令以将所述一个或多个系统参数和所述一个或多个显示透镜[0007]在本公开的实施例中，一种视频透视增强现实(AR)系统中的失真校准的方法包透镜的一个或多个预定显示透镜参数来使所述一个或多个虚拟对象失真。所述方法包括：在视频透视AR系统的显示器上显示失真的真实世界图像和失真的所述一个或多个虚拟对[0009]图2A和图2B示出了用于校正由视频透视AR系统的组件引起的图像变换的示例方6[0036]图2A和图2B示出了用于校正由视频透视AR系统的组件引起的图像变换的示例方每个帧确定作为必须针对给定图像帧实现以便校正由系统组件引起的失真的变换。例如，[0037]图2A的示例方法的步骤205包括访问由视频透视增强现实(AR)系统的成对立体相并且右图像可例如通过用于该眼睛的单独的右显示透镜被显示给用户的右眼。在实施例7和AR/VR内容的显示结构的头戴式装置。虽然图2A的示例方法描述了由成对立体相机中的[0039]图2A的示例方法的步骤210包括基于视频透视AR系统的一个或多个组件的一个或[0040]在图3中，处理310示出了图2的示例方法的具体实施方式。如本文更全面地说明的任何特定实例将需要经历处理310以便确定该特定装置的变换映射。如果系统确实明显视频透视AR系统的一个或多个组件的一个或多个模型中的每个模型来确定对图像的修改[0044]图3示出了已经例如通过与捕获图像的相机相关联的透镜而失真的示例网格30在实施例中，图2A的示例方法的步骤210可包括使用透视相机对捕获的图像的变换效果的计算模型313来创建未失真图像的网格312。透视相机的计算模型313也可被称为透视相机T1)或8ciY1k12结如果图像与系统的右侧对应)的模型315中的一个或多个来创建图像的修正的网格317。修[0054]图像修正的目的是将图像对变换到平面并对准它们对应的极线(epipolar[0055](x,n)=R(x,%))是修正的图像的坐标。此，透视相机对可被修正为虚拟相机对。为了进行这种变换，虚拟相机对的位置和定向9点转换到修正相机坐标系以及将原始图像点映射到[0068]坐标系转换的处理可包括确定透视相机坐标系与由离线处理610定义的修正相机620可包括将左透视图像621从左透视相机坐标系旋转到修正相机坐标系623。相同的处理l)映射为修正相机坐l[0085]实施例可将图像点pr(xr，yr，zr)映射到图7中所示的修正相机坐标系的prect_r：r[0089]在实施例中，图2A的示例方法的步骤210可包括将图像帧从视频透视相机的图像视图从透视相机变换到虚拟相机的模型316中的一个或多个来变换表示图像的修正的网[0092]图9示出了用于利用相机视点匹配将图像帧从透视相机变换到虚拟相机的示例模vvv[0132]其中，θ是左眼和右眼需要旋转以在虚拟图像平面的相同距离处看到3D虚拟对象)分别是x和y维度上的焦距。[0135]图2A的示例方法的步骤215可包括基于对图像的修改来生成用于捕获所访问的图[0136]图2B的示例方法的步骤250可包括获得由视频透视增强现实(AR)系统的成对立体[0137]图2B的示例方法的步骤255可包括使用预定变换映射来变换一个或多个后续图[0138]图2B的示例方法的步骤260可包括在视频透视AR系统上的显示面板上显示变换的前图像可表示在步骤250至260的一个或多个后续图像图2B中所示的示例方法的步骤)可由计算装置(例如图[0141]图14示出了跟踪上面所讨论的那些(例如关于图3的示例集合)的示例的变换集模型确定的校正335可被用于使捕获的图像预失真以用于显示，使得当预失真图像穿过显[0143]实施例可使用具有两个透视相机(包括左相机和右相机)的视频透视AR中的视频透视相机透镜和显示透镜，并且这些透镜中的每[0145]图15A和图15B示出了用于校准视频透视AR系统的示例方法。图16示出了实现图15A和图15B的示例方法的示例处理，并且图17示出了用于执行图16的示例处理以及图15A[0146]图15A的示例方法的步骤1505可包括由校准相机捕获在视频透视AR系统的显示器用户观看由系统的显示面板1705显示的内容时用户的眼睛应该处于的位置处(也称为“良[0147]在实施例中，在显示面板上示出的显示的校准图案(其也可被称为第一校准图[0148]图15A的示例方法的步骤1510可包括基于捕获的校准图案来确定视频透视AR系统的三个通道中的每个)执行校准处理。图17的示例可包括在选择的颜色通道中渲染校准图示例方法的步骤1611可包括确定用于上述组合的系统组件的该矩阵(例如，在该步骤中[0160]图16的示例方法的步骤1613确定是否已经针对所有颜色通道执行了步骤1610至[0163]步骤1625是确定是否已经针对所有所需的显示姿态完成步骤1623至1625的决步骤1626可包括确定表示由透视相机引起的失真的参数，例如通过使用等式33_35和用于透视相机的失真模型C在选择的颜色通道中全部确定用于透视模型的相机矩阵和用于该相[0164]过程1630类似于过程1620，除了在过程1630中校准相机正在捕获显示器(例如，示出了图15A的示例方法的步骤1515的具体示例，这可包括基于一个或多个系统参数以及基于表示由透视相机引起的失真的一个或多个相机参数来确定表示由显示透镜引起的失[0176]其中PZ是失真校正之后的显示透镜的视场，并且P4是失真校正之后的透视相机[0177]图15A的示例方法的步骤1520可包括存储一个或多个系统参数和一个或多个显示理提供在图3的示例处理中使用的若干参数，诸如透视相机和显示透镜的相机矩阵和失真做出从透视相机和显示透镜两者确定的校正，而可对虚拟内容做出仅基于显示透镜的校的组合(2)相机A2与左透镜Dleft的组合(3)相机A3与左透镜Dleft的组合及(4)相机A4与左透镜Dleft的组合。这些相机中的每个表示系统对用户通过左透镜在左面板上观看的内容相机A1附近的对象可基本上阻挡A1对该对象后面的场景的视图，但是通过包括其他相机[0183]虽然图16的示例使用多项式函数来对透镜的失真进行建模并通过校准过程确定色差两者。可通过用查找表查找透镜中具有零失真的像素来获得左侧和右侧的失真中心。[0184]虽然等式34用具有三个系数(k1,k2,k3)的多项式函数对透镜径向失真进行建质应用其他非对称函数(诸如样条函数或一些非连续函数)而不是通过使用径向失真函数[0185]图15B的示例方法的步骤1550可包括访问由视频透视AR系统1700的透视相机1706[0186]图15B的示例方法的步骤1555可包括渲染一个或多个虚拟对象以在真实世界场景[0187]图15B的示例方法的步骤1560可包括根据用于视频透视AR系统1700的一个或多个[0188]图15B的示例方法的步骤1565可包括根据用于视频透视AR系统1700的显示透镜[0189]图15B的示例方法的步骤1570可包括在视频透视AR系统170的显示面板1705上显[0190]在实施例中，根据图15A的示例方法的校准处理来确定预定系统参数和预定显示(包括图15A和图15B中所示的示例方法的步骤)可由计算装置(例如图26的计算装置)的电实对象(诸如兔子2004或火鸡2007)由视频透视相机捕获并被显示在具有2D图像平面2002[0195]图21的示例方法的步骤2105可包括使用视频透视AR系统的成对相机捕获具有预[0196]图22示出了在步骤2204中使用左超宽视场相机2201和右超宽视场相机2202来捕任何合适的位置传感器或任何数量的位置传感器来[0197]图21的示例方法的步骤2115可包括基于立体图像和位置数据生成校准对象的3D可利用基于体积的3D重建(诸如TSDF)来执行3D重建。可选实施例可替代地使用点云技术，[0198]图21的示例方法的步骤2120可包括执行包括步骤2125和2130的虚拟对象配准处虚拟相机中的每个虚拟相机位于用于观看视频透视AR系统上的内容的眼睛位置处。例如，像被显示在左显示器上并且右混合图像被显示在[0200]图21的示例方法的步骤2130可包括针对立体虚拟视图中的每个确定与立体图像中的预定校准对象对应的真实世界校准对象与校准对象的虚拟渲染之间的一个或多个差[0201]图21的示例方法的步骤2135可包括当确定的一个或多个差异中的至少一个大于[0207]图23示出了在动态对象配准期间使用的示例坐标系，诸如例如图21和图22的方被附接到立体相机对的左相机。HMD(头戴式显示器)标记坐标系2303被定义用于测量头部GPU)创建并由虚拟相机渲染的虚拟对象配准。该示例使用HMD标记来将HMD与刚性连接到HMD标记的HMD标记坐标系2403映射到透视坐标系2405的4×4齐次变换矩阵。可在HMD标记[0213]其中RSM是透视相机2312与虚拟相机之间的旋转矩阵，并且TSM是透视相机2312与[0214]PSM是定义相对于HMD标记2313的坐标的透视相机变换2312的3×4[0219]其中RTM是定义相对于HMD标记2313的坐标的姿态跟踪相机变换231[0222]PM1是将HMD标记的HMD标记坐标系2403映射到姿态跟踪相机坐标系2402的4×4齐态跟踪相机2310到透视相机2312的变换PTS可由[0224]其中RTS是姿态跟踪相机2310与透视相机2312之间的旋转矩阵，并且TTS是姿态跟距离以获得平移向量TTS并且测量姿态跟踪相机2310与透视相机2312之间的角度以计算旋度图2522由图形流水线2520生成。虚拟校准标记和对象被生成以在从HMD观看时与真实世[0227]从透视相机重建的真实世界校准标记和对象2530以及(一个或多个)虚拟校准对拟对象的平移的平移向量。Pv、Rv和Tv中的每个在生成虚拟对象时被生成。从3D对象重建[0233]图25的示例比较并提取真实世界对象与虚拟对象之间的位置、定向等的差异[0234]如果从透视相机捕获的真实世界校准标记和对象与由图形流水线生成的虚拟校世界校准标记和对象与由图形流水线生成的虚拟校准标记和对象之间的差异足够小(例度并将其与真实世界标记的深度进行比较以校准软件执行本文描述或示出的一个或多个方法的一个或多个步骤或提供本文描述或示出的2600可在没有实质空间或时间限制的情况下执行本文描述或示出的一个或多个方法的一个或多个计算机系统2600可在不同时间或在不同位置执行本文描述或示出的一个或多个或多个转换后备缓冲器(TLB)。指令高速缓存中的指令可以是存储器2604或存储装置2606器2602可包括一个或多个算术逻辑单元(ALU)；是多核处理器；或包括一个或多个处理器[0240]在实施例中，存储器2604可包括用于存储供处理器2602执行的指令或供处理器2602可将指令从存储器2604加载到内部寄存器或内部高速缓存。为了执行指令，处理器2602可从内部寄存器或内部高速缓存检索指令并对它们进行解码。在执行指令期间或之中，处理器2602仅执行一个或多个内部寄存器或内部高速缓存中或存储器2604中(与存储装置2606相反或其他地方)的指令，并且仅对一个或多个内部寄存器或内部高速缓存中或接口2608可包括一个或多个装置或软件驱动器，使得处理器2602能够驱动这些I/O装置中网或其他基于有线的网络通信的网络接口控制器(NIC)或网络适配器，或者用于与无线网两者。作为示例而非通过限制的方式，总线2612可包括加速图形端口(AGP)或其他图形总线、增强型工业标准结构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准结构[0245]在本公开的实施例中，一种视频透视增强现实(AR)系统中的失真校准的方法包视频透视AR系统的显示透镜引起的以及由透视相机的相机透镜引起的组合失真的一个或一校准图案来确定表示由视频透视AR系统的显示透镜引起的以及由透视相机的相机透镜一个或多个系统参数和表示由透视相机引起的失真的一个或多个相机参数来确定表示由令以将一个或多个系统参数和一个或多个显示透镜参数存储为用于视频透视AR系统的校[0254]在本公开的实施例中，一种视频透视增强现实(AR)系统中的失真校准的方法包透视AR系统的显示器上显示失真的真实世界图像和失真的一个或多个虚拟对象的混合图[0257]本公开的范围涵盖本领域普通技术人员将理解的对本文描述或示出的示例实施