CN112767555B 用于校准增强现实装置的系统和方法 （波音公司）

US2016321530A1,2016.US2018025543A1,2018.使用校准数据将由AR装置生成的虚拟内容与用户在操作环境中正在查看的场景配准的方法上的2D标记(50)的标记标识符与在包含那些对象的3D模型的虚拟环境中指定的那些对象的3D位置配对并且然后生成将相应标记标识符与对象的相应3D位置相关联的标记到模型位置配对对列表来将所显示的虚拟3D内容与出现在可视计算出的当前AR装置到标记的偏移和从配对列2(a)使用表示唯一地识别相应二维标记的标记标识符的第一符号和表示配准标记的第(f)从所述三维可视化环境中获取表示来自附接有所述二维机器可读代码图案的所述(g)将所述相应二维标记的标记标识符与来自所述三维模型的所述相应对象的三维位(h)生成包含表示所述标记标识符和所述三维位置的配对列表的配对列表数据的数据(k)将虚拟内容加载到所述增强现实装置中，所述虚拟内容包括应用了所述二维标记(n)处理所述图像数据以获取表示应用在所述对象上的所述二维标记的所述标记标识(p)在所述配对列表中找到与所述二维标记的所述标记标识符相关联的所述对象的三(q)基于所述当前增强现实装置到标记的偏移和在所述配对列表中找到的所述对象的(r)以基于所述当前增强现实装置到标记的偏移和在所述配对列表中找到的所述对象使用表示所述配对列表数据的符号在所述二维标记上创建所述二维机器可读代码图步骤(i)包括使用表示所述配对列表数据的符号在所述二维标记上创建所述二维机器3步骤(i)包括光学读取所述二维机器可读代码图案以获取所述配对列表数据，并将所获取的配对列表数据存储在所述增强现实装置的非暂时性有形计算机可步骤(i)包括格式化所述配对列表数据以进行无线传输，并且然后传输用表示所述配对列表数据存储在所述增强现实装置的非暂时性有形计算机可读存储标记上的所述二维机器可读代码图案的缩放的纹象的所述二维标记的边界或所述对象的边界一所述非暂时性有形计算机可读存储介质存储配对列表数据和虚拟内容列表数据表示二维标记上的标记标识符与物理环境中应用了相应二维标记的对象的三维(a)使用表示唯一地识别相应二维标记的标记标识符的第一符号和表示配准标记的第(f)从所述三维可视化环境中获取表示来自附接有所述二维机器可读代码图案的所述(g)将所述相应二维标记的标记标识符与来自所述三维模型的所述相应对象的三维位(h)生成包含表示所述标记标识符和所述三维位置的配对列表的配对列表数据的数据(k)将虚拟内容加载到所述增强现实装置中，所述虚拟内容包括应用了所述二维标记4(n)处理来自由所述成像装置捕获的图像的图像数据以获取表示应用在所述对象上的(p)在存储在所述非暂时性有形计算机可读存储介质中的配对列表中找到与出现在所捕获的图像中的所述二维标记的标记标识符相关联(q)基于所述当前增强现实装置到标记的偏移和在所述配对列表中找到的所述对象的(r)以基于所述当前增强现实装置到标记的偏移和所述对象的三维位置的视点显示包维标记上的二维机器可读代码图案的缩放的5[0003]当前的AR系统通常难以获取AR装置相对于正在使用该装置的物理环境的精确三基于相机的方法来提供物理环境中的可见特征的定位信息，但是在一些环境中-尤其是与制造相关的用例-AR系统3D定位精度的当前水平不足以满足[0004]以下详细公开的主题涉及用于提供对数据的即时访问以相对于操作环境校准增标识符与在那些对象的3D模型中指定的那些对象的3D位置配对并且然后生成将相应标记6[0007]本公开描述了用于实现在AR应用中使用无源2D标记用于3D定位和/或3D定位校准进的3D定位精度的应用(诸如建造飞机(buildingairplanes))改进AR系统位置估计的方时使用3D位置数据来校准AR装置的现有定位过程的位置估计。该方法的创新性特征包括：现在正在查看的场景中的对象的3D位置在运行时应[0008]尽管本文稍后更详细地描述用于将由增强现实(AR)应用生成的虚拟内容与用户[0009]以下详细公开的主题的一个方面是一种用于提供对数据的即时访问以相对于操的第一符号和表示配准标记的第二符号在相应2D标记上创建多个2D机器可读代码图案；中的相应2D标记的图像数据；(d)处理图像数据以获取表示相应标记标识符的数字数据；表示来自附接有2D机器可读代码图案的3D模型的相应对象的3D位置的数字数据；(g)将相应2D标记的标记标识符与来自3D模型的相应对象的3D位置配对；(h)生成包含表示标记标识符和3D位置的配对列表的配对列表数据的数据文件以供运行时使用；并且(i)将配对列记的图像数据；(n)处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的空间位置的数据；(o)处理配准标记的空间位置以计算当前AR装置到标记的偏移；到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境参考系中的3D位置；并且(r)以基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置的对列表数据存储在AR装置的非暂时性有形计算机可读存储介[0011]以下详细公开的主题的另一方面是一种用于将由增强现实应用生成的虚拟内容7应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建多个表示应用在对象上的2D标记的图像数据；(g)处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的空间位置的数据；(h)处理配准标记的空间位置以计算当前AR装置到标记的偏移；(i)在配对列表中找到与2D标记的标记标识符相关联的对象的3D位置；(i)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境的参考系中的3D位置；并且(k)以基于当前AR装置到标记的偏移和在配对列像的图像数据以获取表示应用在对象上的出现在所捕获的图像中的2D标记的标记标识符和配准标记的空间位置的数据；(b)处理配准标记的空间位置以计算当前AR装置到标记的偏移；(c)在存储在非暂时性有形计算机可读存储介质中的配对列表中找到与出现在所捕获的图像中的2D标记的标记标识符相关联的对象的3D位置；(d)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR装置在物理环境的参考系中的3D位置；并且(e)以基于当前AR装置到标记的偏移和对象的3D位置的视点显示包括对象的虚拟特征[0013]下面公开用于将由AR应用生成的虚拟内容与用户在操作环境中正在查看的场景[0016]图2是示出用于将AR装置的位置从标记参考系转换为飞机的参考系的转换序列的[0017]图3是示出粘附在飞机的机身内部的窗户上的标记(例如，QR码图案标记)的使用[0019]图5是表示增强现实系统的运行时使用的示图，该增强现实系统被配置为使用粘8贴在飞机内部的窗户的2D标记和2D标记到3D对象模型配对列表(在下文中称为“标记到模[0020]图6是根据一个实施方式的识别用于提供对数据的即时访问以相对于操作环境校[0021]图7是根据一个实施方式的识别用于将由增强现实应用生成的虚拟内容与用户在[0022]图8是识别能够将计算机生成的虚拟特征与使用2D标记作为地标查看的物理环境[0023]图9A是表示可以使用本文公开的方法定位的手持式成像装置的等距前视图的示[0028]图13A至图13C是表示根据可选操作模式的投影到具有应用在其上的代码图案标记的阵列的表面的相应区域上的结合在AR装置中的相机的视野的相应[0029]图14是以纹理映射(texturemap)的形式表示虚拟内容的叠加的示图，该纹理映射表示在其上打印有代码图案的2D标记的视图上的代[0030]图15A至图15F是表示相应几何符号在已经粘附了2D标记的对象(在该示例中，由[0031]图16是识别适于托管增强现实应用的系统100的组件的框图，该系统可以与手持[0033]下面更详细地描述用于将由增强现实(AR)应用生成的虚拟内容与用户在操作环型数据库中的结构的任何元素的绝对位置的参考坐标系。CAD系统可以用于创建3D模型数9的特征的物理位置与来自虚拟模型的测量的笛卡尔坐标之间的这种一对一映射(在下文中[0037]以下详细公开的主题涉及用于通过将粘贴在物理环境中的编码的二维(2D)标记地，本公开描述了一种用于针对需要改进的3D定位精度的应用(诸如建造飞机))改进AR系前估计位置和出现在正在查看的场景中的对象的3D位置在运行时应用位[0039]无源2D标记被用作位置地标以在基于地标的参考系中向用户提供按需3D位置信[0041]本文公开的方法为用户提供了一种利用位置地标(例如，具有打印的代码图案的[0043]如本文所使用的，术语“视点”是相机查看并记录对象的视距离(apparentdistance)和方向。AR装置允许用户从可以被表征为虚拟相机的外观位置(apparent[0044]本文提出的AR装置校准过程使用具有打印在衬底上的代码图案的2D标记形式的示例是QR码。QR码是一种具有集成的配准基准符号(也称为配准标记)的2D条形码(也称为号52a、在代码图案的左上角的配准基准符号52b和在代码图案的右上角的配准基准符号装置/相机的绝对位置坐标。4×4齐次变换矩阵用于定义一个特定参考系相对于另一特定[0047]图2是示出用于将AR装置/相机的位置从QR码的参考系转换为飞机的参考系的转换序列的坐标系转换图。将AR装置/相机的位置从QR码参考系转换为飞机参考系的特定转[0049]该等式计算转换矩阵tr(其是在参考系{C}中定义的AR装置/相机相对于飞机的参考系{A}的位置)作为转换矩阵ir(其是在参考系{Q}中定义的QR码相对于飞机的参考系{A}的位置)和转换矩阵(其是在参考系{C}中定义的AR装置/相机相对于在参考系{Q}中和50b中的每一个包括符号(QR码图案48a和48b)，其编码识别QR码图案已经放置的参考位46a包围的窗户58a的顶部的中心；QR码图案标记50b被应用在由窗框46b包围的窗户58b的且由于QR码图案是可商购的现成产品中可获得的标准类型，这使得用户更方便地打印标[0054]图4是表示用于增强现实(AR)应用的2D标记(例如，QR码图案标记50a和50b)和对获取过程完成时，配对表被保存并且可以被转换成用户可访问的另一种机器可读形式(例示出了在初始设置之后并且在用户已经经由门口55进入飞机并且正在走过通道之后的场[0059]图5是表示AR系统的运行时使用的示图，该AR系统被配置为使用粘贴在飞机内部的窗户上的2D标记和标记到模型位置配对列表来校正内部3D位置估计。在图5所示的示例择距离较近的标记，并且如果没有完全可读的置于用户的视野8中。至少一个相机(图5中未示出)被安装到或包含在每个头戴式显示器4显示在头戴式显示器4上的虚拟内容与用户正在查看的场景对准所需或者甚至放置在适当的3D位置的文本。并非所有硬件都能够渲染复杂的3D实体模型(在下数据(无论是3D模型还是其他虚拟内容)适当地放置(定位)在3D物理环境(位置和取向)中，这是物理到虚拟世界对准的核心要素。尽管该系统的一个预期用途是用于头戴式显示装[0062]初始设置过程涉及在物理环境中扫描2D标记，并将2D标记与作为参考对象(诸如飞机上的窗框)一部分的物理对象的相应3D位置相关联(配对)。每个窗框可以是具有粘贴[0063]在将配对列表加载到AR装置之后或之前，与对象有关的虚拟3D内容(例如，3D模线段或标记轮廓-加载到AR装置上的虚拟环境显示应用中，但是标记的有效载荷的唯一内出的跟踪校正系统的任何用户使用。[0066]图6是根据一个实施方式的识别用于设置和校准AR系统的方法60的步骤的流程识相应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建结合在AR装置中的成像装置)捕获表示物理环境中的相应2D标记的图像数据(步骤63)。处理图像数据以获取表示相应标记标识符的数字数据(步骤64)。在获取图像数据之前或之表示标记标识符和3D位置的配对列表的配对列表数据的数据文件以供运行时使用(步骤可以基于标记坐标和如下所述测量的AR装置到将窗户安装到飞机上之前或之后在窗户上放置2[0069]除了将配对列表数据加载到AR装置上之外，图6所示的步骤是仅发生一次的环境的用户正在查看的场景的准确定位。运行时过程需要是可缩放的，使得来自多个环境(飞机)的设置数据可以容易地应用于多个装置-并且以即时的方式(诸如，当用户走上飞机(从2.400GHz到2.485GHz)中的短波长UHF无线电波在短距离上在固定装置与移动装置之间[0073]图7是根据一个实施方式的识别用于将由增强现实应用生成的虚拟内容与用户在显示装置上查看物理环境中的对象(步骤74)。另外，使用结合在AR装置中的成像装置(例基于当前AR装置到标记的偏移和在步骤82中找到的对象(与标记并置)的3D位置来计算在读取2D机器可读代码图案以获取配对列表数据并将所获取的配对列表数据存储在AR装置[0075]根据另一实施方式，步骤69(参见图6)包括：格式化配对列表数据以进行无线传AR装置的非暂时性有形计算机可读存储介[0076]图8是根据一个实施方式的识别能够将计算机生成的虚拟特征与使用2D标记作为地标查看的物理环境正确地对准的AR系统90的一些组件的框图。AR系统90包括AR装置92、计算机辅助设计(CAD)系统34和粘贴在物理环境中的相应对象上的一个或多个2D标记50。CAD系统34包括数据库，该数据库包括表示作为参考对象(诸如飞机)的组件的对象的模型器36和可操作地耦接到CAD系统34的收发器40。收发器36和40通过相应的天线38和42无线[0077]AR装置92包括：成像装置26(例如，相机)，其具有优选地包围2D标记50的视野的物理环境中的对象(图8中未示出)的3D位置的配对，该虚拟内容数据表示包括其上应用数据以获取表示应用在出现在捕获图像中的对象上的2D标记50的标记标识符和配准标记机系统以基于当前AR装置到标记的偏移和对象的3D位置控制显示装置32的视点显示包括[0079]根据其他实施方式，可以在设置期间使用单独的代码扫描装置(在图9A和图9B中[0083]图9A和图9B是可以在设置过程期间使用的示例性手持式成像装置18的等距前视线指示)、用于激活图像捕获的按钮16以及具有视线20(在图9B中由虚线指示)的集成的或应用(在图9A和图9B中未示出)的远程计算机系统无线通信。这种无线通信可以是蜂窝的、数据库通信的能力，如图8所示。飞机的3D模型存储在非暂时性有形计算机可读存储介质视化应用使得能够以飞机组件物理形式图形表示飞制成的膜或其他合适的可印刷柔性材料。可选地，可以使用便携式喷墨打印机(或类似装置)将代码图案48直接打印到已经应用到表面10(例如，飞机机身的窗户的内表面)的衬底[0086]图11是表示具有数据矩阵代码图案56和在代码图案标记50的相应角处的三个配准基准符号52a至52c的矩形代码图案标记50的可选类型的示例的示图。配准基准符号52a上打印有地标到位置映射54的标记可以放置在参考对象上的任何位置或与参考对象分离[0089]对于地标到位置映射54，标记的相应角中的QR码配准符[0090]由地标到位置映射54体现的配对列表将从成像的QR码图案解码的标记标识符数周知的基于QR码的AR处理来解决相机姿势问题来获取QR码相对于相机(其是AR装置的一部参考系的位置来获得在参考系中定义的相机(AR装置)的[0092]AR装置92的成像装置26(参见图8)可以用于读取QR码信息并将该信息传递到其他软件组件上以进行附加处理。其他软件组件从配对表检索绝对的3D位置数据(使用在QR的软件使用来自QR码扫描的位置和对准标记数据来计算)，并且然后执行前面提到的矩阵乘法以计算正确的绝对位置-然后该绝对位置用于校正AR装置9[0093]为了确定AR装置92相对于目标对象的位置(位置和取向)，需要获取目标对象(诸相对跟踪功能允许当AR装置92移动时计算距AR装置92的距离和结合在AR装置92中的相机[0094]所描述的跟踪功能在其中AR装置92仅具有对QR码图案标记上的QR码数据的离散在AR装置上运行的本地定位过程(诸如基于同时定位和映射(SLAM)的过程)中发生的漂移。[0095]图13A至图13C是表示根据可选操作的投影到具有应用在其上的QR码图案标记50a至50d的阵列的表面10的相应区域上的AR装置92的视野的相应示意图的示图，在该可选操于位置和取向跟踪和处理的算法可以采用类似于华盛顿大学的人机界面技术实验室(HITLab)、新西兰坎特伯雷大学的HITLabNZ和华盛顿西雅图的ARToolworks，Inc支持的计算相对于代码图案标记的真实相机位置和取向。AR装置92的相机捕获目标对象的视频。软件在每个视频帧中搜索任何QR码位置和对准元素。如果找到足够数量的位置和对准元[0096]三个配准基准符号52a至52c(图1所示)相对于AR装置92的相对位置和取向提供用连续更新的相对定位信息以及包含在由AR装置92读取的代码图案的数据有效载荷区域内视野8内并且在可以由AR装置92分辨的距离处。在已知AR装置92相对于目标对象的绝对位呈现的相关联的虚拟内容被调整以指示移动的AR装置92的变化位置。代码图案标记50a至中未示出)在AR装置92沿着该内表面10移动或平移时查看用于位置校正的代码图案。在图结合在代码图案标记50b中的唯一地标参考信息，本文公开的跟踪功能用于确定AR装置92[0099]不需要3D模型的一个简化方法是使用缩放到物理标记的大小并放置在虚拟3D环成透明或半透明以允许物理QR码图案通过AR图像覆盖部分可见。在AR装置的可视化环境虚拟代码图案相对于可见代码图案的任何未对准向用户指示AR装置可能未被适当地校准，包围的窗户58)的视图上的叠加的示图。每个几何符号被缩放并被放置在虚拟3D环境中的[0101]根据图15A所示的第一实施方式，虚拟特征是被成形和缩放为在虚拟内容与物理环境适当地对准时与窗框46的内边界一致的几何符号96a。根据图15B所示的第二实施方包括被成形和缩放为与窗框46的内边界一致的几何符号96a和被成形和缩放为在虚拟内容的几何符号96b和被成形(例如，矩形)和缩放为在虚拟内容与物理环境适当地对准时允许拟特征包括被成形(例如，菱形)和缩放为内接在窗框46的内边界内的几何符号96c和被成[0105]图16是识别适于托管增强现实应用的系统100的组件的框图，该系统可以与上述类型的手持式成像装置通信。处理器102通常是能够执行处理数据的计算机程序的任何计计算机可读程序代码存储在处理器上或以其他方式存储在存储器106中。在可选实施方式[0108]在各种情况下，存储装置104和存储器106可以被称为有形计算机可读存储介位置携带到另一位置的电子瞬态信号的计算机可[0109]系统100进一步包括一个或多个输入装置112(诸如图9A和图9B所示的手持式成像入装置112接收的其他用户输入或根据从存储在存储器106中的增强现实应用软件读取的指令选择性地处理存储在存储器106中的体地，图形处理器108处理3D模型数据并将像素数据输出到数字图像或光栅图形图像文件元(GPU)，但是一些系统(如低端计算系统或智能电话)可能具有带有嵌入式图形处理芯片[0113]显示装置110可以被配置为向用户呈现或以其他方式显示信息。合适的示例包括[0115]尽管已经参考各种实施方式描述了用于将由AR应用生成的虚拟内容与用户在操央处理单元)和用于存储可由处理单元读取的程序(例如，编码指令)的某种形式的存储器[0117]本文描述的方法可以被编码为体现在非暂时性有形计算机可读存储介质中的可[0118]下文所阐述的方法权利要求不应被解释为要求其中所述的步骤以字母顺序(权利要求中的任何字母顺序仅用于引用先前所述的步骤的目的)或以它们被叙述的顺序来执释为排除同时或交替执行的两个或多个步骤的任何[0120]项1.一种用于提供对数据的即时访问以相对于操作环境校准增强现实装置的方[0121](a)使用表示唯一地识别相应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建多个二维(2D)机器可[0126](f)从3D虚拟环境中获取表示来自其上附接有2D机器可读代码图案的3D模型的相[0128](h)生成包含表示标记标识符和3D位置的配对列表的配对列表数据的数据文件以[0140](k)将虚拟内容加载到AR装置中，该虚拟内容包括其上应用了2D标记的对象的虚[0143](n)处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的[0146](q)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算AR[0147](r)以基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置的视点[0150]步骤(i)包括使用表示配对列表数据的符号在2D标记上创建2D机器可读代码图[0151]步骤(i)包括光学读取2D机器可读代码图案以获取配对列表数据，并将所获取的配对列表数据存储在AR装置的非暂时性有形计算机可读[0153]步骤(i)包括格式化配对列表数据以进行无线传输，并且然后传输用表示配对列表数据存储在AR装置的非暂时性有形计算机可读存[0159]项14.一种用于将由增强现实应用生成的虚拟内容与用户在操作环境中正在查看[0160](a)使用表示唯一地识别相应2D标记的标记标识符的第一符号和表示配准标记的第二符号在相应2D标记上创建多个2D机器可标记上的标记标识符与应用了2D标记的相应对象的3D位置[0163](d)将虚拟内容加载到AR装置中，该虚拟内容包括其上应用了2D标记的对象的虚[0166](g)处理图像数据以获取表示应用在对象上的2D标记的标记标识符和配准标记的[0169](i)基于当前AR装置到标记的偏移和在配对列表中找到的对象的3D位置来计算A