CN112823328A 使用被绘制在外部显示器上的同步图像用于hmd相机校准的方法 （微软技术许可有限责任公司）

PCT/US2019/04400620WO2020/076398EN2020.04使用被绘制在外部显示器上的同步图像用被绘制在单独显示屏上的显示电子图像来执行HMD相机系统的内部和/或外部校准。使用HMD的已知的特性包括已知标记形状和多个已编码或该系列中的另一图像以不同角度或距离捕获显二维图像位置。HMD使用二维图像位置和标记的21.一种用于执行相机系统的内部和/或外部校准的方法，所述相机系统包括在头戴式使用所述HMD的相机中的一个或多个相机捕获所述显示电子图像的一系列图像，其中中的每个图像相对于所述一系列图像中的另一图像以不同角度或距离捕获所述显示电子使用所述二维图像位置和所述标记相对于彼此和/或相对于所述HMD的所确定的三维位置来执行束调整，所述束调整用于后续确定所述HMD与所述显示屏之间的位置距离和角2.根据权利要求1所述的方法，其中所述显示电子图像是多个显示图像中的一个显示3.根据权利要求2所述的方法，其中数据库被维护并且记录所述对应的单独显示屏中4.根据权利要求1所述的方法，其中在所述HMD仅包括单所述多个相机中包括的每个相机相对于彼此的位置和取向，以及(3)所述显示屏相对于三6.根据权利要求1所述的方法，其中所述标记的所述已知的特性包括所述已知图像中8.根据权利要求1所述的方法，其中所述HMD通显示并且通过周期性地捕获一个或多个经更9.根据权利要求1所述的方法，其中所述一系列图像是用于捕获所述显示电子图像的利用被绘制在单独计算机系统的显示屏上的显示电子图像来执行所述相机系统的内部和/使用所述HMD的相机中的一个或多个相机捕获所述显示电子图像的一系列图像，其中3中的每个图像相对于所述一系列图像中的另一图像以不同角度或距离捕获所述显示电子使用所述二维图像位置和所述标记相对于彼此和/或相对于所述HMD的所确定的三维位置来执行束调整，所述束调整用于后续确定所述HMD与所述显示屏之间的位置距离和角13.根据权利要求10所述的HMD，其中所述计算机可执行指令的执行还使所述HMD与和节所述光的亮度包括调节所述环境中的百叶窗或改变头顶灯的暗屏上的所述显示电子图像的中心区域与所述HMD的至少一个相机的光轴之间的角位移来执4[0001]虚拟现实(VR)系统由于能够为其用户创建真正独特的体验而受到了广泛的关[0003]一些VR系统还利用一个或多个身体上设备(包括HMD)、手持式设备和其他外围设[0005]本文中要求保护的主题不限于解决任何缺点或仅在诸如上述这些环境中操作的[0006]所公开的实施例涉及通过利用被绘制在单独计算机系统的显示屏上的显示电子5[0011]图1示出了用于在VR环境内显示与真实世界锚对象相对应的虚拟锚对象的示例方[0016]图6示出了真实世界锚对象如何用于帮助用户与VR环境互动，同时仍然使得用户[0017]图7示出了如何在VR环境内绘制与所选择的真实世界锚对象相对应的虚拟锚对象[0018]图8示出了不管HMD移动到何处，虚拟锚对象如何保持相对于真实世界被世界锁[0019]图9示出了如何使用不同视觉特性来显示虚拟锚对象以便增强或减小其对VR环境[0020]图10示出了在HMD以使得虚拟锚对象能够离开HMD的FOV的方式移动的情况下，如何显示方向指示符以示出如何移动HMD就可以使虚拟[0021]图11示出了不管HMD在真实世界环境内的取向如何，如何可以提供方向指示符以[0022]图12示出了用于选择计算机屏幕以用作锚对象并且用于在VR环境内显示对应的[0024]图14示出了如何使用校准标记图像来促进确定HMD与IoT设备的显示屏之间的相[0025]图15示出了HMD如何能够在校准标记图像被显示在IoT设备的显示屏上的同时记[0026]图16A、16B和16C示出了如何将校准标记图像中包括的每个标记之间的距离用于6[0028]图18A和18B示出了在VR环境内提供多个真实世界锚对象以及绘制多个对应虚拟[0029]图19示出了用于使用HMD的相机系统来执行内部和/或外部校准的示例方法的流象的位置的了解来保持对他/她的真实世界环境的认识(即使沉浸在VR环境内)。这种认识提供(在VR环境内)与静态或确切地说是固定的真实世界锚对象相关联的虚拟锚对象来为作可以以某种顺序讨论或者在流程图中被示出为以特定顺序发生，但是不需要特定顺序，71中呈现的方法以介绍所公开的实施例，而本公开的后续部分将更充分地阐明所公开的实[0038]图1示出了用于在VR环境内提供与真实世界锚对象相对应的虚拟锚对象的示例方[0039]例如，图2示出了用户205所在的真实世界环境200。用户205当前正在使用HMD[0042]图3示出了其中HMD300对真实世界环境310执行扫描操作3058制的VR环境内。该虚拟锚对象被绘制在VR环境内指示/反映锚对象相对于计算机系统的所使得VR环境500看起来相对于佩戴HMD的用户正在移动，并且其中VR环境500移动与用户或[0048]图6示出了即使用户物理地位于表示先前描述的真实世界环境的真实世界环境境605中的同时在移动，所以提醒用户他/她仍在真实世界环境600中并且用户应当避免与9取向的信息被更新(动作120)。执行这些更新以跟踪计算机系统的位置相对于锚对象的位705与图8的锚805之间的形状的视觉差异表明，绘制形状可以取决于真实世界锚对象相对障碍物碰撞。在其他实施例中，锚点905的视觉外观可以准确地反映真实世界锚对象的外[0059]在一些实施例中，锚点905的状态/视觉外观可以基于用户到任何真实世界对象/[0061]图11示出了方向指示符如何用于帮助用户保持对他/她的真实世界环境的认识的对象可以是指向指示符，该指向指示符可以基于其所指向的方向/取向来在视觉上指示真电视的存在，但是带有对应处理器和通信信道的其他物联网(IoT)设备也可以存在并且可通信信道将指令传递给智能电视1310。这些信道的示例包括但不限于近场通信(NFC)、图像1400可以包括任何数目的图像，诸如例如标记1400A、标记1400B、标记1400C、标记个体标记(即，标记1400A_1400F)之间的距离可以是已知的。为了说明，距离1405、距离[0069]在一些实施例中使显示屏显示已知图像的过程和HMD确定其相对于显示屏的位示屏以用作锚对象的过程可以包括在显示屏与HMDHMD可以向单独计算机系统发布另一指令以向其指示校准标记图像可以被去除。另外地或相机，诸如头部跟踪相机)扫描1505真实世界环境1500以检测显示在智能电视上的已知图诸如例如标记1510中包括的个体标记之间的间隔。因为该间隔是由HMD先前建立并且已知捕获图像中记录的间距值之间的关系来确定HMD与智能电视之多个属性来生成描述计算机系统与单独计算机系统的显示屏之间的位置关系的信息。图倾斜和位置由1600A所示的计算机的视角来反映。通过在屏幕显示已知图像的同时捕获显界环境中相对于标记具有已知位置的另一对象/锚点)在VR环境内被呈现为具有适当位置[0076]图16B示出了计算机以及对应显示图像和标记的另一视角1600B(该视角是由HMD观察到的视角)，其中一组标记的距离1605B将不同于同一组标记的距离1605A，因为视角1600B不同于视角1600A。类似地，图16C示出了计算机以及对应显示器和标记的又一视角[0077]图16D提供了用于校准HMD与被绘制在单独计算机系统的显示屏上的电子图像之[0079]可以已知的特性的非限制性示例包括已知图像内包括的第一组两个已知点之间识与标记相关联的分别具有预定的第一已知距离和别软件标识预定且已知存在于显示图像中并且以特定视角被绘制在显示电子图像中的校够从图像中标识/提取相关校准标记。这些具有已知距离和与其相关联的其他尺寸的标记[0083]此后，HMD针对与标记相关联的第一组已知点来计算在显示电子图像内观察到的关联的第二组已知点来计算在显示电子图像内观察到的标记的第二组已知点之间的第二[0084]接下来，通过比较至少(1)第一视角距离与与标记相关联的第一已知距离，以及比较记录图像的属性与预先建立的图像的已知属性，HMD能够准确地确定其相对于显示屏的显示器反射性太强或太多的眩光/光亮，所以次生电子图像的质量可能不满足质量阈值制具有已知点尺寸/距离的不同标记的不同图像，或者甚至使不同显示屏绘制图像(例如，或者执行提高真实世界环境中的可见性的任何其他[0086]相对较大版本的电子图像或新的电子图像替换显示在单独计算机系统的显示屏或新的电子图像代替电子图像来确定HMD与单独计算机系统的显示屏之间的(1)位置距离，摄到的新的HMD图像中获取的一组新的捕能够确定所显示的图像(例如，显示在计算机屏幕上或由将图像投影到表面上的投影仪显像。如果使用突发技术，则实施例能够分析每个突发图像以标识图像质量最高的图像(例HMD的任何检测到的移动来连续或周期性地更新位置关系信息(即，描述HMD与显示屏之间生成的对应缓存视频进行比较来完成生成描述HMD与显示屏之间的位置关系的信息的过[0094]图17示出了真实世界环境1700的示例场景，其中HMD正在扫描1705显示缓存视频1710的智能电视的显示屏。通过用其相机记录缓存视频1710，HMD可以将记录的缓存视频智能电视相对应的锚点1805A和与图17中的桌子相对应，但是被可视化为星形的锚点在真实世界环境内间隔开并且可以选择性地用于确保至少一个(尽管可能更多)虚拟锚对1810B示出了与视角1810A中的标记1815A相对应的标记1815B和与视角1810A中的标记射并且一旦知道锚对象的位置，实施例就能够在虚拟现实体验期间使用锚对象和/或空间的信息的数据库或数据存储库。该数据库可以维护与这些锚对象的物理位置有关的信息[0100]应当理解，任何真实世界对象都可以用作锚对象。例如，参考图18B，代替标记[0103]图19示出了用于使用显示在显示屏上的电子图像来校准HMD的相关实施例。特别地，图19示出了用于使HMD通过利用被绘制在单独计算机系统的显示屏上的显示电子图像定相机相对于三维环境的相对位置)的示例性方法1900的流程图，该相机系统包括一个或[0104]方法1900最初包括使用HMD的一个或多个相机捕获显示电子图像的一系列图像的或相对于环境/HMD的所确定的三维位置来执行束调整，以确定HMD与单独显示屏之间的位[0109]在一些实施例中，还可以周期性地或响应于确定HMD的原始或先前校准已经漂移情况下，可以通过在HMD的显示器上显示指令和/或通过用HMD的一个或多个扬声器投射音包括在计算机系统2000中或与计算机系统2000附接，例如包括被配置为检测传感器数据以在真实世界环境中对对象进行分割和特征化时使[0115]存储装置2020被示出为包括可执行代码/指令2025。存储装置2020可以是物理系[0116]所公开的实施例可以包括或利用专用或通用计算机，该计算机面更详细地讨论的。实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物程序代码并且可以由通用或专用计算机访问的任何其他介质。一个或多个有线或无线网络2030连接到被配置为执行关于计算机系统2000而描述的任何[0119]在使用期间，计算机系统2000的用户能够通过显示屏来感知信息(例如，MR环境见的。I/O接口和具有I/O的传感器还包括手势检测设备、眼动仪和/或其他移动检测组件[0120]图形绘制引擎还可以被配置为与处理器2005一起在VR环境内绘制一个或多个虚包括可以用于以计算机可执行指令的形式或以数据结构的形式来承载数据或期望程序代内的RAM中并且然后最终传输到计算机系统RAM和/或到计算机系统处的不太易失性的计算指令(诸如汇编语言)或甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描[0125]另外地或替代地，本文中描述的功能可以至少部分由一个或多个硬件逻辑组件