CN119451733A 用于跟踪控制器和同时的身体跟踪的方法中的动态视觉传感器混合元件、slam或安全挡板的部署 （索尼互动娱乐股份有限公司）

2024.12.03PCT/US2023/0183902023.04.12WO2023/239456EN2023.12.14用于跟踪控制器和同时的身体跟踪的方法根据两个或更多个光源相对于彼此和相对于控制器主体的已知配置并根据响应于从所述光源输出的光的变化而生成的来自动态视觉传感器(DVS)的输出的信号来确定控制器的位置和取向。所述输出的信号指示在所述DVS中的阵列中的对应光敏元件处的时间事件和所述光敏元个光敏元件而由所述两个或更多个光敏元件生2根据两个或更多个光源相对于彼此和相对于控制器主体的已知配置并根据响应于从所述两个或更多个光源输出的光的变化而生成的来自动态视觉传感器(DVS)的输出的信号来确定控制器的位置和取向，其中所述输出的信号包括对应于在所述DVS中的两个或更多个光敏元件的阵列中的两个或更多个对应光敏元件处的两个或更多个事件的时间和所述根据由于其他光到达两个或更多个光敏元件而由所述两个或更多个光敏元件生成的3.如权利要求1所述的跟踪方法，其中所述一个或多个对象包括除所述控制器之外的4.如权利要求1所述的跟踪方法，其中所述一个或多个对象包括所述控制器和除所述5.如权利要求1所述的跟踪方法，其中根据由于其他光到达两个或更多个光敏元件而由所述两个或更多个光敏元件生成的信号来确定一个或多个对象的位置和取向包括确定6.如权利要求1所述的跟踪方法，还包括响应于所述一个或多个对象的所述确定的位7.如权利要求6所述的跟踪方法，其中所述光学安全挡板包括可操作地耦合到所述头8.如权利要求7所述的跟踪方法，其中触发所述光学安全挡板包括响应于所述一个或多个对象的所述确定的位置而触发所述光学安全挡板从由所述两个或更多个光敏元件生成的信号来确定一个或多个对象的位置和取向包括根据由位于所述控制器上的DVS中的两个或更多个光敏元件生成的信号来确定环境的地图和所器学习算法来将所述一个或多个对象的位置和取向拟合到由所述两个或更多个光敏元件12.如权利要求1所述的跟踪方法，还包括从惯性测量单元(IMU)接收对应于角变化率13.如权利要求12所述的跟踪方法，其中确定所述控制器的所述位置和所述取向还包括使用对应于所述角变化率或所述特定力或特定加速度或所述磁通量变化的所述信息来3用输出的光的所述变化和输出的光的变化的已知模式来确定所述已知配置中的所述两个17.如权利要求1所述的跟踪方法还包括响应于所述控制器的所述确定的位置而触发18.如权利要求17所述的跟踪方法，其中所述光学安全挡板包括可操作地耦合到所述19.如权利要求17所述的跟踪方法，其中触发所述光学安全挡板包括响应于所述一个或多个对象的所述确定的位置而触发所述光学安全挡板从4[0002]现代虚拟现实(VR)和增强现实(AR)实施方式依赖于准确且快速的运动跟踪以用于与装置的用户交互。AR和VR通常依赖于关于控制器相对于其他对象的位置和取向的信[0003]最早实施方式中的一些使用由指向屏幕的游戏控制器上的具有定义的检测半径[0004]最近实施方式使用相机和加速度计与被训练来检测手部、控制器和/或其他身体[0007]图1是描绘根据本公开的一方面的使用具有单传感器阵列的DVS的游戏控制器跟[0008]图2是描绘根据本公开的一方面的使用具有双传感器阵列的DVS的游戏控制器跟[0009]图3是描绘根据本公开的一方面的使用具有单传感器阵列和相机的组合DVS的游[0010]图4是示出根据本公开的一方面的DVS跟踪具有两个或更多个光源的游戏控制器5[0011]图5是描绘根据本公开的一方面的使用包括具有单传感器阵列的DVS的控制器的[0012]图6是描绘根据本公开的一方面的使用包括具有双传感器阵列的DVS的游戏控制[0013]图7是示出根据本公开的一方面的使用包括具有单传感器阵列和相机的组合DVS[0014]图8是描绘根据本公开的一方面的用于使用一个或多个光源和光源配置拟合模型[0015]图9是示出根据本公开的一方面的用于使用加时间戳光源位置信息用DVS进行运[0017]图10B是示出根据本公开的各方面的RNN可被认为是随时间推移的具有相同激活[0019]图10D示出了描绘根据本公开的各方面的用于机器学习神经网络的监督训练的方[0021]图11B是根据本公开的各方面的具有以棋盘图案布置成阵列的多种传感器类型的[0022]图11C是根据本公开的各方面的具有以某一图案布置成阵列的多种传感器类型的[0023]图11D是根据本公开的各方面的以某一图案布置成阵列的具有多种滤波器类型的[0024]图12是示出根据本公开的各方面的包括具有用光分离器分离的输入的多种传感[0025]图13是描绘根据本公开的各方面的具有包括由微机电(MEMS)镜分离的输入的多[0026]图14是示出根据本公开的各方面的具有包括时间滤波的输入的多种传感器类型6发明的示例性实施方案在不失要求保护的本发明的一般性且未对要求保护的本发明强加[0039]两个或更多个光源可以由光的闪光速度确定的更新率提供关于DVS相机相对于位对在其视场(FOV)内发生的运动敏感。DVS可检测由移动表面的光反射引起的光强度的变[0041]图1描绘了根据本公开的一方面的使用具有单传感器阵列的DVS101的游戏控制器确地确定控制器103相对于DVS101的位置和取向。关于光源的已知信息可包括光源中的每一者相对于其他光源中的每一者之间的距离和光源中的每一者在控制器103上的位置。如7为用例如但不限于电路系统和/或来自处理器的信号以预定模式打开和关闭。预定模式可[0043]DVS可能具有近连续更新率，该近连续更新率可离散地近似为每秒约1百万次更[0045]图2示出了根据本公开的一方面的使用具有双传感器阵列的DVS的游戏控制器跟一阵列的信息组合以提供对控制器取向和某种深度信息的更好的拟合。两个DVS或光敏阵[0046]两个DVS或两个光敏阵列为深度感测提供双眼视觉。这进一步允许光源数目的减8可允许仅使用与控制器耦合的两个光源。第三DVS或光敏阵列可不与另两个DVS或阵列共[0049]图3描绘了根据本公开的一方面的使用具有单传感器阵列和相机的组合DVS的游机302可耦合到头戴式耳机303。DVS301和相机302可具有部分重叠的视场或共享相同视图像帧可用于使用机器学习算法来执行用户的由内而外跟踪，例如手部跟踪或脚部跟踪。IMU308可提供用于进一步改善控制器的位置和取向的确定的附[0050]第一DVS301、第二DVS302、头戴式耳机303和IMU308可操作地耦合到处理器[0051]图5描绘了根据本公开的一方面的使用包括具有单传感器阵列的DVS的控制器的头戴式耳机的光源跟踪在DVS507的视场内的头戴式耳机501。头戴式耳机501可包括两个于确定控制器是否正在相对于头戴式耳机移动和该移动的速度[0053]图6示出了根据本公开的一方面的使用包括具有双传感器阵列的DVS的游戏控制器的头部跟踪或其他装置跟踪的实施方式的示例。这里，控制器605耦合到两个DVS606、耦合到头戴式耳机601的IMU605的信息可用于改善位9[0055]图7描绘了根据本公开的一方面的使用包括具有单传感器阵列和图像相机的组合将来自单个发射器的光拆分成头戴式耳机外壳上的两个或更多个光源的塑料或玻璃光管[0058]在一些实施方式中，IMU705也可耦合到头戴式耳机701。头戴式耳机701、IMU源的驱动器和将光束从光源投射到设计的照明场(FOI)的漫射器组成。DToF照明模块可包[0062]图4示出了根据本公开的一方面的DVS跟踪具有两个或更多个光源的游戏控制器四光418的闪光而由DVS的光敏元件检测到的事件的位置和时间可拟合控制器的新位置和[0066]图8中的流程图描绘了根据本公开的一方面的用于使用一个或多个光源和光源配光感测元件阵列内发生事件的位置和对应于大于某一检测阈值的光强度的变化的二进制式是否与LED的脉冲一致。形状太大或太小或太不规则的事件模式可能作为LED事件被排训练的机器学习模型应用于处理的事件数据以确定在检测到的脉冲804与姿势808之间的件而不是经训练的模型805。拟合算法可使用光源的手工开发的模型来使控制器的位置和[0069]图9示出了根据本公开的一方面的用于使用加时间戳光源位置信息用DVS进行运(例如，通过将在预定义时间间隔内在阵列中的各个元件处发生的多个事件组合成单个数上接近但在初始事件之后的事件来将多个事件凝聚成信息来预测光源的位置，该预测可与根据LED时间序列确定的位置信息组合以改善移动数该数据集可包括来自DVS的输入，诸如具有已知控制器位置和取向作为标签的事件或处理自IMU的惯性信息之间的融合。用于融合的训练集可例如但不限于潜在的控制器位置和取构建或更新未知环境的地图而同时地跟踪代理在其该位置环境内的过将结果从先前时间T馈送到当前时间T+1来[0075]在一些实施方式中，可使用卷积RNN。可使用的另一种类型的RNN是长短期记忆[0076]图10C描绘了根据本公开的各方面的可例如在经训练的模型805中使用的卷积神跃值为1的高度为2个单位且宽度为2个单位的大小的滤波器1033和大小为9的通道136。为[0082]图11A是描绘根据本公开的各方面的具有多种共定位传感器类型的混合DVS的的第二传感器类型1102。例如，但不限于，DVS可见光敏元件1103可包围可见光相机像素里，第一传感器类型1102的块与第二传感器类型1103的块均匀地分布。第一传感器类型许其他波长通过1103。该滤波可允许用于DTOF的照明器灯的波长和用于DVS光敏元件的特和图案化混合传感器阵列1120的混合DVS成像单元1112C的一个示例。传感器阵列包括DVS[0086]图12是示出根据本公开的各方面的包括具有用光分离器分离的输入的多种传感[0087]图13是描绘根据本公开的各方面的具有包括由微机电(MEMS)镜分离的输入的多一部分1301和第二部分1302可基于由MEMS镜1304反射的光的入射角来彼此物理上分离1306衍射到阵列的至少第一部分1301或将第二波长范围的光1307衍射到阵列的第二部分[0089]图14是示出根据本公开的各方面的具有包括时间滤波的输入的多种传感器类型[0094]身体跟踪结合如上文所讨论的控制器位置和取向的确定可用于触发VR或AR头戴系统操作的扣环1605与安全挡板门1606上的扣环1608相互作用以确保门在孔1607上关闭。加载的轨1619可在安全挡板关闭时推压滑动安全挡板1616并确保安全挡板在安全系统被[0099]图16C描绘了根据本公开的各方面的具有百叶式安全挡板的头戴式耳机。在该实条的更长尺寸大致上平行于光学器件，并且每个板条与另一个板条或头戴式耳机主体重[0101]图16D示出了根据本公开的各方面的织物安全挡板。在该实施方式中，安全挡板操作的扣环1605可与耦合到织物安全挡板1636的扣环1638对接并确保织物安全挡板不会[0103]图16E示出了根据本公开的各方面的具有液晶安全挡板的头戴式耳机。在该实施全系统控制的液晶屏驱动器1649通信耦合到液晶一个耦合的元件向另一个耦合的元件发送和/或接收表示消息或指令的电信号，该信号可[0107]本公开的各方面可应用于手指跟踪。图17描绘了根据本公开的各方面的用DVS和个或更多个光源包括在一个或多个按钮1705附近的一个或多个光源1706和两个或更多个其他跟踪光源1703用于确定控制器的位钮附近的一个或多个光源1706可以预定间隔关闭和打开。DVS1702可在每次闪光时生成事按钮附近的一个或多个光源1706或其他光跟踪光源1703不同的间隔关闭和打开。替代地，按钮1705的光源可具有与在附近的一个或多个光源1706或其他光跟踪光源1703不同的波器学习算法训练机器学习模型以从因手指移动而引起的环境光变化所生成的事件检测手些实施方式中，可使用专门机器学习算法来训练专门机峰并将其权重传输到下一层。SNN可经由STDP和监督或无监督学习技术进行训练。和有关SNN的更多信息可在Tavanaei、Amirhossein等人的“DeepLearninginSpikingNeural习模型经训练以从HDR图像辨识手部位置或控制器位置和取向。经训练的机器学习模型可以是用如在通用神经网络训练部分中所讨论的监督学习技术训练的通用机[0116]用于基于瞳孔位置来确定眼睛凝视方向的两种常见凝视跟踪技术称为亮瞳跟踪射光从视网膜反射离开并通过瞳孔反射回DVS。瞳孔在图像中呈现为在瞳孔的位置处的可[0117]暗瞳跟踪涉及用基本上偏离DVS的光轴的光源进行照明，从而致使被引导穿过瞳[0118]图18A描绘了可在本公开的上下文中使用的暗瞳凝视跟踪系统1800的示例。凝视[0119]视网膜R上的光敏细胞生成电脉冲，该电脉冲经由视神经ON被发送到用户的大脑反射。反射的不可见光由波长选择镜1806导向对红外光敏感的DVS1804。镜透射来自屏幕幕1801的凝视方向。确定的凝视方向GD能够示出在眼睛E相对于屏幕1801移动时该眼睛的[0123]还如图18B所示，事件还可包括分别来自角膜C和晶状体L的不可见光的反射1807型的眨眼期间，典型地经过150毫秒(ms)的时段，其中用户的视觉没有聚焦在呈现的图像但不限于用户的眨眼的测量的开始和结束时间以及预域可存在于呈现给用户的图像中，使得具有特定形式的色盲的用户将不会注意到这些区[0131]在某些替代实施方式中，确定的凝视跟踪状态参数包括用户的凝视稳定性的测[0132]在又另外替代实施方式中，确定的凝视跟踪误差和/或状态参数包括用户的注视[0133]在某些替代实施方式中，确定的凝视跟踪误差和/或状态参数包括将眼球移动确[0136]图19是根据本公开的各方面的用于用DVS进行跟踪的系统的系统框图。作为示例[0137]系统1900通常包括中央处理器单元(CPU)1903和存储器1904。系统1900还可包括[0138]系统1900可包括显示装置1931以用于向用户呈现渲染图[0139]这里，显示装置1931与DVS1901A耦合，并且控制器1902包括两个或更多个光源游戏控制器，并且显示装置可替代地包括两个或更多个光源。在又其他替代实施方式中，DVS是与显示装置或控制器解耦的单独单元，控制器和显示装置在这种情况下都可包括两包括可使用与显示装置1901分离并耦合到[0142]此外，在显示装置1931是HMD的部分的情况下，该装置可装配任选的安全挡板储器1904可呈提供可寻址存储器(例如，随机存取存储器(RAM)、动态随机存取存储器理器1903在处理时使用的应用数据1923。主存储器1904还可包括从DVS1901接收的事件数据1909。经训练的神经网络(NN)1910可加载到存储器1904中以用于确定位置和取向数据，预定闪光间隔等的信息。存储器还可含有来自耦合到控制器1902或显示装置1931的IMU的在被训练来执行同时定位和映射(SLAM)的机器学习算法中利用此类位开始时加载到主存储器1904。另外，大容量存储装置1915可含有处理器在应用1923、[0158]这些部件由专有或行业标准总线连接。直接储器存取(DMA)控制器直接地在外部[0159]典型的SoC包括上文描述的硬件部件和控制处理器核心、外围设备和接口的可执[0160]本公开的各方面提供特征为比用常