CN113658278B 用于空间定位的方法及装置 （优奈柯恩(北京)科技有限公司）

本公开提供了一种用于空间定位的方法及一图像包括第二设备的2D点和2D点对应的描述子和2D点对应的描述子对第二设备的2D点和第到至少三个不共线的第二设备的2D点与第二设第二设备在世界坐标系中的定位以及第二设备备的3D模型在世界坐标系中的定位以及第一对2采集第二设备的第一图像，所述第一图像包括所述第二设备的2D利用所述第二设备的3D模型上的3D点对应的描述子和所述2D点对应的描述子对所述根据所述第二设备在世界坐标系中的定位以及所述第二设备与所述3D模型之间的第根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述根据所述第二设备在世界坐标系中的定位以及所述第二对应关系根据所述第二设备在世界坐标系中的位姿以及所述第二对应关系根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述使用PnP算法根据所述第一对应关系计算所述第一设备在所述第二设备的3D模型坐标基于所述第一设备在所述第二设备的3D模型坐标系中的位姿以及所述第二设备的3D根据所述第二设备在世界坐标系中的定位以及所述第二对应关系根据所述第二设备在世界坐标系中的位置以及所述第二对应关系根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述根据所述第一对应关系和符合所述第一对应关系的所述第二设备的3D模型的3D点在使用随机抽样一致性算法从所述第一图像中的至少三个不共线的所述第二设备的2D将所述内点确定为所述第一对应关系应用于PnP算法时3设备用于控制通过头戴式设备显示的虚拟对象并包括用于采集第一图像的在所述第一设备采集到的第一图像中不包括至少三个不共线的所述第二设备的2D点基于所述第二设备的3D模型在所述世界坐标系中的定位和预存的所述指定对象的3D在所述第二图像中对至少三个不共线的所述指定对象的2D点得到所述第二图像和所述指定对象的3D模型之间的第三对基于所述指定对象的3D模型在所述世界坐标系中的定位和所述第包括可作为关键点的所述指定对象的2D点，所述指定对象与所述第二设备的相对位置固在第二图像中对至少三个不共线的所述指定对象的2D点进行关根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述使用PnP算法根据所述第一对应关系和所述匹配关系计算所述第一设备在所述第二设基于所述第一设备在所述第二设备的3D模型坐标系中的位姿以及所述第二设备的3D9.如权利要求8所述的方法，其中，在所述使用P依据预存的所述指定对象的3D模型与所述第二设备的3所述指定对象的3D模型的坐标系转换为所述第二设备的3D模型的坐标根据所述第一设备的预定移动速度和所述先前帧图像中所述第二设在所述第一图像中的所述预估移动范围内进行搜索，4根据所述第二设备在世界坐标系中的位置和所述第一设备在所述世界坐标系中的位通过所述第二设备和所述第一设备的相对位置，计算所述第二设备的2在所述第一图像中的所述预估范围内进行搜索，以在所述特征点匹配单元，被配置为利用所述第二设备的3D模型上2D点对应的描述子对所述第二设备的2D点和所述第二设备的3D模型上的3D点进行特征点定位单元，被配置为根据所述第二设备在世界坐标系中的定位述3D模型之间的第二对应关系，确定所述第二设备的3D模型在所述世界坐标系中的定位，位姿确定单元，被配置为根据所述第二设备的3D模型在所第一位姿确定模块，被配置为根据所述第二设备在世界坐标系第二位姿确定模块，被配置为使用PnP算法根据所述第一对应关系计算所述第一设备第三位姿确定模块，被配置为基于所述第一设备在所述第位置确定模块，被配置为根据所述第二设备在世界坐标系第四位姿确定模块，被配置为根据所述第一对应关系和第二设备的3D模型的3D点在所述世界坐标系中的位置，使用PnP算法计算所述第一设备在5线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应关系中确定内所述图像采集单元，被配置为在所述第一设备采集到的第一图像中不包所述定位单元，被配置为基于所述第二设备的3D模型在所述世所述装置还包括：关键点匹配单元，被配置为在所述第二图像中对所述位姿确定单元，被配置为基于所述指定对象的3D模型在所述关键点匹配单元，被配置为在第二图像中对至少三个不共线的所述指使用PnP算法根据所述第一对应关系和所述匹配关系计算所述第一设备在所述第二设基于所述第一设备在所述第二设备的3D模型坐标系中的位姿以及所述第二设备的3D坐标系转换单元，被配置为依据预存的所述指定对象的3D模型与所述根据所述第一设备的预定移动速度和所述先前帧图像中所述第二设在所述第一图像中的所述预估移动范围内进行搜索，6根据所述第二设备在世界坐标系中的位置和所述第一设备在所述世界坐标系中的位通过所述第二设备和所述第一设备的相对位置，计算所述第二设备的2在所述第一图像中的所述预估范围内进行搜索，以在所述7至少三个不共线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应备的3D模型上的3D点对应的描述子和所述2D点对应的描述子对所述第二设备的2D点和所8[0013]图4示出了根据本公开的第一图像中的2D点与3D模型的3D点之间的映射关系的一[0015]图6示出了根据本公开的第二设备、3D模型以及世界坐标系三者之间的一个示例进行姿态解算，而一般的用于消费类产品的IMU只能实现3DOF(degreeoffreedom)的功9模型上的3D点对应的描述子和2D点对应的描述子对第二设备的2D点和第二设备的3D模型[0032]图2示出了根据本公开的空间定位方法的一个示例200的流程图。图2所示的空间镜上的特征点与3D模型上的3D点的第二对应位置点(以下称为：第一位置点)作为3D模型坐标系中的一个位置点(以下称为：第二位置与传感器有固定相对位置关系的其他位置点确备上的传感器在3D模型坐标系中创建第二设备的[0044]可以理解的，在210获取第二设备和第二设备的3D模型之间的第二对应关系的步[0049]在本公开中，第二设备的第一图像与第二设备的3D模型都用于表示同一个物体[0054]在通过第一设备的IMU确定第一设备的预定移动速度后，可以确定图像帧之间的心的指定距离所确定的范围确定为第二设备的2D点在第一图像中的预的第二设备的2D点与第二设备的3D模型的3D点之间的第一对应点匹配的方式确定出至少三个不共线的2D点与3[0068]图4示出了根据本公开的第一图像中的2D点与3D模型的3D点之间的映射关系的一[0071]在240，根据第二设备在世界坐标系中的定位以及第二设备与所述3D模型之间的[0076]图5示出了根据本公开的空间定位方法的另一个示例500的流程图。图5所示的空[0078]在520，利用第二设备的3D模型上的3D点对应的描述子和2D点对应的描述子对第二设备的2D点与第二设备的3D模型的3D点之间的第[0079]图5中的510和520的操作分别与上述图2中的220和230的操作相似，在此不再描[0082]第二对应关系是第二设备上的特征点与第二设备的3D模型上的3D点之间的对应[0084]在540，使用PnP(perspective-n-point)算法根据第一对应关系计算第一设备在[0085]在本公开中，第一对应关系是第一图像中的2D点与3D模型的3D点之间的对应关[0086]在本公开中，PnP算法可以包括P3P算法、EPnP(EfficientPnP)算法、aP3P点的点对，通过PnP算法，根据2D点在相机坐标系下的坐标与3D点在3D模型坐标系下的坐法从第一图像中的至少三个不共线的第二设备的2D点与第二设备的3D模型的3D点之间的[0090]在确定出内点后，可以使用PnP算法根据内点来计算第一设备在第二设备的3D模置固定。根据第一设备在3D模型坐标系中的位姿和3D模型坐标系与3D模型的相对位置关[0094]图7示出了根据本公开的空间定位方法的另一个示例700的流程图。图7所示的空[0096]在720，利用第二设备的3D模型上的3D点对应的描述子和2D点对应的描述子对第二设备的2D点与第二设备的3D模型的3D点之间的第[0097]图7中的710和720的操作分别与上述图2中的220和230的操作相似，在此不再描对应关系的第二设备的3D模型的3D点在世界坐标系中的位置，使用PnP算法计算第一设备三个不共线的第二设备的2D点与第二设备的3D模型的3D点之间的第一对应关系确定内点。的第一图像中不包括至少三个不共线的第二设备[0106]在第一设备采集到的第一图像中不包括至少三个不共线的第二设备的2D点的情所存储的3D模型可以包括3D点以及对应的[0115]将各个关键点对应的匹配关系结合得到指定对象的3D模型与第二图像之间的第[0118]在该示例中，在第二图像中对至少三个不共线的指定对象的2D点进行关键点检测，得到至少三个不共线的指定对象的2D点和指定对象的3D模型的3D点之间的匹配关系。[0119]在得到关键点对应的匹配关系后，可以使用PnP算法根据第一对应关系和匹配关的坐标系。从而使得指定对象与第二设备的3D模型统一为在第二设备的3D模型的坐标系IMU数据。第一设备可以使用采集的IMU数据实时计算该第一设备在世界坐标系中的位姿[0124]第一设备在拍摄第一图像时可以根据当前采集的IMU数据计算当前的位姿a。然后，在通过本公开的实施例根据第一图像确定出第一设备在世界坐标系中的位姿(以下称[0125]在一个示例中，也可以直接用采集的IMU数据和根据第一图像确定出第一设备在[0127]图8示出了根据本公开的空间定位装置800的一个示例的方框图。空间定位装置[0129]图像采集单元810被配置为采集第二设备的第一图像，第一图像包括第二设备的[0130]特征点匹配单元820被配置为利用第二设备的3D模型上的3D点对应的描述子和2D设备的3D模型包括3D点和3D点对应的[0131]定位单元830被配置为根据第二设备在世界坐标系中的定位以及第二设备与3D模[0132]位姿确定单元840被配置为根据第二设备的3D模型在世界坐标系中的定位以及第测，得到至少三个不共线的指定对象的2D点和指定对象的3D模型的3D点之间的匹配关系，[0140]位姿确定单元840可以包括第二位姿确定模块841和第三位姿确定模块842。第二置为使用随机抽样一致性算法从第一图像中的至少三个不共线的第二设备的2D点与第二[0145]位姿确定单元840可以包括第四位姿确定模块843，第四位姿确定模块843可以被[0146]以上参照图1到图10，对根据本公开的用于空间定位的方法及装置的实施例进行[0151]应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器的各个实施例中以上结合图1-10描述的[0155]本公开各部分操作所需的计算机程序代码可以用任意一[0157]上述对本公开特定实施例进行了描述。其它