CN111089597B 基于图像和地图数据来定位的方法和装置 （三星电子株式会社）

2基于包括所述对象的位置在内的地图数据来生成第二图像，以将根据所述第一图像来池化与所述第二图像中的顶点相对基于在所述第二图像中包括的顶点中，受平移自由度DOF的影响低于第一阈值的长距基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移DOF的影响基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短将所述区域中包括的顶点投影到与所述候选定位信息相对应的定位信息的分数中与最高分数相对应的候选定位信息确定为使用在所述区域中计算的分数，顺序地确定所述候选定位信息中包括的多个自由度基于与消失点相关联的第二标准，将所述短距离区域分割成朝向消3基于所述非朝向消失点的短距离区域来确定前生成经校正的第二图像，在所述经校正的第二图像中所述对通过根据所述第一图像来池化与经校正的第二图像中的顶点相对应17.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使得基于包括所述对象的位置在内的地图数据来生成第二图像，以将通过所述第一图像和所述区域之间的匹配来确定所述候选定位信息中包括的自由度基于在所述第二图像中包括的顶点中受平移DOF的影响低于第一阈值的长距离顶点来基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移DOF的影响基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短4域中通过所述匹配所计算的分数来确定所述候选定位信息中包括的所在改变针对所述区域所确定的DOF值的同时，通过根据所述第一图像来池化与所述区基于与消失点相关联的第二标准，将所述短距离区域分割成朝向消基于所述非朝向消失点的短距离区域来确定前26.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时使得基于包括所述对象的位置在内的地图数据来生成第二图像，以将根据所述第一图像来池化与所述第二图像中的顶点相对基于在所述第二图像中包括的顶点中，受平移自由度DOF的影响低于第一阈值的长距基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移DOF的影响基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短5基于包括所述对象的位置在内的地图数据来生成第二图像，以将通过所述第一图像和所述区域之间的匹配来确定所述候选定位信息中包括的自由度基于在所述第二图像中包括的顶点中受平移DOF的影响低于第一阈值的长距离顶点来基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移DOF的影响基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短传感器，设置在设备上，并且被配置为感测所述设备的图像和候选定位信基于包括所述对象的位置在内的地图数据来生成第二图像，基于根据所述第一图像池化与所述第二图像中的顶点相对应的特征值来确定所述候基于在所述第二图像中包括的顶点中受平移自由度DOF的影响低于第一阈值的长距离基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移DOF的影响基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短基于消失点，将所述短距离区域分割成朝向消失点的短距离区域6基于所述非朝向消失点的短距离区域来确定前7[0002]本申请要求于2018年10月24日在韩国知识产权局递交的韩国专利申请No.10-位方法使用诸如全球定位系统(GPS)传感器和惯性测量单元(IMU)传感器之类的传感器的[0005]提供了本发明内容以介绍下面在具体实施方式中进一步描述的对简化形式的构8失点的短距离区域来确定左右平移DOF；以及基于所述非朝向消失点的短距离区域来确定第一阈值的长距离顶点来确定旋转DOF；基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移DOF的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移DOF；以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消经校正的第二图像中的顶点相对应的特征值，来确定经校正的候选定位信息的校正的分一图像来池化与所述区域中的顶点相对应的特征值，来计算与经改变的DOF值相对应的分短距离区域来确定左右平移DOF；以及基于所述非朝向消失点的短距离区域来确定前后平9[0030]所述确定可以包括：基于在所述第二图像中包括的顶点中受平移DOF的影响低于第一阈值的长距离顶点来确定旋转DOF；基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后向平移DOF的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移DOF；以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向生成对象的第一图像，基于包括所述对象的位置在内的地图数据来生成第二图像，所述第二图像对所述对象相对于设备的候选定位信息进行投影，将所述第二图像分割成区域，以及通过所述第一图像和所述区域之间的匹配来确定所述候选定位信息中包括的自由度朝向消失点的短距离区域来确定左右平移DOF；以及基于所述非朝向消失点的短距离区域[0056]提供以下详细描述以帮助读者获得对本文描述的方法、装置和/或系统的全面理种方式解释。位而提供高密度(HD)地图数据的环境中估计位置[0066]用于提供AR的定位信息被用于将虚拟对象布置在图像中的期望位置处。在下文[0067]图1A示出了具有相对小的定位误差的AR图像120。图1B示出了具有相对大的定位差时，作为要由设备显示的虚拟对象的驾驶引导车道115在视觉上与真实道路图像适当地外，作为要由设备显示的虚拟对象的驾驶引导车道135在视觉上不与真实道路图像适当地x[0071]除了本文描述的车辆之外，本文描述的方法和装置可被主车辆)的导航设备中的道路引导信息。下文中阐述的示例可以用于在智能车辆的AR导航文描述的示例还可以用于解释车辆中安装用于完全自动驾驶或驾驶辅助并用于辅助安全旅游和营销中的应用)被认为是在本公开的范[0077]在示例中，地图数据是包括与诸如线之类的对象相对应的多个3D顶点在内的点定位参数θ来提高定位准确度。投影并且对特征图的像素中的与所投影的顶点的2D坐标相对应的像素的特征值进行池化[0083]定位装置基于捕捉设备的输出来获取输入图像。捕捉设备被固定到车辆上的位使用配备有诸如相机、激光雷达和GPS之类的传感器的移动对象去测量位置和地理特征来过变换T和变换P被变换为投影图像中的2D顶点pik。这里，k表示指示不同特征或类别的索位装置包括例如深度神经网络(DNN)之类的单个特征提取器，以输出每个车道的多个特征[0090]投影图像的2D顶点pik是指映射到图像I的与地图数据的3D顶点qik相对应的像素。k[0097]图4示出了通过利用定位分数来确定设备的定位信息的示例。可以以所示的顺序选定位信息根据图像510的特征图来池化的分数被计算为低于基于第二候选定位信息根据以并行或并发执行图6中所示的许多操作。可以通过执行指定功能的基于专用硬件的计算选定位信息中的在先最佳候选定位信息与最终分数进行比较来确定最佳候[0108]图7示出了通过优化技术来确定设备的定位信息的示例。可以以所示的顺序和方能的基于专用硬件的计算机(例如，处理器)或专用硬件和计算机指令的组合来实现图7的[0112]图8A和图8B示出了优化技术的示例。可以以所示的顺序和方式执行图8A中的操是否朝向消失点)来对从地图数据投影的2D顶点进行分类，并使用经分类的2D顶点来估计数来顺序地确定定位信息中包括的多个DOF值。例如，定位装置在改变针对区域所确定的DOF值的同时根据特征图来池化与区域中包括的2D顶点相对应的特征值。定位装置基于经移DOF影响在阈值以下的2D顶点。朝向消失点的短距离区域包括由于在前后方向上的移动相关DOF(或前后平移DOF)引起的影响小于数据的投影图像中选择长距离顶点Q1。长距离顶点Q1基本上不受定位参数的DOF中的平移ryx和ry的值使得针对长距离顶点Q1来计算的分数大于或等于目标值。Q3。顶点Q2基本上不受定位参数的DOF中的前后平移DOFtz(移动相关的平移DOFtz)的影地图数据920有关的初始定位信息是不准确的，且因此特征911和顶点921不匹配。在下文yy中那样调整rx来旋转地图数据920上的顶点，投影图像中的长距离顶点940可以与特征图tx来移动地图数据920上的顶点，与投影图像中的相邻线950相对应的顶点可以与特征图初始值的操作。例如，在将通过图8的示例所获得的参数视为初始值的同时执行图10的示信息相对应的定位信息z,r,r,r,)对对象进行投影而生成的图像。第二图[0138]如图像1130中所示，定位装置通过匹配第一图像1110和第二图像1120来计算分并通过对所提取的像素的值进行求和来计算分数。定第二图像1120的对象要移动以增加分数的方向。当定位信息被更新时，移动第二图像[0142]定位装置通过上述过程通过计算使得分数大于或等于标准的定位校正值来最终输出经优化的定位信息*。中包括的对象相对应的方向性在内的第一图像。神经网络1230在基于硬件的模型上实现，该模型包括具有多个层或运算的框架或结构，以提供许多不同的机器学习算法一起工作、处理复杂数据输入并识别图案。神经网络1230以各种结构来实现，例如卷积神经网络(CNN)、深度神经网络(DNN)、n层神经网络、循环神经网络(RNN)或双向长短期记忆网络1370和显示设备1390通过通信总线130[0152]处理器1330通过通信接口1370和/或显示设备1390来输出经校正的定位信息，或外，处理器1330执行上面图1至图13描述的至少一种方法或者与该至少一种方法相对应的1330执行的程序代码被存储在存储器1350中。下面提供了关于处理器1330的进一步的细装置通过使用执行基于捕捉设备的上述定位方法的结果去更新定位装置的3D定位信息以[0157]本文阐述的示例提供了在不建立图像的顶点与地图数据的顶点之间的对应关系一个或多个处理器或计算机)来实现执行本申请中描述的操作的一个或多个硬件组件。处指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软在其它示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元由如以上描述而实现的、执行指令或软件以执行本申请所述的操作(通过该方法执行的操[0160]用于控制处理器或计算机如上所述地实现硬件组件并执行该方法的指令或软件公开了用于执行由硬件组件和如上所述的方法执行的[0162]虽然本公开包括特定的示例，但是在理解本申请的不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合