CN111089597B 基于图像和地图数据来定位的方法和装置（三星电子株式会社）

(12)发明专利李元熙郑景夫公司11021闪闪(2根据输入图像来生成对象的第一图像；基于包括所述对象的位置在内的地图数据来生成第二图像，以将所述对象相对于设备的候选定位信息进行投影；根据所述第一图像来池化与所述第二图像中的顶点相对应的特征值；基于经池化的特征值来确定所述候选定位信息的分数，以及基于所述候选定位信息的分数来确定所述设备的定位信息，其中，确定所述设备的定位信息包括：基于在所述第二图像中包括的顶点中，受平移自由度D0F的影响低于第一阈值的长距离顶点来确定旋转D0F;基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移D0F的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移D0F;以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短距离顶点来确定所述前后平移D0F。2.根据权利要求1所述的定位方法，其中，生成所述第一图像包括：生成与多个特征相对应的特征图。3.根据权利要求1所述的定位方法，其中，生成所述第二图像包括：从所述地图数据中提取与所述候选定位信息中的视场相对应的区域；以及将所述区域中包括的顶点投影到与所述候选定位信息相对应的投影点中。基于所述顶点的坐标在所述第一图像中选择像素；以及获得所选像素的特征值。5.根据权利要求1所述的定位方法，其中，确定所述候选定位信息的分数包括确定经池化的特征值的总和。6.根据权利要求5所述的定位方法，其中，确定所述总和包括：响应于所述第一图像包括与特征相对应的特征图，基于针对所述特征所确定的权重来确定所述特征值的加权和。7.根据权利要求1所述的定位方法，其中，确定所述设备的定位信息包括：将多条候选定位信息的分数中与最高分数相对应的候选定位信息确定为所述设备的定位信息。8.根据权利要求1所述的定位方法，其中，确定所述设备的定位信息包括：将所述第二图像分割成区域；以及使用在所述区域中计算的分数，顺序地确定所述候选定位信息中包括的多个自由度“DOF”值。基于与距离相关联的第一标准将所述第二图像分割成长距离区域和短距离区域；以及基于与消失点相关联的第二标准，将所述短距离区域分割成朝向消失点的短距离区域和非朝向消失点的短距离区域。311.根据权利要求10所述的定位方法，其中，所述顺序地确定包括：基于所述长距离区域来确定旋转D0F;基于所述朝向消失点的短距离区域来确定左右平移D0F;以及基于所述非朝向消失点的短距离区域来确定前后平移D0F。12.根据权利要求1所述的定位方法，其中，确定所述设备的定位信息包括：基于经池化的特征值的分布来确定提高分数的方向；以及基于所述方向来校正所述候选定位信息。13.根据权利要求12所述的定位方法，其中，所述第一图像包括指示与所述对象的接近程度的概率分布，其中，确定所述方向包括基于所述概率分布来确定所述方向。14.根据权利要求12所述的定位方法，其中，确定所述设备的定位信息包括：生成经校正的第二图像，在所述经校正的第二图像中所述对象相对于经校正的候选定通过根据所述第一图像来池化与经校正的第二图像中的顶点相对应的特征值，来确定经校正的候选定位信息的经校正的分数，其中，迭代地执行确定所述方向、校正所述候选定位信息、生成经校正的第二图像以及计算经校正的分数，直到经校正的分数满足条件为止。15.根据权利要求1所述的定位方法，还包括：基于所确定的定位信息来显示所述虚拟对象。16.根据权利要求15所述的定位方法，其中，所述输入图像包括车辆的驾驶所述虚拟对象指示驾驶路线信息。17.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使得所述处理器执行根据权利要求1所述的定位方法。根据输入图像来生成对象的第一图像；基于包括所述对象的位置在内的地图数据来生成第二图像，以将所述对象相对于设备的候选定位信息进行投影；将所述第二图像分割成区域；以及通过所述第一图像和所述区域之间的匹配来确定所述候选定位信息中包括的自由度基于在所述第二图像中包括的顶点中受平移D0F的影响低于第一阈值的长距离顶点来确定旋转D0F;基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移D0F的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移D0F;以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短距离顶点来确定所述前后平移D0F。19.根据权利要求18所述的定位方法，其中，所述确定包括：通过顺序地使用在所述区4域中通过所述匹配所计算的分数来确定所述候选定位信息中包括的所述D0F值。20.根据权利要求18所述的定位方法，其中，所述确定包括：在改变针对所述区域所确定的D0F值的同时，通过根据所述第一图像来池化与所述区域中的顶点相对应的特征值，来计算与经改变的D0F值相对应的分数；以及选择与最高分数相对应的D0F值。22.根据权利要求18所述的定位方法，其中，所述分割包括：基于与距离相关联的第一标准将所述第二图像分割成长距离区域和短距离区域；以及基于与消失点相关联的第二标准，将所述短距离区域分割成朝向消失点的短距离区域和非朝向消失点的短距离区域。23.根据权利要求22所述的定位方法，其中，所述确定包括：基于所述长距离区域来确定旋转D0F;基于所述朝向消失点的短距离区域来确定左右平移D0F;以及基于所述非朝向消失点的短距离区域来确定前后平移D0F。24.根据权利要求18所述的定位方法，还包括：基于所确定的D0F值来显示所述虚拟对象。25.根据权利要求24所述的定位方法，其中，所述输入图像包括车辆的驾驶图像，以及所述虚拟对象指示驾驶路线信息。26.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时使得所述处理器执行权利要求18所述的定位方法。根据输入图像来生成对象的第一图像，基于包括所述对象的位置在内的地图数据来生成第二图像，以将所述对象相对于设备的候选定位信息进行投影，根据所述第一图像来池化与所述第二图像中的顶点相对应的特征值，基于经池化的特征值来确定所述候选定位信息的分数，以及基于所述候选定位信息的分数来确定所述设备的定位信息，基于在所述第二图像中包括的顶点中，受平移自由度D0F的影响低于第一阈值的长距离顶点来确定旋转D0F;基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移D0F的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移D0F;以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短距离顶点来确定所述前后平移D0F。5根据输入图像来生成对象的第一图像，基于包括所述对象的位置在内的地图数据来生成第二图像，以将所述对象相对于设备的候选定位信息进行投影，将所述第二图像分割成区域，以及通过所述第一图像和所述区域之间的匹配来确定所述候选定位信息中包括的自由度“DOF”值，基于在所述第二图像中包括的顶点中受平移DOF的影响低于第一阈值的长距离顶点来确定旋转D0F;基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移D0F的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移D0F;以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短距离顶点来确定所述前后平移D0F。传感器，设置在设备上，并且被配置为感测所述设备的图像和候选定位信息中的一项或多项；根据所述图像来生成对象的第一图像，基于包括所述对象的位置在内的地图数据来生成第二图像，以将所述对象相对于所述候选定位信息进行投影，基于根据所述第一图像池化与所述第二图像中的顶点相对应的特征值来确定所述候基于所述分数来确定所述设备的定位信息；以及抬头显示器“HUD”,被配置为基于所确定的定位信息在所述地图数据上可视化虚拟对基于在所述第二图像中包括的顶点中受平移自由度D0F的影响低于第一阈值的长距离顶点来确定旋转D0F;基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移D0F的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移D0F;以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短距离顶点来确定所述前后平移D0F。30.根据权利要求29所述的定位装置，其中，所述处理器还被配置为：基于距离将所述第二图像分割成长距离区域和短距离区域；以及基于消失点，将所述短距离区域分割成朝向消失点的短距离区域和非朝向消失点的短距离区域。31.根据权利要求30所述的定位装置，其中，所述处理器还被配置为：基于所述长距离区域来确定旋转自由度“DOF”;6基于所述朝向消失点的短距离区域来确定左右平移DOF;以及基于所述非朝向消失点的短距离区域来确定前后平移D0F。32.根据权利要求29所述的定位装置，其中，所述处理器还被配置为：使用神经网络来生成包括与多个特征相对应的特征图在内的所述第一图像。33.根据权利要求29所述的定位装置，其中，所述第二图像包括与所述对象相对应的二34.根据权利要求29所述的定位装置，还包括：存储器，被配置为存储所述地图数据、所述图像、所述第一图像、所述第二图像、所述分数和指令，所述指令在被执行时配置所述处理器以确定以下任一项或其任意组合：所确定的定位信息和所述虚拟对象。7[0001]相关申请的交叉引用[0002]本申请要求于2018年10月24日在韩国知识产权局递交的韩国专利申请No.10-2018-0127589的权益，该申请的全部公开内容通过引用并入本文中以用于所有目的。技术领域[0003]以下描述涉及用于基于图像和地图数据来定位的方法和装置。背景技术[0004]在诸如车辆和其他交通工具的驾驶辅助、游戏或娱乐之类的领域中提供各种增强现实(AR)服务。为了提供更准确和逼真的AR,使用了许多定位方法。例如，基于传感器的定位方法使用诸如全球定位系统(GPS)传感器和惯性测量单元(IMU)传感器之类的传感器的组合来确定对象的位置和朝向。此外，基于视觉的定位方法使用相机信息。发明内容[0005]提供了本发明内容以介绍下面在具体实施方式中进一步描述的对简化形式的构思的选择。本发明内容并非意在标识所请求保护的主题的关键特征或必要特征，也并非意在用作帮助确定所请求保护的主题的范围。[0006]在一个一般方面中，公开了一种定位方法，包括：根据输入图像生成对象的第一图像；基于包括所述对象的位置在内的地图数据来生成第二图像，所述第二图像将所述对象相对于设备的候选定位信息进行投影；根据所述第一图像来池化与所述第二图像中的顶点相对应的特征值；以及基于经池化的特征值来确定所述候选定位信息的分数。[0007]生成所述第一图像可以包括：生成与多个特征相对应的特征图。[0008]生成所述第二图像可以包括：从所述地图数据中提取与所述候选定位信息中的视场相对应的区域；以及将所述区域中包括的顶点投影到与所述候选定位信息相对应的投影点中。[0009]所述池化可以包括：基于所述顶点的坐标在所述第一图像中选择像素；以及获得所选像素的特征值。[0010]所述确定可以包括确定经池化的特征值的总和。[0011]确定所述总和可以包括：响应于所述第一图像包括与特征相对应的特征图，基于针对所述特征所确定的权重来确定所述特征值的加权和。[0012]所述定位方法可以包括：基于所述候选定位信息的分数来确定所述设备的定位信[0013]确定所述设备的定位信息可以包括：将多条候选定位信息的分数中与最高分数相对应的候选定位信息确定为所述设备的定位信息。[0014]确定所述设备的定位信息可以包括：将所述第二图像分割成区域；以及使用在所述区域中计算的分数，顺序地确定所述候选定位信息中包括的多个自由度“DOF”值。8[0016]所述分割可以包括：基于与距离相关联的第一标准将所述第二图像分割成长距离区域和短距离区域；以及基于与消失点相关联的第二标准，将所述短距离区域分割成朝向消失点的短距离区域和非朝向消失点的短距离区域。[0017]所述顺序地确定可以包括：基于所述长距离区域来确定旋转D0F;基于所述朝向消失点的短距离区域来确定左右平移D0F;以及基于所述非朝向消失点的短距离区域来确定[0018]所述确定可以包括：基于在所述第二图像中包括的顶点中，受平移DOF的影响低于第一阈值的长距离顶点来确定旋转DOF;基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后平移DOF的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移DOF;以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短距离顶点来确定所述前后平移D0F。[0019]确定所述设备的定位信息可以包括：基于经池化的特征值的分布来确定提高分数的方向；以及基于所述方向来校正所述候选定位信息。[0020]所述第一图像可以包括指示与所述对象的接近程度的概率分布，其中，确定所述方向包括基于所述概率分布来确定所述方向。[0021]确定所述设备的定位信息包括：生成经校正的第二图像，在所述经校正的第二图像中所述对象相对于经校正的候选定位信息来投影；以及通过根据所述第一图像来池化与经校正的第二图像中的顶点相对应的特征值，来确定经校正的候选定位信息的校正的分数，其中，迭代地执行确定所述方向、校正所述候选定位信息、生成经校正的第二图像以及计算经校正的分数，直到经校正的分数满足条件为止。[0022]所述定位方法可以包括：在所述地图数据上确定虚拟对象以提供增强现实(AR)服务；以及基于所确定的定位信息来显示所述虚拟对象。[0023]所述输入图像可以包括车辆的驾驶图像，以及所述虚拟对象指示驾驶路线信息。[0024]在另一一般方面中，公开了一种定位方法，包括：根据输入图像生成对象的第一图像；基于包括所述对象的位置在内的地图数据来生成第二图像，所述第二图像对所述对象相对于设备的候选定位信息进行投影；将所述第二图像分割成区域；以及通过所述第一图像和所述区域之间的匹配来确定所述候选定位信息中包括的自由度“DOF”值。[0025]所述确定可以包括：通过顺序地使用在所述区域中通过所述匹配所计算的分数来确定所述候选定位信息中包括的所述DOF值。[0026]所述确定可以包括：在改变针对所述区域所确定的D0F值的同时，通过根据所述第一图像来池化与所述区域中的顶点相对应的特征值，来计算与经改变的DOF值相对应的分数；以及选择与最高分数相对应的D0F值。[0028]所述分割可以包括：基于与距离相关联的第一标准将所述第二图像分割成长距离区域和短距离区域；以及基于与消失点相关联的第二标准，将所述短距离区域分割成朝向消失点的短距离区域和非朝向消失点的短距离区域。[0029]所述确定可以包括：基于所述长距离区域来确定旋转DOF;基于所述朝向消失点的短距离区域来确定左右平移DOF;以及基于所述非朝向消失点的短距离区域来确定前后平9[0030]所述确定可以包括：基于在所述第二图像中包括的顶点中受平移D0F的影响低于第一阈值的长距离顶点来确定旋转D0F;基于所述第二图像中除了所述长距离顶点之外的短距离顶点中受前后向平移DOF的影响低于第二阈值的朝向消失点的短距离顶点来确定左右平移DOF;以及基于所述短距离顶点中除了所述朝向消失点的短距离顶点之外的非朝向消失点的短距离顶点来确定所述前后平移DOF。[0031]所述定位方法可以包括：在所述地图数据上确定虚拟对象以提供增强现实“AR”服[0032]所述输入图像可以包括车辆的驾驶图像，以及所述虚拟对象指示驾驶路线信息。生成对象的第一图像，基于包括所述对象的位置在内的地图数据来生成第二图像，所述第二图像对所述对象相对于设备的候选定位信息进行投影，根据所述第一图像来池化与所述第二图像中的顶点相对应的特征值，以及基于经池化的特征值来确定所述候选定位信息的生成对象的第一图像，基于包括所述对象的位置在内的地图数据来生成第二图像，所述第二图像对所述对象相对于设备的候选定位信息进行投影，将所述第二图像分割成区域，以及通过所述第一图像和所述区域之间的匹配来确定所述候选定位信息中包括的自由度置为感测所述设备的图像和候选定位信息中的一个或多个；处理器，被配置为：根据所述图像生成对象的第一图像，基于包括所述对象的位置在内的地图数据来生成第二图像，所述第二图像对所述对象相对于所述候选定位信息进行投影，基于根据所述第一图像池化与所述第二图像中的顶点相对应的特征值来确定所述候选定位信息的分数，以及基于所述分数确定所述设备的定位信息；以及抬头显示器(HUD),被配置为基于所确定的定位信息在所述地图数据上可视化虚拟对象。[0036]所述处理器可以被配置为：基于距离将所述第二图像分割成长距离区域和短距离区域；以及基于消失点，将所述短距离区域分割成朝向消失点的短距离区域和非朝向消失点的短距离区域。[0037]所述处理器可以被配置为：基于所述长距离区域来确定旋转自由度DOF;基于所述朝向消失点的短距离区域来确定左右平移DOF;以及基于所述非朝向消失点的短距离区域来确定前后平移D0F。[0038]所述处理器可以被配置为：使用神经网络生成包括与多个特征相对应的特征图的所述第一图像。[0039]所述第二图像可以包括与所述对象相对应的二维(2D)顶点的投影。[0040]所述定位装置可以包括：存储器，被配置为存储所述地图数据、所述图像、所述第一图像、所述第二图像、所述分数和指令，所述指令在被执行时，配置所述处理器以确定所确定的定位信息和所述虚拟对象中的任何一个或任何组合。附图说明[0042]图1A至图1C示出了在增强现实(AR)应用中定位准确度的重要性的示例。[0043]图2示出了计算定位分数的示例。[0044]图3示出了计算定位分数的示例。[0045]图4示出了通过利用定位分数来确定设备的定位信息的示例。[0046]图5示出了各条候选定位信息的分数的示例。[0047]图6示出了定位方法的示例。[0048]图7示出了通过优化技术来确定设备的定位信息的示例。[0049]图8A和图8B示出了优化技术的示例。[0050]图9A到图9E示出了应用优化技术的结果的示例。[0051]图10示出了通过参数更新来进行的定位方法的示例。[0052]图11示出了通过逐步进行参数更新来应用定位方法的结果的示例。[0053]图12示出了生成特征图的神经网络的示例。[0054]图13示出了定位装置的示例。[0055]贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图标记将被理解为指代相同的元素、特征和结构。附图可以不按比例绘制，并且为了清楚、说明和方便起见，可以夸张附图中的元素的相对尺寸、比例和描绘。具体实施方式[0056]提供以下详细描述以帮助读者获得对本文描述的方法、装置和/或系统的全面理解。然而，在理解本申请的公开内容之后，本文描述的方法、装置和/或系统的各种改变、修改和等同物将是显而易见的。例如，本文描述的操作序列仅仅是示例，并且不限于本文阐述的那些操作序列，而是可以改变的，这一点在理解本申请的公开内容之后变得显而易见，但是除了必须以一定顺序进行的操作之外。而且，为了增加清晰性和简洁性，可以省略对本领域中已知的特征的描述。[0057]本文中描述的特征可以以不同的形式体现，并且不应被解释为受限于本文描述的示例。而是，提供本文描述的示例仅仅是为了说明实现本文所述的方法、装置和/或系统的许多可能方式中的一些方式，这些方式在理解本申请的公开内容之后将是显而易见的。[0058]本文可以使用诸如第一、第二等术语来描述组件。这些术语中的每个术语不是用来定义对应组件的本质、顺序或次序，而是仅用于将该对应组件与其他组件区分开。例如，第一组件可以被称为第二组件，且类似地第二组件也可以被称为第一组件。[0059]如果说明书陈述一个组件“连接”、“耦合”或“接合”到第二组件，则第一组件可以一组件和第二组件之间。然而，如果说明书陈述第一组件“直接连接”或“直接接合”到第二组件，则第三组件不可以“连接”或“接合”在第一组件和第二组件之间。类似的表述，例如，“在......之间”和“紧邻在......之间”以及“与......相邻”和“与......紧邻”,也应以这种方式解释。[0060]本文中使用的术语仅用于描述特定示例的目的，而不是对示例的限制。如本文所11步骤、操作、元素和/或组件，但并不排除存在或添加一个或多[0061]本文针对示例或实施例使用术语“可以”,例如关于示例或实施例可以包括或实现什么,意味着存在其中包括或实现此特征的至少一个示例或实施例，但所有示例和实施例不限于此。[0062]下文阐述的示例可以在硬件上实现，该硬件适用于基于图像和地图数据的定位技术。例如，这些示例可用于在增强现实抬头显示器(ARHUD)中提高定位的准了HUD之外，许多基于位置的服务也需要定位，并且这些示例可以用于在为了进行高精度定位而提供高密度(HD)地图数据的环境中估计位置和朝向。[0063]在下文中，将参照附图来详细地描述示例。附图中，相似的附图标记用于相似元[0065]参考图1A至图1C,在示例中，AR基于现实来添加或增强信息并提供所添加的信息或所增强的信息。例如，AR向背景图像或真实世界的图像添加与虚拟图像相对应的虚拟对象，并呈现具有所添加对象的图像。AR将虚拟世界与真实世界适当地组合，使得用户在与虚拟世界实时交互时体验到沉浸式体验而不会识别到真实环境和虚拟环境之间的分离。为了将虚拟对象与真实图像匹配，需要确定提供AR的用户设备或用户的位置和朝向(即，定位信息)。[0066]用于提供AR的定位信息被用于将虚拟对象布置在图像中的期望位置处。在下文中，为了便于描述，在路面上显示与虚拟对象相对应的驾驶引导车道的示例。然而，示例不限于此。[0067]图1A示出了具有相对小的定位误差的AR图像120。图1B示出了具有相对大的定位[0068]例如，基于对象110的定位信息在道路图像上显示车辆的参考路线。在示例中，对象对应于执行定位的车辆和/或用户终端。当对象110的定位信息包括在小容差范围内的误差时，作为要由设备显示的虚拟对象的驾驶引导车道115在视觉上与真实道路图像适当地对准，如图像120中所示。当对象130的定位信息包括相对较大的误差时，即在容差范围之外，作为要由设备显示的虚拟对象的驾驶引导车道135在视觉上不与真实道路图像适当地[0069]参考图1C,定位信息包括设备的位置和朝向。该位置对应于三维(3D)坐标，例如横向(t)、垂直(t,)和纵向(t₂),即(x,y,z),作为平移自由度(D0F)。此外，朝向对应于俯仰(r)、偏航(r,)和横滚(r₂),作为旋转D0F。通过例如全球定位系统(GPS)传感器以及光检测和测距(LiDAR)来获得该位置，并且通过例如惯性测量单元(IMU)传感器和陀螺仪传感器来获得朝向。定位信息被解释为具有6个DOF,包括位置和朝向。[0070]本文所述车辆指的是任何运输、递送或传输工具，例如汽车、卡车、拖拉机、滑板混合动力车辆、智能移动设备、具有高级驾驶辅助系统(ADAS)的智能车辆、或无人机。在示例中，智能移动设备包括诸如电动轮、电动踢水板和电动自行车之类的移动设备。在示例中，车辆包括机动车辆和非机动车辆，例如具有动力引擎的车辆(例如，耕耘机或摩托车)、自行车或手推车。[0071]除了本文描述的车辆之外，本文描述的方法和装置可被包括在各种其他设备中，例如智能电话、行走辅助设备、可穿戴设备、安全设备、机器人、移动终端和各种物联网(IoT)设备。[0072]术语“道路”是两个地方之间已被改进以允许通过步行或某种形式的运输工具(例如，车辆)行进的通道、路线或连接。道路可以包括各种类型的道路，指的是车辆行驶的路[0073]术语“车道”是指通过在道路表面上标记的线来区分的道路空间。车道由其左线和右线或其车道边界线来区分。此外，线是各种线，例如道路表面上于分隔单个车道的一对线，即与车道边界线相对应的左线和右线。术语“车道边界”可以与[0074]本文描述的方法和装置被用于车辆(例如，增强现实抬头显示器(AR3DHUD)和自主车辆)的导航设备中的道路引导信息。下文中阐述的示例可以用于在智能车辆的AR导航系统中显示线、生成视觉信息以辅助对自主车辆的操纵、或者提供与车辆的驾驶相关的各种控制信息。此外，这些示例用于通过向包括智能系统(例如，车辆上安装的用于驾驶辅助或完全自主驾驶的HUD)在内的设备提供视觉信息来辅助安全和愉快的驾驶。在示例中，本文描述的示例还可以用于解释车辆中安装用于完全自动驾驶或驾驶辅助并用于辅助安全和舒适驾驶的智能系统的视觉信息。本文描述的示例可以适用于车辆和车辆管理系统，例地保持在该车辆行驶的车道上的导航系统、智能电话或移动设备。与显示车辆的道路引导旅游和营销中的应用)被认为是在本公开的范围内。[0075]图2示出了计算定位分数的示例。[0076]参考图2,定位装置基于地图数据Q和图像I来计算定位参数θ的分数s(θ)。定位装置可以由一个或多个硬件模块来实现。[0077]在示例中，地图数据是包括与诸如线之类的对象相对应的多个3D顶点在内的点云。基于定位参数将地图数据的3D顶点投影到二维(2D)顶点上。图像的特征包括基于图像中包括的像素来提取的特征值。因此，对于本文描述的示例，可以不需要地图数据的顶点与图像的特征之间的对应关系。[0078]对于本文描述的示例，可以不需要与地图数据的顶点(例如，2D顶点)和图像的特征或像素之间的对应性或匹配有关的信息。此外，因为可以不对从图像中提取的特征进行参数化，所以可以不需要对特征之间的关系进行单独分析或对地图数据进行搜索。[0079]定位参数θ是位置/朝向信息参数，并且被定义为图1C中描述的6-DOF变量。定位参数θ对应于近似位置/朝向信息。定位装置通过使用基于图像和地图数据的评分技术去校正[0080]在示例中，定位装置通过从图像I中提取特征来配置特征图。定位装置计算与定位参数θ有关的匹配分数。详细地，定位装置通过基于定位参数对来自地图数据Q的顶点进行投影并且对特征图的像素中的与所投影的顶点的2D坐标相对应的像素的特征值进行池化来计算匹配分数。定位装置更新定位参数θ以增加匹配分数。[0081]在示例中，设备是执行定位方法的任何设备，并且包括诸如车辆、导航系统或用户设备(例如，智能电话)之类的设备。如上所述，定位信息具有6个DOF,包括设备的位置和朝传感器的输出来获得定位信息。[0082]输入图像是要与虚拟对象一起显示以提供AR服务的背景图像或其他图像。输入图像包括例如车辆的驾驶图像。在示例中，驾驶图像是使用车辆上安装的捕捉设备所获取的[0083]定位装置基于捕捉设备的输出来获取输入图像。捕捉设备被固定到车辆上的位置，例如车辆的挡风玻璃、仪表板或后视镜，以捕捉车辆前方的视图的驾驶图像。捕捉设备包括例如视觉传感器、图像传感器或执行类似功能的设备。根据示例，捕捉设备每一帧捕捉单个图像、或捕捉多个图像。在示例中，由除了固定到车辆的捕捉设备之外的设备所捕捉的包括诸如车道边界线、道路中心线和停止线之类的线。路面标记包括诸如禁止停车标记、人行横道标记、停车拖车区标记和限速标记之类的标记。[0084]在示例中，地图数据是高密度(HD)地图数据。HD地图是具有高密度(例如，厘米级密度)的3D地图，可以用于自主驾驶。HD地图包括例如具有3D数字数据形式的与道路中心线由例如移动测绘系统(MMS)来建立HD地图。MMS(配备有各种传感器的3D空间信息勘测系统)使用配备有诸如相机、激光雷达和GPS之类的传感器的移动对象去测量位置和地理特征来获得微小位置信息。[0085]图3示出了计算定位分数的示例。[0086]参考图3,定位装置200包括变换设备210和220、特征提取器230和池化器240。在示例中，变换设备210接收参数θ和地图数据Q,并通过3D变换T对地图数据Q应用设备的与参数朝向处的视野范围相对应的区域。在示例中，变换设备220通过透视变换P来生成在设备的视点处的投影图像。例如，变换设备220将由变换设备210提取的区域中包括的3D顶点投影过变换T和变换P被变换为投影图像中的2D顶点p。这里，k表示指示不同特征或类别的索引，并且i表示指示顶点在相应特征或类别中的索引。[0087]特征提取器230从图像I中提取特征。取决于对象的类型或类别，该特征包括一个或多个特征图F₁和F₂235。例如，特征图F₁包括与图像中的线相关的特征，并且特征图F₂包括与图像中的交通标志相关的特征。为了便于描述，描述了提取两个特征图F₁和F₂235的示[0088]在示例中，定位装置包括单独的特征提取器以提取多个特征图。在另一示例中，定位装置包括例如深度神经网络(DNN)之类的单个特征提取器，以输出每个车道的多个特征[0089]在一些示例中，所提取的特征图F₁和F₂235可以包括误差，且因此可能无法逐像素的值。像素的特征值指示像素与特征有关的强度。[0090]投影图像的2D顶点p*是指映射到图像I的与地图数据的3D顶点q:*相对应的像素。参考等式1,对映射到图像I的像素的特征的分数求和。点，并且F()表示特征图中与第k个特征或类别相对应的映射点的特征值或分数。在该示例中，如果映射点P(T(aE,e))不是整数，则执行诸如四舍五入或插值之类的操作。参考等式2,通过计算特征的分数的加权和来计算最终分数。[0096]在该示例中，使用任意方案来设置权重wk。例如，权重w被设置为相等地一次性分配的权重或通过训练数据来调整的值。[0097]图4示出了通过利用定位分数来确定设备的定位信息的示例。可以以所示的顺序和方式执行图4中的操作，然而可以改变一些操作的顺序或省略一些操作，且不脱离所描述的说明性示例的精神和范围。可以并行或并发执行图4中所示的许多操作。可以通过执行指定功能的基于专用硬件的计算机(例如，处理器)或专用硬件和计算机指令的组合来实现图4的一个或多个框和框的组合。除了下面对图4的描述之外，对图1～3的描述也适用于图4,并且通过引用并入本文。因此，这里可以不重得地图数据。在操作440中，获得候选定位信息。在示例中，候选定信息。[0099]在操作450中，生成地图数据相对于候选定位信息的投影图像。在示例中，当提供多条候选定位信息时，生成相对于多条候选定位信息的多个投影图像。[0100]在操作460中，根据特征图来池化与投影图像中的2D顶点相对应的特征值。此外，在操作460中，基于经池化的特征值来计算候选定位信息的分数。当提供多条候选定位信息时，计算多条候选定位信息的分数。[0101]在操作470中，确定最佳分数，例如最高分数。在操作480中，将具有所确定的最佳分数的候选定位信息确定为设备的定位信息。[0102]尽管未在附图中示出，但是定位装置200在地图数据Q上确定虚拟对象以提供AR服务。例如，虚拟对象指示驾驶路线信息，并且以指示行进方向的箭头或道路标记的形式来表示虚拟对象。定位装置基于在操作480中确定的定位信息，在用户设备、导航系统或HUD的显示器上将虚拟对象与输入图像一起显示。[0103]图5示出了多条候选定位信息的分数的示例。[0104]参考图5,图像510和相对于第一候选定位信息的投影图像之间的视觉对准程度低于图像520和相对于第二候选定位信息的投影图像之间的视觉对准程度。因此，基于第一候选定位信息根据图像510的特征图来池化的分数被计算为低于基于第二候选定位信息根据图像520的特征图来池化的分数。[0105]图6示出了定位方法的示例。可以以所示的顺序和方式执行图6中的操作，然而可以改变一些操作的顺序或省略一些操作，且不脱离所描述的说明性示例的精神和范围。可以并行或并发执行图6中所示的许多操作。可以通过执行指定功能的基于专用硬件的计算机(例如，处理器)或专用硬件和计算机指令的组合来实现图6的一个或多个框和框的组合。除了下面对图6的描述之外，对图1～5的描述也适用于图6,并且通过引用并入本文。因此，这里可以不重复以上描述。[0106]参考图6,在操作610中，从输入图像中提取至少一个特征图。在操作620中，选择定位参数(例如，位置/朝向参数)的候选组。在操作630中，确定是否要评估附加候选定位信息。在操作640中，当确定存在待评估的候选定位信息时，生成与候选定位信息相对应的投影图像。在操作650中，计算特征的分数。在操作660中，通过特征的分数的加权和来计算最终分数。在操作670中，确定是否要更新最佳候选定位信息。选定位信息中的在先最佳候选定位信息与最终分数进行比较来确定最佳候选定位信息。[0107]当不存在待评估的其他候选定位信息时，在操作680中，将各条评估的候选定位信息中的最佳候选定位信息确定为设备的定位信息。在该示例中，将最佳候选定位信息的参数确定为设备的位置/朝向参数。[0108]图7示出了通过优化技术来确定设备的定位信息的示例。可以以所示的顺序和方式执行图7中的操作，然而可以改变一些操作的顺序或省略一些操作，且不脱离所描述的说明性示例的精神和范围。可以并行或并发执行图7中所示的许多操作。可以通过执行指定功能的基于专用硬件的计算机(例如，处理器)或专用硬件和计算机指令的组合来实现图7的一个或多个框和框的组合。除了下面对图7的描述之外，对图1～6的描述也适用于图7,并且[0109]参考图7,在操作710中，接收输入图像。在操作730中，提取特征图。在操作720中，接收地图数据。在操作740中，接收初始定位信息。在操作750中，生成相对于初始定位信息的投影图像。[0110]在操作760中，通过优化技术来更新初始定位信息。在操作770中，设备的定位信息被确定为经优化的定位信息。[0111]在下文中，将详细描述操作760的优化技术。[0112]图8A和图8B示出了优化技术的示例。可以以所示的顺序和方式执行图8A中的操作，然而可以改变一些操作的顺序或省略一些操作，且不脱离所描述的说明性示例的精神和范围。可以并行或并发执行图8A中所示的许多操作。可以通过执行指定功能的基于专用硬件的计算机(例如，处理器)或专用硬件和计算机指令的组合来实现图8A的一个或多个框和框的组合。除了下面对图8A的描述之外，对图1～7的描述也适用于图8A,并且通过引用并[0113]定位装置支持全局优化过程。定位装置通过除特征之外的标准(例如，距离或区域是否朝向消失点)来对从地图数据投影的2D顶点进行分类，并使用经分类的2D顶点来估计定位参数的不同D0F。[0114]在示例中，定位装置将投影图像分割成多个区域，并通过特征图和区域之间的匹配来确定设备的定位信息。详细地，定位装置通过顺序地使用在区域中通过匹配计算的分数来顺序地确定定位信息中包括的多个DOF值。例如，定位装置在改变针对区域所确定的D0F值的同时根据特征图来池化与区域中包括的2D顶点相对应的特征值。定位装置基于经池化的特征值来计算与经改变的D0F值相对应的分数。在示例中，定位装置将D0F确定为与最高分数相对应的值。[0115]投影图像中的远距离顶点具有对位置参数的变化几乎不变的特性。基于这样的特性，定位装置分别执行通过使用长距离顶点去计算分数来确定朝向参数的过程和通过使用短距离顶点去计算分数来确定位置参数的过程。这减少了每个过程要估计的D0F,且因此在优化期间的搜索复杂度或局部收敛可能性降低。[0116]在示例中，定位装置基于与距离相关联的第一标准将投影图像分割成长距离区域和短距离区域，并基于与消失点相关联的第二标准将短距离区域分割成朝向消失点的短距离区域和非朝向消失点的短距离区域，这将在下面进一步描述。这里，长距离区域包括受平移DOF影响在阈值以下的2D顶点。朝向消失点的短距离区域包括由于在前后方向上的移动相关DOF(或前后平移DOF)引起的影响小于阈值的2D顶点。[0117]在示例中，定位装置使用定位参数的DOF的一部分作为通过提前校准来确定的值。此外，在示例中，通过提前校准来确定定位参数的r₂和t,,这是因为相机安装在车辆上的高度t,和横滚r₂是固定的。[0118]参考图8A和图8B,在操作810中，从输入图像中提取特征图。在操作820中，从地图数据的投影图像中选择长距离顶点Q1。长距离顶点Q1基本上不受定位参数的DOF中的平移[0119]在示例中，定位装置在改变r的同时执行在纵向方向上对长距离顶点Q1的平行平移，并且在改变r,的同时执行在横向方向上对长距离顶点Q1的平行平移。定位装置搜索r和r,的值，该r、和r,的值使得针对长距离顶点Q1来计算的分数大于或等于目标值。[0120]在操作840中，从地图数据中选择短距离顶点。基于通过提前校准来确定的r₂和t,和由长距离顶点Q1来确定的rx和r,,选择短距离顶点。[0121]定位装置选择短距离顶点中与朝向消失点的线相对应的顶点Q2,并选择其他顶点Q3。顶点Q2基本上不受定位参数的D0F中的前后平移D0Ftz(移动相关的平移DOFt₂)的影[0122]图9A到图9E示出了应用优化技术的结果[0123]在图9A中示出了从特征图910提取的特征911和从地图数据920投影的顶点921。与地图数据920有关的初始定位信息是不准确的，且因此特征911和顶点921不匹配。在下文中，将描述顺序地确定定位参数的DOF以使特征911和顶点921匹配的过程。[0124]考虑到车辆上安装的相机相对于路面具有相对恒定的高度和相对恒定的横滚，提前校准t,和r₂。[0125]参考图9B,定位装置从特征图910和地图数据920中移除横滚效果。在930中，定位装置通过基于提前校准的r₂去旋转特征图910从特征图910中移除横滚效果。此外，定位装置从地图数据920中检测在初始定位信息附近的顶点，将检测到的顶点近似到平面，并旋转地图数据920以移除平面的横滚。[0126]此外，定位装置使用提前校准的t,来校正地图数据920的顶点的高度。[0127]参考图9C,定位装置基于初始定位信息使用地图数据的投影图像中的长距离顶点940来推断出与平行平移相对应的r和r。在示例中，定位装置执行对长距离顶点940的平行平移，使得长距离顶点940和特征图910之间的相关性大于或等于目标值。例如，通过如945中那样调整r来旋转地图数据920上的顶点，投影图像中的长距离顶点940可以与特征图910的特征很好地匹配。[0128]参考图9D,定位装置通过分析投影图像中的顶点来获得相邻线950的消失点。定位装置将相邻线950的消失点对准在特征图910中的位置处，例如特征图的中心。在该示例中，相邻线具有对z方向平移不变的特性。定位装置在x方向上移动与相邻线950相对应的顶点，使得相邻线950和特征图910之间的相关性大于或等于目标值。例如，通过如955中那样调整t来移动地图数据920上的顶点，与投影图像中的相邻线950相对应的顶点可以与特征图910的特征很好地匹配。[0129]参考图9E,定位装置使用投影图像中的短距离顶点中除了消失点方向的车道之外的剩余顶点960来检测z方向平移。定位装置在z方向上移动剩余顶点960,使得剩余顶点960和特征图910之间的相关性大于或等于目标值。例如，通过如965中那样调整t₂来移动地图数据920上的顶点，投影图像中的剩余顶点960可以与特征图910的特征很好地匹配。[0130]图10示出了通过参数更新来进行的定位方法的示例。可以以所示的顺序和方式执行图10中的操作，然而可以改变一些操作的顺序或省略一些操作，且不脱离所描述的说明性示例的精神和范围。可以并行或并发执行图10中所示的许多操作。可以通过执行指定功能的基于专用硬件的计算机(例如，处理器)或专用硬件和计算机指令的组合来实现图10的一个或多个框和框的组合。除了下面对图10的描述之外，对图1～9的描述也适用于图10,并[0131]参考图10,在操作1010中，从输入图像中提取特征图。在操作1020中，选择初始定位信息，例如位置/朝向参数的初始值。在操作1030中，计算当前参数当前参数的分数的方向。[0132]在示例中，特征图包括指示与对象的靠近程度的概率分布。例如，特征图中包括的在该示例中，特征图提供与朝向对象的方向有关的信息。定位装置对与通过当前参数从地图数据投影的2D顶点相对应的特征图的特征值加以池化。定位装置基于经池化的特征值来确定提高当前参数的分数的方向。[0133]在操作1040中，确定是否满足迭代终止条件。当确定不满足迭代终止条件时，在操作1050中更新参数。定位装置基于在操作1030中计算的方向来更新参数。迭代地执行操作1050、1030和1040,直到满足迭代终止条件为止。迭代终止条件包括参数的分数是否大于或等于目标值。在示例中，迭代终止条件还包括迭代计数是否超过用于系统稳定性的阈值。[0134]当确定满足迭代终止条件时，在操作1060中选择当前参数作为最终定位信息，例初始值的操作。例如，在将通过图8的示例所获得的参数视为初始值的同时执行图10的示[0137]参考图11,示出了输入图像1105、第一图像1110和第二图像1120。生成第一图像信息相对应的定位信息L(x,y,Z,rx,ry,r₂)对对象进行投影而生成的图像。第二图[0138]如图像1130中所示，定位装置通过匹配第一图像1110和第二图像1120来计算分并通过对所提取的像素的值进行求和来计算分数。正值，由此根据→{'来更新定位信息。例如，定位装置基于第一图像1110的方向性来确定第二图像1120的对象要移动以增加分数的方向。当定位信息被更新时，移动第二图像[0142]定位装置通过上述过程通过计算使得分数大于或等于标准的定位校正值来最终输出经优化的定位信息*。[0144]参考图12,示出了通过对神经网络1230应用输入图像1210来生成与第一图像相对中包括的对象相对应的方向性在内的第一图像。神经网络1230在基于硬件的模型上实现，该模型包括具有多个层或运算的框架或结构，以提供许多不同的机器学习算法一起工作、处理复杂数据输入并识别图案。神经网络1230以各种结构来实现，例如卷积神经网络络、双向神经网络、受限Boltzman机器，或者可以包括分别具有全连接、卷积连接、循环连接、和/或双向连接的不同或重叠的神经网络部分。神经网络1230基于深度学习，以非线性关系来映射输入数据和输出数据，以执行例如对象分类、对象识别、语音识别或图像识别。[0146]神经网络可以实现为具有多个层的架构，该多个层包括输入图像、特征图和输出。在神经网络中，执行输入图像与被称为核的滤波器之间的卷积运算，并且作为卷积运算的结果，输出特征图。这里，输出的特征图是输入特征图，并再次被执行输出的特征图与核之间的卷积运算，输出新的特征图作为结果。基于这种重复执行的卷积运算，可以输出经由神经网络识别输入图像的特性的结果。[0147]在示例中，神经网络1230以距离场图1250的形式来估计输入图像1210中包括的对象。例如，当第一图像包括如在距离场图1250中那样朝向附近对象的方向性信息时，通过利用梯度下降可以确定优化的方向性。此外，当如在距离场图1250中那样在整个图像上存在指示与对象的接近程度的概率分布时，用于训练的数据量增加，且因此与使用稀疏数据进行训练的情况相比神经网络的性能提高。[0148]图13示出了定位装置的示例。[0149]参考图13,定位装置1300包括传感器1310和处理器1330。定位装置1300还包括存1370和显示设备1390通过通信总线1305彼此连接。传感器、IMU传感器、雷达和激光雷达。传感器1310获取或捕捉包括车辆的驾驶图像在内的输入图像。传感器1310除了感测定位信息(例如，车辆的G1310还对诸如车辆的速度、加速度、行进方向和转向角之类的信息进行感测。[0151]在示例中，定位装置1300通过通信接口1370来获得包括输入图像在内的各种传感器的感测信息。通信接口1370从定位装置1300外部存在的其他传感器接收包括驾驶图像在内的感测信息。[0152]处理器1330通过通信接口1370和/或显示设备1390来输出经校正的定位信息，或者基于经校正的定位信息在地图数据上显示虚拟对象以及输入图像，由此提供AR服务。此外，处理器1330执行上面图1至图13描述的至少一种方法或者与该至少一种方法相对应的[0153]处理器1330是由硬件实现的数据处理设备，该硬件包括具有执行期望操作的物理结构的电路。例如，期望的操作包括程序中包括的指令或代码。例如，硬件实现的数据处理(ASIC)和现场可编程门阵列(FPGA)。在示例中，处理器1330可以是图形处理器单元(GPU)、可重新配置处理器，或者具有任何其他形式的多处理器或单处理器配置。处理器1330执行程序并控制定位装置1300。在示例中，处理器1330执行程序并控制神经网络1230。由处理器1330执行的程序代码被存储在存储器1350中。下面提供了关于处理器1330的进一步的细[0154]存储器1350存储定位装置1300的定位信息、第一图像、第二图像和/或经校正的定位信息。存储器1350存储在处理器1330执行处理过程期间生成的各种信息。此外，存储器1350存储各种数据和程序。存储器1350包括易失性存储器或非易失性存储器。存储器1350包括诸如硬盘之类的大容量存储介质以存储各种数据。下面提供了关于存储器1120的进一步的细节。[0155]显示设备1390输出由处理器1330所校正的定位信息，或者基于经校正的定位信息将虚拟对象与输入图像一起显示在地图数据上。显示设备1390是包括一个或多个硬件组件在内的物理结构，该硬件组件提供呈现用户界面、呈现显示和/或接收用户输入的能力。然而，显示设备1390不限于上述示例，并且可以使用有效连接到定位装置1300的任何其他显示器(例如，智能电话和眼镜显示器(EGD),而不脱离所描述的说明性示例的精神和范围。[0156]根据示例，即使当捕捉设备和定位装置的视点不像HUD或AR眼镜那样匹配时，定位装置通过使用执行基于捕捉设备的上述定位方法的结果去更新定位装置的3D定位信息以独立于视点的方式来执行定位。此外，当捕捉设备和定位装置的视点像移动终端或智能电话那样匹配时，定位装置更新3D定位信息并且还用于直接校正图像中的2D位置。[0157]本文阐述的示例提供了在不建立图像的顶点与地图数据的顶点之间的对应关系的情况下进行定位的技术。此外，这些示例提供了在不参数化图像的特征、不提取对三维(3D)变换和透视变换不变的关系、或者不在搜索地图数据期间容易地指定这种不变关系的情况下进行定位的技术。[0158]定位装置200和1300、变换设备210和220、特征提取器230、池化器240以及本文关况下可用于执行本申请中所描述的操作的硬件组件的示例包括控制器、传感器、生成器、驱为执行本申请所述的操作的任何其它电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行本申请中描述的操作的一个或多个硬件组件。处理器或计算机可以由一个或多个处理元件来实现，例如，逻辑门阵列、控制器和算术逻辑单微处理器、或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其它设备或设备的组合。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，诸如操作系统(OS)和在OS上运行的一个或多个软件应用，以执行本申请中描述的操作。硬件组件还可以响应于对指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在对本申请中描述的示例的描述中可以使用单数术语在其它示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或二者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器