CN112539753B 位置估计的方法和装置 （三星电子株式会社）

基于所述边缘方向信息和虚拟水平线信息来确2通过基于虚拟水平线与边缘线之间的交点去除所述边缘分量像素中的外点像素而保通过应用旋转参数使得初始旋转参考点与所估计的旋转参考点相匹配来校正装置的在包括在所述输入图像中的所述像素中，提取具有超过使用卷积神经网络CNN来计算所述边缘分量像素中的每个边缘分量像素的卷积运算将所述相应核中的与针对所述边缘分量像素中的每个边缘分量像素计算的卷积运算值中的最高卷积运算值相对应的核的角度值确定为所针对所述边缘分量像素中的每个边缘分量像素，计算从所述交点基于所述交点之间的所述邻近水平来计算所述参考矢量之度应用于通过转换所述边缘分量像素中的一边缘分量像素的所述边缘方向信息和图像坐3基于与所述鸟瞰图像中的所述多个内点像素相对应的线将所述多个内点像素聚类为将所述边缘线确定为代表所述至少一个直线组中的每个在将外部场景传送给用户的显示器中通过将虚拟内容对象映射到基于所述装置的最其中校正所述定位信息包括：基于所估计的旋转参考点来校19.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使所通过基于虚拟水平线与边缘线之间的交点去除所述边缘分量像素中的外点像素而保通过应用旋转参数使得初始旋转参考点与所估计的旋转参考点相匹配来校正所述装在包括在所述输入图像中的所述像素中被确定为具有素中排除与所述输入图像中的虚拟水平线上方的区域相对应的像素来掩蔽所述边缘分量23.根据权利要求22所述的装置，其中所述处理器还被配置为基于所述传感器的翻滚424.根据权利要求20所述的装置，其中所述处理器还被配置为通过以下操作来计算所基于所述卷积运算的结果，将与所述边缘分量像素中的每个边缘分量像针对所述边缘分量像素中的每个边缘分量像素，计算从所述交点通过将计算出的相似度应用于通过转换所述边缘分量像素中的一边缘分量像素的所述边缘方向信息和图像坐标而获得的矢量值来27.根据权利要求20所述的装置，其中所述处理器还被配置为通过以下操作来确定所28.根据权利要求20所述的装置，其中所述处理器还被配置为通过以下操作来估计所像中的所述内点像素相对应的边缘线距离最短的点确定为所述旋转参考点来估计所述旋户的显示器中通过将虚拟内容对象映射到基于所述装置的最终定位信息确定的显示坐标其中所述处理器还被配置为：通过基于所估计的旋转参考所述旋转误差中的任意一者或两者的结果来生成所述31.根据权利要求20所述的装置，其中所述处理器还被配置为从全球导航卫星系统通过基于虚拟水平线与边缘线之间的交点去除所述边缘分量像素中的外点像素而保5通过应用旋转参数使得初始旋转参考点与所估计的旋转参考点相匹配来校正所述装通过将虚拟内容对象映射到所述显示器中的基于所述最终定位信息而确定的坐标来33.根据权利要求32所述的AR装置，其中所述传感器包括全球导航卫星系统GNSS模块34.根据权利要求32所述的AR装置，其中所述处理器还被配置为通过以下操作计算所基于所述卷积运算的结果，将与所述边缘分量像素中的每个边缘分量像图像中的所述内点像素相对应的边缘线距离最短的点确定为所述旋转参考点来估计所述36.根据权利要求32所述的AR装置，其中所述处理器还被配置为通过以下操作来估计37.根据权利要求32所述的AR装置，其中所述处理器还被配置为通过以下操作来确定6[0002]本申请要求于2019年9月20日在韩国知识产权局提交的韩国专利申请No.10-[0004]当车辆或其他物体在移动时，车辆的导航系统从属于多个全球定位系统(GPS)的[0005]提供本发明内容以用简化形式介绍对下面在具体实施方式中进一步描述的构思[0014]确定边缘方向可以包括：使用卷积神经网络(CNN)来计算边缘分量像素中的每个针对边缘分量像素中的每个边缘分量像素计算的卷积运算值中的最高卷积运算值相对应7中的在边缘线中的一边缘线与虚拟水平线之间的一交点到输入图像中的参考点的参考矢基于校正位置误差和旋转误差中的任意一者或两者的结果来[0024]该方法还可以包括：使用全球导航卫星系统(GNSS)模块和惯性测量单元(IMU)来和虚拟水平线信息来确定边缘分量像素中的内点像素；基于内点像素来估计旋转参考点；上方的区域相对应的像素来掩蔽边缘分量像素8中的在边缘线中的一边缘线与虚拟水平线之间的一交点到输入图像中的参考点的参考矢于通过转换边缘分量像素中的一边缘分量像素的边缘方向信息和图像坐标而获得的矢量象映射到基于装置的最终定位信息确定的显示坐标来执行可视化。处理器还可以被配置[0038]处理器还可以被配置为：从全球导航卫星系统(GNSS)模块和惯性测量单元(IMU)[0040]传感器可以包括全球导航卫星系统(GNSS)模块和惯性测量单元(IMU)。初始定位[0041]处理器还可以被配置为：基于地图数据和初始定位信息来确定初始旋转参考量像素中的每个边缘分量像素相对应的角度确定9[0059]图13示出了在针对位置估计装置估计的初始定位信息与位置估计装置的实际姿[0062]提供以下详细描述来帮助读者获得对本文中所描述的方法、装置和/或系统的全例可以包括或实现什么)意味着存在至少一个示例或实施例，在该示例或实施例中包括或术语和科学术语的所有术语具有与本公开内容所属领域的普通技术人员通常所理解的相数据来测量初始定位信息。初始定位信息包括指示粗略测量的目标的位置和姿态的信息。取指示目标的加速度和角速度的IMU信号和GNSS信号作为感轴陀螺仪。由于IMU不依赖于外部信息，因此经常可以稳定地收集加速度信号和角速度信到的波段不限于可见光带。传感器110还可以或备选地包括例如感测红外带中的射线的红[0076]处理器120可以通过校正目标的初始定位信息来生成目标的最终定位信息。处理器120可以估计初始定位信息和旋转参考点，以校正目标的实际位置与姿态之间的定位误相对应的第一旋转参考点与从图像数据检测到的第二旋储根据图像数据针对局部滤波所训练的卷积神经网络(CNN)和针对非局部滤波所训练的注型的神经网络可以存储在存储器130上以执行局部滤波和非局部滤波，该其他类型的神经初始位置和初始姿态在内的初始定位信息。初始定位信息可以包括姿态误差和位置误差。将参考图2至图4更详细地描述初始定位信息[0083]根据示例实施例的位置估计装置(例如，位置估计装置100)例如基于GNSS信号和加速度信号来测量初始定位信息。图2示出了初始定位信息的初始姿态相对于实际姿态具有旋转误差Δθ的情况。初始定位信息指示包括位置估计装置的目标具有任意初始位置和线210如图2中所示。出现在由图像传感器实际捕获的图像数据中的图像车道边界线220可相对应的线)是用于定义车道的线。车道边界线可以是例如在道路表面上标记的实线或虚[0086]图3示出了初始定位信息中的初始位置相对于实际位置具有水平位置误差Δx的在由图像传感器实际捕获的图像数据中的图像车道边界线320可能位于与地图车道边界线[0087]图4示出了初始定位信息中的初始姿态相对于围绕横轴的实际姿态具有旋转误差yyy图像数据中的图像车道边界线相对应的第二旋转参考点411对应于与第一旋转参考点412y[0089]参考图5，在操作510中，根据示例实施例的位置估计装置(例如，位置估计装置考图9进一步描述示例边缘方向信息。尽管本文中描述的输入图像是通过转换彩色图像而[0090]在操作520中，位置估计装置基于边缘方向信息和虚拟水平线信息来确定多个边yy[0092]在操作540，位置估计装置基于估计出的旋转参考点来校正位置估计装置的定位以根据所估计的不同于实际姿态的扭曲的初始姿态来确定[0094]参考图6，在操作610中，根据示例实施例的位置估计装置(例如，位置估计装置辆的前视图的相机传感器。相机传感器可以捕获与视场角相对应的场景并获取输入图像[0098]位置估计装置在包括在输入图像701中的像素中提取具有超过预定义阈值的计算装置可以从多个边缘分量像素中排除边界上的像素。位置估计装置可以排除输入图像701[0100]在操作711中提取的多个边缘分量像素可以指示车道边界操作712中排除道路区域上方的边缘分量像素来去除与消失点没有确定或估计的相关性或[0101]位置估计装置在操作620中通过局部滤波来生成边缘方向图像705，并且在操作630中通过非局部滤波来生成内点图像706。位置估计装置根据内点图像706来估计旋转参[0104]参考图8，上述图7的虚拟水平线信息指示在相机传感器810捕获的图像中虚拟地的中心轴平行于z轴时捕获的图像801中，虚拟水平线表现为与图像801的中心部分交叉的传感器810的翻滚参数可以由翻滚旋转820确定，而相机传感器810的俯仰参数可以由俯仰旋转830确定。例如，翻滚参数可以指示相机传感器810相对于地面绕翻滚轴811旋转的角相机传感器810相对于地面绕俯仰轴812旋转的角度，并且虚拟水平线可以在图像803中表像素确定边缘方向。边缘方向估计模型是用于从边缘分量图像703输出每个边缘分量像素核925连接的卷积层。神经网络可以通过基于深度学习映射处于非线性关系的输入数据与[0109]例如，位置估计装置基于针对CNN920中的每个预设角度的核来计算多个边缘分量像素中的每个边缘分量像素的卷积运算值。多个核925中的每个核可以是其中设置有元置估计装置可以基于滤波器的元素值对图像中的任意位置的像素和相邻像素执行卷积运取图像信息的核而计算的任意像素的卷积运算值可以是指示像素是预定边缘方向的可能[0110]位置估计装置可以在扫过像素中的每个像素的同时针对一个核计算包括在图像在图像的每个2D位置处由核指示的角度的边缘方向时，张量数据的元素可以是非零值(例[0112]位置估计装置将由针对每个边缘分量像素计算的多个卷积运算值中的与最高卷缘分量像素计算的多个卷积运算值中的最高卷积运算值可以对应于基于具有作为多个角针对每个边缘分量像素估计作为对应边缘分量像素的角度的可能性最高的[0114]参考图10，根据实施例的位置估计装置(例如，位置估计装置100)通过执行操作点1033的第三边缘分量像素1023作为外点像素排除。位置估计装置可以将形成第一交点1031的第一边缘分量像素1021和形成第二交点1032的第二边缘分量像素1022作为内点像[0116]下面参考图11更详细地描述使用注意力神经网络来确定内点像素和排除外点像神经网络1130生成从多个边缘分量像素中去除了外点像素的内点数据。注意力神经网络分量像素形成的交点之间的相似度来确定多个边缘分量像素中的每个边缘分量像素计算从边缘线和虚拟水平线1102之间的交点到输任意边缘分量像素相对应的参考矢量可以是从参考点1101到虚拟水平线1102和与每个边邻近水平。虚拟水平线1102和与第i边缘分量像素的边缘方向相对应的直线之间的交点由将与第i边缘分量像素相对应的交点φi变换为第i参考矢量此外，位置估计装以通过第二参考矢量变换1132将与第j边缘分量像素相对应的交点φj变换为第j参考矢量[0122]位置估计装置计算多个边缘分量像素的参考矢量之间的相似度作为交点之间的络1130，并且将第j参考矢量作为键值输入。位置估计装置可以通过矩阵乘法[0125]在式1中，aj是第i参考矢量的转置矢量[0126]位置估计装置可以通过将计算出的相似度应用于从边缘分量像素的图像坐标和内积值应用于SoftMax操作1135，以基于下面所示的式2和式3将参考矢量之间的相似性转jj)。位置估计装置可以将通过g变换1133生成的矢量值vj输入到注意力神经网络[0133]位置估计装置可以在矢量值vj与式3的权重矢量之间执行矩阵乘法1136，并且可交点远离与其他边缘分量像素相对应的交点时，与第i边缘分量像素相对应的值可以收敛其他边缘分量像素的交点相邻时，对应于第i边缘分量像素的值由于其较大的权重可以是使用各种方案来确定旋转参考点790。尽管在图11中已描述了根据内点像素直接估计旋转[0140]根据示例，图12示出了在内点图像706的部分1210中的第一边缘分量像素1211和第二边缘分量像素1212。第一边缘分量像素1211的第一边缘线1221和第二边缘分量像素短的点确定为旋转参考点。下面参考图13描述基于通过图1至图12的方法确定的旋转参考[0143]图13示出了针对位置估计装置估计的初始定位信息与位置估计装置的实际姿态信息的姿态下的目标1310的传感器1311的视场角度相对应的图像平面上时，初始参考点估计装置可以通过基于旋转参考点校正定位信息中的位置误差和旋转误差中的至少一个器1410被定位为捕获位置估计装置140[0153]显示器1440通过将虚拟内容对象1490映射到显示器1440中的基于位置估计装置1400的最终定位信息确定的坐标来执行可视化。显示器1440将外部场景1401传送给用户。[0157]已