【传统的道路消失点VP检测方法分析概述4100字】

传统的道路消失点VP检测方法分析概述目录TOC\o"1-3"\h\u20544传统的道路消失点VP检测方法分析概述 1185721.1VP数学模型 1126761.2室外场景主VP检测 328701.3道路场景VP检测 5VP检测方法很多，可根据使用场景分为曼哈顿场景下的VP检测和非曼哈顿场景下的VP检测。曼哈顿场景下的VP检测难点在于如何准确地提取人造场景中的直线段，并将其进行归类。然而大多数应用场景尤其是ADAS的应用场景通常为非曼哈顿场景，此类场景下通常不存在清晰或准确的平行线，且背景较复杂、变化较大，这都给VP检测和直线段提取带来了不同程度的困难。在非曼哈顿场景VP检测中，根据应用范围又可细分为室外场景VP检测和针对道路场景的VP检测。为了更准确地了解VP检测方法的演化，下面将分别介绍室外场景和道路场景下的传统VP检测方法。1.1VP数学模型图2-5为消失点示意图。在理想投影情况下，三维空间中一系列平行线投影到二维空间后相交于同一点而形成VP（图a），VP体现了一组平行直线的3D信（a（a）单个物体的VP（b）多个物体的VP图2-5消失点示意图相机成像是将三维空间中的点映射到二维空间平面的过程，通常可以用针孔相机模型对该过程进行描述。三维空间中的任意一点D在相机坐标系的坐标为D=[X,Y,Z]T，投影到图像坐标系中的坐标为d=[x,y]T，由于光轴垂直于成像平面，可知像点D在图像坐标系下的坐标：（2-23）式中，f为焦距，即焦点到成像平面的距离。图2-6平行线的消失点模型基于针孔相机原理可知，相机系统的原点与镜头中心重合，Z轴与光轴一致，图像平面由Z图2-6平行线的消失点模型在图2-6中，平行线中的直线l1经过相机坐标系下点D0=[X0,Y0,Z0]T和点D1=[X1,Y1,Z1]T，D0和D1投影到图像坐标系下的坐标分别为d0=[x0,y0]T，d1=[x1,y1]T，直线l1上任意一点Dn=[Xn，Yn，Zn]T投影到图像坐标系下的坐标为dn=[xn，yn]T，根据式（2-23）则有：（2-24）（2-25）当Zn→∞时，dn无限接近于VP，即为平行线在无穷远处时在图像平面上的投影，因此，定义图像坐标系下的消失点dvp=[xvp，yvp]T如下：（2-26）（2-27）1.2室外场景主VP检测图2-7室外场景图2-7室外场景的主VP传统方法在解决主VP检测的问题时往往首先提取图像上的线段，再通过聚类或一致性度量等方法进一步筛选VP，进而得到VP的最终结果。Zhou的方法[34]是传统方法中最典型且精度最高的方法，下面以Zhou方法为例介绍传统室外环境主VP检测方法。设图像上的边缘集合ε={E1，E2，…，En}，则VP检测网络的首要目标是将此集合分为若干子集和一个离群集，每个子集中的边缘交点为图像中某一场景的VP，离群集则包含不指向VP的边缘。在分类结束后，可利用J-Linkage等方法[135]进行模型估计和分类，最终确定户外场景中的主VP。1）全局边缘提取由于边缘检测方法是VP检测的重要前提，理想的边缘检测方法应具有以下属性：（1）该方法应能检测出指向VP真值的所有边缘；（2）该方法应检测到完整的边缘；（3）该方法应尽量少地检测与VP无关或混乱的边缘信息。基于以上考虑，Zhou[34]在边缘提取时采用了被广泛使用的全局轮廓检测方法，然后再从轮廓中获取笔直的边缘。在室外图像数据集上的测试表明，此方法明显优于局部边缘检测方法。全局轮廓检测方法有两个优点：（1）该方法可通过频谱聚类的方式抑制噪声，同时增强了弱边缘的保持；（2）该方法使用基于图的层次聚类算法构造图像的超轮廓线图（UltrametricContourMap,UCM），这使得算法对全局化轮廓更加敏感。为了从轮廓线中提取直边缘线，Zhou[34]使用了非变比例轮廓细分方法。设U={U1，U2，…}为所有加权轮廓线的集合，对任意轮廓线Uj，设uj1和uj2为Uj的两个端点，点d为Uj上的一点，则与连接Uj端点的直线段有最大距离的点为：（2-28）如果最大距离超过轮廓长度的α倍，则可进一步将轮廓Uj细分：（2-29）通过对所有轮廓线递归上述过程，即可得到边缘集合ε={E1，E2，…，En}。需要注意的是，由于短边缘对噪声非常敏感，所以只保留了长度超过长度限值的边缘。2）基于J-Linkage聚类的VP检测J-Linkage是一种多模型分类算法，可根据模型类型对样本进行多组分类。与RANSAC相似，J-Linkage首先随机选择m个最小样本集，然后为每个样本集计算一个推定模型。对于VP检测的任务而言，第j个最小集合由两个随机选择的边（Ej1，Ej2）构成。为此，首先使用最小二乘法将边缘Ej∈ε拟合为一条线li，然后根据dvpj=lj1×lj2由拟合出的线段生成对应的假定消失点dVPj。由此，J-Linkage构造了一个n×m的偏好矩阵A，其中第（i，j）项的定义为：（2-30）式中，D（Ei,dvpj）为边缘Ei和假设的消失点dvpj之间的一致性度量，χ为阈值；第i行表示边缘Ei已达成共识，称为Ei的偏好集。（a）输入图像（a）输入图像（b）边缘提取（c）直线段提取（c）VP检测结果图2-8基于J-Linkage聚类的VP检测过程示意图[34]3）评价方法在Zhou的方法之前，用于VP检测的公共数据集主要有两种，即YorkUrbanDataset（YUD）和EurasianCitiesDataset（ECD）。但是这两个数据集都是针对室内或城市场景，并且定义了多个VP。为了评估室外场景主VP检测方法的性能，Zhou建立了Flickr公共数据集。Zhou等利用关键字“vanishingpoint”在Flickr网站上搜索并挑选出了包含自然场景、旅行场景和乡村场景的图像。经过手动标注，整理成包括959张标注图像的数据集。在对各传统方法进行分析时，Zhou采用了一致性误差CE（ConsistencyError,）指标作为主VP检测性能的评价指标，CE可由下式计算：（2-31）（2-32）式中，DRMS（Ei，）为边缘Ei和VP预测值之间一致性的度量；DRMS为从Ei上的所有点到线l距离的均方根；l为过的一条直线；n为Ei上的点的总数；dist（d，l）表示点d到l的垂直距离；为2条标注边缘的真值的集合；代表检测的一致性误差。1.3道路场景VP检测现有的传统道路场景VP检测方法可分为三类：基于边缘的检测方法、基于区域的检测方法和基于纹理的检测方法。基于边缘的检测方法大多首先提取图像边缘或轮廓，然后通过计算这些边缘的交点得到VP坐标；基于区域的检测方法则通过分析道路场景中的相似结构和重复模式定位VP；基于纹理的方法通常首先从道路场景中提取大量的纹理，然后采用累计像素投票的策略检测道路VP。目前，基于纹理的VP检测方法精度最高，应用也最为广泛。1）基于Gabor滤波器的纹理特征提取图像纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。常用的纹理特征提取法有统计法、几何法、模型法、信号处理法和结构方法等。基于Gabor滤波器的纹理特征提取法被证明是一种有效的可用于VP检测的方法，Gabor滤波器的滤波核与哺乳动物大脑皮层中简单细胞的二维感受野轮廓相似，因此具有良好的空间局部性和方向选择性。多方向多尺度的Gabor滤波器变换函数定义为：（2-33）式中，ω和φ分别为尺度和方向，，。经测试，当ω=5、φ=36、ρ=2.2时，Gabor滤波器对VP的检测性能最优。令I（x，y）表示图像在点（x,y）的灰度值，则使用Gabor核对图像I进行卷积操作可表示为：（2-34）卷积结果ζω,φ在点z=（x,y）处由实部和虚部两部分组成。为了更好地描述局部纹理特性，可对36个方向的Gabor滤波器求“复杂响应”的平方范数：（2-35）此时，z点处某一方向上的图像响应可被定义为不同尺度上响应的平均值：（2-36）z点处的纹理方向τ(z)即为Rφ(z)的最大值：（2-37）经过如上纹理提取，图像上的红色线段所表示的方向即为该点像素的纹理方向，如图2-9所示。利用上述方法虽然可以得到图像中每个像素点的纹理方向，但并不能保证其检测出的纹理方向的正确性。因此，Kong等[52]提出了置信水平估计法，此方法可评估函数φ→Rφ(z)在最佳角度τ(z)附近的峰值，进而计算像素z处的纹理方向τ(z)图2-9基于Gabor滤波器提取的纹理方向[52]的置信水平。设r1（z）＞…＞r36（z）为某一像素点处36个方向Gabor滤波器的响应值（r1（z）=Rτ(z)(z)）。如果全局最大响应与其他局部最大响应有显著差异，则纹理方向估计是可靠的，否则不可靠。Kong等[52]发现，局部最大响应通常在r5和r15之间（r2、r3和r4图2-9基于Gabor滤波器提取的纹理方向[52]（2-38）（a）输入图像（b）投票点（a）输入图像（b）投票点（c）投票结果图2-10投票过程示意图[52]2）局部软投票方法当获取到每个像素点的纹理方向和置信像素之后，Kong等[52]指出可通过局部软投票方法检测VP的位置。如图2-11所示，对于图像中每一个候选消失点dvp，它的投票区域Rv是以dvp为圆心，半径为r=0.3H（H是图像的高度）的下半圆，投票区域中的某一点Q的纹理方向为，若线段与Q点纹理方向之间的夹角∠（，）小于某一个阈值κ，则对dvp点投票，投票过程表示为：（2-39）图2-11局部软投票示意图式中，γ表示线段与Q点的纹理方向之间的夹角；d（Q，dvp）为点Q与dvp之间的距离。图2-11局部软投票示意图该方法的缺点是时间复杂度特别高，为O（n3）（n为图像宽度方向像素点的数量），主要原因是它将图像中的每一个像素点都作为候选消失点，然后搜索其投票区域Rvp，并执行投票算法。3）评价方法为评测道路场景VP检测方法的精度，Kong等[52]建立了包含1003张道路场景的数据集。数据集中的道路场景在颜色、纹理、照明和周围环境方面都有较大的差异。其中，430张图像来自沿南加州沙漠的“GrandChallenge”路线进行侦察旅行时拍摄的照片，另一部