单幅图像的一般道路检测分解

对单幅图像中一般道路的检测Hui Kong , Member, IEEE , Jean-Yves Audibert, Jean Ponce , Fellow, IEEE摘要：给定一个有任意道路的单幅图像，这条道路可能是不平坦的，而且没有明确界定的边缘，甚至没有一些颜色或纹理分布的先验知识，计算机是否有可能找到这条道路呢？本文通过把道路检测过程分解为两个步骤，解决了这个问题：首先估计与道路的主（直）干道部分相关的消失点，然后再根据检测到的消失点分割相关的道路区域。本文所提出的方法主要的技术贡献在于一种新的基于高置信度的投票点投票的区域自适应软投票计划，使用Gabor滤波器对这些点的纹理方向进行计算，以及新的用于检测道路边界的消失点约束边缘检测技术。本文所提出的方法已得到实现，通过1003幅一般道路图像的实验表明，它在艰难条件下也能有效的检测道路区域。关键词：主导边缘检测，道路检测，软投票，消失点检测。一 简介作为全自动车辆导航系统的组件之一，众多的基于图像的道路检测算法已经出现1。大多数早期的系统关注跟踪那些能很容易和它周围环境区分的平坦道路。最近，由DARPADARPA Grand Challenge 2 （自动越野车之间的竞赛）触发，很多算法都试图处理越野条件。虽然在用于检测个别道路类型的专门系统上作出了显著的进步，但提出一个通用的算法来检测多种类型的道路迄今收效甚微。图1给定如图1所示的道路图像，计算机可以大致确定道路在哪里吗？本文回答了这个问题，提出一个新的分割道路区域的框架，其基于与道路的主要（直）部分相关的消失点的估计。本文的创新在以下几个方面：1）在纹理方向的估计方面，我们不仅计算每个像素的纹理方向，而且对每个估计给定一个置信值。引进的置信值，接下来会合并到消失点估计中。 2）通过观察，发现较高位置的图像像素与较低位置的图像像素相比往往会得到更多的选票，这通常会导致对图像道路消失点的错误估计，如果真正的道路消失点不在图像的上半部分的话。为克服这个问题，提出区域自适应软投票权（LASV）计划。该计划使用局部区域投票，在这区域中具有低置信值的纹理方向估计的像素点被丢弃。这个消失点估计的方法是比较有效的，因为只有在局部区域中被选定的像素才能作为投票点。 3）分割道路区域，根据方向一致性（OCR）特征，消失点约束的一组主导边缘被检测到。同时结合颜色线索，两个最主要边缘被选择为道路边界。这种道路检测方法结合了道路的纹理方向和颜色信息，而且处理好了照度的改变，适用于一般道路图像。在本文的初稿3，我们只使用OCR特征和聚类方法进行道路分割。通过实证结果显示，OCR和颜色特征相结合，道路分割精度提高了。二 相关工作一般来说，一个道路图像可分为结构化的（例如，城市道路）和非结构化的（例如，农村地区的道路）。对于结构化的道路，定位道路边界或道路标记是最常用的方法：颜色特征4 - 6，Hough变换78，方向可调滤波器910 和样条函数模型11 - 13等，都可以用来寻找道路边界或标记。这些方法的缺点是，他们只适用于有明显标记或边界的结构化道路。基于颜色特征分割道路的方法也被提出，但他们对一般道路图像也没有很好效果，特别是当道路的表面与环境之间的颜色差异不大时。此外，激光14雷达15和立体视觉16，也可用于结构化道路的检测。对于非结构化道路或没有明显界限或标记的结构化道路，Alon et al. 17结合Adaboost-based区域分割和几何投影的边界约束检测找到“可驾驶”道路区域。但是，它需要许多不同类型的道路图像来训练区域分类器，这是繁重的任务。逆向光流技术18提供了一个自适应的道路区域分割算法，但这种方法不能很好地应用于坎坷的道路上，当相机不稳定时，就没有足够强大的光流估计。立体相机1920也可用于确定地形通行能力。但当公路和越野区域的颜色之间几乎没有什么差别时，就很难找到强有力的强度变化来界定他们。在这种情况下，似乎界定道路的一个最大特征是纹理。也有相关的方法21 - 23曾试图利用纹理特征界定前面的“可驾驶”图像区域。他们对每个像素计算纹理方向，然后由一个投票方案决定道路的消失点，最终使用颜色特征确定道路边界。我们的做法就属于这方面的研究。虽然多传感器的方法24也可以处理非结构化道路的情况，但它仅使用视觉信息，超出了本文的讨论范围，。本文剩下部分的安排如下：每个像素点的纹理方向估计以及给定置信值（第三部分），考虑到置信水平和投票像素点到候选消失点距离的投票方案（第四部分），以及一个新的检测道路边界的消失点约束主导边缘检测技术（第五部分）。三 纹理方向估计及置信值分配我们依赖Gabor滤波器进行纹理方向的估计，由于他们的准确性（见22，2.1）。Gabor滤波器的核心类似于哺乳动物皮层简单细胞的2-D剖面图，表现出理想的空间局部性和方位选择性。对于一个方向，弧度（径向频率），Gabor小波（内核，滤波器）被定义为25： 其中 ， (25, octave 1.7).我们考虑5个弧度值（）和36个方向（180/5）上的几何投影。这些参数和22中相似，图2显示了Gabor kernels的实部和虚部。图2令 为图像在点的灰度值。图像和，的Gabor kernels函数卷积定义为： （1）卷积结果在像素点有两个分量，实部和虚部。为更好的描述局部纹理特征，我们对这个 “复响应”的每36个均匀Gabor滤波器方向计算平方范数：图3一个方向的图像响应定义为在不同弧度响应下的平均值（见图3）：；被选作滤波器方向的纹理方向是区域中使复响应最大的平均值（对5个弧度值）：图4的第二行显示，图像被使用Gabor滤波器子采样的纹理方向估计覆盖。图4对（1）应用卷积定理，我们得到：因此其中， ，表示傅里叶变换和傅里叶反变换。使用快速傅里叶变换：其中， ，允许响应图像的快速计算。尽管先前提到的对纹理方向估计的解决方案已经被一些以前的研究者使用过，但以这种方式对纹理方向进行的估计并不能保证是准确的。对像素点的纹理方向设定置信水平，我们寻找一种方法能够评价函数峰值在最佳的角度附近的程度。令 按照Gabor 在36个特定方向（）响应值的大小排列。如果全局响应的最大值和其他局部响应的最大值明显不同，那么此纹理方向的估计就是可靠的，否则就不是。我们发现局部响应的最大值通常位于和之间（与最佳角度相似的角度相符合）。所以，我们令从到响应的平均值作为局部响应最大值的平均值。在方向上置信值函数为我们对函数进行归一化处理，整幅图像的函数值在0和1之间。在我们的实验中，抛弃那些值小于T的像素点，保留剩下的像素点作为投票点。T可以被看做是归一化置信值的门限。通过图像测试中不断调整T来得到最佳的T值，发现当T=0.3时消失点检测达到最高的准确度。我们并不直接使用Gabor滤波器响应的值，因为按照我们的测试它可能会比提议的方法得到更差的结果。这些结果大部分是由于在部分图像中高幅度响应值和道路区域不相关，反而Gabor响应的低响应值在道路区域中，这经常出现在有明亮天空和非结构化道路的图像中。四 区域自适应软投票计算完该图像的每个像素的纹理方向之后，这些像素可以投票确定消失点。准确地说，一个纹理方向是向量的像素P可以投票给所有P上的像素V（我们认为该图像中道路在天空下），因此，方向和矢量之间的角度低于一些固定的阈值。这种“硬投票”的策略在22中已用过。在我们的实验中，我们注意到，这个策略往往有利于图像中高位置的点，导致在消失点估计时出现较大的错误。此缺陷出现的典型图像如图5所示.图5为解决这个问题，我们提出了一个软投票方案，候选消失点的投票分数要考虑到候选消失点和投票点的距离。我们认为每个占整个图像中前90的部分像素是一个候选消失点，（虽然我们可能考虑更少，通过子采样图像），据我们所知，这是一个对一般道路图像现实的假设。对于图像的每个点V，我们定义一个V以下中心在V的半盘图像投票范围为图像Gabor响应（见图6）。半盘的半径被设定为0.35，其中是图像对角线的长度（见我们的实验验证部分）。图6在里面的每个像素P，如果纹理方向估计置信值大于T（第三节最后），将投票给更接近P且PV的方向和P纹理方向一致的候选消失点V。具体而言，我们引入比率等于图像的对角线长度除以PV的距离，并令为P点方向（PV）和纹理方向之间的角度。（2）值得注意的是，本身独立于。然而，的阈值取决于，使得仅当是非常小的角度（通常小于3度）时，相距很远的点（但仍在内）才能考虑进去，而点越接近V将越被考虑进去，最多到。例如，如果,仅当小于5/(1+0.6)（约3度）时，P才能投票给V。相反，如果，当小于5/(1+0.06)（大约为5度）时，P就可以投票给V，。这样的门限也可以被看作是一个惩罚系数，惩罚图像顶部尾端的候选消失点，他们有收到更多投票的优势，相比较低的候选消失点。此外，这也能够提高计算机的效率。最后，检测接收最大的投票得分的候补作为消失点。LASV过程见表1简要介绍。当真正的消失点不位于图像的顶端底部时，本文提出的方法LASV的优势是常规的全局硬投票方法的3倍。首先，软投票策略通过使投票得分远远低于1（除非非常小），抑制了对虚假消失点的支持（即那些在真正的消失点以上的候选消失点）。例如，图5中它减少了V1从Z2、Z3得到的投票支持。第二，它增加了真正的消失点接受到支持的比率，相比较高的假消失点接收的，例如如果P1给V1、V2都投票，V2接收到的支持大于V1。而如果使用硬投票方式，即使P1给两者都投票，对V1、V2的支持也相等。除去远离消失点候选的像素点，或纹理方向估计置信值低的像素点，或没有足够小的像素点，这大大提高了计算效率。我们的研究结果表明，LASV比慢版的全球硬投票方法22 速度超过5倍。五 道路分割正确检测到的消失点对道路区域的定位提供了有力的线索。因此，我们提出了一个消失点约束主导边缘检测的方法，找到两个最主导的道路边缘。根据两个主要的边缘，我们可以大致分割道路区域，以及利用两个最主导边缘的结合点更新由LASV估计的消失点23。在23中,类似的直道路分割方法同时进行检测两条道路边界。它是利用图像内的道路区域和在道路区域以外的某些特征（例如，R，G，B颜色特征）的平均值之间的差异，通过优化准则实现的。它也可以工作当公路和越野地区有不同的特点时。但是，它在两种情况下通常会失败：公路和越野区之间几乎没有什么颜色差别，并且道路区域内颜色不是均匀分布的。我们也需要指出26提出的道路支持区域分割方法与我们的区别。主要区别是，他们通过使用假想的“道路支持射线”获得道路的中线。这种技术可以很好地适应沙漠（不平坦）道路，其通常有以前的车辆行驶的明显痕迹，而且这些射线呈现出均匀分布。但是，它在纹理通常是稀疏的平坦道路上可能无法正常工作，因此，相比道路边界，寻找中间线可能更困难。相比之下，我们通过一个最优准则，发现道路的边界，这是通过OCR的先验特征和颜色特征相关的方法的组合。我们提出的道路分割策略就是通过先定位第一个，再基于第一个找到第二个主导的边缘。因为我们同时使用纹理和颜色特征，该方法在处理一般道路检测任务上具有良好的优点，例如，一些不平坦的道路，或者在道路及其周边地区（道路覆盖雪地或沙漠公路）有很微小的或没有颜色的变化，或者某些道路区域的颜色不是均匀的（雨后的道路），或画有标记的平坦道路上。 图7OCR的定义已在图7顶部左侧给出：l是一系列离散的有方向点/像素（这些点的方向由图中的黑色箭头表示）组成的一条线。对于每一个点，如果该点的方位和线的方向之间的角度小于阈值，这一点被认为是方向与线一致。 OCR定义为和线方向一致的点的数目和线上总点数的数目上的比值.如果最初估计的消失点是一个正确的估计，我们发现这个消失点（VP0）与很多主导道路边缘的交点一致，而如果它是一个错误的估计，则通常落于最主导的边界之一的延伸线上。因此，我们建议使用初始的消失点估计作为一个约束条件，找到的第一个最占主导地位的道路边界。具体而言，我们将从源自最初估计的消失点的一组假想射线中搜索这个边界。我们只考虑29条均匀分布的射线（排除那些相对于地平线角度小于20度或大于160度的），其中两个相邻射线相差5度。在图7顶行中的第二幅图像显示了一些这些假想的射线，他们每条都由一组Gabor滤波器估计方向的方向点组成。计算方法：每条射线和它的两个直接邻居（图7顶行的第三图像显示）的OCR相加，然后乘以每条射线两个相邻区域之间的色差（图7顶行中第四图像A1、A2颜色差别所示）。因此，使前面方法的最大值的射线被选择作为第一最主导的边界，计算公式为（3），A1，A2是第i射线两个最直接的邻域，是（A1，A2）的色差，具体而言被定义为色差的最大值（R,G,B），即其中（4）注意区域A1，A2分别由它们的楔角控制，这在我们的实验中被设定为20度。在图7左下角的红线E，被检测为第一最主导的边缘，它的长度被表示为。为了避免短边缘所造成的误检测，最小的被设定为图像高度的三分之一。一旦道路的第一个边界E被发现，我们将通过观察E上的点，更新初始消失点。在E上每个（定期）采样像素J，我们构建了一个线段组（Ls），任意两个相邻的线段之间的角度是固定的（在我们的实验中=5度）。我们还设置E和任意Ls之间的角度大于20度（出于假设道路两条边界线角度一般大于20度）。我们计算Ls中每一条线段的OCR（我们计算OCR大于0.02的线数，并且用表示这个数字），对于每个新的消失点候选J，我们考虑前n项OCR的总和（在我们的实验中，n=min，8）。图7中的绿色线段是从J开始的前n项OCR的n条线。使最大的点J即为估计的新消失点。我们尝试沿E除了最初的消失点的其他的点，因为最初的消失点估计可能是不准确的（也就是说，它不是最主导的道路边缘的交点）。图12中可以观察到一些更新的消失点。我们以与第一道路边界检测类似的方式，更精确地从投票选更新的消失点的n条主导边缘中推导出道路的第二边界的位置。所获得的第二条主导边缘的长度被表示和第一条边缘的长度被更新为（参照图7）。最小的和最小的被设定为三分之一的图像高度，以避免可能发生的错误检测。检测道路边界的过程总结于表2。六 实验结果A.消失点估计消失点估计在1003幅一般道路图像上测试。这些道路图像在颜色，纹理，照明和周围环境方面表现出的大的变化。其中，约430张图片是从一个沿在南加州沙漠的Grand Challenge路线的侦察途中拍摄的照片，而另一部分是从互联网上下载的谷歌图片。一些图像样本示于图1中。所有的图像都归一化到相同的大小：高度180、宽度240。为了评估算法的性能，对比人对消失点的位置感知，我们再让5人在他们被培训知道消失点的概念后，手动标记消失点的位置。为消除每个人在标记消失点时主观性带来的影响，一个中值滤波器被应用到这些人的记录结果（分别对x和y坐标），并且中值被用作初始的真实地理位置。两个相对初始地真实位置最远的手动标记的位置被删除。最后，计算其他三个位置的平均值为地面实际位置.简洁起见，在（2）中定义的软投票策略用“Soft”表示，硬投票策略（通过在（2）中用1更换）表示为“Hard”。根据全局区域投票（图6的左图像）的表决策略用“Global”表示，根据局部区域投票（图6的右图像）的表决策略由“Local” 表示。我们比较“Hard”与“Soft”和“Global”与“Local”计划。我们也比较它们的不同的组合：使用/不使用引入的置信因子。图8在比较这些组合方案之前，我们首先介绍阈值T如何影响消失点检测的精度，它被设置为纹理方向估计的置信值。使用的“Soft”+“Local”策略（局部区域的半径设定为），我们调整T从0到1间隔为0.1，其结果示于图8中。需要注意的是如果检测到的消失点的位置和地面的真实位置误差不大于10个像素，那么检测到的消失点被认为是正确的。当T被设定为0.3时，得到最佳消失点探测结果。同样，局部区域的大小在检测消失点时也发挥了作用。如图9所示，当局部区域的半径从0到变化时，根据“Soft”+“Local”策略得到的消失点检测精度，只有在图像像素的纹理方向估计信任值大于0.3才可用于投票。从图9，当局部投票区域的半径约时，我们获得最好的消失点检测结果，而在随后的所有实验中，局部区域的大小是固定的。图9图10图 10视觉上为我们提供了一些示例图像消失点估计的比较。估计使用“Hard”和“Soft” 基于全局的投票，分别由图10（a）和（b）所示，而使用基于局部的“Hard”和“Soft”投票的一些结果分别示于图10（d）和（e）。图10（c）和（f）显示了一些从那些图像像素的置信度得分大于0.3投票得到的样本。通过比较（a）（b）和比较（d）（e），我们可以观察到“Soft”的投票制度是比“Hard”的投票制度更好。通过比较（a）与（d）和比较（b）（e），我们发现，局部区域投票计划比全局区域投票更准确。在全局上具有较高信任值的纹理方向基于“Soft”投票制度的例子，如（c）行所示，基于LASV的估计如（f）行中所示。比较（c）与（a）（b），和（f）与（d）（e），我们发现，通过引入置信度量确实改善了消失点的估计精度。图11图11列出了一些以前提及的不同组合的统计数据。基于地面真实位置，我们计算标准距离L2，即，为检测位置，为地面真实位置，前面提到的不同组合的地面实况位置所产生的结果，并且把这些显示的距离15-bin直方图。图11的水平轴代表。如果该距离大于或等于15，它被放入的15th bin直方图。七个直方图如图11（a）所示。从图11（a），我们会发现，对像素的消失点估计使用高置信值比不考虑置信值因素估计的情况下更好。以局部区域投票为基础的方法可以比相应的全局区域投票的方法产生更准确的估计。根据这些直方图，我们也计算其误差距离小于一个数字的图像百分比。最好的结果来自基于高置信值的局部（置信度值大于0.3）“Soft”的投票策略，加上通过两个最主导边缘的交点来更新消失点。所有图片中约96，误差距离不大于10个像素。22中描述的方法属于“Global”+“Hard”的策略。根据我们的实验，我们的算法有更好的表现：对我们的数据应用“Global”+“Hard”的策略，共112图像产生超过50像素的误差，其中87个具有非常低的地面实际位置消失点。相反，使用我们的方法，这样大的误差在最弱的条件（“Global”+“Soft”）下只发生在33幅图像中。平均来说，用我们的测试数据，我们的方法给出了9像素，而不是22中的方法14像素的误差。需要注意的是，对于弯曲的道路，我们的方法所产生的消失点位于最直的直路边界的交点上。B.主导边缘检测和道路分割在1003幅图像中，约300张照片是画有标记的很平坦的道路。除去430幅沙漠图像，其余的为农村公路，他们没有画线，即使一些也很平坦。对于超过90的农村道路，检测到的两个最占主导地位的边缘作为道路边界。对于沙漠图像，只要消失点估计接近真实的位置，道路就可以正确检测到。对于弯曲的道路，所检测出的道路区域是最直接的可驾驶的区域，虽然道路表面的一部分，不能完全由两个主要的边缘包围。图12图12（a）对应的沙漠公路和图12（b）来自下载的图像。请注意，一些最初检测到的消失点位置，由两个主导边缘改善了。最初由LASV检测的消失点在第二行分别显示。所检测到的主导边缘候选分别在第三行中显示，其中红色的线是第一次检测到的道路边界。两个主导边缘被检测到并在第四行分别显示。由主导边缘更新的消失点在第五行显示。通过检查消失点的检测结果，我们发现，一些失败的情况是由极端光照条件所造成的（例如，饱和强度或树木的强阴影，如在图13的第七和第八列显示）。当车辆行驶或下山，并且没有足够的支持投票区的消失点（图13第五列），消失点检测会失败。但是，如果有足够的支持投票区，即使车辆在不平坦的道路上运行，消失点也可以正确地检测到（图13第六列）。同样地，车辆转弯时，如果图像中有大量支持区域投票，消失点也可以准确检测的（图13的第一列和第三列），反之亦然（图13的第二，第四和最后一列）。为处理前面提到的失败的情况，我们可能不得不寻求其他的方式，而不是只依靠消失点检测来