非结构化道路虚拟边线识别技术研究

题目：非结构化道路虚拟边线识别技术研究页第1章绪论1.1课题背景及研究意义这些年来，伴随着城市化进程的不断加速以及世界经济的快速发展，汽车逐渐的变成了人们出去旅游和在生产生活活动中必不可少的交通工具。但是，伴随着汽车保有量的不断增长，交通事故也开始慢慢的变多了，这对人们的人身财产安全造成了许许多多重大的损失，让驾驶汽车成为了一项存在危险的活动。伴随着这些问题，国内外众多企业及科研机构开始利用科技手段来提高车辆行驶的安全，其中比较出名的系统包含了比如ABS系统、电子点火系统、疲劳预警系统等。但是，尽管目前的车辆自动化程度相对于以前来说已经很高了，但是人们并不满足于现状，科研人员希望能够开发出拥有完全自动驾驶功能的车辆，使得出行可以变得更加的自动化、安全以及舒适。因此，智能车辆的研究也就开始诞生并且加快了，智能车辆也可以称之为无人驾驶车辆，它是集人工智能领域、自动控制领域、信号处理领域等综合性领域的学科。无人驾驶车辆需要一个能够使得汽车和道路合一，并且让汽车的行驶和安全性相互协调规划的综合系统，换句话说，这是一种典型的高尖端科技的综合体，科研工作者的目标便是创造出一种能够完全进行自主驾驶的智能汽车。智能汽车的研究有许多的作用和意义，比较明显的便是通过电子仪器的工作识别，使其具有减少交通事故概率,并且能够提高交通运输能力，以及无人驾驶车辆其广阔的市场前景，智能汽车能够引领未来汽车工业以及汽车制造业的发展，所以智能车辆受到了科研学者们极大的重视[1]。并且，无人驾驶车辆可以广泛的应用于道路交通、农业、林业、军事等领域。但是，无人驾驶车辆需要一个智能导航系统来保证汽车的正常安全的行驶，智能车辆的视觉导航系统部分属于机器视觉的范围，机器视觉在人工智能识别研究领域中是一个非常关键性的难题，只有解决这个难题，才能保证无人驾驶汽车安全的自主行驶。通过给车辆前端安装摄像头，借助摄像头所拍摄的视频来取得外部信息，再把获取的外部信息传送给ECU加以分析，进行处理，进而划分出可以行驶的道路区域与不能行驶的非道路区域。并且还可以根据道路曲率变化的大小情况，然后通过概率学进行研究计算，以此来预判道路区域的延伸方向，进而去改变无人驾驶车辆的行驶方向，从而到达预先设定好的目的地，最终完成智能车的无人驾驶工作。但是，就目前来说，关于智能汽车无人驾驶技术的非结构化道路研究在全球范围内仍然处于理论、实验和探索的阶段。而其中的道路识别算法是无人驾驶研究的重要组成部分。通俗的来讲，非结构化道路虚拟边线识别的目的就是通过摄像机以及传感器等装置来检测非结构化道路前方的场景以及所在的道路区域，并通过ECU来判断出道路是直道或是弯道，然后通过ECU来拟合出车道线，最后来引导智能汽车的行驶。到目前为止，国内外的无人驾驶车辆道路识别方面的研究已经取得了比较多的科技成果，但是其存在的问题依旧有许多。有些算法的实现具有很大局限性，并且只能在特定的环境中才可以用机器来识别并做出反应[2]。因此，研究出一种可以适应多种的道路环境，并且可以有效的抵抗道路阴影，污渍的影响，鲁棒性强的非结构化虚拟边线道路识别算法，对于推动我国的无人驾驶汽车的发展具有十分重要意义。1.2国内外的研究现状与分析1.2.1国外研究现状由于社会发展的需要，国外较早的时候就有关于结构化道路与非结构化道路边线的研究。无人驾驶汽车的行驶主要是通过摄像头以及传感器来感知车辆周围的道路、障碍物以及车辆位置等信息，并且以此信息通过ECU分析后，ECU再将分析过后的信息再来控制车辆的速度和转向，使智能汽车能够安全自主地在结构化道路或者非结构化道路上行驶。国外关于无人驾驶汽车的研究最早始于1950年代，在当时，美国的Electronics公司研制出了全球第一台的无人驾驶汽车，这辆汽车已经有了智能汽车的雏形。当给定一个轨道给它时，它能在无人工干预的情况下，自动的沿着科研人员给定的轨道进行自主行驶，所以说，它实际上就是相当于一个可以自主移动的机器人。这正证明了对结构化道路识别的研究已经开始了。自从上世纪八十年代起，以美国，日本以及德国等为首的发达国家，就已经开始对这项研究投入了人力与物力，伴随着这种资本的投入，导致了无人驾驶车辆的高速发展以及对其的研究的高速进程化，正是由于对无人驾驶汽车研究的热情，推动着非结构化道路虚拟边线研究的热潮。当前，美国的无人驾驶智能车辆的研究以及非结构化道路边线的研究在全球范围内都是处于领先水平的。在美国，斯坦福等大学进行的无人驾驶智能车辆领域的研究从上个世纪的70年代就开始了。到了80年代初期，美国的国防部投入了大量的人力、物力去资助初期的无人驾驶车辆ALV的研究，这个方案推动了军事水平、以及无人驾驶汽车和非结构化道路边线研究的发展速度。1999年，一辆名叫Navlab-V的无人驾驶智能汽车被美国的卡内基梅隆大学成功的研发了出来，它能在复杂的非结构化道路环境中进行自主行驶，它利用摄像机采集到的图像信息，通过ECU将直视图转化为俯视图，并且从中提取出道路的边界线，以此来实现无人驾驶汽车的道路边线识别，并且这个实验所通过的路线横穿了美国东西部[1]。并且，作为该项技术的领头者，美国在这方面的研究发展相当之迅速。例如，由美国陆军与国防高级研究计划局（简称DARPA）资助的ALV项目首先使用了雷达、相机及其它的传感器进行道路环境的感知，这也是现如今大多数的无人驾驶车辆以及智能机器人所采用的方法。ALV项目研制的无人驾驶汽车能够在多种复杂环境下实现自主驾驶，而且该成果为智能车辆的研究指明了一个方向，激发了众多高校和科研机构研究智能车辆的热情。为了鼓励和推动智能车辆技术的创新，在2003-2007年间DARPA共组织了三次无人驾驶汽车挑战赛。首届228公里的越野挑战赛在美国的莫哈韦沙漠中举行，全程共达到了240公里，挑战的目的是希望开发出能够在越野环境中完全自动驾驶的汽车，最终卡内基梅隆大学研制的“沙漠风暴”智能车辆，以11.78公里的行驶速度成绩获得比赛的冠军。而在第二届越野环境无人驾驶汽车挑战赛中，共有23组车队参与，这次斯坦福大学研制的“Stanley”无人驾驶汽车（图1-1）以8m/s的速度通过多样化的越野环境并且成功的摘得了比赛的桂冠。第三届比赛在美国洛杉矶周围的一个军事基地举办，比赛总里程96km。相对于前两届的沙漠挑战赛，这次的挑战赛不但希望车辆能够在复杂的道路环境下行驶，而且还要求车辆能够遵守交通规则。而最终卡内基梅隆大学的“Boss”无人驾驶汽车（图1-2）摘得了比赛的桂冠。该车配备了定位仪、激光测距仪以及雷达、两个视觉传感器等仪器设备。比赛的结果吸引了众多非传统的汽车生产商公司以及科研学者对智能车辆的关注，在此之后，斯坦福和卡耐基梅隆大学的团队随后在Google的资助下开始合作共同研发了Google无人驾驶汽车，这辆无人驾驶汽车在2010年在拉斯维加斯进行了实际的城市道路行驶环境测试。其主要应用在于，通过激光扫描来创建高精度的地图，并以此作为导航信息让车辆在相对可控的环境中精确行驶，另外还使用了包括相机、毫米波雷达以及其顶部旋转的三维激光传感器在内的多种车载传感器对周围环境进行动态扫描，检测地图中未标明的物体以及障碍物。Google公司利用现有的地图资源和技术，加强了对非结构化道路边线的检测方法研究，使其在智能车辆的研发上具有很大的优势[1]。图1-1“Stanley”无人驾驶汽车图1-2“Boss”无人驾驶汽车大西洋的另一面，德国的VaMP系统实验车则是从德国慕尼黑的出发，它的目的地设定在丹麦，这个实验就是行驶在结构化道路下才实现的自主行驶，全过程无人操作。这个智能车系统的亮点技术是采用了回旋曲线模型来完成车道线的检测，并通过卡曼滤波跟踪来测量车辆的运动状态向量。此法虽然完善了无人驾驶汽车中对直线模型研究的不足，适应了结构化道路中的弯道，但是它的计算量比较大，且建模的过程比较复杂，如果处于车道线模糊或是在光照不均的环境下对结果会有很大影响。而S.Han等人引入了聚类的思想，通过引用K均值聚类算法来进行道路性质的分类和判别，进而去实现道路边缘线的检测。同时，对于道路边缘的提取和划分则采用moment算法，并且通过离线训练，和确定价值函数的方法选择导航基线。Astrand等人在农业领域则采用了信息融合的方法，通过同时处理多行作物并且进行分别判断。根据农作物与杂草的区别，来发现、识别、检测、定位目标农作物。并且在进行道路基线的提取时，采用一种基于Hough变换的直线检测技术。虽然这种方法具有处理速度较快，精确度较高的优点，但是因为Hough变换的特性，所以决定了算法只能局限于直线道路的检测，其对于曲线道路的检测则存在识别能力较差的问题。另一边，京都大学的Torii以HIS颜色空间变换为基础方法，通过将一副图像分割为多个区域，并且分别处理每个区域，然后结合最小二乘法来实现导航基线的检测以及拟合、划分。同时还引入了反馈控制，这样能够确保对机器人所处状态进行实时的反馈修正，这种方法取得了十分精确的横向精度[7]。而科研人员为了应对视觉导航的技术难点，因此发展出了多种传感器并行的信息融合技术，例如将红外传感、超声雷达等技术运用其中。一方面弥补了视觉导航的局限性，提升车辆可靠程度，另一方面，也拓展了车辆各类特种用途。1.2.2国内研究现状由于欧美等国家在无人驾驶汽车的理论研究及可行性方面的研究走在世界前列。为了减少这种差距，从上世纪80年代起，我国便开始了对无人驾驶汽车的研发。清华大学、西安交通大学以及吉林大学等多个高校，都开始参与了智能车辆无人驾驶技术的研究工作。尽管我国研究起步的时间晚，但是经过全国各界的科研工作者们坚持不懈的努力，我国在这方面的研究也取得了许多成果。我国第一辆真正意义上的智能车研制于1992年，这一结果标志着我们国的智能车无人驾驶技术取得了突破性的进展。到了2003年，国防科技大学和中国一汽共同合作研发的无人驾驶智能汽车问世了，该试验车辆的最高稳定时速可达到130km/h，这就可以说我国无人驾驶汽车技术的发展已经达到了世界领先水平。而在无人驾驶汽车的道路识别研究技术中，对于道路车道线的提取和识别是研究的关键部分。当汽车在道路上正常行驶的时候，无论是对于继续保持原来的方向进行行驶，还是当车辆偏离行驶路线时进行报警，检测车道线方法的实时性和安全性都发挥着无可代替的作用。而在非结构化道路边线的提取算法中，第一步是获取道路的图像信息，第二步对道路的图像信息进行预处理，第三步则通过ECU来分离出非结构化道路中的车道线。杨国青、李秀梅等研究人员提出了一种通过对HSV图像的数学形态学方法和针对灰度图的Hough变化检测方法相互结合的检测方法，这样对于非结构化道路边缘检测的实时性有极大的提升。而杨智杰又提出了一种基于RGB熵的颜色模型的道路边缘检测方法，通过利用道路环境的颜色特征来设计出转移函数，再通过转移函数标记出的道路车道线做出所在区域，然后通过运用数学形态学的基本方法剔除大量无效的道路干扰边缘，最终检测出道路的边缘线。李青等人则提出了一种可以快速识别非结构化道路虚拟边线的算法，通过暗通道将非结构化道路的图像划分，然后经过K-means聚类分离，最后再将非结构道路的边线约束出来。而段建民则在不同环境下通过对道路图像进行整体最优阈值进行分割，采用逐行检索的方式来检测道路车道线内侧的特征点，这样通过得到的道路车道线特征点来建立道路模型，这种算法克服了传统算法中的检测不能细化到内外两侧的问题，并且所进行的道路边缘点拟合能够得到与实际道路车道线所相吻合的曲线。王全则又提出了在复杂行车环境下的一种非结构化道路边线的检测算法，首先，通过对车道线的灰度化处理、中值滤波去除干扰信息过后，再利用Canny算子法进行边缘增强，通过对图像进行二值化处理，最后采用改进过后的Hough变化法来拟合直线的道路车道线。郭烈、黄晓慧、刘宝印等人则在传统方法的基础上，提出了一种基于特征点的方法来检测弯道，同样利用Hough变化法来求取直道车道线，然后通过一些准则来判断出曲线道路的弯曲方向，接着确定曲线道路车道线上的特征点，最后对车道线进行分段拟合并且得出最终结论的方法[2]。在实际的非结构化道路识别的过程当中，道路的状况呈现连续不断变化的视频图像信息，其就相当于一幅幅图片连接而成，所以科研人员为了提高非结构化道路识别的效率，提出了许多种不同的方法进行道路的识别跟踪，这使得我国的非结构化道路边线的检测进入了一个高速发展的时期。1.3论文主要研究内容随着科技的发展，非结构化道路虚拟边线检测技术进步的速度越来越快，进步的质量越来越高。但是从目前的情况来说，其检测技术仍然有许多缺点和局限性。因此，论文的主要研究内容分为以下几个部分：（1）第一章，研究非结构化道路虚拟边线识别的运用问题，并且其在国内外的发展情况作出对比。（2）第二章，研究非结构化道路研究发展所存在的问题，并需要作出怎样的改变。以及其更为细小的分类。（3）第三章，通过自己的学习分析以及思考，研究科研学者的方法，对比其中的优劣，提出对这些方法的看法。（4）第四章，提出自己改进的非机构化道路虚拟边线的识别方法，对其进行仿真模拟实验，对结果进行分析判断。（5）第五章，总结自己的方法优劣得失，对于自己论文的研究进行总结，提出非结构化道路研究未来的发展和可能运用的方向。第2章非结构化道路虚拟边线识别的问题2.1非结构化道路检测存在的问题尽管到目前无人驾驶汽车的发展十分的迅猛，并且也取得了很好的成果。在结构化道路方面，目前的理论实践已经做的很好。但是非结构化道路边线识别技术还面临着许多的挑战。结构化道路是指道路有明显的黄色或者白色等清晰的道路边界线，结构化道路的路面颜色通常比较固定，并且道路车道线和道路边界线的形式和颜色较为统一，因此极其利于机器的识别。而非结构化道路则是指没有明显的道路边界线的道路，其中的例子正如下图所示(图2-1到图2-4），由于实际情况下的道路结构种类繁多，并且复杂多变，既包含有标准的城市化道路，也有原生态的乡村道路以及越野环境等复杂路段，因此非结构化道路识别到目前为止一直是一个非常复杂且富有挑战性的课题。由于非结构化道路通常缺乏明显的道路特征，而且除了道路的结构因素以外，阳光的照射和天气的变化也是影响识别精度的重要影响因素[1]。由于非结构化道路的边线检测会存在许多的干扰因素，并且由于非结构化道路的差异是千差万别的。因此怎样找到一种快速，安全并且准确的检测方法便成为了当务之急。图2-1结构化道路图2-2沙漠图2-3山地图2-4雪天2.2田间道路检测面临的挑战由于现在很多的标准农田是机械化生产，所以对于田间道路的非结构化道路边线的检测就变得不可避免了。科研学者对于这方面提出了许多方法来进行研究。例如，基于双目视觉障碍物检测的方法，其主要原理是通过视差规则，利用摄像机等仪器来获取道路不同位置的图像，然后通过ECU计算道路的图像信息，接着利用其对应像素间的位置偏差信息来获取道路的三维几何信息图，也可以称之为视差图。最后，根据这些道路的几何信息图，再从中分离出可以行驶的路面和障碍物。然而，基于双目视觉的障碍物检测方法的原理看起来虽然简单，但是由于实际的田间道路环境情况复杂，要在田间道路检测出正确且快速的行驶道路并且避免障碍物仍具有很大的挑战性。其中，光照变化、视差不连续、障碍物、弱纹理区域歧义匹配以及实时性和资源消耗等问题是目前面向田间道路非结构化检测以及检测田间道路障碍物的主要问题。比如说，由于光照变化会导致同一方向左右两边的两幅图像匹配的像素点灰度不一致，从而造成匹配错误。而在弱纹理区域中的图像，它的像素点是没有明显的灰度或者颜色变化的，所以很难在另一幅相应的图像中找到它的匹配点。因此图像的弱纹理区域同样会对传统双目视觉障碍物检测算法产生较大的影响。而且，为了获得密集的三维点的云数据，传统算法需要计算出图像中的每个像素点的差异，这样做带来的影响就是算法会占用系统的大量运行内存资源并且存储及时的中间数据，由于频繁的数据访问，所以会大大的降低算法的数据吞吐率，从而导致非结构化道路的实时性降低，影响汽车的行驶。但是，关于农业的自动化导航机在田间的导航方法和装置的研究已经取得较多研究成果，特别是在GPS导航系统的方面已有比较成熟的技术。虽然农机视觉导航系统在复杂田间环境中的灵活性比较好，但是如何设计算法用来提高在不同光照、阴影、农作物、杂草等环境下的非结构化道路边线的识别精度仍需进一步研究。利用机器的双目视觉技术能够获取比较丰富的视频图像信息，并且能为非结构化道路边线识别精度提供便利。但是，正如上文所说，如何在保障非结构化道路边线识别精度的同时，还要提高图像的3D信息提取与分析识别速度是实现田间道路识别方法成功的关键，也是这方面的研究重点。由于田间道路的试验研究方法主要以田间试验为主，试验的成本相对于其他的非结构化道路研究来说较高并且无法避免对农作物生长时期过度依赖，因而容易造成试验周期增加，并且成本増加的风险。但是，仿真模型为农业机器的非结构化道路边线导航系统试验的研究提供了一种新的途径。然而，如何在3D虚拟场景中模拟农业智能机器非结构化边线的导航系统中的软件属性和王作过程是仿真模型试验研发的重点和难点[8]。因此，对于研究行驶在田间道路的无人驾驶汽车来说，作物、天气、障碍物都会成为其阻碍以及挑战。2.3山地道路检测面临的挑战我国耕地的总面积的五分之三左右都在丘陵和山区地带,这也是我国重要的油料、粮食、烟草、茶叶、水果等农作物合水果的生产基地。但丘陵山区的非结构化道路的环境以及自然条件非常差,这就导致了目前的农产品和农用物资在山地的非结构化道路上的转运存在着安全性较差，并且劳动力投入较大以及生产水平较低等问题。在山区的劳动力缺乏情况下,丘陵山区非常需要一种安全性好并且自动化程度高的能识别山地非结构化道路的运输车。因此，针对丘陵山区的非结构化道路的边界模糊、无车道线、背景环境复杂而且多变等问题和显著特点,采用双目摄像头对运输车的前方道路进行快速，安全的识别,利用三维重建技术和立体匹配来获取山地道路的三维信息,据此来进行山地丘陵道路上的局部路径跟踪,来实现运输车在山地丘陵道路上的无人自主行驶成为一种较好的方法。2.4沙漠道路检测面临的挑战对于在沙漠中使用非结构化道路的检测，由于沙漠地形的结构颜色较为单一，大多数地方的颜色都为黄色或者淡红色，如下图。这种环境对于非结构化道路虚拟边线的识别就会产生较大的影响。由于颜色单一，一般的识别方法识别出来的效果就就不会很好，由于检测方法所检测出的结果准确性不够好，我们可以采用导航的方式来一起控制汽车的行驶。由于沙漠的人烟稀少，往往很长一段距离都不会有人，因此，采用导航混杂道路检测的方法是一种不错的方法。图2-5沙漠中进行行驶的汽车第3章非结构化道路边缘各种检测方法3.1PCA-SVM准则非结构化道路识别3.1.1PCA-SVM算法PCA的基本理论，PCA是一种统计分析的方法，其主要是将一个较少的原始数据变量投影到一个新的虚拟空间中，并且用该虚拟空间的变量来表示原来的数据，以此来达到降维数据的目的。SVM则是一种机器的学习方法，针对非结构化道路边线的识别主要是道路区域和非道路区域，因此，我们可将其简化为二分类的问题，而SVM的约束条件就是以训练误差做为最优化的，然后通过置信范围最小化来进行此分类。在进行SVM分类时，由于大多数的样本是非线性的，这时可以将其转换为更高维的向量，通过这种方法使其改变为线性可分的数据向量。对于PCA-SVM的识别过程来说，它主要包含了两个过程，训练过程和测试过程。为提高算法效率，无论是训练过程还是测试过程，对图像集的识别方法皆是是采用分块的方式来进行单元识别的。3.1.2单元格特征的提取和压缩图像信息的提取是影响后续处理与分析的关键因素，道路图像的主要特性包括纹理、颜色、形状等。但是由于非结构化道路上的物体信息没有规则的形状，因此形状特征并不适合用于区分非结构化道路的路面与环境的信息。此时非结构化道路的纹理、颜色是区别非结构化道路路面环境的主要特征。一般来说，非结构化道路的道路样本选取在车辆正前方，环境样本则选取随机的非道路环境区域，这种样本的提取方式如下图所示。而在颜色特征的提取方面，则选择了符合人视觉感知的HSV模型。此模型通过对颜色饱和度、亮度以及色度进行描述，与人类的视觉更加的接近。HSV模型通过色度分量和亮度分量分开表示的方式，能够有效的避免因为光线的照射不均匀而带来图像的颜色和色度不均匀的影响。而在纹理特征的提取方面，可以利用灰度共生矩阵来得到图像的排列规则和纹理特征。环境样本图3-1道路样本3.1.3PCA-SVM区域准则生长与分析区域生长的基本概念是将有类似性质的像素点统一起来，然后将其分别构成不同的像素区域。但是传统的区域生长首先需要找到一个正确的种子起点，然后再根据事先确定的准则来进行像素点的统一，将起点以及其周边具有相似或者相同性质的像素分辨出来，再将其合并到所在的区域当中，然后将这些新像素作为新的起点像素，接着再次循环上面的过程，直到没有满足条件的像素，这个步骤才算完成。常采用的生长准则有灰度分布统计准则、灰度差准则、区域形状准则等等。但是采用这种生长方式的种子点选取对结果影响比较大，而且采用单一的行为准则，所以其方法的鲁棒性差。科研学者针对此种问题，又提出了一种区域改进生长算法。首先，定义了区域生长单元，即区域生长的过程当中，每次识别和生长的最小单元。而且这个单元可沿上下左右，左上，左下，右上，右下这8个方向向邻域内生长，但是不能生长到已经生长了的区域。当每一个所划分的单元在满足生长准则过后时，就成为了下一起点单元。若是其不满足生长准则时，则就需要将其判定为终止单元。根据“车在路上”这一先决位置信息，可以判断车行驶在道路上，并且可以确定车前方的等腰三角形区域可以作为机器视觉道路特征选取最佳区域。在这个区域内，选取一个大小适中的集合，将其用来作为初始的起点单元，这样既可保证初始起点单元位于路面区域，又可以避免随机的选取造成道路识别的误差[9]。此方法复杂，实验步骤过多，不利于快速识别，但其准确性高。3.2非结构化道路块处理方法和消失点算法3.2.1块处理由于在实际的道路路况下，非结构化道路的道路边界是连续并且渐变的。因此若边界上的道路与非道路的图像像素相似，则会不利于提取道路边界关键点来进行边界拟合。而且，有一些具有比较强的干扰性的复杂路况，比较难以做到完全的分割。而在非结构化道路区域内，会存在着各类干扰物的影响，这样就容易产生误判的情况，例如下方图片，由于非结构化道路的中央区域存在与道路两旁类似的植被，而且底部的泥土所构成的凹陷导致本应该为道路高亮度区域，然而却产生了局部暗块，这样就会导致出现错误分割。因此，可以采用一种分块方法。首先，需要确定分块的大小，通过对图像分割处理所得到的图像，即大小为M*N的二值图像进行分割，假设其初始参数t，并且将图像分为P*Q个分块。这个公式具体为，P=M/t，Q=N/t。但是由于考虑到M/t，N/t可能不是正整数，因此又需要对最后一行和最后一列进行单独处理。图3-2原始图像图3-3灰度图像分块的大小确定是一个尤为重要的问题，这会影响到后续处理的准确性。如果将其 规划的太大，则容易导致非结构化道路的道路边缘信息丢失；但是如果分块太小，则又容易受到局部区域的异常影响，从而无法起到过滤和区分的作用。所以，为了避免这种不利影响，分块的大小就要根据图像分辨率来确定，根据多次的实验，科研学者发现当分块的t值取为10的时候，就能够取得较好的效果。其次，确定了块的大小后，就需要再确定块属性，为了能够提高算法的效率，并且减少相应的计算量，同时还需要避免局部误判的影响，于是就采用了四角邻域的方法，通过这个方法来对每个分块确定其属性，对每个分块的四角以一定邻域h（h=3）范围内，则统计其中包含的道路以及非道路的像素比重,具体公式如下。PP其中，P和PN分别表示角邻域内道路与非道路像素的占比；c则表示为各类像素点的个数；n表示为邻域内的总像素点个数。如果P大于PN，则该点就为道路点，如是P小于PN，则认为该点为非道路点。3.2.2道路边缘点的提取经过实验分析表明，对于处理过的区域块，如果道路区域块符合一些特殊的现象，即可认为该块位于非结构化道路边缘的。并且对左边缘和右边缘分别进行mid-to-side的方法来搜索。当搜索到符合条件的边缘块后，则跳至下一行继续进行搜索，这样就避免了伪边缘块的出现。很明显，当图片上的道路处于离汽车比较近的位置是，左边缘的边缘块位于图像左半部分，而右边缘的边缘块则位于图像右半部分。但是由于实际弯道和摄像头角度等问题，因此在远处的视线区域的左边缘，右边缘可能不仅仅局限再图像的左半部分以及右半部分。例如下图，所以，有些时候两者也会出现混合的情况。但是经过研究观察，近处的视野区域内，左边缘和右边缘都遵循于以下的这一规律，分布于图像左半平面和右半平面内。当摄像头搜索边缘块时，应该遵循下面的步骤，图3-4非结构化道路远处的道路边缘变化1.从图像的底端，也就是图像的近处视野场区域的中线开始，分别向左和右两端搜索符合条件的边缘块。2.如果没有搜索到符合条件的区域块，那么就跳转至下一行的中点处重复步骤（1），如果搜索到边缘块，则需要记录各边缘块的中心坐标，并将其存入左，右边缘点。3.当计算搜索到边缘坐标的距离时，需要与事先设置的阈值T相互进行比较，如果边缘点距离大于阈值T，就跳转至下一行，并且在此时计算两点的中点，更新中点的位置，而在进行下一行搜索时，则是从计算的中点向两端搜索，而不是从图像中线开始；此时，如果边缘点距离小于阈值T，则不需要进行处理。如此搜索计算几行之后，再直至稳定的小于阈值。或者，扫描完所有道路块。经过上述的运算规则后，就能够排除某些非结构道路非路块的干扰，并且能够得到足够多并且精度符合要求的边缘块，然后通过计算每个边缘块的中心坐标后，就可以实现左边缘点和右边缘点的检测提取。3.2.3道路消失点算法虽然非结构化道路没有明确的车道线和道路边界线，但是一般来说，车辆在通过非结构化道路时，通常会有前车行驶过的车辙痕迹，并且这些车辙痕迹在图像平面上一般会收敛于非结构化道路车道前方的一个点，这就是道路消失点。消失点可以说是非结构化道路图像的基本特征之一，不管是直道还是弯道都可以找到道路消失点，ECU通过对此点的分析可以以此来控制车辆的行进方向，如下图所示，图像中的直线符号尽头就代表着消失点的位置，图中的直线符号表示车辆的行驶方向。由于消失点算法在各种复杂的非结构道路环境下的表现都比较出色，因此道路消失点法备受关注，其已经成为目前研究的重点热点。关于消失点有一种改进的类Haar纹理算法，将图像的某一区域设计出4个尺度以及6个方向的纹理模板，并将其划分为实部和虚部，找出图像中的每个像素信息的纹理特征，然后再利用投影的方法，将其垂直投影下来，并以此信息准确的计算出纹理的主要方向，最后通过改进的方法，也就是局部软投票法来选出较为准确的消失点[12]。估计出道路的消失点过后，再根据消失点的信息进行边界软投票，从而提取非结构化道路中的道路区域[13]。这种方法的理论要求过高，算法较为复杂，不过准确性好。尽管此算法在各种复杂的非结构化道路环境下表现十分出色而备受科研人员关注，但是现有的消失点检测方法也有许多待解决的问题，由于其普遍存在投票计算过程复杂度和纹理特征提取难度较高，并且容易受到局部强纹理特征干扰的影响这些缺点。另外，在道路的分割算法中，尽管以消失点为约束的方法有效提高了方法的抗干扰能力，但是其忽略了道路环境的区域属性，从而容易导致过分分割。所以，尽管国内外在非结构化道路消失点方面的研究已经取得了非常巨大的进步，但是现有的方法依然存在着许多不足之处。图3-5非结构化道路虚拟边线的消失点3.2.4边界拟合道路识别的最后一步离不开道路的边界拟合，只有进行了边界拟合，才能将汽车固定在道路内行驶。而非结构化道路模型的确定对于非结构化道路拟合有着至关重要的影响，因为适当的非结构化道路模型能够起到进一步约束的作用，而不恰当的非结构化道路模型则会削弱非结构化道路拟合的效果。目前可选用的道路模型较多，常用的模型包括一次的直线模型、二次的曲线模型、三次的曲线模型以及双曲线模型和样条曲线模型等。各种道路模型的作用效果不同。直线道路模型的计算量小，并且实时性高，但是对于弯道的拟合精度较差。二次曲线在直线道路模型基础上进了行改良，在尽量不增加计算量的情况下，较好的解决了直线道路模型无法精确拟合弯道的问题。但有一点和直线模型十分的类似，二次曲线道路模型也对异常参数十分的敏感，因此比较容易受到错误边缘点的干扰，从而导致降低拟合精度。三次曲线来说，其计算量较大，实时性也不高，但是能够较好的拟合弯道变化快，半径较大的道路。样条曲线模型则对于复杂环境具有十分良好的拟合性能，并且还不易受到个别异常点的干扰，但是其实时性比较低[7]。因此，相对来说，二次曲线道路模型在非结构化道路边界拟合中比较实用。3.3使用RGB熵方法识别道路3.3.1RGB熵原理随着时代的发展和进步，科技的力量带来了更多的可能性。目前，就有一种RGB熵的道路识别方法出现在了人们的面前。这种方法的主要应用原理如下。首先，设置一个大小为M×N的原始道路的彩色图像，然后归一化RGB分量值，这样，每一个像素所占比例，也就是这些像素的RGB分量在这个像素的总颜色中所占比例为[14]，RRR公式中，i=0.1,…,M-1；j=0.1,…,N-1。首先，我们知道，由于在非结构化道路的RGB图像中，道路的颜色大多为灰色和黄色，并且，这些颜色的RGB分量值的差异并不大，但是，这些颜色所代表的的熵值会比较大，根据下式可得出其熵值。从另一方面来说，由于道路区域与非道路区域的环境差异会比较大。例如，天空、土地、绿色植物树木、草地、沙子、天空等等，这些颜色的RGB分量值的差异就会比较大，但是其计算出的图像熵值会比较小。这样，对原始的RGB图像的像素使用下式所得到熵值，将其映射到［0，255］范围内进行划分。这样，根据信息熵的定义，则每个像素的图像熵就可以使用下面的公式进行计算，H那么，原始RGB图像就可以对应一个新的，由映射后的熵值所构成的灰度图像。3.3.2RGB熵阈值的选取与道路拟合通过灰度变化，使得彩色图像变为黑白灰度图像，并且通过上式所获得的值被称之为熵值，这是通过灰色道路图像的灰度值所得到的熵图像，如果我们将熵图像中的每一个点的灰度值将其组成矩阵，也就是熵矩阵。我们可以设置一幅大小为A*B的图像像素点矩阵，那么其对应的熵图像的大小也是为A*B，这样熵图像所对应的熵矩阵大小也为A*B。现在，我们假设熵图像中每一个点的灰度值为h(i,j)，那么A*B的熵矩阵可以表示为下式，H这样，通过最终的结果，求得应该使用的阈值。通过比较RGB熵的像素点与阈值的大小，来比较出道路与非道路的区域。一般来说，如果某一点像素的熵值大于或者等于此阈值，则将其认为是道路区域。若该点像素小于此阈值，则判断其为非道路区域。此种方法快捷，实时性好。但是其准确性不够好，容易受到环境的干扰。因此，此种方法还有待改进。第4章非结构化道路的边界识别技术的仿真研究4.1基于RGB的非结构化道路边界识别技术选择基于RGB熵的非结构化道路边界识别技术的主要原因是，RGB熵的方法简单有效，其图像处理速度迅速，并且处理步骤较少。还可以在非结构道路的边界分割过程中采用边界拟合的方式，使得对非结构化道路的识别准确度提高。总而言之，采用RGB熵的方法来检测非结构化道路的虚拟边界，能满足无人驾驶汽车对边界识别的快速性，准确性，安全性等要求。4.1.1识别模块以及RGB熵原理非结构化道路虚拟边线的检测过程中，包含了许多的处理流程，所以可以采用模块化的处理方法。通过各个模块间的协同合作，来实现非结构化道路边线的检测。而道路检测系统大概可概括为以下的七个模块，首先，无人驾驶汽车通过图像采集模块来采集图像，图像采集是非结构化道路边线检测系统的基础，其通过分析采集图像的分辨率，对比度等指标后，结果将会直接影响后续处理的优劣。所以，根据实际情况选择最适合的图像采集设备非常的重要。一般来说，道路图像的获取，在实际的行车情况下是由车载摄像设备提供的，但是如果在开发调试阶段，则往往是由外部影像输入。其次是图像的预处理模块，图像采集模块所直接获取的道路图像，是包含多个分量的彩色图像，其包含的数据量较大，不利于图像处理系统的实时性处理。因此，我们需要对其进行灰度化处理，在保存图像细节的前提下在对其进行图像压缩；此外，由于直接获得的彩色图像在采集，传输过程中可能会遭受到干扰，产生干扰点，这样就需要进行滤波处理等操作来滤除噪点和干扰点的影响。然后是图像分割模块，与有清晰的结构化车道线的，并且按照一定施工标准建造的结构化道路不同，非结构化道路一般来说，没有清晰的车道线与清晰的道路边界，本身环境就会较为复杂，还可能存在光照，阴影，泥土，水迹等干扰物的影响，使得道路与非道路难以辨别，所以准确提取的难度会比较大。准确的分割出道路区域与非道路区域是针对非结构化道路检测系统的最本质目标。可以对经过预处理模块处理后的灰度图像进行进一步处理，并且通过引入二维熵，SVM分类器来进行判别，以此来实现对道路图像的二值化判别。接着是边缘提取模块，这是图像分割的基础上进行的道路特征提取。然后经过边缘检测，来获取一系列离散的边缘点，这些边缘点将用于之后的边缘拟合。接下来则是道路建模模块，现实环境下，了解非结构道路的结构特征后，再通过分析选取合适的道路模型。因为实现基于模型检测方法与基于特征的检测方法的结合，对于边界不清晰的道路有比较好的约束作用。最后则是道路拟合模块，在获得道路边缘点与道路模型信息后，通过ECU的拟合，来实现道路检测。同时也可以有障碍物检测模块，因为再非结构化道路中，可能会有各种障碍物，这样就可以排除积水，光照，泥土，阴影等因素的干扰。因此，在成功识别道路区域后，仪器还需要对道路障碍这一特殊的干扰物进行检测识别。而采用RGB熵的方法可以很好的使用并且关联这些模块。RGB颜色空间由不同比例的红色（Red，R），蓝色（Blue，B）和绿色（Green，G）颜色组成，而下图便是是原始的非结构化道路图像，图4-1原始道路图像4.1.2图像灰度化如今大部分的非结构化道路识别技术主要是基于道路图像的颜色信息，但是在大多数情况下自主驾驶的非结构化道路的颜色信息单一或是差别不大，甚至存在提取的整个图像都没有颜色信息可以利用的情况，所以此时需要考虑基于图像的灰度特征对非结构化道路进行识别。由车载摄像系统获取的三维彩色道路图像信息量大，处理时间长，处理过程复杂，道路图像的边线纹理特征主要用于车道线检测系统，为了降低算法的复杂性，提高计算速度。道路图像灰度处理可以转换为灰度图像。灰度图像是指不包含颜色信息但仍保持道路图像色度和亮度等级分布的道路特征图像，换句话来说，黑色和白色之间存在多级色深的单色道路图像。图像灰度化处理量化图像中连续变化的色度和亮度，并根据灰度级数分为256级，0表示全黑，255表示全白。用车载相机系统收集彩色道路图像是三原色模型：红色，绿色和蓝色。在三原色模型的中，红色，绿色和蓝色分别由R，G和B表示，并且彩色图像中的每个像素由具有不同权重的三个分量R，G和B组成。当智能汽车行驶在非结构化道路上时，车载摄像头就会开始工作，其会拍摄道路前方的环境图片，一般来说，这种时候的原始图片就属于一个RGB图像。然后，将这个RGB图像进行图像灰度化处理。而关于RGB图像的灰度化处理，可以通过matlab编写程序实现。这样，就可以得到RGB图像的灰度化图像，如下图，图4-2灰度图像但是，因为RGB图片经过了图像灰度化处理，可能就会有一些信息丢失。这时，需要对其进行灰度增强处理。又由于非结构化道路上可能有各种小型的障碍物，将其进行灰度化处理后，可能就会产生各种杂质，这时，就需要对其进行去除杂质的处理。4.1.3图像分割和道路边缘点提取当对图像进行灰度化处理以及图像增强等处理后。就会对其进行图像分割的处理，去掉不需要的信息，留下重要的道路信息，去保留图像的重要结构属性。而若要对图像进行分割处理，就需要先对其进行图像轮廓图的分离，这样就可以提取出有效部分再进行分割。在熵图像的分割原理中，对于熵图像，可以通过计算得到熵图像的灰度直方图，为f=[f(0),f(1),⋯,f(255)]。定义灰度直方图差值函数为下式，d这个式子当中，t=1，2，…，255。而边缘分割法则是从灰度线的不连续片段出发，进行分割线的判别，来检测不同区域的边缘，实现图像分割的目的。但这种方法所标定的灰度边缘值是随机变化的，所以，在对图像边缘点进行检测判断时，需要按照一定的策略来将边缘点连接成轮廓，并且可适当舍弃较远的边缘点，以此分割出不同的区域。区域分割的方法基于空间局部特征，例如图像的灰度和纹理。具有相似属性的连通区域的分割通常包括区域增长和区域分割。定义阈值Te用来对熵的图像进行分割，接下来，取使灰度直方图差值函数最小的t值，这个t值就用来作为此阈值，用下式表示为，T其中，t=1,2,…,255.然后，得到分割阈值，对熵的图像进行分割[15]。定义熵图像中，如果图像中是大于等于阈值的点则该点处的道路为非车道，反之，小于阈值的点为车道。当图像进行分割了后，基本就完成了一半以上的工作。然后，就开始进行非结构化道路虚拟边界线中边缘点的提取。对于非结构化道路中图像边缘点的检测，有许多的方法，例如，canny算子边缘检测法，Robert算子边缘检测法，Sobel算子边缘检测法，LOG算子边缘检测法，Prewitt算子边缘检测法等方法。通过对文献的研究，canny算子图像边缘检测法对于检测非结构化道路边线的边缘时有着更加清晰准确的生成图像。图4-3提取道路边缘点4.1.4道路边界线的拟合而对于边界线的拟合，也有许多的方法，例如说，有直线模型法，二次曲线模型法，三次曲线模型法以及样条模型法等等。但是，通过对文献资料的研究分析，当模型的次数较小时，这时边界线的拟合速度就会比较快，但是其精度会比较低。相反，当模型的次数较大时，非结构化道路边线的拟合速度由于计算量大，计算速度就会大幅度降低。所以，对于我来说，选择二次曲线模型是一个比较好的选择，这样就可以最终拟合出非结构化道路的虚拟边线，最终下图的仿真结果图。图4-4仿真结果图4.1.5基于RGB的非结构化道路边界识别技术仿真分析通过对仿真结果的分析，发现使用RGB熵的方法来检测非结构化道路虚拟边界线是一种十分有效并且安全的方法。通过对原图进行分析，发现是一个十分标准的非结构化道路。存在着泥土路面，还有绿色的树木，蓝天，白云等等不属于路面的物体。再进行了matlab的仿真分析过后，发现使用RGB熵的方法很不错，通过对非结构化道路图像的灰度化后，再进行图像的分割，然后提取出非结构化道路图像中的道路边缘点，最后进行非结构化道路边缘点的拟合。通过对仿真结果图像的分析，发现采用RGB熵的方法来识别非结构化道路虚拟边线是一种准确，快速有效的方法。第5章总结和展望5.1总结随着时代的发展，无人驾驶汽车开始进入了人类的视线。但是，做好无人驾驶汽车需要各个方面的努力。这篇论文通过研究非结构化道路虚拟边线的识别，来为无人驾驶进行道路识别的铺垫。并且保证非结构化道路虚拟边线识别的准确性，安全性，快速性以及鲁棒性。而主要的研究成果如下：（1）非结构化道路图像的提取非结构化道路的道路特征复杂多变，以山地，树林，田间道路为主。因此，当车辆行驶在非结构化道路上时，如何快速准确的提取出道路图像是一个十分重要的问题。而我就这个问题，则通过文献的对比分析选取了RGB熵的方法提取。（2）非结构化道路边缘点分割当进行了非结构化道路图像的提取后，则需要对这个图像进行分析总结。因此，对原始的非结构化道路图像进行灰度化处理之后，才进行下一步的处理。将原始的RGB熵图像进行灰度化处理过后，则又对灰度化图像进行像素点的划分处理。处理过后，就将原始的RGB图像转化为了像素点。之后，再对处理过后的图像进行滤波处理，降低其干扰物的干扰。而在非结构化道路虚拟边线的识别当中，各种各样的障碍物和干扰物是对识别结果准确性和鲁棒性最大的干扰。当处理好图像的像素点后，就需要对图像进行边缘点的分割，通过这样，提取出道路的边缘点。（3）非结构化道路边缘点拟合将非结构化道路图像的边缘点提取出来后，就需要对其进行道路的拟合工作，这样，对非结构化道路虚拟边线的识别就基本完成了。5.2展望最近这些年来，科技的发展越来越快，国内外对无人驾驶的研究也日渐成熟，而非结构化道路虚拟边线的识别技术，深深的影响着无人驾驶的安全性。这一项技术的发展，决定着无人驾驶是否能够真正的到道路上进行自主的行驶。但是我的论文，在非结构化道路虚拟边线的识别上还是又许多需要改进的地方，例如以下的几个方面：（1）图像处理的实时性比较差，通过matlab的仿真分析发现，当matlab对图像进行运算处理识别时，不能立即得出结果，其运算结果需要等候几秒钟到十秒钟不等，这是一个非常需要改进的地方，因为在道路上发生的情况可能在零点几秒中之内，这就会要求算法的实时性一定要好，并且准确性要高。（2）在某些颜色比较单一的障碍物中，图像的处理结果会比较差，这样就会影响图像的处理精度，从而影响非结构化道路识别的准确性，进而可能会对无人驾驶的行驶产生十分大的影响，甚至可能会发生车祸。（3）总体来说，非结构化道路虚拟边线的识别需要多种因素来共同推进其发展。例如计算机的计算速度，摄像头的清晰度，价格成本的影响等等，最主要的便是有一个实时性，精确性，安全性，鲁棒性都十分杰出的算法来进行分析计算。这样，非结构化的边线识别就可以说是十分成熟的了。参考文献[1]石金进.基于视觉的智能车辆道路识别与障碍物检测方法研究[D]