毕业答辩-基于图像的道路检测行驶控制系统、.pptx

,基于图像的道路检测与行驶控制系统,答辩人：指导教师：日期：2016年5月20日,答辩提纲,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,2,1.课题简介2.课题背景和意义3.系统设计方法4.系统实现步骤和结果5.总结和展望,课题以半结构化道路为研究对象，提出了移动机器人室外导航中用于可行路检测的一种方法。首先基于静态图像对常用的道路检测算法进行调研和实验对比分析，对图像边缘进行处理提取道路边缘线，据此得出道路的中心线以及偏航的角度来指导移动机器人行驶在道路中间。然后，使用摄像头采集道路实时视觉信息，并将视频信息结合图像处理算法实现了道路边缘线的跟踪。最后提出了基于Pioneer3-AT的运动控制策略。,课题简介,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,4,课题背景,无人驾驶车辆的研究发展，不仅具备常规的汽车功能，还具有环境感知、任务规划、路径规划、车辆控制、智能避障等类似人类行为的人工智能。随着计算机技术、人工智能技术的发展，在军事、交通运输和人类生活等领域无人驾驶车得到了广泛的运用。,在无人车研究的技术中，常使用RTK载波相位差分技术来实现定位和导航，这是一种新的GPS测量方法，无人车体搭载GPS作为导航系统，搭建GPS基站，利用RTK技术，实现厘米级定位。但使用RTK时当在行驶的环境中有高大的建筑物等遮挡时，这种方法不可靠。,21世纪，借助计算机技术的飞速发展与各类理论的不断完善，数字图像处理技术的应用已经十分广泛。图像信息量较大，视觉和雷达结合的导航方法在无人车导航中发挥了重要的作用。,课题源自于北京市科委项目“基于专用嵌入式实时处理器的无人驾驶电动汽车智能控制系统开发”，课题的研究内容其中的道路检测算法有一定的借鉴意义开展自主智能移动机器人在半结构环境下的认知与自主导航避障方法的研究，解决目前的研究普遍集中于结构化道路的问题进一步提高我国智能驾驶技术和路径规划的研究水平,课题意义,实现目标,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,6,对道路图像进行处理提取边缘信息,对图像进行处理能够检测出路面区域,根据处理结果计算道路中线和偏航角度,对实时视频进行处理跟踪道路边缘,基于移动机器人的控制和避障策略,使用移动机器人进行室外实际环境中测试,系统设计,课题的研究和实现工作大致设计分为三个步骤完成，首先是基于图像的道路检测算法的研究、其次是采集实时视频并结合图像处理算法进行道路边缘跟踪、最后提出了移动机器人的运行控制策略、以及障碍物检测。下图为系统的功能流程图和移动机器人控制模块的系统结构图。,系统的硬件和软件环境,Windows10操作系统C+程序开发语言MicrosoftVisualStudio2015OpenCV3.0.0海康威视网络摄像机SDKARIA(ActiveMediaRoboticsInterfaceforApplication)包含用于机器人运动控制以及传感器操作的接口类和函数。MobileSim开源模拟器，仿真开发环境，可以对机器人进行控制、读取数据等操作。,CPUIntelcorei7-4700MQ2.40GHz，RAM8.00GB海康威视萤石云（Ezviz）CS-C3S-51FR型号网络摄像机网线、电源等Pioneer3-AT移动机器人,基于图像的道路检测实现,图像重采样和空域滤波,结论：为了提高处理速度，需要对每一帧采集到的道路图像进行重采样，重采样后分辨率大小为320240。并选择下半部分为感兴趣区域ROI。,分析：半结构化道路区域通常出现在图像的下半部分，道路两侧边缘呈直线状，并且向远方延伸，宽度逐渐变窄，大致呈现为梯形。两条边缘线最终交于一个消隐点(VP点)。在道路两侧一般为建筑物，草坪等，图像的上方大多数情况为天空及远处的高层建筑物。,基于OTSU算法的路面检测,假设目标部分的像素点占图像所有像素点的比例为0，目标部分像素点的平均灰度为0，背景像素点占图像中所有像素点比例为1，所有背景像素点的平均灰度为1。此时整个图像的均值为=00+11建立目标函数为：()=w002+1(1)2,路面检测,漫水填充法（FloodFill），使用用特定的颜色填充联通的区域，通过设置可连通像素的上限下限以及连通的方式来实现不同的填充效果,自适应阈值法通过计算像素点周围的b*b区域的加权平均，然后减去一个常数来得到自适应阈值。CV_ADAPTIVE_THRESH_GUASSIAN_C：根据高斯函数按照他们离中心远近进行加权计算。CV_ADAPTIVE_TRHESH_MEAN_C：对区域内所有像素平均加权。,基于形态学滤波器的边缘检测,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,基于边缘算子的边缘检测,Canny算子求图像边缘信息的算法步骤为：(1)使用高斯滤波器对图像进行平滑处理(2)计算一阶偏导数有限差分计算图像中梯度的大小和方向(3)对梯度的大小采用非极大值的抑制方法(4)用双阈值的算法检测边缘，并且检测到的边缘连接在一起,=,图像的梯度计算公式：,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,基于Hough变换的边缘检测,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,道路区域中心线和偏航角度的计算,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,实时视频信息的采集和解码,voidCALLBACKDecCBFun(longnPort,char*pBuf,longnSize,FRAME_INFO*pFrameInfo,longnReserved1,longnReserved2)longlFrameType=pFrameInfo-nType;if(lFrameType=T_YV12)IplImage*pImg=cvCreateImage(cvSize(pFrameInfo-nWidth,pFrameInfo-nHeight),8,1);memcpy(pImg-imageData,pBuf,pFrameInfo-nWidth，pFrameInfo-nHeight);cvShowImage(IPCamera,pImg);cvWaitKey(1);cvReleaseImage(,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,实时路线跟踪的实现,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,实时路线跟踪的实现,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,NavigationStrategy,Pioneer3-AT使用的仿真环境是MobileSim。使用VisualStudio2010平台和ARIA编程库来控制机器人完成各种动作。,在实际情况中，可以根据图像处理中计算出的中线轨迹来指导机器人行驶。主要方法为：enableMotors();/启用马达disableMotors();/禁用马达move();/前进setDeltaHeading();/矫正偏航角度，左转参数为正，右转为负,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,行人检测的设计,HOG特征是用于目标检测的特征描述子。通过计算图像局部区域的梯度方向直方图来构成特征。HOG和支持向量机SVM的结合常用于行人检测。,HOG类的函数detectMultiScale()对图像进行多尺度行人检测,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,避障策略的设计,在检测车体前方的障碍物时，系统获取车体前面的声呐传感器的读数。如果相对于其他的声呐传感器，该声呐的读数较小，而且比安全距离小，则说明前方出现了障碍物，应该进行避障的动作。,总结和展望,2015Ciscoand/oritsaffiliates.Allrightsreserved.,CiscoConfidential,10,系统从道路检测算法出发，提出了基于图像的道路检测系统，在处理过程中对图像增强、图像分割、边缘检测等算法进行了学习和研究，并对实时视频进行了分析和处理。在整个过程学习到了科研的方法。该道路检测系统仍然存在一些缺陷：后期未完成移动机器人控制测试实验，需要改进道路边缘检测算法不够完善，没有加入适当的约束条件，导致系统健壮性差障碍物检测只考虑到行人提取道路中心线部分算法并不科学，具有主观倾向未来的工作的设想：对图像特征进行深入的研究，使用其他的特征进行实验比较，并使用移动机器人进行实际测试。使用其他算法进行障碍物的识别，如使用贝叶斯决策与Hough变换相结合的半结构化道路