车载视频中违规换道车辆检测和识别毕业论文

SHANGHAI UNIVERSITY毕业设计（论文）UNDERGRADUATE PROJECT (THESIS)题目:车载视频中违规换道车辆检测和识别学院 计算机工程与科学专业 计算机科学与技术学号 装订线学生姓名 指导教师 起讫日期 上海大学毕业设计(论文)1目录摘要 .1ABSTRACT .2第一章 绪论 .3第一节 研究背景及意义 .3第二节 国内现状 .4第三节 论文的研究内容 .5第四节 本文的主要贡献 .6第五节 本文的组织结构 .7第二章 视频车辆检测及跟踪概述 .8第一节 视频车辆检测算法概述 .8一、 传统道路监控中的车辆检测 .8二、 行车记录仪中的车辆检测 .9第二节 目标跟踪算法概述 .10第三节 总体算法框架 .12第三章 基于阴影分割的车辆检测 .13第一节 算法流程 .13第二节 阴影检测 .13一、 阴影检测理论 .13二、 路面区域识别 .16上海大学毕业设计(论文)2三、 自动阈值设置 .20四、 阴影图像去噪和增强 .21第三节 感兴趣区域提取 .23一、 轮廓提取法 .23二、 扫描线法 .24三、 生成假设区域 .26第四节 车辆区域验证 .27一、 熵值及对称性验证 .28二、 HOG（方向梯度直方图）验证 .31第五节 本章小结 .34第四章 基于压缩感知的车辆跟踪 .36第一节 压缩感知获取特征 .36一、 随机测量矩阵 .36二、 在图像降维中的应用 .37第二节 贝叶斯分类器的构建 .38第三节 采样方法 .39一、 根据距离采样 .39二、 高斯混合采样 .39第四节 粒子滤波 .40一、 粒子滤波算法框架 .40上海大学毕业设计(论文)3二、 粒子滤波算法中的问题 .41第五节 本章小结 .42第五章 违规换道检测 .43第一节 违章换道事件的定义 .43第二节 变道事件识别 .44一、 车辆所属区域划分 .45二、 车辆移动方向计算 .45第三节 实验 .45一、 实验平台 .45二、 实验结果展示 .47第六章 总结 .49致 谢 .52参考文献 .53附录 1 部分源程序清单： .55附录 2 图表： .65上海大学毕业设计(论文)1摘要国内交通事故率居高不下，未按规定让行、违法超车、逆行、违章变更车道更是造成交通事故的重要因素。在庞大的道路交通网中，传统的人防、物防存在成本高、时效性差，破坏城市形象等弊病，因而人防物防举步维艰，收效并不明显。随着计算机技术和机械的发展，监控防范是社会科技进步的必然选择。构建智能交通监控系统，是推进城市的平安和谐，保障人民群众安居乐业必然发展。在智慧城市建设热潮下，智能交通是其建设的分支部分，也是未来交通系统的发展方向，它是将先进的信息技术、数据通讯传输技术、电子传感技术、控制技术及计算机技术等有效地集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合交通运输管理系统。本课题的研究范围属于只能交通，通过计算机对行车记录仪采集到的视频进行自动分析，获取前方行驶车辆信息，并对变道事件进行识别，减少人工搜索量，起到监控和预警作用。对此采用了针对移动单目摄像头提出的视频分析方法。在检测阶段，通过车底阴影确定车辆位置，利用梯度直方图提取特征，用支持向量机进行分类；跟踪阶段，采用基于压缩感知的跟踪方法对检测出的目标进行跟踪；事件识别阶段，设计了车辆状态的描述机制和变道的判断机制。针对车底阴影提取，设计了新的结合路面检测和阈值分割方法，并提出了一种快速的二值图像增强方装订线上海大学毕业设计(论文)2法；利用透视模型排除和对阴影图像进行扫描来增强检测结果。针对车辆的验证，比较了熵值验证和对称性验证，最后提出半自动生成样本库的方式来训练分类器的方法。跟踪阶段，比较了压缩感知和粒子滤波在研究对象中的应用，提出了可能的改进方法。关键词：视频分析、车辆检测、车辆跟踪、变道识别装订线上海大学毕业设计(论文)3ABSTRACTDomestic traffic accidents rate stays high in the past years. Unable to give way according to traffic laws, irregular overtaking, converse running and irregular lane changing worsen traffic accidents. In the massive transportation network, traditional precaution carried out by human cost too much and has little effect. As computer technology and mechanical skill mature, intelligent monitoring becomes a destination. Building intelligent transportation system promote city harmony and safety, guarantee civil peace. Intelligent transportation combines advanced information technology, data communication and transmission, electronic sensing, control technique, and computer science into a management system, which functions extensively and widely, and has the feature of real time, accuracy and effectiveness.This study belongs to intelligent transportation. Though analyses of video captured by vehicle drive recorder (in-car camera), the system obtains information about cars ahead, and recognize irregular lane changing behavior, reducing manually searches and helping in monitoring and alerting.According to these, a method adapted to moving mono camera is adopted. Shadow detection, pattern recognition through HOG feature and SVM is used in detection phase; compressive tracking is used in tracking phase; a description mechanism is devised to record car status and recognize lane changing behavior. Free driving space definition and threshold segmentation are used to segment shadow; a new image enhancing method is devised to process binary image; perspective model is used to eliminate errors. Entropy, symmetry and other features of cars are discussed and a new way to get samples is proposed.A comparison between compressive tracking and particle filter is discussed and ways to promote are proposed.装订线上海大学毕业设计(论文)4Keywords: video analytics, car detect, car track, behavior recognition上海大学毕业设计(论文)5第一章 绪论第一节 研究背景及意义计算机视觉可谓是当前最流行的研究领域之一（另一个相当火的领域是数据挖掘） 。而其流行的背后，则是社会需求的推动。如果说数据挖掘的发展是由于大数据时代的出现，计算机视觉的流行则完全是围绕着智能化展开的。无可否认的是，随着计算机软件和硬件的发展，我们正在迈入一个越来越智能化的时代。我们提倡智慧城市、智慧社区、智慧交通，我们使用智能手机，智能家电，智能汽车，我们派智能机器人进行探测。 “智能”早已不再是一个新鲜词汇。视频监控是大家所熟知的一个概念，在交通路口、商店、银行、无不装着摄像头，然而大多数的视频都需要人为的进行分析，而人力物力的有限使得许多视频不能被充分利用，只能沦为事发后的证据。而随着计算机视觉的发展，越来越多的人意识到了这个问题，对于监控视频的视频分析技术应运而生。交通视频分析则是视频分析中很重要的一块，传统的道路监控已经发展到一个比较成熟的阶段。通过对道路监控视频的分析，可以实现车辆流量统计，违章判定等。这是实际上是属于交通管理系统，主要提供给交通管理者，供他们进行二次分析和决策。而与之平行的另一种技术是车辆控制技术，通常会利用多种设备，如摄像头，雷达等对行使中的车辆状态进行分析，为驾驶者提供帮助和预警。交通事故是死亡率居高不下，而引起交通事故的原因多是人为因素引起的，如酒驾，违章行车等。如果，在未来，智能车能够和现有的交通管理系统整合，构成一张更大的交通网，同时提供更有效的预警和控制方案。则可以预测的是，在将来，路面上行驶的车辆将会对避免交通事故作出巨大贡献。当机器视觉能装订线上海大学毕业设计(论文)6够更好的模拟人类视觉的时候，利用机器来监测和控制将比人力拥有更大的优势。随着机器视觉技术的发展，人们对视频的分析已经从固定背景，运动目标的分析转向了目标和背景都运动的视频分析。这可以说是一种大趋势，就像人们逐渐从 pc 电脑转向到手机、平板等。视频分析也从固定的监测点转到了移动摄像机。与之息息相关的另一个词汇就是“实时性” ，所以算法通常较为轻便。如何设计出高效、高鲁棒性的算法是交通视频分析的关键点。而对此进行的实验则是非常有意义的。第二节 国内现状在智能视频分析领域，国外公司尤其是美国和以色列公司，无论在算法研究还是在产品化应用方面都起步较早，并且在本世纪初便开始进入商用阶段。国内公司相对来说进入这个领域比较晚，虽然发展比较快，但在分析算法的成熟度、上层应用的开发、与传统安防系统的无缝集成以及商用规模等方面，都与国外品牌存在着较大的差距。在国内有关部门推出了“平安城市”项目后，中国的视频监控市场开始起飞。北京奥运会、上海世博会更是大力推动了中国视频监控市场的发展。据市场调研机构的数据显示，近几年全球视频监控市场的年复合增长率接近 10%，而中国市场的增长率更是在 20%以上。严格来说，目前国内的智能食品分析还没有完全发展起来，由于在技术方面落的落后，还没有形成很大的规模。但市场上已经一部分公司初具规模。如文安科技、中兴智能、高德威、汉王、信路威、海康威视、大华等。文安科技的智能行为分析中有逆行检测。海康威视的“智能视频分析”中，有道路交通事件自动取证系统，可以检测到停车事件和逆行事件。还有交通事件及参数检测（如图 1-1） ，有拥堵检测报警、行人检测报警等功能。上海大学毕业设计(论文)7图 1-1 海康威视交通事件检测系统由此可以看出国内的智能交通视频分析技术虽落后于国外，但已经逐步产品化。进一步的分析后，发现这些视频分析大都是应用于固定路面摄像机，而对于移动摄像机并不适用。随着交通事故的增长， “碰瓷现象”的出现， “行车记录仪”的使用将会越来越频繁，而针对行车记录仪的智能视频分析将会随之而发展。然而目前国内在这块还未出现成熟的产品，相信在以后将会出现。第三节 论文的研究内容本文研究的对象是行车记录仪记录的交通视频，视频中车辆和背景有相对运动，车辆和视频框可能相对静止。论文要研究的是从该种视频中实时检测出运动的车辆（如图 1-2） ，并进行跟踪（如图 1-3） 。如发生违章变道事件，系统能及时的标记事件，给出提示（如图 1-4） 。上海大学毕业设计(论文)8图 1-2 车辆检测图 1-3 车辆跟踪上海大学毕业设计(论文)9图 1-4 变道识别第四节 本文的主要贡献本文将针对移动单目摄像头提出的视频分析方法应用于行车记录仪记录的交通视频分析。在检测阶段，通过车底阴影确定车辆位置，利用梯度直方图提取特征，用支持向量机进行分类；跟踪阶段，采用基于压缩感知的跟踪方法对检测出的目标进行跟踪；事件识别阶段，设计了车辆状态的描述机制和变道的判断机制。针对车底阴影提取，设计了新的结合路面检测和阈值分割方法，并提出了一种快速的二值图像增强方法；利用透视模型排除和对阴影图像进行扫描来增强检测结果。针对车辆的验证，比较了熵值验证和对称性验证，最后提出半自动生成样本库的方式来训练分类器的方法。跟踪阶段，比较了压缩感知和粒子滤波在研究对象中的应用，提出了可能的改进方法。上海大学毕业设计(论文)10本文创新点总结如下。(1) 研究对象上的创新传统的视频车辆检测和跟踪系统多是建立在固定摄像头，即固定背景或背景变化细微，而前景不断变化的基础上。通过视频帧之间的差别区分前景和背景，进行背景建模，再对分离出来的前景进行识别和跟踪。而本课题中用于分析的车载视频是从行驶的车辆中获取，即背景和前景都不段变化，且变化方向难以预料。因此传统视频分析中所用的部分方法不再适用，本课题将寻求新的解决方案。而这种技术带来的优点是：通过移动终端监控，增大了监控的范围，增强了系统的实时性。(2) 设计了新的阴影阈值计算方式(3) 提出了阴影二值图像的增强方式(4) 设计了训练样本获取方式第五节 本文的组织结构第一章简要介绍了智能视频分析在智能交通中的应用背景和现状，引入了本文的主要研究内容和主要贡献。第二章分析了视频分析的主要方法，介绍了传统道路监中和行车记录仪视频中车辆检测所用方法的不同，并简要介绍了目前流行的跟踪算法。最后给出了本文系统的程序流程图。第三章介绍了阴影检测的理论依据，设计了一种阴影分割阈值的计算方法。提出了一种二值图像增强方法。并介绍了 Hog 特征在车辆验证中的应用。第四章介绍了实验中用到的两种跟踪算法，压缩感知跟踪和粒子滤波算法，并讨论了其效果。第五章介绍了车辆违章事件以及判断方法，并附上实验结果。上海大学毕业设计(论文)11第六章总结。上海大学毕业设计(论文)12第二章 视频车辆检测及跟踪概述视频车辆检测和跟踪与其它对象的检测和跟踪一样，都运用智能视频分析的技术，通常有三个关键步骤：(1) 运动目标检测(2) 在视频帧之间跟踪目标(3) 分析跟踪轨迹分析目标的行为一般的视频都可以按照这几个步骤来进行分析。然而针对不同对象，不同的运动场景，每个步骤中所用到的方法是不同的，目前并不存在一种万能的算法能够适应于所有的运动分析。在这章中，将先分析传统的道路监控视频的特点和所用到监测的方法，以及本文研究对像的特点和检测方法；紧接着分析目前比较流行的跟踪算法；最后给出主程序的流程图。第一节 视频车辆检测算法概述尽管视频中的车辆通常被认定为运动物体，但在不同场景下其运动的表现是不一样的。我们通常把车辆的运动定义为车辆与参照物的相对运动。通常来说，运动的参照物即背景。在背景静止和背景运动两种不同的条件下，所采用的运动物体检测方法也不同。一、传统道路监控中的车辆检测提到视频运动车辆检测，最常见的是针对道路监控视频所设计的算法。这种视频的显著特点是：(1) 背景不变或变化很小。(2) 前景运动明显上海大学毕业设计(论文)13这种特点为视频中运动物体的查找提供了很大便利。利用背景不变的特性，实验者可以很快地将前景和背景区分开。而针对这一类的视频，有大量的算法被创造出来。最简单的就是帧差法（如图 2-1）并不需要对背景建模，只需要对相邻两帧相减，求出差异较大的区域即为运动目标。图 2-1 帧差法检测运动物体当然，这种方法虽简单，有时并不能正确的分割出目标。因此更多的基于此的算法就被创造了出来。如背景减除法，运动竞争法等等。这些算法通常需要建立一个模型，建立模型之后的检测速度就非常快了。传统道路监控中的视频就可以利用上述方法来进行分析。二、行车记录仪中的车辆检测行车记录仪是安装在车辆内的一台摄影机，可装载在车辆的车前、车后等位置上。本文中所使用的行车记录仪是装载在车内前方。其记录的视野和人眼所获取的前景相似（如图 2-2） 。上海大学毕业设计(论文)14图 2-2 行车记录仪记录的视频行车记录仪所记录的视频中，前景和背景的变化都非常的大，运动目标对于车辆来说可能是相对静止的。故很难通过道路监控视频中所使用的分析方法来对行车记录仪所采集的视频进行分析。换句话来说，通过运动检测的方法来定位目标是不可行的，因为检测出的“运动”是不可靠的。实验中尝试了光流法来进行运动检测，发现前景和背景几乎不可区分（如图 2-3） 。图 2-3 光流法检测运动物体这也证实了道路监控视频的车辆检测算法不适用于行车记录仪所采集的视频。要从视频中检测出车辆的存在，则必须采取一种更原始的方法，则是从图片中检测出车辆，在视频中进行跟踪。表 2-1 不同场景下视频分析方法对比 分析对象 路面监控视频 行车记录仪视频上海大学毕业设计(论文)15车辆运动状况 相对运动 相对静止背景运动状况 相对静止 相对运动目标检测方法 运动检测：差分法，光流法等静图像检测运动检测：全局运动补偿和估计静图像检测跟踪方法 常用跟踪算法 常用跟踪算法事件识别 通过位置序列 通过状态序列第二节 目标跟踪算法概述目标跟踪一般会遇到如下几类问题：(1) 用什么方式来表述跟踪目标(2) 选择何种特征(3) 运动用什么模型来描述这几类问题的不同组合就构成了不同的算法，这里对目前流行的算法做一个简介。目前，在各类视频中，用来进行目标跟踪的方法主要有如下几种：光流法、meanshift、粒子滤波、模板匹配法、TLD 等。(1) 光流法光流是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。对于视频监控系统来说，所用的图像基本都是摄像机静止状态下摄取得，所以对有实时性和准确性要求的系统来说，纯粹使用光流法来检测目标不太实际。更多的是利用光流计算方法与其它方法相结合来实现对目标检测和运动估计。上海大学毕业设计(论文)16然而，在实际应用中，由于遮挡性、多光源、透明性和噪声等原因，使得光流场基本方程的灰度守恒假设条件不能满足，不能求解出正确的光流场，同时大多数的光流计算方法相当复杂，计算量巨大，不能满足实时的要求。(2) Meanshift 算法Meanshift 算法思是利用概率密度的梯度爬升来寻找局部最优。Meanshift 算法用于视频目标跟踪时，采用目标的颜色直方图作为搜索特征，通过不断迭代Meanshift 向量使得算法收敛于目标的真实位置，从而达到跟踪的目的。Meanshift 计算量小，采用核函数直方图模型，对边缘遮挡、目标旋转和背景运动不敏感。但对尺度敏感，当尺度发生变化时，容易跟踪失败。而在本文要处理的视频对象中，车辆运动会产生尺度变化，而该变化范围较大，所以用传统的 Meanshift 容易造成跟踪失败。(3) 粒子滤波粒子滤波算法思想源于蒙特卡洛思想，以事件出现的频率代替该事件的概率，在粒子滤波算法中，凡是用到概率的地方都用离散化采样，通过大量的采样分布来近似表示，此法优点是可以处理任意形式的概率。我们的目的就是让预测粒子接近真实状态。简化的粒子滤波通常有以下四个步骤：提取目标特征值，采样，计算权值，重采样。粒子滤波可以通过设置粒子数量控制复杂度，可以计算粒子群期望得出目标的位置，计算分布可以估算出目标的缩放尺度。本文中尝试用粒子滤波进行跟踪。(4) 基于模板匹配的跟踪算法模板匹配是数字图像处理的重要组成部分之一。这一类方法因其原理简单，并且数学统计模型以及收敛速度、定位精度、误差估计等均已有很成熟的研究成果。这类匹配方法需要解决的问题是：匹配速度比较慢，对灰度信息变上海大学毕业设计(论文)17化、光照变化、噪声非常敏感，没有充分利用灰度统计特性，对每一点的灰度信息依赖较大，不适应于匹配对象存在旋转和缩放情况下的匹配问题。(5) TLDTLD 近几年大热的算法，由于有高质量的论文和代码，使得这种算法很快被人们接受。这是一种单目标长时间跟踪算法，当目标消失后重新出现，TLD算法能很好的进行跟踪。它主要由跟踪、检测、学习三个模块组成。在运动目标发生形变、尺度变化、光照变换的情况下表现不俗。但 TLD 算法需要配置一系列的参数，若参数配置不当将会大大降低跟踪的准确率。第三节 总体算法框架图 2-4 主程序流程图上海大学毕业设计(论文)18第三章 基于阴影分割的车辆检测车辆检测一般分为两个步骤，其一是利用车辆的阴影、对称性等信息快速获取车辆可能存在的区域，其二是通过车辆的其它特征进一步验证该区域是否是车辆。本文采用了查找车底阴影的方式来获取车辆可能存在的区域，分别通过熵+ 对称性、HOG 特征 +SVM 分类器来进一步验证该区域。第一节 算法流程图 3-1 车辆检测流程图第二节 阴影检测阴影是指车底阴影。之所以选择通过车底阴影来获取车辆可能的位置，有如下几个因素。一是算法易于理解，二是计算量小，三是车底阴影是个相对稳上海大学毕业设计(论文)19定的特征。虽然光照条件对阴影有一定的影响，但比起其它特征（如对称性） ，阴影要更为可靠。一、阴影检测理论从经验上来讲，在光照条件下，物体的下方总会产生一定的阴影区域（如图 3-2） 。在强光条件下这种阴影更为显著，如正午行走的人所产生的阴影。然而这种阴影是否是可靠的特征，在阴雨、雾霾条件下是否有效却无法根据经验判断。H. Mori 和 N.M. Charkari 在文献 1对车辆的光照模型和图像采集系统的进行了分析（如图 3-3） ，从理论上确立了图像中车底阴影的可靠性。在文献 1中，作者对不同光照条件下沥青路面进行了测试，证实了车底阴影的存在。即使是在阴雨天气，或是路面上出暗斑的情况下，阴影依然是可以被分离出来的。且在得出通过确定阴影的位置，则可以大致确认出车辆所在位置。图 3-2 阴影模型上海大学毕业设计(论文)20图 3-3 车辆光照模型根据文献 2中的总结，阴影检测的方法通常分为两类，基于阈值的检测方法 3和基于模型的检测方法 4。前者通常利用直方图等方法计算出一个特定的数值用以区分阴影和非阴影区域，算法相对简单而速度快，准确性则不高。而后者基于数学概念，用先验知识来模拟阴影区域，算法准确率高但相对复杂。除此之外，还有一些相对来说不太常用的方法，如文献 5中所采取的方法等，在这里不一一引用。在本文的系统中，阴影检测只是一个小的模块，在阴影检测之后还有车辆区域的校验，如果此处花费很大的计算量仅仅是为了提取车底阴影，则对于整个系统来说是不值得的。故系统不需要精确而计算量复杂的阴影提取方法，简单高效的方法就足够了。对应上文中所提到的各种阴影检测方法，基于阈值的检测方法最为合适。针对本文中的系统，可以适度的调整阈值使得结果包含一部分非阴影区域，以保证阴影区域都被覆盖到。当然此举必然会引入不小的误差，即引入一部分暗色而非阴影的区域。这些区域可以通过后续的校验步骤排除掉。即在此模块中出现的误检，将在下一模块中得到纠正。大多数基于阈值的检测方法，都是对灰度或亮度图片进行处理，为图片设置单一阈值，及阴影区域的亮度上限，若某个像素的亮度小于该阈值，则该像素被判定为阴影。虽然我们知道阴影区域的亮度值明显低于其他区域，但其分割阈值显然并不是一个定值。在不同光照，时段，天气，背景条件下，阴影的亮度是完全不同的。在（图 3-4）中，左图对应的阈值分别为 80,50；右图对应阈值为 80,60，可以看出对于上图 50 的阈值能够达到较好的分割效果，而对于下图 80 的阈值则能达到较好的分割效果。上海大学毕业设计(论文)21图 3-4 固定阈值阴影分割效果根据经验和文献可以得知，分割阴影的阈值通常于图像的整体亮度有关，整体亮度越高，则阈值越高，即图片整体亮度和阈值正相关。然而其关系并非是线性的。再者，背景的复杂性会对计算图像整体亮度造成影响，因而干扰到阈值的计算。一个比较有效的方法是只计算路面区域的亮度情况，而定义路面区域成为了另一个需要讨论的问题。二、路面区域识别路面区域识别不仅对计算阈值有很好的帮助，且在去除虚假目标，加快计算速度上都有增益效果。当路面区域未知时，所有的检测都是对整张图片进行检测，非路面区域包含了许多复杂的目标，如建筑物，树，栏杆等等。因此计算量和产生误差的概率都大。而定义良好的路面则可以有效的排除这些区域，从而使得检测速度和精度都上升。然而路面定义的越精确，则算法越复杂，在这个阶段耗费的时间越多，所以一味的追求路面定义的准确度是不可取的。我们所要做的是在精确度和效率之间达到一个平衡点。上海大学毕业设计(论文)22在相关的研究中，有许多路面检测的算法，简单的如通过识别车道线检测路面，但路面出现遮挡的情况下效果不佳；对假定采样区域的像素进行投票机制设定阈值分割 6，在采样区域有车道线时失效；通过聚类和模板检测路面，如文献 7，计算速度偏慢；在文献 8中，采用了一种合成图的方式，提取出原始图像的色调图，亮度图，边缘图像进行合成，再对合成图的均值和方差进行检测，提取出路面区域；在文献 9中，采取了基于边缘的路面检测方法，和基于熵值的检测方法；在文献 10中，采取了预定义路面蒙版的方法。假定一个区域为大致的路面区域。本文对这些方法做了分析和实验。(1) 利用车道线定位路面这种算法一般针对结构化路面，车道线在视频中比较明显的情况。实线检测比较容易，而虚线检测较为困难。一般的检测方法，如文献 11，多是对图像先进行一系列滤波，得到增强后的图像，再对增强后的图像进行 Hough 检测，得到车道线（如图 3-5） 。在实验中，发现这种算法耗时过高，且效果并不好。图 3-5 通过 Hough 检测的车道线在文献 6，则是计算整个图的梯度直方图（如图 3-6） ，梯度计算方式如公式(3-1) ，随后通过查找峰值获得左右车道线的梯度方向。再通过 Hough 变换来定位车道线。上海大学毕业设计(论文)23图 3-6 通过梯度直方图检测的车道线 2yx=arctnxG(3-1)xG是横向边缘检测的图像, y 是纵向边缘检测的图像，其计算方式如公式(3-2)(3-3) (,)(1,)2(1,)(,1) xfyfxyfxyfxy(3-2)(,)(,)(,)(,)1211xfyfxyfxyfxy(3-3)上述的方法在车道线明显的情况下非常有效，但在车道线不明显的时候失效，且失效后的后果是非常严重的。将导致无法定于可行驶区域，后续的检测将收到影响。而在本文所针对的视屏对象中，很多有车道线明显的情况，也有车道线不明显的情况（如图 3-7） ，不能一概而论，所以这种方法必须谨慎使用。因为有同学在进行相关的研究，在本文所描述的系统中，没有对这种检测方法进行实验。上海大学毕业设计(论文)24图 3-7 不同场景下的车道线(2) 复杂路面的路面定位算法这类算法多数是针对机器人视觉提出的，可以在非结构路面中有效的检测出可行区域。这些路面通常有有以下特征：1) 路表面没有绘制边界和道路线，2) 道路边界退化3) 路面不平整4) 大面积阴影5) 没有地图详细在文献 7中，先对图像进行预处理，紧接着对所有点提取x=red,blue,green,row,column作为五维特征，用 ISODATA 进行聚类，聚类后检测类边缘，用模板匹配类边缘，实验效果如图 3-8。图 3-8 ISODATA 聚类检测道路在本系统中，对此方法进行了考察，为了初步考察算法，用了 K 均值聚类而非 ISODATA 聚类，提取每个像素的red,blue,green 三维特征进行聚类。实验中用 opencv 函数库自带的 kmeans 函数，设置函数参数如下：bestlabel=3, TermCriteria = TermCriteria( CV_TERMCRIT_EPS+CV_TERMCRIT_ITER, 10, 1.0) ,attemps=3,上海大学毕业设计(论文)25flag= KMEANS但是读入视频进行运算时速度实在太慢，故放弃这种方法。也许可以通过暂时性缩小图像，获取路面位置后通过比例放大到原图来解决这种问题。(3) 粗略的路面定位算法按照文献 9中的描述，这些区域可以定义为自由行驶区（free driving space） ，通过一些粗略的像素判定可以大致定位出这些区域。在文献 9，提到一种基于熵的运算（如图 3-9） ，计算结果如最后，比较精确到运算速度较低。而文献中使用的是一种被作者称为由边缘限制的最低中央同质区域的算法，但没有给出具体算法。根据实验图（图 3-9） ，可以猜想中这种方法需检测边缘，从下往上扫描边缘，把边缘以上的区域全部去除掉。但如果遇到车道线是实现的情况，则会有大面积的有效区域被排除掉。因为这种方法涉及到边缘的提取，参数的选择，比较麻烦，所以并未进行实验。图 3-9 自由行驶路面检测在文献 6中，使用了一种投票机制，对指定的采样区域进行采样按照以下方式进行投票：步骤 1：为了避免图像边缘可能产生的干扰，从图像底侧选择 30-60 行作为采样区。步骤 2：建立投票机制，记录采样区中出现最多的像素值 VOTE。步骤 3：记录采样区的最大像素值 MAX。步骤 4：像素值位于VOTE-25;MAX+25之间的点都定义为道路区。上海大学毕业设计(论文)26步骤 5：二值化图像本文对这种方法进行了实验，由于统计是针对每个值的，可能产生的误差会非常大。假如采样区（图 3-10）所示，白色是车道线。虽然灰色明显比白色多，但是灰色像素的像素值分散，而白色像素值集中，则 VOTE 最后会取白色，导致整个分割失效。一种有效的方式是变成直方图统计，作平滑等。然而此种方法依然无法避免采样区域出现车辆或车道线的情况（车道线亮度明显偏高） 。图 3-10 采样区像素图在文献 8中，作者利用图像的亮度图的水平边缘梯度图，垂直边缘梯度图，色调图和饱和度图片进行合成。在计算合成图的均值和方差，用采样区域均值加减三倍方差做为分割的阈值。然而实验发现这种方法并不理想，因为难以保证采样区域出现的都是路面，所以均值方差不是路面的均值方差，故不能正确的分割出路面区域。(4) 利用先验知识定义路面如果摄像机的角度和距离地面的高度确定，则车辆在摄像机内出现的区域可以大致固定下来。因此可以将这个区域保存成一个模板，在程序启动时载入。在本文中使用的模板（图 3-11 右） 。上海大学毕业设计(论文)27图 3-11 蒙版限定区域三、自动阈值设置在本系统中，利用预定义蒙版的方式提取路面。提取出路面区域以后计算路面的亮度的均值和方差，利用均值和方差进行建模。路面区域提取的准确与否将直接影响到阴影分割的准确性。通过对图片分析，阴影区域的亮度会明显低于路面亮度均值，而低于均值多少，与路面方差相关。在相关文献中，多数采用如公式(3-4)进行计算，如之前提到的文献 8： 2thn(3-4)其中 th是阴影的阈值， 是路面区域的均值， 2 是 n 倍路面区域的方差， n 是自定义的系数，根据方差的大小，通常取 13。为了将计算过程自动化，本文对公式进行了修正，计算方法如公式(3-5)： 2th(3-5)分割效果如图（图 3-12） 。图 3-12 阴影分割效果图四、阴影图像去噪和增强上海大学毕业设计(论文)28经过阈值分割后的图片通常包含了大量的噪声，有许多不小的连通区域。而这些连通区域无疑是对后续的检测不利的。常规的图片去噪方式有高斯滤波，中值滤波等。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到；中值把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。显然这两种方法对要处理的二值图像都不适合。阈值分割后留下的既不是高斯噪声也不是椒盐噪声，用这两种方式滤波反而会丢失图片细节，得不偿失。另外一种常用的方法是轮廓检测，填充。把轮廓面积小于一定值得都排除掉。然而在实验中出现的一个问题是，有时候阴影线在垂直方向上的长度很小，如果用轮廓检测，则会排除掉这些区域，从而出现漏检。下面是系统中针对这中情况做出的改进。本文所检测的阴影都是水平的，有的时候会出现阴影在垂直方向的长度只有 1 个像素的情况，如果直接对图像进行去噪（腐蚀膨胀） ，会丢失这部分的细节。所以在去除噪声之前，有必要先对这部分区域进行增强。本文采取的方式是将图像向上平移单位像素，一共平移 n（本系统中 n=3）将平移后的图像叠加。则本来垂直方向长为 1 的像素点，将会扩展为 3。扩展算法如公式(3-6)： 10(,)(,)knvijvij(3-6)注：这里实际上并不是求和运算，而是或运算。扩展结果如图 3-13：上海大学毕业设计(论文)29图 3-13 像素垂直扩展接下来便是对扩展后的图片去噪，这里采用清除小面积连通域的方法。在matlab 中有对应的函数，而在 opencv 中并无。可以用 findcontour 和 drawcontour来达到类似效果。实验效果图如图 3-14。算法 1 合并扫描线算法输入：阈值分割后的结果，阴影区域 v(i,j)=255,非阴影区域 v(i,j)=0，v(i,j)为像素值。1. 垂直平移图像，进行 n（实验取 n=3）次图像叠加。2. 查找所有轮廓3. 若该轮廓面积小于一定值 width*n（width 为定义的最小车辆宽度，实验取 width=5） ，则令 v(i,j)=0;4. 将图像反向，再执行一次 2.3 步骤，结束。输出：增强后的图片图 3-14 二值图像增强第三节 感兴趣区域提取一、轮廓提取法从二值图像中提取感兴趣区域，一般采取查找连通域。通过查找连通域，可以对连通域的形状和大小进行判断，从而去除掉部分，形状大小明显不符合车底阴影的区域，进一步定位感兴趣区域。上海大学毕业设计(论文)30Opencv 中的查找轮廓函数效果如图 3-15。图 3-15 轮廓提取然而阴影分割的不准确，可能导致非阴影区域被误检为阴影区域，即假阴影，当假阴影和真阴影连通在一起时（如图 3-16） ，直接对二值图像进行轮廓检测将检测出混合区域的边缘，而这对后面的检测是非常不利的。下图中反映的就是这种情况，道路一侧的低亮度区域形成了假阴影，与车底阴影联通到了一起。为了避免这种情况，我们采取了另一种方式提取感兴趣区域，即扫描线法。图 3-16 假阴影连通二、扫描线法(1) 提取扫描线此处用到的是文献 12中的方法，但是文献中没有对边界上的阴影线进行处理，本文中进行一些改进。上海大学毕业设计(论文)31对阴影分割后的图像搜索阴影线起始位置 xstart 和终点位置 xend，从而确定阴影线的长度和位置。搜索方式按照获取视频图像数据方式：从上往下，从左往右，扫描二值化图像。可以将二值化后的图像由一条条长短不一的线段组合而成，但是车辆在图像中的长度不可能过长或过短，并且前方车辆与车载摄像头之间的距离反映到采集的图像中其车辆在图像占用的比例是不一样的，前方车辆与摄像头越近，车辆在图像中占的比例大；反之，比例小。可以利用透视投原理除掉干扰。通过采集视频中车底阴影的位置和宽度信息x,y,w，可以发现 w和 y之间存在线性关系，如图 3-17，根据此线性关系可以建立一个简单的模型，对采集的扫描线进行判断，若扫描线满足该关系，则记录该扫描线，若不满足该关系则抛弃。图 3-17 线性关系图 3-18 提取扫描线后的结果上海大学毕业设计(论文)32算法 2 扫描线段输入：二值图像，阴影区域 v(i,j)=255,非阴影区域 v(i,j)=0，v(i,j)为像素值。1. 初始化扫描线状态 inLine=0,2. 对于每个像素，如果 v(i,j)=255 并且 inLine=0 则标记 inLine=1,并将改点记录为起始点，表示进入一条线段；如果 v(i,j)=0 并且 inLine=1，则标记 inLine=0，将改点记录为结束点，表示结束一条线段，将该条线段记录到向量中；否则，不做处理。(2) 合并扫描线通过上一步，阴影的范围进一步的缩小了。接下来要对这些扫描线进行处理，对于每个目标仅保留一条扫描线。由于噪声可能出现扫描线不连续的情况，即两条不相邻的扫描线可能属于同一阴影区域。如图 3-19，两块扫描区域属于同一物体。使用一定的方法合并扫描线则可以解决此类问题。图 3-19 扫描不连续在上一步中我们扫描的方法是从上到下，从左到右的，存放在 line向量中，则它们是按照坐标值有序存放的。y 值小的一定会在向量头部。我们再次遍历此向量时，必然也是按照从上到下，从左到右的顺序。本文中，按照如下规则合并：设有两条线段 Line1(xstart,xend,y),Line2(xstart,xend,y)，如果 Max(Line1. xend - Line2. xstart, Line2. xend - Line1. xstart) 满足透视模型，则将两条线段合并为一条，生成新线段 Line3(xstart,xend,y)。Line 3参数设置如下：Line3. xstart = Min(Line1. xstart, Line2. xstart)Li