车道偏离预警系统(LDW)研究报告

1、车道偏离预警系统（LDW）研究报告摘要：为了积极应对由车道偏离引发的交通安全事故，车道偏离预警系统被广泛应用于现代汽车。报告从车道偏离倒是事故的严重性和车道偏离预警的重要性出发，阐述了车道偏离预警系统的背景和意义。报告主要根据检测车辆横向位置分类，回顾了基于道路基础构造和车辆的车道偏离的警告系统，并简要介绍了相关成熟产品。报告回顾了车道偏离预警系统的四类警告标准，包括：CCP标准、FOD标准、TLC标准和KBIRS标准。报告介绍了以ISO 17361:2007和FMCSA-MCRR-05-005为主的两种车道偏离预警系统标准。通过实例，按道路图像预处理、车道检测、车道线检测和车道偏离检测介绍了

2、车道偏离预警系统的实现。最后，报告对车道偏离预警系统进行了回顾和展望。关键词：交通安全；车道偏离；预警系统；车道检测；车道线检测Research on lane departure warning system (LDW)Abstract: In order to respond to the traffic accidents caused by lane departure actively, lane departure warning system (LDW) are widely used in modern cars. The background and significance

3、 of LDW was explained from the serious of the lane departure causing accidents and the importance of LDW. The system based on road infrastructure construction and vehicles lane departure was recalled, which was mainly based on the classification of detected vehicles lateral position, and the relevan

4、t mature products was described briefly. The warning criteria of four lane departure warning systems including CCP standard, FOD standard, TLC standard KBIRS standard was reviewed. Two LDW standards including ISO 17361:2007 and FMCSA-MCRR-05-005 were introduced. The released of LDW was introduced in

5、 order by road image preprocessing, lane detection, lane marking detection and lane departure detection according example. Finally, LDW was reviewed and discussed. Keywords: traffic safety; lane departure; warming system; lane detection; lane marking detection目录1 车道偏离预警系统的背景和意义11.1车道偏离导致事故的严重性11.2车道

6、偏离预警的重要性11.3车道偏离预警系统的定义12 车道偏离预警系统的分类22.1根据检测车辆横向位置分类22.1.1基于道路基础构造的车道偏离警告系统22.1.2基于车辆的车道偏离警告系统23 车道偏离警告系统采用的警告标准53.1 CCP标准53.2 FOD标准63.3 TLC标准63.4 KBIRS标准74 LDW系统的安全标准95.车道偏离预警系统的实现（实例）125.1道路图像预处理125.1.1路面坐标与图像坐标的转换125.1.2道路图像的灰度化145.1.3道路图像的滤波增强155.2车道检测155.2.1车道检测范围155.2.2感兴趣区域(ROI, region of in

7、terest)165.3车道线检测175.3.1卷积法4175.3.2Lucas-Kanade (L-K)光流法185.3.3车道线追踪（Kalman滤波法）205.4车道偏离检测205.4.1根据标准预警205.4.2基于时空机理的车道偏离预警225.5测试和结果254.4.1硬件设备254.4.2测试数据264.4.3测试过程和结果264.4.4鲁棒性介绍296展望31参考文献321 车道偏离预警系统的背景和意义1.1车道偏离导致事故的严重性据统计, 每年世界范围内的公路交通事故中大约有1000万人员受伤, 其中重伤约300万人, 死亡40万人, 这些事故直接造成的经济损失约占世界GDP的

8、13%。根据( 美国) 联邦公路局的估计，美国2002年所有致命的交通事故中44%是跟车道偏离有关的, 同时车道偏离也被看成车辆侧翻事故的主要原因。根据美国交通部门的报告指出，接近 50% 事故与汽车无意识的偏离车道是有关的。1.2车道偏离预警的重要性车道偏离警告系统经研究发现利用能检测车辆运行时的横向位置的系统将防止大约53%的单车偏离车道事故。根据Federal Highway Administration（FHA）的研究表明，车道偏离预警系统可以避免30-70%的车道偏离交通事故的发生。因此，车道偏离预警系统的研究对提高道路交通安全，减少交通事故引发的人员伤亡和经济损失意义重大。研究表明

9、，驾驶员的反应时间如果能提0.5s，就可以避免至少60%的追尾撞车事故，50%的交叉相撞事故及30%的迎面相撞事故。正是基于这些原因，车道偏离预警系统的研究逐渐成为社会上的一大热点1。1.3车道偏离预警系统的定义车道偏离预警系统（Lane Departure Warning System，LDWS）是车辆辅助驾驶系统中的重要组成部分，根据前方道路环境和本车位置关系，判断车辆偏离车道的行为并对驾驶员进行及时提醒，从而防止由于驾驶员疏忽造成的车道偏离事故的发生。车道偏离预警系统是一种汽车驾驶安全辅助系统，该系统旨在 帮助驾驶员避免或者减少车道偏离事故。它通过传感器获取前方道路信息，结合车辆自身的行

10、驶状态以及预警时间等相关参数，判断汽车是否有偏离当前所处车道的趋势。如果车辆即将发生偏离，并且在驾驶员没有打转向灯的情况下，则通过视觉、听觉或触觉的方式向驾驶员发出警报。车道偏离预警系统一般包括三部分：环境感知、偏离决策以及预警发布。22 车道偏离预警系统的分类32.1根据检测车辆横向位置分类绝大部分的车道偏离警告系统都将车辆在车道内的横向位置作为计算警告发生与否的一个基础。这些检测车辆横向位置的系统基本上可以分为两类: 基于道路基础构造系统以及基于车辆的车道偏离警告系统。2.1.1基于道路基础构造的车道偏离警告系统该类系统利用道路基础构造来检测车辆横向位置, 需要对现有的道路进行改造。最典型

11、的改造方式就是使用埋在道路下的铁磁体标记( 通常为磁铁或电线) , 车辆传感器检测这些铁磁信号并利用信号的强度计算车辆在车道中的横向位置。这种方法对车辆横向位置的估计精度能达到几个厘米, 但这种方法最大的缺陷就是道路改造耗资巨大。2.1.2基于车辆的车道偏离警告系统该类系统主要是利用机器视觉或红外传感器检测车道标识的位置, 按照传感器的安装方式可分为俯视系统和前视系统。1.俯视系统：俯视系统的优势是在结构化道路上效率高并简单易行，有可能取得更高的定位精度；不利的因素就是只能在结构化道路上使用( 必须存在道路标识, 且道路标识能被有效识别) 。在基于车辆的俯视系统中，最具代表性的为AURORA系

12、统。AURORA系统由美国卡内基梅隆大学机器人学院于1997年开发成功。该系统由带广角镜头的彩色摄像机、数字转换器和一个便携SunSparc工作站等组成。该系统通过安装在车辆一侧, 视野大约为115 116m区域的俯视彩色摄像机检测车辆旁边的车道标识, 通过数字转换器采集摄像机的视频输出并在一个便携SunSparc工作站上进行处理，处理速度为60Hz。AURORA系统的处理算法主要由基于视觉的车道标识识别与跟踪、车辆横向位置估计、车道偏离警告3部分组成。系统对每帧图像进行单纯的线扫描, 利用1个可调的二次标准化模板相关技术对车道标识进行识别, 在标识跟踪时采取先搜索前面探测到的车道标识附近区域

13、，假如在该区域没有搜索到车道标识，系统将进行整个扫描线搜索。当系统定位出车道标识后, 将计算出车辆的横向位置, 即车辆中心与车道中心距离。然后, 采用一种合适的警告触发准则, 使该系统与驾驶员相互作用防止车道偏离的发生。俯视统的优点是方法简单易行，在高速路等结构化道路上执行效率较高，容易获得较高的定位精度；但其缺点是应用范围有限，只适用于存在清晰标识的结构化道路。2.前视系统：前视系统可以利用更多的道路信息, 在没有道路标识的道路上也可以使用。其不利因素就是用来定位车辆横向位置的一些图像特征点可能被其他车辆或行人干扰。这种系统目前应用较为广泛, 其中具有代表性的有: AutoVue系统、AWS

14、TM系统、DSS系统、ALVINN系统和SCARF系统等。( 1) AutoVue系统：由德国的DaimlerChrysler公司和美国的Iteris公司联合开发, 2000年6月首次实际应用。目前, AutoVue系统已经在欧洲的多种货车上作为一个选件进行了装备, 美国正大力推广该系统, 以减少车辆车道偏离事故的发生。AutoVue系统结构紧凑, 主要由一个安装在汽车内挡风玻璃后部的摄像机、道路标识线识别跟踪软件、2个立体音箱, 1个小显示设备和控制单元等组成。通过摄像机实时监测本车在当前车道中的位置, 计算本车到车道标识线距离, 然后与设定的报警距离相比较, 判断是否进行预警。当检测到将要

15、发生车道偏离时, 它将发出一种类似于车辆在隆声带上行驶时发出的隆隆作响的声音来提醒驾驶员修正车辆位置。该系统环境适应性较强, 在多数气候条件下能够有效工作。目前，欧洲的多种货车已将该系统作为一个选件进行装备，同时正在美国进行大力推广，从而减少车道偏离事故的发生。( 2) AWS 系统：以色列Mobileye公司的研究成果，AWSTM系统利用安装在前挡风玻璃上的单个摄像机监测车道标识线以及测量和监控本车与道路边界的距离。该系统能检测不同的车道标识如实心连续线、虚线等。在没有车道标识的情况下, 系统能利用道路边缘和路沿来进行车道偏离警告。其车道偏离警告模块通过检测道路边界, 计算车辆相对于车道的位

16、置和车辆的侧向运动以预测车辆将横越车道标识的时间, 当该时间低于设定的阈值时, 触发视觉警告和声音警告, 以使驾驶员对不同的危险状态做出适当的反应而减少意外事故的发生。系统采用的警告阈值能适应不同的驾驶风格。车道偏离系统在有意识的车道偏离、制动、没有道路标识等情况下对警告的产生进行了抑制, 同时也适当考虑了驾驶员的个人驾驶行为。系统可以在没有明显车道线标识的情况下检测道路比安源和路沿，在雨天和夜晚情况下也能工作。( 3) DSS系统：日本三菱汽车公司于1998年提出设计和开发DSS系统, 并于1999年秋季应用于模型车上。DSS系统由1个小型的CCD摄像机、速度传感器以及视觉和指示器及警报蜂鸣

17、器等听觉警告装置组成。利用装在后视镜内的CCD摄像机通过图像处理方式识别车道线，并进行车道曲率半径、横向偏移量和横摆角的计算，使用横摆角速度传感器检测车辆的横摆角速度，并通过控制器来计算当前车辆的实际行驶轨迹和预期行驶轨迹的偏差，确定自车与车道线的相对距离和速度来判断车辆是否已经开始偏离其车道，计算跨道时间，从而判断是否发出警报。如有必要, 系统将利用视觉警告信息和听觉警告信息以及震动转向盘来提醒驾驶员小心驾驶车辆。DSS系统的特别之处是系统将产生一个促使车辆回到自身车道中央的转向力矩来帮助驾驶员采取正确的驾驶行为。当然, 该力矩不会干涉驾驶员自己施加的转向力矩, 保证驾驶员对车辆的完全控制。

18、( 4) ALVINN系统和SCARF系统：ALVINN系统和SCARF系统都由美国卡内基梅隆大学机器人学院NavLab实验室和视觉与自动化系统研究中心( VASC) 联合开发的。ALVINN利用神经网络从训练数据中学习正确的行为。SCARF系统将图像中的像素点基于它们各自的颜色聚类为道路类和非道路类, 在基于假设道路在图像中表现为梯形的条件下, 利用Hough变换寻找最可能的道路位置。由于该系统仅仅寻找道路像素组成的梯形区域, 不能用于多车道行车以及避障操作。3 车道偏离警告系统采用的警告标准目前可以将车道偏离警告系统采用的警告标准大致分为4种: 基于车辆在车道中的当前位置 (Cars Cu

19、rrent Position, CCP) 、基于将来偏离量的不同 (Future Offset Difference, FOD) 、基于车辆将横越车道边界的时间 (Time to Lane Crossing, TLC) 、基于道路场景感知 (Knowledge-Based Interpretation of Road Scenes, KBIRS) 。这些警告标准中, 使用最广泛的是TLC标准。3.1 CCP标准也叫横向偏移（Lateral offset, LO）, 检测车辆与车道边界之间的相对距离，当车辆接近或保持在车道边缘附近时给出警告。车辆在车道中的当前位置由车道检测算法得到。y0表示车辆

20、中心与车道中心的距离, 假设车辆大致与车道平行, 给定车辆宽度bc时, 当前车辆前轮相对于左右车道边界的位置：式中车道宽度bc由车道检测算法估计出。 和分别表示左右车轮相对于左右车道边界的位置。当 0且 0时, 表明车辆在车道内,这时不需要警告。当 0或 0时, 就认为车辆偏离车道, 发出警告。3.2 FOD标准该方法考虑驾驶员的个人驾车习惯, 在绘制虚拟的边界时添加了驾驶员自然转向时习惯的偏离量。当然如果驾驶员没有这种转向时偏离习惯, 将虚拟车道线与真实车道重合。采用这种方法的警告触发准则为其中V为虚拟的车道边界; 为预计的车辆的侧向位置。式中为侧向速度; 为当前车辆距车道边界的距离; T为

21、预计时间, T = ( v- x ) /, x为期望发生的点。经过试验, 这种方法能减少误警。3.3 TLC标准提出TLC方法的目的是为了尽可能早地检测到可能的车道偏离。该方法主要根据以后几秒钟内车辆运动假设模型, 估计出车辆将离开车道的时间。在计算时主要考虑如下2种运动模型。( 1) 假设车辆保持现有方向不变。这样得到的运动模型可以描述为：式中为车辆相对于车道的方向角; 为当前时刻车辆相对于车道中心的横向偏移量; l为车辆驶出的直线距离; 为车辆在驶出距离为l时的横向偏移量。(2) 假设驾驶员保持相同的转向盘转角。这样车辆的运动曲线跟车道边界的回归曲线模型相类似, 可以描述为:式中Cc为车辆

22、运动曲线的曲率, 可由当前的转向盘转角计算得到。上述两种模型都是基于车辆中心的运动估计,而左右车轮的运动分别描述为:式中下标l、r 分别对应左、右车轮。由此得到的车辆运动曲线与相应的车道边界曲线的相交点就表示了车辆将横越车道边界的假定距离, 用这个距离再比照现有车辆的速度可以计算出TLC值。当TLC值小于一定阈值, 就发出警告。3.4 KBIRS标准该标准现仅作为一种理论观点, 主要集中在对自然场景的感知。把这种标准应用于道路偏离警告系统中目前还不是很完善。采用这种标准的系统分析获取的道路图像, 利用物体的几何轮廓大致估计物体存在与否。这种方法可能会用于车道偏离警告系统中, 因为当车道急剧地偏

23、离, 系统对场景的感知会发生剧烈的改变。当这种情况发生时, 就应当发出警告信息。4 LDW系统的安全标准4对LDW系统标准的制定，主要为国际标准化组织（ISO）。国际标准化组织（ISO）是一个非政府组织，吸引了国家157个国家标准机构。ISO标准是自愿的，但是有在ISO标准基础上修改形成欧盟法规提案的例子。两项标准对LDW系统的定义：在无意的车道偏离发生时对驾驶员进行警告。他们不会采取任何措施防止车道偏离，而让驾驶员负责车辆的安全运行。区分了LDW系统和换道辅助系统（LCA），该系统警告驾驶员因为车道变化可能发生碰撞16；区分了LDW系统和车道保持辅助系统，车道保持辅助（LKA）技术确定车辆的

24、行车位置，并积极辅助司机。标准规定的两项关键参数为：警告阈值、速度阈值和道路曲率ISO 17361:2007 I类：系统必须能够在车辆行驶速度大于或等于72公里/小时（20米/秒或45英里），道路的半径大于或等于500米时正常工作。ISO 17361:2007II类：系统必须能够在车辆行驶速度大于或等于61公里/小时（17米/秒或38英里每小时），道路的半径大于或等于250米时正常工作。FMCSA-MCRR-05-005：系统必须能够在车辆行驶速度大于或等于60公里/小时（16.6米/秒或37英里）时正常工作。FMCSA-MCRR-05-005：系统应该能够在偏移速率小于0.8m/s（图1）时

25、出发警告。ISO17361:2007: 对于卡车和公共汽车位于车道界外1m；对于乘用车位于车道边界外0.3m。FMCSA-MCRR-05-005要求LDW系统能在遇到下列类型的道路标线时起作用。同时，系统必须在在白天、黄昏和夜晚情况下，当车道标线清晰可见时发挥作用。ISO17361:2007没有明确系统必须检测的道路标线类型。然而要求系统必须能够通过一种测试的性能测试（能够在车道标线良好的测试位置被测试，标志良好就是按照国家界定的可见车道标记；没有对环境条件的要求，但系统在那样的环境下必须正常工作；测试必须在可视性范围大于1公里下进行）。White and yellow pavement li

26、nes 白色和黄色的路面Single and double pavement lines 单的和双的路面线Solid and dashed pavement lines 实线和虚线路面线，Raised pavement markers such as Botts dotsorcats eyes 凸起的路面标记，如“博茨点”或“猫眼睛”Reflective lines 反射线。5.车道偏离预警系统的实现（实例）5.1道路图像预处理要实现对车道线的检测与识别，首先要使用一些图像处理方法提取车道图像的特征点，然后选择合适的曲线拟合方法，利用得到的特征点拟合出车道线。它的主要目的是去除图像中的噪声干扰

27、，最大程度的保存道路图像的路面信息，减少道路图像的无关信息，从而提高车道线检测与识别的可靠性。图像预处理改变的只是信息的表现形式，而不会增加图像的信息量。5.1.1路面坐标与图像坐标的转换假设一个平坦的道路，并使用相机本征（焦距、光心、偏移参数像素、宽高比）和外在（俯仰角度和地面高度）参数来完成转换。相机安装在离道路平面h的地方，倾斜向下。因此，光轴与道路平面轴的夹角为。我们定义世界坐标系Fw=Xw，Yw，Zw，1 ，这是相机的光学中心与道路平面的交点。我们还定义相机坐标系Fc = Xc，Yc，Zc，1和图像坐标系Fi=ui，vi，1。如果我们把道路平面坐标转换到相机坐标，我们可以看到周围有一

28、个 围绕Xw轴旋转，伴随着-H/沿着Zw轴的转换。相机校准矩阵包含相机的内在参数从相机坐标转换到图像平面上坐标。3D世界坐标点（Xw， Yw， Zw）和图像投影（ui，vi）之间的映射可以如下表达：R代表旋转矩阵：T代表转换矩阵：K代表相机参数矩阵：f代表相机的焦距，s为像素的斜率，（ku*kv）是像素的尺寸比。式（3）也可以表达为：正如我们所定义的真实世界坐标系统是平面坐标YW= 0，这可以简化为：用式（8），我们可以预计一个现实世界道路上的兴趣窗口到像平面。如图5所示，我们定义兴趣窗口为从车辆相机原点的3m至16m。最小距离被选为三米是因为这是道路表面可以被我们当前相机结构看清楚的最近的点

29、。坐标转换的标定举例7图1 前视图像图2变换后的前视点图像5.1.2道路图像的灰度化从前方摄像头或者采集卡输出的图像一般为彩色图像，由于彩色图像包含的信息量太大，对它的处理需要很大的计算量，对硬件要求比较高，从而影响了系统的实时性，因此在系统中一般需要对摄像头输出的图像进行灰度化处理。基于RGB模型的彩色图像中的每一个像素点由R、G、B三个分量组成，每个分量的取值范围为0255，因此每一个像素点可以表示1600多万(256*256*256)种颜色。如果设定R、G、B三个分量的数值相等，那么每个像素点就只可以表示256种颜色，这就是灰度化的原理。5.1.3道路图像的滤波增强现实环境中的道路非常复

30、杂，受诸如光照、遮挡等因素的影响，摄像机输出的图像一般会含有大量的噪声干扰，为了尽可能减小这些干扰因素，在图像预处理过程中加入了一个图像增强环节。图像增强是指采用一系列技术，对原图像作处理、加工，使其更适合具体的应用要求，改善图像的视觉效果，或将图像转换成一种更适合于人或机器进行分析处理的形式。图像增强是一种基本的图像预处理手段，并不是以图像保真为准则，它可以是一个失真过程，使用它并不意味着要增加图像的信息，有时甚至会损失一些信息。图像增强的目的是扩大图像间具有不同特征个体间的差异，抑制不感兴趣的区域，增强感兴趣的特征，从而使这些特征的检测与识别变得容易。5.2车道检测5.2.1车道检测范围为

31、了计算在输入图像中的关心区域，该系统的检测的范围必须是已知的。当车辆在直线道路或大曲率半径道路，检测范围会在图像中从车辆跨越到地平线。如图3所示，车辆遇到半径为r的右转弯时。我们希望找到l，系统的最大检测范围。在一个“最坏情况”的情况，系统在c点，像正切线一样接近车道边界线，车道标记分隔段在我们的检测范围内。这样导致从车道偏离的潜在点的误差距离e。我们可以从图解法中看到，和。结合这两个公式，我们看到：由于三角形ABC是一个直角三角形，我们可以使用毕达哥拉斯定理证明。代入（1）中和简化，我们依据曲率r和边缘误差e，得到我们的检测范围l。最严格的法规要求系统必须在道路的曲率半径小于或等于至250米

32、时工作。它需要位于车道边界外0.3m的最新警戒线，最低最早的警戒线在车道边界内0.75m（如表2）。这样的结果使得在1.05米宽度的区域中可能发出警告。通过在这个区域的中心（于车道边界内0.225m）设置我们警告阈值，我们有一个的e=0.525m的边缘距离。把这些值代入（2），结果为路面上16.18m的检测范围。对所有图像在这一点上裁剪路面图像，包括转弯及直线道路的图像。5.2.2感兴趣区域(ROI, region of interest) 5提出在感兴趣区域(ROI, region of interest)中建立搜索窗口的方法在确定ROI的宽度时，以车道线的宽度为基准设置，即式中为ROI在第

33、i条扫描线的宽度；为图像坐标系下第i条扫描线上车道标志线的宽度;为设定的常数，它表示ROI宽度与标志线宽度的关系。由世界坐标系下车道标志线宽度经过透视变换得到。假设车体坐标系下车道标志线块状结构宽度为，则二者的变换关系可以表示为式中F表示标志线宽度从车体坐标系到图像坐标系的透视变换关系，在图像坐标系下，ROI宽度变化的基本规律是下宽上窄。对于搜索窗口所搜索到的车道线边缘点，为了减少阴影等噪声的影响，设立一个常数阈值，低于该阈值的像素都设为该常数。举例：5.3车道线检测车道线是道路交通中最重要的交通标志，可以对车辆的行驶起到约束保障的作用。无论是在车辆安全驾驶系统中还是在基于机器视觉的智能车辆导

34、航中，车道线的检测与识别都是一个基本的、必须的功能模块6。预警算法中比较重要的部分是根据采集到的图像信息，通过边线上探测点而拟合出车道线。但是在此过程中由于图像上的噪声，车道线因磨损而导致的清晰度降低等问题往往使得最终不能够得到准确的结果，如何快速简洁地探测出车道线就成为需要首先解决的问题 6 。5.3.1卷积法4首先计算每帧视频的红色、绿色和蓝色通道的正常化强度。负的一维高斯滤波器的二阶导数卷积感兴趣区域的每一行，从底部到顶部，给相应的车道标记强度变化的响应。由于卷积，车道标线的地方的像素值会增加。作为最大输入像素值1，系统把高于此值的像素确定为车道标线。由此产生的图像如图6b所示。5.3.

35、2Lucas-Kanade (L-K)光流法8L-K的算法是基于以下三个假设：亮度恒常性、时间的持久性、空间相干性。第一个假设表示视野里物体图像上的一个像素点在从帧到帧的移动中不改变外观。即像素点的亮度不会改变，因为它是从连续的一帧到另一帧。第二个假设仅仅意味着图像运动变化缓慢的时候，即物体的运动相对于帧速率而言十分缓慢。第三个假设说明在一个图像中的相邻点一直是相邻点。L-K法使用从一帧到另一帧的跟踪点来确定车辆相对于行车道中心的位置以及车辆前进的方向。 对的ROI图像进行Hough变换，在图像上找到所有的垂直线并绘制为红色线，如图4所示。图4 垂直线（红色）表示可能的车道边缘Hough变换是

36、一种应用于图像分析与计算机视觉的特征提取技术。它的原版本是检测直线，在后来Hough变换一直延伸到识别任意形状，最常见的是圆圈。我们使用这种变换3-7检测直线和垂直线必须有一个特定的得分，以被计算在内。这就是所谓的线分数。为了得到线分数，图像被分成列，并计算每列像素值的平均值。此平均值就是这条线的线分数。Hough变换一般使用投票计划检测最有可能的车道边缘。如果得票最多的一行高于阈值（即满足一定分数要求），那么该行就被认为是车道标记。这种做法在左半边图像和右半边图像各进行一次，以获得左车道标记和右车道标记的图像，如图5所示。图5 执行Hough变换后得到的标线（显示为绿色）Hough 变换(

37、Hough Transform，HT) 介绍9Hough 变换( Hough Transform，HT) 由于其对噪声干扰和数据丢失不敏感，是一种在图像中检测直线的有效工具，基于Hough变换的直线识别是将图像空间中的直线转换到参数空间进行描述,对所有可能落在直线边界上的点进行统计,最终确定这些点属于该条直线的概率。直线有多种表达方式，其中直线的极坐标解析式是:x和y是图像中的像素坐标系中的坐标，为直线到原点的距离，限定了直线的斜率。若固定图像的左上角为原点，的取值范围是0，180，的取值范围是R,R，,其中 w是图像的宽度，h是图像的高度。离散化和，开辟另外一个二维参数空间 H(,) ，图像

38、中的每一个像素对应参数空间 H(,) 中的一条正弦曲线，由于任意一条确定的直线对应唯一一组 (,) ，所以处于一条直线上的像素在 H(,) 参数空间中映射的正弦曲线必相交于一点 (，) ，如图 6:图中一条直线上的两个像素点的关系可以用下式表示:在参数空间中，两条曲线相交于一点，此点便是直线的极坐标4。Hough变换的几条性质：(1)(x,y)空间中的一点对应空间中的一条正弦曲线。(2)空间中的一点对应(x,y)空间中的一条直线。(3)(x,y)空间中几个共线的点对应于(x,y)空间中几条正弦曲线且这几条曲线具有共同的交点。5.3.3车道线追踪（Kalman滤波法）10只有检测到的聚类超过连续

39、五帧被跟踪到，系统才能够消去不真实的和短暂的聚类，例如行人过路或道路刻字。对结构化道路而言,连续两帧图像中的车道线位置相差不大。因而,可利用相邻帧之间车道线位置的相关性,用前一帧图像获得的信息指导下一帧车道线的检测,以实现车道线的实时跟踪。Kalman滤波是目前常用的车道线跟踪方法5.4车道偏离检测5.4.1根据标准预警车道偏离是由我们的系统通过监测本车辆相对于所检测到的车道边界位置来判断的，系统在本车辆靠近邻近车道时发出警告。通过反转变换矩阵（8）中，我可以计算出从图像平面到道路平面的车道边界坐标映射。将所得的道路平面坐标用于创建每个车道边界的线方程AX+BY+C=0。使用（15），我们可以

40、计算出从被检测车道边界到车辆原点（m，n）的垂直距离d。我们采取车辆的原点为相机正下方道路平面上的一个点，其中（M，N）=（0，0）。如图8所示，当车辆从右边车道到左侧车道，在每个朝前的图像中，短的线条表示车辆宽度，长的线条表示检测到的车道边界。左上角的数字显示表明每个检测到的车道边界的（d-(Wv/2）)的值，Wv表示车辆轮距。当车辆在车道标线附近时，它的值为0。有系统发出车道偏离预警，即在（16）满足时。5.4.2基于时空机理的车道偏离预警11使用双重机制的预警算法来避免错误报警。第一种预警机制只是关注于车道边界的距离，可以不通过复杂计算而直接从图像上获取。预警信号将仅在车道边界很接近图像

41、的中心时被触发，那就意味车辆在两条车道之间。而且，为了预报一些车道偏离的情况，而不是变道。我们提出另一种基于车道距离变化率的预警机制。一般而言，危险的车道偏离情况来自于以下两种情况：驾驶员离车道边界太近；车辆保持快速的偏离速度，比如车辆太快地靠近车道边界。因此，我们提出时空机理来分别检测这两种车道偏离情况。消失点就是图像平面上的一个点，三万维空间中的一系列平行线收敛于这个点。使用消失点来自动决定对车道偏离预警的预警和识别感兴趣区域以节约处理时间。为了克服车辆变量和图像噪声的存在，我们从第一个50帧中找到了50个消失点，然后使用统计学的方法来计算消失点1. 空间机理空间机理是用来识别车辆是否接近

42、于道路的危险位置。首先，我们定义预警盒子，一个矩形，宽度和图片一样，高度是图片高度的一半。那么，预警盒子上边缘线的中点就在前面获得的消失点。危险区域的定义为区域集中在预警盒子，那些宽度为图像一半，在图2中。而且，图2以蓝色示意预警盒子和红色示意危险区域。假设dM和dS分别为到预警盒子底部拦截点M和S的距离，从图2（b）可以看到，红色十字交叉点就是主车道延长线与预警盒子线的交点。蓝色角就是预警盒子底部的转折点。dM被定义为和间的距离。同样地，Ds定义为幅车道的距离。当红色的交叉点处于预警盒子外时，不论是dM还是dS都被认为为0。因此，dM和dS可以用以下公式表示：空间预警机制在dM或dS大于1/

43、4时开始预警，和分别为图像的宽度和高度。2. 时间机制时间机制的原理为检测dM和dS的值变化。用L(t)表示从t时刻到t-n时刻的dM和dS的和的均值。L (t)的表达式如下：n为用于计算L(t)的帧数。变量被定义为：描述在连个不同时刻t1和t2的不同。考虑车辆车道变换时靠近它的左侧边界，如图3所示。在t1和t2间选取适当的时间间隔，需要根据图3（b）到图3（e），连续不断地分析dM和dS的微小变化。开始时，如图3（a）和3（b），车辆开始偏向它的左车道边界。在图3（a）和3（b）中，dS的值变为0，dM的值增加，然而dM和dS都是积极的。然后，在图3（b）到3（e）中dM继续增加。总的来说，

44、在图3（b）到3（e）中，我们可以观察到车辆变道引起dM和dS的增加。我们采用的启发式规则就是计算每九帧的，即n=9。从试验摄像机获取图像的速度为25帧/s。因此，我们提出的时间预警机制每0.36s更新一次。因此t1和t2之间的关系被定义为：t1+0.36=t2。时间预警机制被按照如下设计：如果，那么系统发出嗡嗡的预警声。在这种情况下，车辆迅速变换到另一车道。在（2）中，系统在车辆靠近车道边界时出发预警，依靠空间预警机制的距离阈值。不管怎样，如果车辆尽管没有达到距离阈值，但是快速地靠近车道边界时，驾驶员将没有足够的时间来调整，阻止触碰和越过车道边界。在这种情况下，空间预警机制对于保证驾驶安全的

45、触发将会太晚。因此，时间预警机制被用来提供在空间机制正常预警前的紧急预警。通过（3）（4）和前面所述如图3（a）-（e）的触发方式，如果每0.36s更新的大于阈值，依靠时间机制的预警将被触发来避免可能发生的意外碰撞。5.5测试和结果44.4.1硬件设备测试视频数据通过使用一种Omnivision公司的 OV7710彩色摄像头，安装在车辆后视反射镜的后面（如图9）。该相机的安装高度为0.8米，与路面的俯仰角为13.5，水平角为38，916像素的焦距。视频捕获频率为20Hz，分辨率为640480像素。视频使用在MATLAB开发的算法进行处理，一台标准的台式PC（AMD Athalon3200+处理

46、器，1GB RAM 8.04Ubuntu系统）。在算法的测试过程中，我们发现它大约需要一秒钟处理每个帧。4.4.2测试数据车辆行驶上各种各样的道路上，捕获的视频数据的驾驶环境范围包括城市、郊区、农村、双行车道和高速公路。20段视频被捕获，包含55个车道偏离的实例（如表3）。这些车发生在直线道路、弯曲道路和偏离左侧或右侧车道线。ISO17361:2007中的测试条件被要求在良好的状态下，良好被定义为有可见的车道标线。然而，大量的测试场景相当具有挑战性，例如：有的路面刻有字，柏油路面和人行道间，潮湿和干燥的路面，行人过路处，车道弯曲处和车道标线被过往车辆阴影笼罩的地方。通过一帧一帧的分析方式，数据

47、集包含57 000多帧，100000次检测到的车道边界。4.4.3测试过程和结果ISO17361:2007为 LDW系统描述了一个测试程序：曲线上的LDW系统测试、直道上的重复性测试和误报警测试。第一轮：车道边界追踪没有启动，检测错误被定义为车道边界存在却没有检测到或车道边界本来不存在但却被错误地检测到。第二轮：车道边界跟踪被启用。 在每一轮中分析系统在车道边界检测和车道偏离检测方面的性能。没有启动车道边界追踪时的车道边界检测结果如表4，车道偏离检测结果如表5。正确的车道边界检测被定义为一个在感兴趣区域内可见的车道边界标线的位置和方向被检测到，同时车道边界的位置和方向被检测到。测试结果表明，算

48、法在充满挑战的驾驶环境中对车道标线和车道偏离的检测是有效性的。车道边界正确检测率为92.68，每帧0.039的误报警率。系统产生的小数量的错误结果。主要由表面积水造成的非常明亮的反射、非常破旧的车道标线、曲折的车道标线导致的不准确（如图10a）。然而，55次车道偏离中的53次被正确检测（96.36%）。算法每帧耗时1s。第二轮测试车道追踪启用。追踪算法频繁地提高了检测率，只出现少数帧的错误检测。在这些情况下，追踪算法预测只有在道路边界已捕获的情况下被使用。车道边界检测率提高到94.39（如表6）。车道偏离检测率增加至98.18（如表7）。算法每帧耗时700毫秒。测试结果表明了算法在各种路面和驾

49、驶条件下车道偏离检测的有效性。没有跟踪时，我们的算法在检测所有可见的车道边界显示效果不错。有跟踪时，算法产生了非常好的的结果，即使在一些比较更加困难的驾驶条件下。如图10b显示了一些检测样品，显示了系统在各种路面，道路标线，曲线，被车辆、雨刷、仪表板反射干扰中的鲁棒性。4.4.4鲁棒性介绍鲁棒是Robust的音译，也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。所谓鲁棒性是指控制系统在一定（结构和大小）的参数摄动下，维持其它某些性能的特性，表征控制系统对特性或参数扰动的不敏感性根据对性能的不同定义，可分为稳定鲁棒性和性能鲁棒性。控制系统的一个鲁棒性是指控制系统在某种类型的扰动作用

50、下，包括自身模型的扰动下，系统某个性能指标保持不变的能力，即抗干扰能力较强。对于实际工程系统，人们最关心的问题是一个控制系统当其模型参数发生大幅度变化或其结构发生变化时能否仍保持渐近稳定，这叫稳定鲁棒性。进而还要求在模型扰动下系统的品质指标仍然保持在某个许可范围内，这称为品质鲁棒性。鲁棒性理论目前正致力于研究多变量系统具有稳定鲁棒性和品质鲁棒性的各种条件。它的进一步发展和应用，将是控制系统最终能否成功应用于实践的关键。在实际问题中，系统特性或参数的摄动常常是不可避免的。产生摄动的原因主要有两个方面，一个是由于量测的不精确使特性或参数的实际值会偏离它的设计值（标称值），另一个是系统运行过程中受环

51、境因素的影响而引起特性或参数的缓慢漂移。因此，鲁棒性已成为控制理论中的一个重要的研究课题，也是一切类型的控制系统的设计中所必需考虑的一个基本问题。根据驾驶录像的拍摄于环境（见表3）的归类结果，我们看到我们的系统在高速公路有95.38的车道边界检测率。对于城市和行车道驾驶环境，该系统具有93.1 的检测率。该检测率较低是因为在城市环境中环境变化，如各类车道标线的变化和柏油路的变化。对于白天驾驶，系统有90.87的车道边界检测率。在比较，该系统在夜间驾驶环境具有96.83 的检测率。这是因为车辆大灯只照亮车道标线所在的路面区域。在高速公路上存在高度的“猫眼睛”反射也增加了车道边界的检测率。在恶劣驾驶条件下，如道路上标线损坏、强大的阴影和其他车辆造成的间歇性闭塞，算法显示出强大的检测率。在1，6，14和16段剪辑视频，我们可以看到特别是在城市环境损坏车道标线时算法的检测性能。在车道标线被其他道路车