基于机器视觉的智能车辆障碍物检测方法研究

1、V ol119N o14公路交通科技2002年8月JOURNA L OF HIGHWAY AND TRANSPORT ATION RESEARCH AND DEVE LOPMENT 文章编号:10020268(200204012604收稿日期:20010806基于机器视觉的智能车辆障碍物检测方法研究李斌,王荣本,郭克友(吉林大学交通学院,吉林长春130025摘要:着重阐述基于机器视觉的前方车辆障碍物检测方法。首先根据公路上前方车辆的先验特征模型,建立障碍物探测的感兴趣区,以缩小搜索区域;随后提出一种新的对称变换算子,用于检测障碍物车辆的对称轴,并确定障碍物车辆的矩形轮廓。为进一步提高障碍物检测

2、的实时性,采用递归模板匹配法对障碍物进行跟踪。试验表明上述方法是有效的。关键词:智能车辆;机器视觉;对称变换中图分类号:U49116文献标识码:AStudy on Machine Vision Ba sed Obstacle Detection and Recognition Methodfor Intelligent VehicleLI Bin,WANG Rongben,G UO K eyou(T ransportation C ollege of Jilin University,JilinChangchun130025,ChinaAbstract:A leading vehicle de

3、tection and recognition method based on machine vision is mainly described in this paper.Firstly,in or2 der to reduce the searching area,an area of interest(AOIfor the obstacle is g otten based on the image contour detection and the priori knowledge of the leading vehicle on the road.Secondly,a new

4、symmetry trans form operator used to search for the symmetry axis of the leading vehicle in the image is proposed,and its the rectangle contour is obtained using the hough trans form.Then the concept of sym2 metry distance is introduced to validate the leading vehicle.Further m ore,in order to im pr

5、ove real time obstacle detection,a recursive tem plate matching method is established to track the leading vehicles location in the image.The experiment results indicate its validity. K ey words:Intelligent vehicle;Machine vision;Symmetry trans form探测障碍物和预测危险是智能车辆不可缺少的重要功能。对前方车辆进行实时自动探测和识别对于保持安全车距、防

6、止发生碰撞事故具有十分重要的意义,也是安全行驶的前提条件。视觉是人类观察世界、认识世界的重要功能手段,驾驶员驾驶车辆过程中所需要信息的90%来自视觉1。而从图像处理与模式识别发展起来的计算机视觉(也称机器视觉,能够利用图像和图像序列来识别和认知三维世界,使计算机实现人的视觉系统的某些功能。因此机器视觉已成为目前智能车辆及安全辅助驾驶中信息获取手段的主要途径。本文立足机器视觉技术,提出了一种比较系统的障碍物实时探测识别方法。试验验证了它的有效性。1基于先验知识的车辆特征模型通常,人们对待识别和定位的目标都具有先验知识,人类视觉系统之所以能识别和分辨千差万别的目标,也是长期积累先验知识或者说是训练

7、学习的结果。公路上行驶的前方车辆在灰度图像中主要呈现以下后视特征:11形状特征。大体为矩形,而且满足特殊的形状比例,宽一般在12m之间,高一般在13m之间。21边界特征。底部水平线、左右两侧的垂直边、后车窗、保险杠、车牌在图像中呈明显的边界特征。31灰度特征。一般情况下,车辆在图像中与背景灰度有显著差异。可考虑离线建立背景的灰度特征模型,以便在线时和车辆的灰度进行比较。41对称性特征。车辆的对称特征包括灰度对称、水平边缘和垂直边缘对称。51位置特征。一般位于车道线内。61序列图像特征。前方车辆在图像序列中呈一定的连续性 。图1障碍物探测识别流程图71动态变化特征。车辆特征模型应是动态变化的。距

8、离不同所呈现的特征是不同的。例如,当车辆距离较远时,往往仅灰度特征较明显,但随着车辆逐渐靠近,其形状、边界和对称特征也逐步明显。本文提出的车辆障碍物检测方法,首先从中选取部分有效特征,运用大量的先验知识,对车辆进行探测和识别。障碍物检测过程可以分为两个阶段:首先利用先验知识探测前方车辆,形成障碍物假设和感兴趣区,然后在感兴趣区中确认识别障碍物。在连续的图像序列中,当前方车辆障碍物被确认后,后续图像中采用递归模板匹配法跟踪障碍物目标。车辆障碍物检测流程如图1。2障碍物探测及感兴趣区的建立211障碍物搜索区域的缩小行驶在公路上的车辆都有一定的位置特征,不失一般性。假设当前车辆始终在同一车道内行驶,

9、则当前车道以外的障碍物并不影响当前车辆行驶安全。因此本文的研究对象限于当前车道内的前方车辆。也就是说,搜索障碍物的区域可由整个图像缩小为由两条车道线相交组成的三角区域,如图2左边所示。若当前车辆在车道正中央平行于车道线行驶,则理想情况下,两车道线的交点即为延伸焦点FOE (F ocus of Ex 2pend ,FOE 在图像中的位置是不变的。根据上述约束缩小搜索区域有利于缩短障碍物检测时间。车道线检测方法在笔者以前的工作和论文中已有体现2,在此不再赘述。212障碍物探测对于高速运动的车辆,尽可能早的发现前方障碍物对于其安全行驶是非常必要的,所以应对障碍物进行预前探测。为此本文采用的摄像机由高

10、分辨率的黑白CC D 和25mm 的长焦镜头组成。当障碍物较远时,其位于图像的FOE 延伸焦点附近,几乎可以看作是静止的,对其很难进行运动检测,只能利用障碍物车辆的特征模型。但是障碍物距离远则成像较小,例如车宽2m ,距离80m 左右时成像大小仅为约40pixels ,在这种情况下,特征也不易抽取,进行水平边缘和垂直边缘检测以及对称检测意义均不大。基于此,本文将障碍物检测分为两个阶段,即初步探测阶段和确认识别阶段。当障碍物距离较远时,可根据障碍物的早期特征线索进行探测,形成障碍物假设目标,并随着障碍物的逐步靠近,对障碍物进行确认识别。从另一方面讲,障碍物远,对当前车辆的安全威胁小,可以先进行初

11、步探测;随着障碍物越来越近,虽然对当前车辆的安全威胁越来越大,但障碍物恰好被逐步确认识别。一般车辆包含许多水平结构,如底部水平阴影线、后车窗、保险杠、车牌等。当车辆距离较远时,图像上水平边缘聚集的特点较明显,可作为探测障碍物车辆的线索。具体步骤如下:11根据车辆在图像上水平边缘聚集的特点,对图像进行水平S obel 变换(如图2右,增强水平边缘。21在两车道线确定的三角搜索区域内,以每行象素的灰度均值为度量,自下而上逐行扫描。基于机器视觉的智能车辆障碍物检测方法研究李斌等31一般而言,灰度均值阶跃变化所在行(均值突变行的位置对应着障碍物车辆的最下边缘(主要是由车辆底部的阴影造成,即探测到可能的

12、障碍物车辆。41若在整个搜索区域内没有灰度均值突变,则认为当前车道内没有障碍物 。图2水平S obel 变换213感兴趣区的建立根据统计规律,灰度均值突变行附近区域存在障碍物车辆的几率非常大。因此可以此为基础建立矩形形状的感兴趣区AOI (Area of Interest 。AOI 应适当大于车辆的实际尺寸。具体步骤如下:11以灰度均值突变行下方第k 行(k 的值由实际标定而得,本文中k =5作为AOI 的底边,求该底边与两车道线的交点。21分别由左右交点向上引竖直线作为AOI 的两侧边。高度的选取根据车辆形状的先验知识,尽量将车辆全部包含在AOI 中。本文采用43的高宽比,如图3所示的矩形框

13、即为获得的AOI 。图3感兴趣区AOIAOI 的建立意味着已形成障碍物假设目标。下一步工作就是在AOI 中对假设目标进行确认识别。3障碍物的识别确认本文基于车辆的矩形边缘特征和对称特性来确认识别目标车辆,以提高识别的有效性。在建立AOI 过程中,为了将可能的障碍物区域全部包括其中,AOI 的区域比实际的障碍物车辆要大(如图3。因此,在确认障碍物前,应首先获得障碍物在AOI 中的具体位置。为此,本文基于车辆的灰度对称性,提出一种搜索车辆对称轴的对称变换方法。311对称轴求取利用对称变换ST (Symmetry T rans form 算子对AOI 进行对称变换,然后利用H ough 变换检测垂直

14、的对称轴。算子窗口的大小为(2k +1×(2k +1,中心位于(i ,j ,k 值可根据实际情况选取,本文中k =9。采用窗口模板操作,ST i ,j 表示操作结束后赋给窗口中心位置的灰度值,模板运算公式如下ST i ,j =M i ,j E i ,j 255(1M i ,j =e -|m i ,j |(2m i ,j =r =+k r =-ks =+ks =-k gi -r ,j -s s 3(3E i ,j=-l =255l =0p lln pl+(1-p l ln (1-p l (4式中,m i ,j 为窗口中灰度的三阶中心矩3;M i ,j 为窗口中灰度对称度量的权值;E i

15、 ,j 为窗口中灰度的熵权值4(已经规一化;p l 为窗口内灰度值l 出现的概率,在这里用频率近似代替。熵权值的引入,主要是为了消除灰度一致区域(如路面对对称度量的影响。如果没有考虑熵权值,灰度一致区域则表现为很高的对称性。由于熵表示信息量的多少,因此灰度一致区域的熵是很小的,而公式中加入熵因子将有效抑制灰度一致区域的影响。对AOI 进行对称变换后,对称轴灰度被加强,其它区域被弱化。如图4所示 。图4 对称轴求取图5车辆轮廓312确定车辆矩形轮廓在对原灰度图像进行垂直S obel 边缘检测基础上,在AOI 内进行垂直方向H ough 变换,检测垂直直线,即车辆障碍物的两侧边界轮廓,并结合的对称

16、轴位置,对车辆障碍物进行初步确认,即两边界应对称分布在轴线两侧。313对称性度量通过前面的运算,已经得到对称轴线和车辆矩形轮廓,下面用连续对称的概念从数值上刻画对称的程度。对称性是车辆的重要特征。根据连续性对称度量概念,引入对称距离(Symmetry Distance 5,即把一给定的图形变换为其相应的对称图形所需要的最小“能公路交通科技2002年第4期量”(efforts or energy。对称距离SD可从数值上刻画其对称的程度。对称距离通过求矩形框内对称轴线两侧对应象素灰度值g left和g right之间的均方误差获得,即SD=E(g left-g right2(5 SD越小表示当前矩

17、形区域内对称程度越高。当SD小于一阈值时,即可确认障碍物的存在( 如图6。阈值的选取应根据先验统计规律。本文阈值取95。图6障碍物确认314试验验证为验证以上算法的有效性,以吉林大学交通学院智能车辆课题组研制的JUTI V2智能车辆为平台进行道路试验。JUTI V2以机器视觉为导航方式,其图像采集系统由分辨率为640×480的普通黑白CC D和25mm镜头组成,探测距离可达80m左右。图像处理基于普通台式计算机(Pentium II450M MX。道路试验结果表明,利用上述算法进行前方车辆障碍物检测,误检率为1123%,漏检率仅为0142%,平均检测时间为42ms,基本可以满足实时性

18、要求。说明本文算法是有效的。针对存在的误检和漏检现象,笔者将在今后的工作中采用传感器数据融合方法进行解决。4障碍物跟踪前面介绍的前方车辆探测和确认识别方法是针对单帧静态图像的。一般情况下,障碍物目标被确认后,并不会马上消失,其在序列图像中是连续存在的。即障碍物目标的位置有一定的连续性,其特征有很大的相关性。因此如果利用这种连续性和相关性,来对障碍物进行动态跟踪,势必比每一次都要搜索整个路面来探测要节省很多时间,从而可提高障碍物检测的实时性和可靠性。图7所示的跟踪算法是一种递归的模板匹配法,采用此方法,建立AOI时不需要每次都进行车道检测和车辆探测,而是直接利用前一帧图像已获得的障碍物信息,在当前帧图像中寻找AOI。模板匹配法采用的模板可以基于障碍物的边界、轮廓、灰度等特征。由于边界、轮廓在很大程度上依赖于特征提取算法, 计算时间也较长。因此本文采用灰度特征模板。用相关系数度量匹配程度,见式6。图7递归模板匹配跟踪算法框图模板是动态变化的。总是以前一帧