基于自适应门限和宽线检测的牌照定位方法

1、基于自适应门限和宽线检测的牌照定位方法王庆张炜赵荣椿(西北工业大学计算机科学与工程系西安710072)【摘要】本文提出了一种基于门限化和宽线检测算子的自适应牌照定位方法,解决了复杂背景下的汽车牌照定位问题。利用汽车头部图像的一些知识信息,采用自适应门限方法,辅以宽线检测算子进行后验校正,能够准确地分割出汽车牌照,然后对牌照中的汉字和数字进行分离,正确率达95%以上。关键词汽车牌照;图象分割;门限化;宽线检测算子Adaptive thresholding and wide line detection approach for automobilelicense plate location a

2、nd segmentationWang QingZhangWeiZhao Rongchun(Dept. of Computer Science and Engineering, Northwestern Polytechnic University, Xian 710072)AbstractIn this paper, an effective approach based on adaptive thresholding and wide line detector to locate and seg-ment the license plate from a capturing image

3、 with complicated background is proposed. By the prior information aboutthe image of vehicle forepart, the proposed method employs adaptive thresholding to separate the license plate fromback-ground, furthermore, adopts wide line detection to confirmthe segmentation result and ensure the license loc

4、ation. Afterthe layout analysis, Chinese character and digits, which represent the content of license, are separated from licenseplate. Experimental results showthe effectiveness of our approach, and the correct separating rate is up to 95%.Key wordsautomobile license plate; image segmentation; thre

5、sholding; wide line detector1引言随着我国交通事业的飞速发展,驾驶汽车行驶在高速公路已成为现实。高速公路管理中的一个重要问题就是过往车辆的收费问题,目前大多采用原始的人工收费方式,效率很低。即使有的收费站利用计算机来辅助管理,也仅仅是用来显示收取资费的数额,并没有对过往车辆的特征? ?牌照信息进行利用,如果某辆车一天多次过往收费站,也必须数次停车缴费,非常浪费时间。采用计算机视觉技术实现的自动收费系统就可以避免上面提到的问题,使用摄像机对过往的车辆进行拍照,然后利用图像处理和文字识别技术,识别出过往的汽车牌照数字,根据已有的数据库对该车完成收费处理,提高管理的效率,

6、把收费管理人员从繁重的工作中解放出来。图1描述的是一个典型的汽车自动收费系统。国内外关于汽车牌照自动识别的研究早在八十年代已经展开,因为从本质上讲,汽车牌照的识别是涉及到图像分割与分析、字符识别等研究领域的应用问题。本文主要解决采集图像处理中的牌照位置确定和牌照文字分割问题,实验结果表明,本文的方法正确率高、速度快、实用性较好,正确定位和分割率达到95%。2系统的组成汽车牌照自动收费系统的主要由前端采集控制系统、图像处理系统、牌照识别系统和后台资费管理系统四个部分组成。前端采集控制通过一定的传感器,将汽车到达测量范围的信号发送给采控计算机,采控计算机采集一幅汽车的头部图像(包含汽车牌照),传输

7、给图像处理系统和牌照识别系统,对所采集的图像进行处理、分析,识别出待收费汽车的牌照,然后结合后台数据库管理系统的汽车牌照信息,对车辆完成收费。我们设计的汽车牌照自动识别系统流程简图可参见图2,可以将系统分成如下的四个大模块:前端采控模块图像处理模块牌照识别模块牌照数据库管理模块·65·中国体视学与图像分析2000年6月第5卷第2期CHINESE JOURNAL OF STEREOLOGY AND IMAGE ANALYSIS Vol. 5 No. 2. Jun . 2000图1汽车自动收费系统模型图Fig1The framework of automatic vehicle

8、 management system3牌照图像分析和先验知识获取通过对实际系统安装的摄像机采集分辨率的知识和实际图像的分析,我们可以得出以下几个重要的先验信息,并为我们的预处理和牌照提取打下了基础。1)考虑到摄像机的安装位置固定,采集的分辨率保持不变,加上牌照的尺寸是标准的,因此图像中牌照的长和宽基本上是不变的常量,对于我们搜索一个区域来讲,长度和宽度是一组重要的参考量,图像的尺寸: 640*440像素;单排字牌照尺寸:宽度在220-240像素,高度在60-70之间(参见图3-1, 3, 4);双排字牌照尺寸:宽度在150-160像素,高度在80-90之间(参见图3-2)。2)牌照区域中一般有

9、七个字符,第一个是汉字(少量的军车牌照前面是两个英文字母,如WJ、GA等),后面四个是数字(极个别除外,如图3-5)。有些大客、货车的牌照是双行字,上边是汉字加字母,下边是数字(参见图3-2)。3)大多数的牌照是黑底白字,其余的牌照是黑底白字,在分割牌照后的二值化处理时需要考虑。4)牌照的四周有明显的边框,在高通滤波或是实施边缘检测算子后会有一定的边缘存在。大多数的牌照上都有两至四个安装用的圆形铆钉,在图像上反映为高亮度的圆斑。5)除了上述可以为牌照定位提供知识的信息外,我们还发现,由于拍照时的反光原因,牌照区域的背景会呈现出一定的网格效应,另外就是车辆前端的保险杠以及某些标志区域会给搜索带来

10、负面影响,因此我们必须施加相应的预处理和约束条件。图3是一组有代表性的汽车牌照图像,由于缩小的尺寸有些信息表达得不是很确切,但是上述所描述的先验信息都反映了出来。图4是图3中车头图像对应的牌照细节。4实验方法和步骤有了上述图像的分析的结果和知识信息,我们决定采用如下的流程对牌照图像进行搜索和定位,流程描述见图5。假设原始的牌照灰度图像为,F = f(i,j),i=0,1,439, j=0,1,639。4. 1自适应门限化原始数据图像(见图8-1)模糊是因为摄像机成像时有奇、偶两场,汽车在两场成像的过程中存在运动位移,因此在一幅照片包括了两场,经过消场后,得到图像8-2,再经过预处理,可以得到清

11、晰的图像如图8-3所示。预处理主要是选用中值滤波,原因之一是在牌照区域有肉眼不易分辨的网格,如图8-6所示,对后面的单字切分和识别会有很大影响;原因之二是在搜索牌照时,孤立噪声会影响牌照的定位准确性,我们要对其加以平滑去除,同时还要保护字的边界信息,中值滤波就具有这样既滤除孤立的短噪声又保持边缘细节的优良特性。4. 1. 1阈值选择图2汽车牌照自动识别系统Fig2The automatic recognition system of license plate of vehicles·66·中国体视学与图像分析2000年第5卷第2期图3一些典型的汽车头部图像Fig3Some

12、 typical images of vehiclesforepart用某一阈值对图像进行门限化得到二值化图像B = b(i,j) ,i =0,1,439,j=0,1,639。b(i,j) =0iff(i,j) T1iff(i,j) < T初始阈值确定方法如下:根据灰度图像的直方图,选择直方图中的最高灰度值为fmax,最低灰度值为fmin,则令T =fmax*2/3+fmin/3从而该阈值对不同牌照有一定的适应性。该公式经过对大量实际图像观察得出,能够保证背景基本被置为0,以突出牌照区域。经实验,在近一半的情况下该阈值就能满足上文所提到的合适的阈值要求。对于本例图像,该阈值偏高,如图8-

13、5所示,后面将介绍我们是如何处理的。4.1.2削弱背景干扰对于二值牌照图像作简单的相邻像素灰度值相减,得到新的列差分图像D = d(i,j) ,i =0,1,439;j=0,1,639,即d(i,j) = b(i,j)- b(i,j-1) ,i =0,1,439,j=1,2,639。差分图像D的左边缘直接赋值,即d=(i,0)=b(i,0),不会影响整体效果。这样的处理实际上是完成了一次高通滤波,并且运算简单,节省处理时间。因为背景区域比较均匀,所以新图像D中背景区域像素灰度基本被赋值为0,图8-6显示了本次处理结果,但在某些特殊的牌照图像中,如果选区的阈值偏高,牌照区域灰度基本被置为0。考虑

14、到文字是由许多短竖线组成,而背景噪声有一大部分是孤立噪声,用一阶竖线型的中值滤波模板(1,1,1,1,1)T对D进行中值滤波,得到除掉了大部分干扰的图像C。4. 1. 3搜索牌照Step1:从底边开始,将每行图像沿水平方向投影,同时开始从下向上搜索投影值。之所以从下向上,是因为图像中牌照以下的部分(如路面,车头下部)灰度比上面低,二值化后大部分变为0;并且这部分灰度分布相对均匀,高通滤波后,基本已经变为0。而牌照上方一般比较复杂,如车的品牌文字区域,灰度分布特性与牌照类似,作为干扰是难以消除的,所以采用自下向上搜索,目的是尽可能排除车体本身可能带来的干扰,在上方干扰作用之前先找到牌照。为了减少

15、搜索时间,搜索是跳跃前进的,步进值设为5。(1) (2) (3) (4) (5) (6)图4一些典型的汽车牌照图像Fig 4 Some typical images of vehicleslicense plate·67·2000年第5卷第2期王庆等基于自适应门限和宽线检测的牌照定位方法Step2:当搜索到投影值大于某一定值门限值(这里定为13),即认为可能找到牌照下沿了,记下该行坐标。定值为13是根据牌照中有7个字,左右边缘至少应该有7*2=14个,高通滤波后每行应该有14个白象素点。此时步进值改为1,以便实现精确搜索。Step 3:计算以上各行投影,检查是否也满足投影值

16、大于13,直到找到不满足条件的行,这可能是牌照的上缘,记下该行坐标;Step 4:计算可能的牌照区域的高度,H= Pd-Pu(i):若45<H<55,可能是牌照,计算该可能牌照的宽度(可根据纵向投影获得),若其宽度小于220大于240,不是牌照区域(或者当前阈值不合适),继续搜索;否则应该是牌照区域,转到第4.1.4。(ii):否则,不满足牌照高度条件,继续向上搜索;Step5:如果搜索到最上面一行,仍未搜索到牌照,则说明第1)步二值化时,阈值过高,结束本次搜索,令T= T-10 ,重新二值化原图,水平方向上一阶差分二值化图像,转到Step 1。4. 1. 4分割牌照根据4. 1.

17、 3初步完成的定位,确定牌照的四个边界,适当扩大牌照区域,分割出牌照,如图8-6所示,对牌照的确认还要通过下面的宽线检测算子来进一步完成(精确的分割在系统的后面步骤牌照分离和字符分割中完成)。4. 2宽线检测算子利用宽线检测算子不仅可以对检测出的区域进行确认,而且对噪声具有较强的抗干扰性。宽线检测算子的具体算法如下:假设图像中的9×3区域灰度值如图6所示,宽线检测算子如图7所示。当3j=1Bij>3j=1Aij,同时3j=1Bij>3j=1Cij,i =1,2,3(1)的条件满足时,按照图7所示的算子,输出值为G =3i=1(2*3j=1Bij-3j=1Aij-3j=1C

18、ij)/9(2)否则。推广至一般情况,假定线的宽度为m个象素,长度为个n象素,m、n这样选择:m是根据需检测的线在图像中所占宽度的平均值,n选择时只要比图像中孤立点大一个象素即可,也可选择n =1,只须当线检测出以后,再根据长度的判别剔除孤立点。检测算子如下:图5牌照搜索定位的算法流程Fig 5 The flowchart of proposed approach如果线的灰度级比周围区域灰度级大,则当mj=1Bij>mj=1Aij同时mj=1Bij>mj=1Ciji =1,1,n的条件满足时,按照上述的算子,输出值为G =ni=1(2*mj=1Bij-mj=1Aij-mj=1Cij

19、)/(m*n)否则G =0。如果线的灰度级比周围区域小时,上式中的“>”改为“<”。图6图像中任意9×3区域Fig 6 9×3 sub-region of image图7宽线检测算子Fig 7 Wide line detector4. 3异常处理本算法要应用于实际系统,因此,异常处理是必不可少的,在牌照定位模块,应该避免无限制的降低阈值循环,在阈值降低到接近最低灰度值时,应该报错并停止搜索,改为人工判读牌照。(在仿真实验中尚未出现这种情况)·68·中国体视学与图像分析2000年第5卷第2期(1)原始图像(2)消除场效应后的图像(3)平滑处理后

20、图像(4)整图的直方图(5)二值化图(6)高通滤波结果(7)分割结果(8)放大的牌照图像(网格状背景)(9)宽线检测、牌照确认(10)单字分离结果图8一次牌照定位、文字分离的实际处理过程(1) Original(2) Processed image after de-interlace(3) After smoothness(4) Histogram of image(5)Binary image(6) After high-pass filtering(7) Segmentation result(8) Enlarged image of license plate(9) Wide line

21、 detection(10) Isolated character after separationFig8A procedure of location, character sepration for license plate五分析和结论本文提出了一种基于牌照知识的自适应门限化和宽线检测算子的牌照分割方法,快速、准确地解决了汽车牌照自动识别中的关键问题牌照的分割,该算法定位准确,并且是实时的。用本文的分割算法对实拍的500幅图像进行实验,都得到了正确的分割结果。由于本算法的出发点是实时性,所以,从上面的算法描述可见,除了中值滤波、宽限检测外,所有算法实现都非常简单,多为整数加法运算,耗时

22、很少。为了减少计算时间,还进行了一些程序优化,比如在一次阈值过高,需要重新二值化时,新的二值化图实际是在原二值化图的基础上,仅修改部分像素(灰度值大于新阈值的点)值得到的,这样就减少了部分赋值运算。这在需要多次二值化时,会有很好的效果。第一次二值化的阈值设定是经过反复考虑的,如果过高,则需要多次降低阈值,会增加搜索时间;反之,若过低,可能会减少搜索次数,但也可能使背景削弱不够,造成找不到牌照,上文所提到阈值计算公式是大量统计的结果,既可保证削弱背景,又有利于迅速找到牌照。我们用500幅图实验得到下面结果(表1):表1牌照搜索、定位的自适应门限化次数统计Tab1The experimental

23、results of license plate search and location阈值降低次数1 2 3 4 5搜索到牌照数293 134 45 21 7·69·2000年第5卷第2期王庆等基于自适应门限和宽线检测的牌照定位方法根据试验结果可以知道,大部分牌照搜索都可在三次二值化之内完成,由于每次搜索计算量不大,所以总的计算时间很短。牌照在图像中的分布也会影响搜索速度,但由于现场设置决定,牌照大多出现图像下部,客观上也使我们的搜索算法节省了时间。因此,虽然算法的执行时间难于确定,但经过大量实验,搜索一般在0. 1秒以内完成,达到了预定的时间要求,为整个系统工作的实时性

24、打下了坚实的基础。参考文献1 Ali AT., Bulas-Cruz J. and Dagless E. L., Vi-sion Based Road Traffic Data Collection, Proceedingsof ISATA, 26th International Conference on RoadTransport Informatics and Intelligent Vehicle-High-way Systems, (ATT& IVHS), Aachen, Germany,1993.2 Bulas-Cruz J., Image ProcessingApplic

25、ations usinga Transputer-based System, PhDThesis, Universityof Bristol, UK., 1995.3 Kato K., HineroyaT., Mitani A. and Deguchi M.,Automatic Licence Plate Reader Utilizing Image Pro-cessing, Proceedings of ISATA, 24th InternationalConference on Road Transport Informatics and Intelli-gent Vehicle-High

26、way Systems, pp. 435-442.Florence. Italy, 1991.4 Nijhuis J A G, M. H. Ter Brugge, K. A.Helmholt, J. P. W. Pluim, L. Spaanenburg, R.S. Venema, and M. A. Westenberg, Car LicensePlate Recognition whith Neural Networks and FuzzyLogic, EPIA95, Portuguese Conference on Artifi-cial Intelligence, pp. 25-34, 1995.5 Lu, Y., Machine printed character segmentation,Pattern Recognition, Volume No 28, n. 1, pp 67-80, 1995.6 Elliman, D G, I T Lancaster (1990), A Review ofSegmentation and Contextual Analysis Techniques forText Recognition, Pattern Recognition So