基于opencv的车牌识别系统研究.doc

基于OpenCV的车牌识别系统研究张海宁，李彬，陈超波，冯晓岗（西安工业大学 电子信息工程学院，西安 710032）摘 要：提出了一种利用OpenCV函数库来进行图像处理，并进行车牌定位，字符分割，字符识别的方法，定位时采用行列扫描的方法确定车牌上下和左右边界，然后对存在车牌倾斜的情况进行了校正，字符分割采用了垂直投影的方法，字符识别是采用模板匹配法，得到了很好的效果。关键字：车牌定位；字符分割；字符识别牌照识别系统,简称LPR（License Plate Recognition），作为智能交通系统的基础和核心技术之一，在交通管理自动化和智能化中占据重要地位。LPR系统是以机动车牌照为研究目标的计算机视觉系统。车牌识别系统是智能交通系统中一个非常重要的方向，主要由图像采集、车牌定位、字符分割以及字符识别四部分组成，己经越来越受到人们的重视。它具有良好的实际应用价值，目前主要应用于公路治安卡口、开放式收费站、车载移动查车、违章记录系统、门禁管理、停车场管理等场合，它通过对输入的机动车图像进行处理，自动定位提取车牌图像，并分割车牌的字符图像，然后对车牌字符进行识别，输出机动车的车牌号码。利用VC+ ，在OpenCV计算机视觉库的基础上，对车辆进行图像获取，图像处理，最终得到车牌号码，主要包括以下几个步骤，如图1所示：图1 主要步骤1 图像获取利用OpenCV库函数可以对摄像机进行操作的特性，首先定义CvCapture结构变量并初始化capture = 0, CvCapture结构包含从摄像机或视频文件读取帧所需的信息，然后使用OpenCV库函数cvCreateCameraCapture()从摄像机得到视频信息,即：capture = cvCreateCameraCapture(-1)。获取视频信息后还要获得图像，首先要定义IplImage结构变量并进行初始化frame=0，获取图像利用OpenCV的库函数cvQueryFrame(),即：frame=cvQueryFrame( capture )1。2 图像预处理利用OpenCV库函数获取到的图像是彩色图像，即每个像素点由红色(R) ,绿色(G)和蓝色(B)3个分量组成，如果直接用彩色图像计算量会很大, 很难达到实时、快速识别的目的。在实际应用中, 我们可以采用如下公式将彩色图像转换为灰度图像：Y = 0.299*R+0.587*G+0.114*B其中, Y代表转换后灰度图像的像素值, R、G、B分别代表彩色图像中红、绿、蓝三原色的分量3。利用cvCvtColor(src,pImgCanny,CV_RGB2GRAY);对图像进行灰度化处理。如图2所示：图2 灰度图像下一步对灰度化图像进行二值化处理。二值化就是选择一个阈值T，如果图像中的某个灰度值大于T，就将这个像素的灰度值设为255，否则设为0.公式如下：选择阈值T时，本文采用自适应阈值法，利用cvAdaptiveThreshold()函数得到1。并采用Canny算子边缘检测二值化，二值化后的图像如图3所示。图3 二值化图像3 车牌定位预处理完的车牌图像就可以进行车牌定位了，由于车牌自身的特殊性，可以根据车牌的自身特点进行定位。3.1 车牌的特点（1）车牌一般位于车身底部, 其下方没有明显的边缘密集区域。（2）车牌字符大小、 个数一定,并且字符间隔距离一定。（3）拍摄角度不同，可能会造成车牌图像有一定的倾斜度。（4）车牌区域的像素点明显多于其他部分。因此，可以对二值化后的图像进行行扫描和列扫描，从而得到车牌区域。3.2 车牌行扫描 （1）由于车牌字符大小、个数一定而且字符间隔距离一定,故车牌区域中每行灰度级为 255 的像素的个数介于一定范围内。设车牌区域中每行灰度级为 255的像素个数最大最小值分别为num1、num2。若某行中灰度级为 255 的像素个数介于 num1,num2 , 则可以将此行的行号存入车牌候选区域数组。 （2）对（1）中得到的车牌候选区域相邻两行号做差，若差值小于某个值M，说明此行在车牌区域内。 （3）若（2）中得到的行数大于车牌最小行数min,则说明得到了车牌区域，记录此时的上下边界。3.3 车牌列扫面由于车牌区域的像素点应该为最多的，那么利用这个特点就可以从行扫描得到的图像中得到车牌具体位置。利用前面得到的车牌高度，因为车牌高度和宽度的比例是一定的，那么就可以定义一个宽度，从左到右一次扫描，得到这个区域内的所有像素点，保留最大的那个，就是车牌区域，记录此时的左右边界，从而得到车牌具体区域。利用OpenCV函数cvSetImageROI设置敏感区域，cvCopy从原图像中拷贝车牌区域，然后再利用cvResetImageROI重新设置敏感区域，就得到了车牌的初步区域，如图4所示。图4 车牌定位初步图像3.4 车牌矫正由于拍摄角度的问题, 造成拍摄到的车牌有一定的倾斜角度, 而且初步定位中采用的阈值也有一定的偏差, 使得初步定位后得到的车牌图像还包括边框、 铆钉等在内的非车牌区域, 如果直接进行字符分割和识别会造成一定的误差。因此, 车牌初步定位后,为方便车牌字符分割等后续处理, 应先对车牌进行倾斜矫正。（1）二值化对初步得到的车牌区域进行二值化变换,并进行边缘检测，以便于进行下一步的处理。（2）Hough变换利用Hough变换对水平方向上的车牌进行几何校正，Hough变换可以检测出水平线，根据水平边的斜率对像素位置进行校正，Hough变换的基本原理在于利用点与线的对偶性，在二维图像中, 所有过点(x ,y)的直线都满足方程y=px+q ,其中, p 为斜率, q 为截距。利用函数cvHoughLines2进行Hough变换，检测出水平线，然后进行角度旋转后得到车牌。最后把车牌图像设置为固定大小，方便下一步进行字符分割，利用cvResize可以完成重新设置图像大小，把车牌图像设置为统一的大小，如图5所示。图5 车牌定位精确图像4 字符分割要识别已经定位到的车牌字符，首先要进行字符分割，得到单个字符，再进行字符识别。其基本方法是利用字符之间间隔的特点，进行垂直投影，利用函数：其中当处像素值255时p(x,y)=1,而当(x,y)处像素值为0时p(x,y)=0。这样得到的f(x)将呈现出峰谷特征，找到相应的波谷，进行垂直方向的分割，就可以得到单个字符，如图6所示。图6 字符分割后的图像5 字符识别本文采用模板匹配的方法，根据先验知识车牌号码一共有位，其中第一位必为汉字，第二位为字母，第三位至第七位为数字或字母，所以设计三个模板库，模板一是由各个省份的简称组成，模板二是由26个大写英文字母组成，模板三由阿拉伯字母组成。字符识别的过程即将第一个分割出来的字符与模板库一进行匹配识别，第二个字符与模板库二进行匹配识别，第三至第七个字符依次与模板库二三进行匹配识别。识别结果如图7所示：图7 识别结果6 结论本文利用了行扫描和列扫描的方法对车牌区域进行粗定位，并通过Hough变换对车牌图像进行校正处理，便于进一步的字符分割，字符分割采用垂直投影的方法，能对字符进行有效分割，最后运用模板匹配对字符进行识别，得到了很好的效果，从实验的200张图像得到的结果来看，识别成功率达到95%以上，但在实际的应用中，车牌图像还要受到很多因素的干扰，因此要进一步提高识别率和识别速度是下一步要研究的内容。参考文献：1 刘瑞祯，于仕琪，OpenCV教程基础篇M.北京航空航天大学出版社，20072 曾丽华，李超，基于边缘与颜色信息车牌精确定位算法J.北京航空航天大学学报，2007，339:111211153 冈萨雷斯，数字图像处理M.北京电子工业出版，20074 孙炎增，张前进，车牌字符识别技术的研究与实现J.微电子学与计算机，2008，256:1011045 庞茂群，邓开发，一种基于灰度图像的车牌定位方法J.计算机工程与科学，2009，3110：3941The research of vehicle plate recognition system based on opencvZHANG Hai-ning, Li Bin, CHEN Chao-bo, FENG Xiao-gang(Institute of Electronic and Information Engineering, Xian Technological University, Xian 710032, China) Abstract: This paper put forward a kind of method for image processing, and license plate localization, character segment, character identification use OpenCV function library. use scanning method to determine the license plate boundary, and then correct the license plate tilt, character segment adopted the meth