课程设计报告-车牌识别系统的设计

车牌识别系统的设计一、摘要随这图形图像技术的发展，现在的车牌识别技术准确率越来越高，识别速度越来越快。无论何种形式的车牌识别系统，它们都是由触发、图像采集、图像识别模块、辅助光源和通信模块组成的。车牌识别系统涉及光学、电器、电子控制、数字图像处理、计算视觉、人工智能等多项技术。触发模块负责在车辆到达合适位置时，给出触发信号，控制抓拍。辅助光源提供辅助照明，保证系统在不同的光照条件下都能拍摄到高质量的图像。图像预处理程序对抓拍的图像进行处理，去除噪声，并进行参数调整。然后通过车牌定位、字符识别，最后将识别结果输出。二、设计目的和意义设计目的1、让学生巩固理论课上所学的知识，理论联系实践。2、锻炼学生的动手能力，激发学生的研究潜能，提高学生的协作精神。设计意义车牌定位系统的目的在于正确获取整个图像中车牌的区域，并识别出车牌号。通过设计实现车牌识别系统，能够提高学生分析问题和解决问题的能力，还能培养一定的科研能力。三、设计原理牌照自动识别是一项利用车辆的动态视频或静态图像进行牌照号码、牌照颜色自动识别的模式识别技术。其硬件基础一般包括触发设备、摄像设备、照明设备、图像采集设备、识别车牌号码的处理机等，其软件核心包括车牌定位算法、车牌字符分割算法和光学字符识别算法等。某些牌照识别系统还具有通过视频图像判断车辆驶入视野的功能称之为视频车辆检测。一个完整的牌照识别系统应包括车辆检测、图像采集、牌照识别等几部分。当车辆检测部分检测到车辆到达时触发图像采集单元，采集当前的视频图像。牌照识别单元对图像进行处理，定位出牌照位置，再将牌照中的字符分割出来进行识别，然后组成牌照号码输出。四、详细设计步骤1提出总体设计方案牌照号码、颜色识别为了进行牌照识别，需要以下几个基本的步骤A牌照定位，定位图片中的牌照位置；B牌照字符分割，把牌照中的字符分割出来；C牌照字符识别，把分割好的字符进行识别，最终组成牌照号码。牌照识别过程中，牌照颜色的识别依据算法不同，可能在上述不同步骤实现，通常与牌照识别互相配合、互相验证。1）牌照定位自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。首先对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，最后选定一个最佳的区域作为牌照区域，并将其从图象中分割出来。流程图导入原始图像图像预处理增强效果图像边缘提取车牌定位对图像开闭运算（2）牌照字符分割完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部最小值的附近，并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。（3）牌照字符识别字符识别方法目前主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹配算法首先将分割后的字符二值化,并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳匹配作为结果。基于人工神经元网络的算法有两种一种是先对待识别字符进行特征提取，然后用所获得特征来训练神经网络分配器；另一种方法是直接把待处理图像输入网络，由网络自动实现特征提取直至识别出结果。实际应用中，牌照识别系统的识别率与牌照质量和拍摄质量密切相关。牌照质量会受到各种因素的影响，如生锈、污损、油漆剥落、字体褪色、牌照被遮挡、牌照倾斜、高亮反光、多牌照、假牌照等等；实际拍摄过程也会受到环境亮度、拍摄亮度、车辆速度等等因素的影响。这些影响因素不同程度上降低了牌照识别的识别率，也正是牌照识别系统的困难和挑战所在。为了提高识别率，除了不断的完善识别算法，还应该想办法克服各种光照条件，使采集到的图像最利于识别。2各模块的实现21输入待处理的原始图像CLEARCLOSEALLSTEP1获取图像装入待处理彩色图像并显示原始图像SCOLORIMREAD3JPGIMREAD函数读取图像文件按左右宽度切割出字符计算水平投影进行车牌水平校正去掉车牌的框架分析垂直投影找到每个字符中心位置切割出的字符送入库中字符依次分析显示误差最小的图片名字与数据库的图片相减分析之差最小的图片是哪张图21原始图像22图像的灰度化彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。由彩色转换为灰度的过程叫做灰度化处理。选择的标准是经过灰度变换后，像素的动态范围增加，图像的对比度扩展，使图像变得更加清晰、细腻、容易识别。将彩色图像转换为黑白并显示SGRAYRGB2GRAYSCOLORRGB2GRAY转换成灰度图FIGURE,IMSHOWSGRAY,TITLE原始黑白图像图22原始黑白图像23对原始图像进行开操作得到图像背景图像SSTRELDISK,13STREI函数BGRAYIMOPENSGRAY,S打开SGRAYS图像FIGURE,IMSHOWBGRAYTITLE背景图像输出背景图像图23背景图像24原始图像与背景图像作减法，对图像进行增强处理EGRAYIMSUBTRACTSGRAY,BGRAY两幅图相减FIGURE,IMSHOWEGRAYTITLE增强黑白图像输出黑白图像图24黑白图像25取得最佳阈值，将图像二值化二值图像是指整幅图像画面内仅黑、白二值的图像。在实际的车牌处理系统中，进行图像二值变换的关键是要确定合适的阀值，使得字符与背景能够分割开来，二值变换的结果图像必须要具备良好的保形性，不丢掉有用的形状信息，不会产生额外的空缺等等。车牌识别系统要求处理的速度高、成本低、信息量大，采用二值图像进行处理，能大大地提高处理效率。阈值处理的操作过程是先由用户指定或通过算法生成一个阈值，如果图像中某中像素的灰度值小于该阈值，则将该像素的灰度值设置为0或255，否则灰度值设置为255或0。FMAX1DOUBLEMAXMAXEGRAYEGRAY的最大值并输出双精度型FMIN1DOUBLEMINMINEGRAYEGRAY的最小值并输出双精度型LEVELFMAX1FMAX1FMIN1/3/255获得最佳阈值BW22IM2BWEGRAY,LEVEL转换图像为二进制图像BW2DOUBLEBW22FIGURE,IMSHOWBW2TITLE图像二值化得到二值图像图25二值图像26边缘检测两个具有不同灰度值的相邻区域之间总存在边缘，边缘就是灰度值不连续的结果，是图像分割、纹理特征提取和形状特征提取等图像分析的基础。为了对有意义的边缘点进行分类，与这个点相联系的灰度级必须比在这一点的背景上变换更有效，我们通过门限方法来决定一个值是否有效。所以，如果一个点的二维一阶导数比指定的门限大，我们就定义图像中的次点是一个边缘点，一组这样的依据事先定好的连接准则相连的边缘点就定义为一条边缘。经过一阶的导数的边缘检测，所求的一阶导数高于某个阈值，则确定该点为边缘点，这样会导致检测的边缘点太多。可以通过求梯度局部最大值对应的点，并认定为边缘点，去除非局部最大值，可以检测出精确的边缘。一阶导数的局部最大值对应二阶导数的零交叉点，这样通过找图像强度的二阶导数饿的零交叉点就能找到精确边缘点。GRDEDGEBW2,CANNY用CANNY算子识别强度图像中的边界FIGURE,IMSHOWGRDTITLE图像边缘提取输出图像边缘图26像边缘提取27对得到图像作开操作进行滤波数学形态非线性滤波，可以用于抑制噪声，进行特征提取、边缘检测、图像分割等图像处理问题。腐蚀是一种消除边界点的过程，结果是使目标缩小，孔洞增大，因而可有效的消除孤立噪声点；膨胀是将与目标物体接触的所有背景点合并到物体中的过程，结果是使目标增大，孔洞缩小，可填补目标物体中的空洞，形成连通域。先腐蚀后膨胀的过程称为开运算，它具有消除细小物体，并在纤细处分离物体和平滑较大物体边界的作用；先膨胀后腐蚀的过程称为闭运算，具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。对图像做了开运算和闭运算，闭运算可以使图像的轮廓线更为光滑，它通常用来消掉狭窄的间断和长细的鸿沟，消除小的孔洞，并弥补轮廓线中的断裂。BG1IMCLOSEGRD,STRELRECTANGLE,5,19取矩形框的闭运算FIGURE,IMSHOWBG1TITLE图像闭运算5,19输出闭运算的图像BG3IMOPENBG1,STRELRECTANGLE,5,19取矩形框的开运算FIGURE,IMSHOWBG3TITLE图像开运算5,19输出开运算的图像BG2IMOPENBG3,STRELRECTANGLE,19,1取矩形框的开运算FIGURE,IMSHOWBG2TITLE图像开运算19,1输出开运算的图像图271闭运算的图像图272开运算的图像图273开运算的图像28对二值图像进行区域提取，并计算区域特征参数。进行区域特征参数比较，提取车牌区域A对图像每个区域进行标记，然后计算每个区域的图像特征参数区域中心位置、最小包含矩形、面积。L,NUMBWLABELBG2,8标注二进制图像中已连接的部分FEASTATSIMFEATUREL,BASIC计算图像区域的特征尺寸AREAFEASTATSAREA区域面积BOUNDINGBOXFEASTATSBOUNDINGBOXXYWIDTHHEIGHT车牌的框架大小RGBLABEL2RGBL,SPRING,K,SHUFFLE标志图像向RGB图像转换FIGURE,IMSHOWRGBTITLE图像彩色标记输出框架的彩色图像图281彩色图像B计算出包含所标记的区域的最小宽和高，并根据先验知识，比较谁的宽高比更接近实际车牌宽高比，将更接近的提取并显示出来。计算矩形的高度框架的宽度和高度的范围车牌的开始列车牌的开始行计算车牌长宽比获取车牌二值子图计算矩形的宽度程序流程图图282灰度子图和二值子图29对水平投影进行峰谷分析对水平投影进行峰谷分析,计算出车牌上边框、车牌字符投影、车牌下边框的波形峰上升点、峰下降点、峰宽、谷宽、峰间距离、峰中心位置参数。HISTCOL1SUMSBW1计算垂直投影HISTROWSUMSBW1计算水平投影FIGURE,SUBPLOT2,1,1,BARHISTCOL1TITLE垂直投影（含边框）输出垂直投影SUBPLOT2,1,2,BARHISTROWTITLE水平投影（含边框）输出水平投影图291垂直投影和水平投影FIGURE,SUBPLOT2,1,1,BARHISTROWTITLE水平投影（含边框）输出水平投影SUBPLOT2,1,2,IMSHOWSBW1TITLE车牌二值子图输出二值图对水平投影进行峰谷分析求水平投影的最小值取阈值计算谷宽度计算峰距离计算下降点找到峰中心位置求水平投影的平均值图292水平投影和二值图程序流程图210计算车牌旋转角度A车牌倾斜的原因导致投影效果峰股谷不明显，在这里需要做车牌矫正处理。这里采取的线性拟合的方法,计算出车牌上边或下边图像值为1的点拟合直线与水平X轴的夹角。求最大宽度为字符检测上边从顶边至第一个峰下降点扫描从底边至最后一个峰的上升点扫描找第一个为1的点标示出图像大小程序流程图2线性拟合，计算与X夹角FRESULTFITXDATA,YDATA,POLY1POLY1YP1XP2P1FRESULTP1ANGLEATANFRESULTP1180/PI弧度换为度，360/2PI,PI3143旋转车牌图象SUBCOLIMROTATESUBCOL1,ANGLE,BILINEAR,CROP旋转车牌图象SBWIMROTATESBW1,ANGLE,BILINEAR,CROP旋转图像FIGURE,SUBPLOT2,1,1,IMSHOWSUBCOLTITLE车牌灰度子图输出车牌旋转后的灰度图像标题显示车牌灰度子图SUBPLOT2,1,2,IMSHOWSBWTITLE输出车牌旋转后的灰度图像TITLE车牌旋转角,NUM2STRANGLE,度,COLOR,R显示车牌的旋转角度图2101旋转后的灰度图像和旋转角度B旋转车牌后重新计算车牌水平投影，去掉车牌水平边框，获取字符高度HISTCOL1SUMSBW计算垂直投影HISTROWSUMSBW计算水平投影FIGURE,SUBPLOT2,1,1,BARHISTCOL1TITLE垂直投影（旋转后）SUBPLOT2,1,2,BARHISTROWTITLE水平投影（旋转后）图2102垂直投影（旋转后）和水平投影（旋转后）FIGURE,SUBPLOT2,1,1,BARHISTROWTITLE水平投影（旋转后）SUBPLOT2,1,2,IMSHOWSBWTITLE车牌二值子图（旋转后）图2103水平投影（旋转后）和车牌二值子图（旋转后）211去水平（上下）边框,获取字符高度A通过以上水平投影、垂直投影分析计算，获得了车牌字符高度、字符顶行与尾行、字符宽度、每个字符的中心位置，为提取分割字符具备了条件。MAXHIGHTMAXMARKROW2FINDCFINDMARKROW2MAXHIGHTROWTOPMARKROWFINDCROWBOTMARKROWFINDC1MARKROW1FINDC1SBW2SBWROWTOPROWBOT,子图为ROWBOTROWTOP1行MAXHIGHTROWBOTROWTOP1字符高度ROWBOTROWTOP1B计算车牌垂直投影，去掉车牌垂直边框，获取车牌及字符平均宽度HISTCOLSUMSBW2计算垂直投影FIGURE,SUBPLOT2,1,1,BARHISTCOLTITLE垂直投影（去水平边框后）输出车牌的垂直投影图像SUBPLOT2,1,2,IMSHOWSBW2输出垂直投影图像TITLE车牌字符高度,INT2STRMAXHIGHT,COLOR,R输出车牌字符高度对垂直投影进行峰谷分析求垂直投影的最小值取阈值计算字符上升点计算谷宽度计算字符距离找到字符中心位置求垂直投影的平均值图211垂直投影图像和车牌字符高度程序流程图C计算车牌上每个字符中心位置，计算最大字符宽度MAXWIDTHL0FORK1N1MARKCOL3KMARKCOLK1MARKCOL1K1字符下降点MARKCOL4KMARKCOL3KMARKCOLK字符宽度（上升点至下降点）MARKCOL5KMARKCOL3KDOUBLEUINT16MARKCOL4K/2字符中心位置ENDMARKCOL6DIFFMARKCOL5字符中心距离（字符中心点至下一个字符中心点）MAXSMAXMARKCOL6查找最大值，即为第二字符与第三字符中心距离FINDMAXFINDMARKCOL6MAXSMARKCOL6FINDMAX0MAXWIDTHMAXMARKCOL6查找最大值，即为最大字符宽度D提取分割字符,并变换为22行14列标准子图L1M2,N2SIZESUBCOLFIGUREFORKFINDMAX1FINDMAX5CLEFTMARKCOL5KMAXWIDTH/2CRIGHTMARKCOL5KMAXWIDTH/22IFCLEFTN2CRIGHTN2CLEFTN2MAXWIDTHENDSEGGRAYSBWROWTOPROWBOT,CLEFTCRIGHTSEGBW1SBWROWTOPROWBOT,CLEFTCRIGHTSEGBW2IMRESIZESEGBW1,2214变换为32行16列标准子图SUBPLOT2,N1,L,IMSHOWSEGGRAYIFL7TITLE车牌字符宽度,INT2STRMAXWIDTH,COLOR,RENDSUBPLOT2,N1,N1L,IMSHOWSEGBW2FNAMESTRCATFMATLABWORKSAMIMAGE,INT2STRK,JPG保存子图备选入样本库,并建立样本库IMWRITESEGBW2,FNAME,JPGLL1END212将计算计算获取的字符图像与样本库进行匹配，自动识别出字符代码进行车牌识别前需要使用样本对神经网络进行训练，然后使用训练好的网络对车牌进行识别。其具体流程为使用汉字、字母、字母数字、数字四个样本分别对四个子网络进行训练，得到相应的节点数和权值。对已经定位好的车牌进行图像预处理，逐个的特征提取，然后从相应的文件中读取相应的节点数和权值，把车牌字符分别送入相应的网络进行识别，输出识别结果。样本与数据库中图片相减计算误差找到误差最小图片依次识别并识别建立数据库程序流程图图212识别的车牌号码五、设计结果及分析原始图像预处理后车牌定位和提取字符的分割和识别从上面结果可以看出，这张车牌的识别失败了，将A误识别为4了。在识别中还可能出错的有0和8，因此需要在其他方面做些弥补，最后达到识别效果。原始图像预处理车牌的定位和提取字符的分割和识别在车牌识别的过程中数字库的建立很重要,只有数字库的准确才能保证检测出来的数据正确。切割出来的数据要与数据库的数据作比较，所以数据库的数据尤为重要。六、总结实验对车牌识别系统的软件部分进行了研究，分别从图像预处理、车牌定位、字符分割以及字符识别等方面进行了系统的分析。整理和总结了国内外在车牌定位、分割、字符识别方面的研究成果和发展方向，系统介绍了我国车牌的固有特征，以及车牌识别的特点。在车牌定位我们采用基于灰度跳变的定位方法，采用先对图像进行预处理，再进行二值化操作的方法。实验表明本方法既保留了车牌区域的信息，又减少了噪声的干扰，从而简化了二值化处理过程，提高了后续处理的速度。基于彩色分量的定位方法，运用基于蓝色象素点统计特性的方法对车牌是蓝色的车牌进行定位，实验表明，用该方法实现的车牌定位准确率较高。本设计用MATLAB编程运行结果可以得出，本设计采用的图像预处理、CANNY边缘检测、开闭运算子5，19、车牌长宽比特征识别等对车牌的定位都是非常有效的，而本设计提出的二次水平投影分析和阈值技术有效检测了车牌图像的上下左右边框、旋转角度，准确实现的车牌字符的分割，对多个车牌进行实验，均有很高的正确率。本设计虽然只对蓝底白字车牌进行分割识别，对黑底白字车牌原则上整个算法可直接适用，对白底黑字车牌、黄底黑字车牌，需要对车牌定位算法进行调整，并将图像反转（0变1、1变0），而车牌字符的分割算法仍然行之有效。七、体会经过几周的奋战我的课程设计终于完成了。在没有做课程设计以前觉得课程设计只是对这几年来所学知识的单纯总结，但是通过这次做课程设计发现自己的看法有点太片面。课程设计不仅是对前面所学知识的一种检验，而且也是对自己能力的一种提高。通过这次课程设计使我明白了自己原来知识还比较欠缺。自己要学习的东西还太多，以前老是觉得自己什么东西都会，什么东西都懂，有点眼高手低。通过这次课程设计，我才明白学习是一个长期积累的过程，在以后的工作、生活中都应该不断的学习，努力提高自己知识和综合素质。在这次课程设计中也使我们的同学关系更进一步了，同学之间互相帮助，有什么不懂的大家在一起商量，听听不同的看法对我们更好的理解知识，所以在这里非常感谢帮助我的同学。我的心得也就这么多了，总之，不管学会的还是学不会的的确觉得困难比较多，真是万事开头难，不知道如何入手。最后终于做完了有种如释重负的感觉。此外，还得出一个结论知识必须通过应用才能实现其价值有些东西以为学会了，但真正到用的时候才发现是两回事，所以我认为只有到真正会用的时候才是真的学会了。在此要感谢我们的指导老师乔静老师对我们悉心的指导，感谢老师给我们的帮助。在设计过程中，我通过查阅大量有关资料，与同学交流经验和自学，并向老师请教等方式，使自己学到了不少知识，也经历了不少艰辛，但收获同样巨大。在整个设计中我懂得了许多东西，也培养了我独立工作的能力，树立了对自己工作能力的信心，相信会对今后的学习工作生活有非常重要的影响。而且大大提高了动手的能力，使我充分体会到了在创造过程中探索的艰难和成功时的喜悦。