车号识别算法研究

绪论1.1课题研究的背景及意义随着农村城市化程度不断提高，我国机动车辆占有量及道路交通量急剧增加，汽车由奢侈品变化为了生活的必需品，截至2017年底中国机动车保有量达3.11亿辆，其中汽车2.18亿辆。机动车驾驶人超过3.86亿人，其中汽车驾驶人3.43亿人。在大城市，巨大的车流量造成了交通的拥堵，由此产生的交通事故和环境污染增加，一些落后的道路设施更是加剧了交通的拥堵，这是我国面临的及其严重的“城市病”之一。提高道路交通设施的智能化对于解决交通拥堵问题起到了重要的作用，其中智能化车牌识别对智能交通影响甚远，车牌是汽车重要标识，快速准确的车牌识别一方面可以提高关口、收费站、停车场等车流量密集的地方的工作效率，另一方面可节省车主时间，可起到减少交通拥堵时间与几率的作用。信息技术发展过程中计算机和自动化技术不断融合逐渐发展出了TTS（IntelligentTraffictSystem交通智能系统），是一种先进的一体化交通综合管理系统。在这个系统里，车辆能够使用自己的智能系统在道路上行驶，交通道路也能根据自身的智能处理把交通流量进行调整优化，借助该系统，管理人员对道路、车辆的动向进行各方面检测。在交通智能系统中，VLPR（VehicleLicensePlateRecognition车辆牌照识别）占据了重要的地位。实现VLPR目前由三种发展得比较好的方法，第一，基于机器视觉的的智能识别技术；第二，利用条形码barcode技术来实现车牌信息识别；第三，利用射频RFID识别和非接触式IC智能卡来获取车牌信息。前者设备成本较低，还能实现人机交互，目前大多车牌识别系统也是根据这个方法实现的，但是识别率不高，受外界光照等因素影响较大。后面两种方法准确度、识别率与识别速度较高，但不够直观，没办法核对车辆信息与信息卡是否匹配。智能车牌识别的研究仍有很大的实践空间。1.2国内外智能车号识别的研究现状在20世纪90年代（1988年），国外智能交通研究人员展开对LPR（车牌识别系统）进行研究，LPR的主要用途是对车牌图像进行识别分析，自动地获取车牌信息，识别汽车牌号。在车牌识别地过程中，虽然技术上运用了诸多方法，但是受外界环境诸如光照，灰尘，季节变化以及车牌本身整洁度等条件地影响，令得智能车牌识别系统一直无法得到很好的应用，并且很多方法需要大量的数值统计计算，并没有考虑到实时处理的要求。为了很好地解决图像恶向化的弊端，许多国内外的研究机构和公司企业开始利用主动红外照明摄像或者使用特殊的相关传感器来改善获取到的图像的质量，从而提高图像地识别率，这样做的同时也造成了系统的软硬件投资成本偏大，应用的领域变小了，影响了使用的推广。在20世纪90年代初，以色列的Hi-Tech公司See/CarSystem系列产品，香港的AsiaVisionTechnology公司VECON系列，新加坡的Optasia的VLPRS系列都是改进得较为完善的图像车牌识别产品。这些产品中，香港VECON主要用于识别香港车辆牌照，新加坡的VLPRS适用于新加坡车辆牌照，以色列See/Carsystem设计了多种型号产品，来分别适应特定国家特征车牌。See/CarChinese系统虽然能一定程度地对我国大陆车牌进行识别，但是存在较大缺陷[1]，不能正确识别车牌汉字，日本、德国、加拿大、英国、意大利等这些西方发达国家都有适合本国自身车辆牌照的车牌识别系统。虽然各个国家的车牌识别系统都有不同之处，但是大多是基于车辆探测器的识别系统，系统设备的投资巨大[]。我国目前车牌的大小尺寸、宽长度比例、车牌底色等与外国车牌外型有所区别，尤其是汉字车牌的差异，外国对于汉字车牌的识别存在着很大的缺陷。目前国内智能车牌识别做得比较好的包括中智交通的车牌识别处理产品，汉王公司研究开发的“汉王眼”，以及亚洲视觉的慧光技术VECON等产品，这些产品针对我国车牌特征进行了针对性开发，可以比较好地处理我国车牌图像信息。1.3课题研究的主要内容本课题车牌识别算法主要就图像优化处理及车牌定位、彩图预处理、字符切割、字符识别四个过程进行研究。本课题对车牌识别的图像处理以24-bit真彩JPG图像为实验对象，利用Matlab图像工具进行四个图像处理过程完成识别结果的输出。本课题图像算法处理过程流程图如图1.1所示。图1.1车牌处理过程流程图（1）图像优化车牌定位：在车牌定位前进行图像增强、寻找车牌边缘区域蓝色像素点，确定车牌区域的上下、左右边界，根据车牌特定的长度和宽度比例，车辆牌照蓝色与白色比对待选区域进行多次的定位，获得一个矩形图，根据图片像素大小再进行适当尺寸修补。（2）图像预处理：处理前将彩图转化为灰度图，将灰度图转为二值图，进行形态学处理，去除图片干扰点，进行再修补尽可能切割得只剩下车牌字符。（3）字符分割：采用Radon积分变换进行斜度矫正，设置阈值寻找图形连续在阈值范围内的横轴位置进行字符分割，将车牌字符串分割为7个字符。（4）字符识别：待识别字符与字符模型进行对比，找到相似度最高的字符模型，输出对应的识别结果[2]。1.4论文主要内容章节安排本课题研究主要分五章就车号识别算法进行各方面讨论，其中四章内容着重讨论车牌定位、图像预处理、字符分割、字符识别四个车牌图像处理过程。第一章：绪论。介绍了课题研究背景及研究意义，国内外智能车号识别的研究现状、车号识别算法处理过程综述以及车号识别算法处理过程的简单描述。第二章：彩图定位。图像分别行向、纵向进行像素点扫描，扫描结果以车牌区域蓝色像素点为边界，二次图像修补剪裁确定车牌字符区域上下、左右边界。第三章：彩图预处理。取阈值进行灰度图二值化，对二值图进行移除H连通像素点、移除刺激像素、开操作等形态学处理，取阈值删除小面积对象，对车牌区域进行进一步修补裁剪。第四章：字符分割。进行图像斜度翻转，对图像再修补，根据图像像素大小，进行阈值设定。扫描图像像素点连通区域，根据阈值对分隔区域进行切割，完成字符的分离。第五章：字符识别。基于车牌字符模板库，经过处理的单个字符与模板库字模逐个进行对比，统计对比过程中的相同像黑白点，寻找相似度最大的对比字模，输出对比结果。1.5本章小结本章介绍了车牌识别系统的研究意义及其国内外研究现状。智能车牌识别促进了我国城镇智能交通的的发展，很大程度上缓解了交通拥堵等问题的压力。目前各国对于智能车牌识别的研究上都有了一系列的相关产品，这些产品都有自身的优点与缺陷。同时本章介绍了本文车牌识别研究的总体整体架构与章节安排，对车牌识别算法研究处理过程进行了简单描述。2彩图车牌定位车牌定位处理方式分析车牌定位在车牌图像识别的处理中占有重要地位，可以说车牌定位是车牌识别的根本，只有正确对车牌字符区域定位的才能保证后期的字符分割与字符识别的顺利进行。车牌定位的方式较为常见的有三类，一种是基于边缘的算法，一种是基于颜色的识别算法，以及基于纹理特征的算法。比较常用的边缘检测方法主要有Robert边缘算子、Soble边缘算子、Canny边缘算子、Laplacian边缘算子和Prewitt边缘算子，针对不同的识别环境需要选择不同的边缘检测算法[4]。边缘检测的车牌识别算法以车牌的字符与车牌底色的颜色差为依托，利用边缘算法可将图像处理为具有强烈边缘的图像完成车牌区域的检测。该定位方法可以一定程度上弥补夜晚光照强度不足的缺陷。在物理环境较为恶劣的情况下采用边缘检测容易导致车牌无法定位。基于颜色的车牌定位的方式利用实验统计的方法对车牌特征颜色的阈值的范围进行确定，然后把RGB图像进行HSV空间变换，提取颜色区域，消去识别过程中不相关的颜色部分，最后可使用边缘检测方法进行定位。该方法利用图像颜色信息进行定位，定位结果较为准确。车牌图像中的车牌区域含有一定数量的字符，所以车牌区域的边缘丰富，并且能够集中在一个矩形的边框区域中。水平直线检索灰度分布情况，其灰度分布呈现连续的波峰—波谷—波峰形式表现字符所处空间，以此我们可利用波形占空比进行字符定位，找出车牌区域。本文研究利用车牌的颜色特征的识别算法，借助车牌颜色特征与尺寸特征，扫描彩色图像蓝色像素区域，完成对车牌区域的定位。由于这个定位方法受背景颜色、光照等因素影响较大，因此需要对定位前期进行预处理，减少其干扰对定位的影响。本章会对车牌定位的前期处理和基于颜色特征的定位方法进行研究。图像优化处理在实际的场景中，我们在获取图像时会受到车牌识别系统的设备电磁影响、噪声、光照强度大小、摄像头拍摄的角度、等因素的影响。为使车牌识别算法做到在适应复杂环境中完成准确的识别，那么我们需要在作车牌定位前对获取到的图像进行优化处理，尽量减少外界环境对车牌识别的影响，突出有效信息，消除干扰信息。为此，本课题研究在进行图像识别的前期进行了图像增强处理。图像增强中有两类比较重要的增强方法，一种为灰度变化图像增强，另外一种是直方图处理方式。而在灰度变换图象个增强处理中可分为线性变换、分段线性变化非线性变换这三种增强处理。为解决获取车牌图像环境光照不足的问题。本课题研究采用线性变换对较暗图像进行像素值增加，以提高图像亮度，以突显隐藏在黑暗中的细节。由于本课题研究基于图像颜色特征进行车牌定位，前期只进行图像增强处理，其余图像优化处理将在车牌定位后，字符分割前进行。色度学原理提出任何颜色可由红（R）、绿（G）、蓝（B）三种颜色按比例组合而成，这就是所谓RGB三原色。由R(红)、G（绿）、B（蓝）三个分量设置不同的值可组合出256*256*256种颜色。我们可对RGB的三个像素值分量进行值的增加，每个像素点分量值增加量为70。具体处理程序实现如下：I=imread('F:\Graduate\a.jpg');%读取要处理的图像figure,imshow(I);title('图像增强前');%显示原图J=I+70;%对图像每个像素点分量值进行增加figure,imshow(J);title('图像增强后');%显示增强后效果，与原图形成对比由此可完成图像亮度的增加，初步完成图像增强的优化处理。借助下图2.1可观察图像增强前后的处理效果。(a)图像增强前(b)图像增强后图2.1图像增强前后对比车牌定位过程为更好地在较为复杂背景下对车牌信息进行定位，本课题研究将直接拾取车牌图像的彩色信息，扫描整个图像的整体像素情况，把与车牌颜色特征相似的图像区域保存下来，完成车牌区域的粗定位，进而进行精准定位。在做彩色图像处理时，可以选择合适的颜色空间对图片进行处理。常用的颜色空间包括HSV空间、YUV空间、CMY空间、RGB空间等，为保证YUV、HSV等空间处理方式是根据不同颜色设定对应不同的阈值，对灰度图完成相应处理，这种处理方式算法过程复杂，并且灰度级的划分不明显，另外灰度图也不如彩色图直观清晰，因此本课题研究的车牌定位研究不对RGB原图进行其他色度空间转换，直接对RGB车辆原图进行车牌定位。将图片像素值类型Unit8转换为Double型，以此提高精度，对图像作更细腻的处理。本课题研究的车牌定位可分为蓝色分量值和蓝色像素位置判定阈值的确定、判断非车牌区域的蓝色区域并进行X、Y方向的车牌整个区域像素点检索两个部分。分别统计X方向与Y方向的图像为蓝色的像素点，根据设定的蓝色像素点位置判定阈值判断像素点位置是否为蓝色，进而对非车牌区域的蓝色区域进行判断，最后完成车牌区域的粗定位。蓝色分量值和蓝色像素点位置判定阈值蓝色分量的确定：由于本车牌识别算法研究利用车牌颜色特征与尺寸特征确定车牌区域，扫描图像车牌边缘蓝色位置进行定位，因此在像素点扫描前需要确定RGB图像的三个色度分量的值。而蓝色范围的三个颜色分量理论范围值大致分别为[0,70]、[30,120]、[50,255]。借助FSCapture（像素值提取尺子工具）可完成对各颜色像素值的读取。为提高颜色区域定位精度，在此对RGB蓝色三分量范围值进一步缩小。根据实验调试，并且利用FSCapture像素值读取工具，最终确定的蓝色RGB颜色三分量R(红)、G（绿）、B（蓝）范围分别为[0,48]、[40,90]、[80,220]。该颜色阈值取值范围确定需要用大量车牌图像来进行实验调试，过程较为复杂，并且这种取值方法误差较大。本课题研究采用取颜色分量差的方法确定车牌区域背景颜色取值，利用颜色分量差可一定程度上减少颜色值统计时的误差。该方法利用了RGB颜色空间投影，找出颜色分量差的具体差值。图2.2为车牌图像R、G、B三个颜色空间分量的投影图，比较图(b)、(c)、(d)可发现R、G、B分量的关系。(a)车牌图像(b)RG空间投影(c)RB空间投影(d)GB空间投影图2.2车牌图像R、G、B三分量投影图由图像各像素点的颜色空间平面投影(b)、(c)、(d)图观察得出，其平面投影大致处于K=1.0线上方，可得出车牌图像R、G、B三个颜色分量的关系：B>G>R。在车牌白色区域中，白色的字符颜色是略微含蓝色的白色，其颜色分量R、G、B几乎接近，在K=1.0的投影分布就是车牌区域的白色字符。对于蓝色车牌来说，车牌区域的像素点的分量差B-R与B-G的差异要远大于G-R。只要能确定B-R=A1,B-R=A2中的A1,A2就能确定车牌颜色分量的关系了。为得出A1,A2的值，将测试车牌彩图经过二值化处理，对二值化图进行RGB原图颜色过滤，描绘得到三个颜色分量与B-R，B-G，G-R关系的空间投影，如图2.3所示。(a)车牌二值图(b)G与B-G的关系投影(c)B与B-R的关系投影(d)R与G-R的关系投影图2.3空间分量关系投影经过个整个车牌区域图像进行直线图像描绘，能够得出车牌区域白色字符部分满足B-R<40，B-G<40的关系。最终总结以下关系公式（2.1）、（2.2）完成对蓝色像素点的R、G、B取值，从而完成蓝色像素点的统计。公式中R_Value为R（红）分量，G_Value为G（绿）分量，B_Value为B（蓝）分量）。(2.1)(2.2)蓝色像素点位置判定阈值：在做X、Y方向蓝色像素点出现位置判断时，需要统计方向上行与列出现蓝色像素点的数量，在方向上超出蓝色像素点位置判定阈值时判定该方向上所处轴位置为蓝色，以此在X、Y方向上确定车牌区域的上下、左右边界。蓝色像素点位置判定阈值得设定至关重要，它决定了提取彩图的质量。首先设定Y方向的蓝色像素点位置判定阈值Y_threshlow，经实验调试统计，Y方向上统计的行蓝色像素点达5个以上的Y轴位置，即Y_threshlow=5，判断该位置为车牌区域边界。为更好的适应车辆图像信息进行阈值调整，对于X方向的蓝色像素点位置判定阈值X_threshlow的设定根据Y方向的定位情况进行设定。Y方向上根据Y_threshlow定位车牌区域的上下边界，根据实验统计将X_threshlow设定为车牌区域上下边界宽度的1/11为宜，其计算公式如（2.3），公式中Y2为车牌区域下边界，Y1为车牌区域下边界。(2.3)2.3.2图像扫描定位采用基于颜色特征的方法，判断蓝色区域对车牌定位有个突出的问题，就是较易受蓝色背景的影响，在蓝色背景丰富的图像中难以完成对车牌位置的定位，针对这个问题本课题研究提出以车牌长宽比例与车牌白色像素点比例来去除非车牌蓝色区域。在分别对X、Y方向进行图像像素点扫描的时候根据设定的RGB颜色分量进行蓝色像素点判断。统计Y方向上各行的蓝色像素点数量，找出蓝色像素点最密集的Y轴位置，以该位置为起点，在Y方向上进行上下扫描，寻找低于Y方向行阈值的上下Y轴位置，确定车牌区域的上下边界。统计X方向上各列的蓝色像点数量，找出蓝色像素点最密集的X轴位置，以该位置为起点，在X方向上进行上下扫描，寻找低于X方向行阈值的上下X轴位置，确定车牌字符区域的左右边界。车牌区域定位结束后，对该区域尺寸长宽比例与白色像素在车牌区域面积所占比例进行判断。根据小型汽车车牌尺寸大小特征与颜色特征对定位出来的区域进行对比。经过多次实验调试，定位得出的车牌区域长宽比例在[0.2，0.6]区间，白色比例在[0.12，0.5]区间，能够较好地对非车牌区域地蓝色区域进行判断，完成蓝色复杂背景下的汽车图像车牌识别。若定位到的车牌区域不在指定的长宽比例与车牌区域白色像素比例内，则以错误车牌定位区域处理。识别到错误车牌区域，则将该区域RGB颜色值置为红色，并且对车牌区域进行重新定位，在接下来的定位不对错误车牌区域进行像素点统计。经过多次实验调试，在车牌定位过程中时而出现车牌区域上下边界过度切割的情况，针对该情况，本课题研究在对车牌区域进行定位结果进行区域再调整，将定位所得区域进行扩大。经调试扩大尺度以定位区域结果上下边界宽度的1/5为宜。2.4本章小结本章对本文车牌识别研究的车牌定位部分进行了研究，首先在车牌定位前进行了简单的车牌图像增强以优化车牌图像，继而利用车牌颜色特征与车牌长宽比例对车牌字符区域进行定位，对整个图像的扫描定位分为横轴扫描与纵轴扫描，分别确定车牌字符区域的左右边界与上下边界，对所确定的边界进行一定的边界修补，最终完成车牌字符区域的定位。3彩图预处理完成彩图定位后，图像仍存在干扰信息，如车牌字符区域图像存在边框、铆钉、车牌不清洁等不相关图像信息干扰，同时干扰因素也来自于雨、雪、雾不良天气和车牌拍摄角度等。因此在进行车牌图像字符分割前，需要对车牌图像进行彩图预处理，排除不相关的图像信息，使车牌图像尽可能剩下字符信息。在本章对图像进行了图像灰度化、二值化、形态学运算等图像优化处理。3.1图像灰度化完成车牌定位的车牌区域图像还是一个彩色图像，对于彩色图片，难以去除干扰信息，并且以彩图对车牌区域处理图像效果并不理想。因此在车牌区域字符分割前对彩图进行灰度化，以进行接下来的二值化处理。灰度图，也是所谓的灰阶图，灰度图按对数关系把图像从黑到白表现出来，其中不含彩色信息。目前比较常用的彩图灰度化的有分量法、最大值法、平均值法、加权平均法。（1）分量法：在RGB彩图中，其三个颜色分量各自包含了亮度，分量法灰度化就是取出R、G、B中的亮度作为灰度图的三个灰度值选择。公式(3.1)、(3.2)、(3.3)为分量法获得灰度图,R(z,x)、G(z,x)、B(z,x)分别为RGB彩图的三个颜色分量，A(z,x)、B(z,x)、C(z,x)分别为将要生成的灰度图的三个灰度图分量。(3.1)(3.2)(3.3)最大值法：计算获得彩图的三个颜色分量亮度，比较三个分量中亮度最大的分量，将其亮度作为一个像素点的灰度值。公式(3.4)为采用最大值的方法把彩图转为灰度图的方法。Q(z,x)为灰度图最终灰度值，R(z,x)、G(z,x)、B(z,x)分别为RGB彩图的三个颜色分量。(3.4)平均值法：计算获得彩图的三个分量亮度，将彩色RGB原图像的三个RGB分量值进行求总和，将和除以分量数目3，即可得到灰度图的灰度值。公式(3.5)为用平均值法求灰度图的灰度值，Q(z,x)为灰度值结果，R(z,x)、G(z,x)、B(z,x)分别为RGB彩图的三个颜色分量。(3.5)加权平均法：依据人眼球对颜色敏感度的不同，对彩图RGB三分分量设置不同权值，把三个分量分别跟相应的权值进行相乘，最终把三个乘积相加求和。公式(3.6)为运用加权平均法求灰度图灰度值，Q(z,x)为结果灰度值，R(z,x)、G(z,x)、B(z,x)分别为RGB彩图的三个颜色分量。(3.6)本课题研究采用加权平均值的方法对RGB彩图进行灰度化处理，从人眼的视觉上颜色观察差异对彩图进行灰度化，计算方式简单，更符合人眼视觉对颜色的感知。本课题研究实验过程中使用加权平均法进行彩图灰度化，完成对图像的灰度化处理。其灰度化处理前后对比如图3.1所示。(a)灰度化前(b)灰度化后图3.1彩图灰度化3.2灰度图二值化形态学处理在二值图上的处理效果较为明显，能够较好地达到预期的目的。因此在进行形态学处理前需要将灰度图转化为二值图。以便后期能较好地进行形态学处理。图像二值化同时能够很大程度上区别图像前景色与背景色，采用二值图表现车牌图像，能够把前景色和背景色较明显地分离开，以特殊的灰度图形式保留有效信息，去除无关信息，将每个像素点两极化，根据设置条件对像素点进行置1或者置0，将各个像素点调为最亮或者最暗。一幅灰度图Q(z,x)，可根据设定的阈值进行二值化。二值化公式如(3.7)，R为设定好的阈值，P(z,x)为二值图。(3.7)该公式将大于等于阈值的像素点置为1，即最亮，将小于阈值的像素点值为0，即最暗。从而完成灰度图的二值化。由公式可知，二值化的关键是找到二值化的阈值，阈值的选取最大程度地影响二值图的质量，从而影响后期的图像处理。以下寻找二值化阈值的方法较为常用。双峰法：适合简单，灰度分布规律的图像，图像直方图呈波峰波谷分布，阈值R取两个相邻五间隔波峰间的波谷的灰度值作为二值化阈值。用双峰法获得阈值R后可根据公式(3.7)进行图像的二值化，图3.2为双峰法取阈值例图。图3.2双峰法取阈值例图P参数法：显然，在区域灰度分布很不均匀，特别是灰度重叠的时候，用直方图曲线双波峰的间的波谷作为目标区域的二值化阈值，那么二值化的效果会很不理想。对于灰度分布不均匀的图像，我们可以采用P参数法来取二值化阈值。该方法通过已有的P参数对图像累积分布直方图进行计算，获得与直方图中目标区域占整个直方图的比例P1最接近的灰度值。最大类间方差法(Otsu法)：对该算法可以这样理解，一个图像可分为前景和背景，区分出来的两部分差别最大的时候二值化的效果为最优，前景、背景差别大小由阈值R决定，要将前景、背景进行理想划分需要找到最优阈值。通过方差对图像灰度分布均匀性进行度量，求出方差最大值，即可求出最优阈值。由于一般的求方差方式时常会将前景、背景进行错误划分，为减少划分错误的概率，Otsu提出了使用类间方差的方式进行阈值求取。本课题研究对车牌二值化采用了最大类间差法求取最优阈值，该方法运用广泛，算法健壮性强，在图像二值化过程中能够较大程度地区分原图像前景与背景，从而找到最优阈值，最大类间方差法实现过程如下。（1）彩图经过灰度化，生成灰度图，借由灰度图生成灰度直方图，公式(3.8)统计灰度图中0到255的各灰度值出现的概率Q(z)。Mz为灰度值是z的像素点总数，Mi是灰度值为i的像素点总数。(3.8)（2）在灰度处理时利用加权平均获得了一个灰度值，即R，在二值化过程中利用该值进行概率计算。计算目标选取区域像素点和目标背景区域出现的概率。公式(3.9)为目标区域像素点出现的概率Q(Z)，公式(3.10)为背景区域像素点出现的概率Q(X)。(3.9)(3.10)（3）公式(3.11)、(3.12)、(3.13)分别求取目标像素点、背景像素点以及全部区域像素点各自的灰度平均值。`A1为目标像素点平均灰度值，`A2为背景像素点平均灰度值，`A为全部区域像素点灰度平均值。(3.11)(3.12)(3.13)（4）计算目标区域像素点集合和背景区域像素点集合的灰度值方差，以下公式(3.14)与(3.15)为选取目标的区域像素点集合灰度方差值和背景区域像素点集合灰度方差的值。(3.14)(3.15)（5）分别求目标区域像素点集合和背景区域像素点集合间类内方差，根据类内方差求类间方差和总体方差。公式(3.16)求目标区域像素点集合和背景区域像素点集合间类内方差，公式(3.17)求类间方差，公式(3.18)求总体方差。(3.16)(3.17)(3.18)（6）最后通过类间方差、总体方差以及灰度化阈值确定二值化阈值，公式(3.19)对二值化阈值进行计算。(3.19)利用最大类间方差法获取的二值化阈值，是一种全局的取阈值方法，该方法可以根据图像的具体情况动态地对图像取二值化阈值，由公式(3.2)完成图像二值化。通过该最大类间方差法值可较为理想地对车牌图像进行二值化。图3.3为二值化后处理结果。图3.3二值化处理结果3.3形态学处理二值化的图像依然存在很多干扰，如铆钉、车牌污点、白色边框以及小车牌照规范中的圆形小黑点等车牌信息对下一步的字符分割造成的影响，因此在字符分割前需要利用形态学操作对以上干扰信息去除。依次对车牌定位区域进行断开H型连接、消除毛刺、闭合运算、删除小面积对象。断开H型连接：在二值化图形中，对于呈H形状的连通区域，将会对连接两边的中间区域像素点值0处理，对H型连通区域的中间区域进行消除，纵向H型连通区域与行向H型连通区域处理方式相同。图3.4为去除H型连通像素点值处理示图。图3.4去除H型连通像素点值处理消除毛刺：去除图像小分支，将符合消除分支分布规则的小分支像素点置0，在二值化图像上对小分支进行消除。图3.5为消除毛刺中的八种小分支结构。图3.5消除毛刺中的八种小分支结构闭合运算：对车牌图像进行线条边缘平滑处理，在图像腐蚀前进行膨胀。把小的图像间隔连接起来，填补图像较小空缺。对比闭合运算其公式为(3.20)(3.20)删除小面积对象：把小于指定面积值的二值化图像小面积像素点集合去除，本课题研究指定删除的面积大小根据图像像素大小进行设置。车牌区域二值图依次经过以上形态学处理后一定程度去除了车牌铆钉、污点等干扰信息，形态学处理具体结果如图3.6所示。(a)未经形态学处理二值图(b)断开H型连接(c)去除毛刺(d)闭合运算(e)去除低于阈值的小点面积图3.6形态学处理后的二值图3.4本章小结本章对彩图预处理进行了详细描述，彩图预处理主要包括图像灰度化、图像二值化以及形态学图像操作中的断开H型连接、去除毛刺、闭合运算等图像操作。通过一系列的图像处理，去除车牌区域图像的污点、铆钉、边框等不相关信息，尽可能地使得图像剩下字符信息。4字符分割4.1我国小型汽车车牌规格我国车辆牌照规格因汽车的类型不同，在车牌颜色、结构以及尺寸都有所不同，这也是我国车牌识别难度大的原因之一，完成不同车型牌照的需要不同的处理方法，以适应车牌间的差异。本课题对我国小型汽车牌照车号进行了识别。车牌的规格是以蓝色为为车辆牌照的底色，白色为车牌字符颜色。车辆牌照长度为44cm,宽度为14cm,包含7个字符，包括阿拉伯数字、中国汉字、英文字母。车牌首字符为车辆户口所处地域的省级行政单位的单个汉字简称；第二个字符是车辆户口所处地域地的地市一级代码的大写英文字母。余下车牌字符由阿拉伯数字与大写英文字母不规则组合而成。图4.1为我国小型汽车牌照尺寸大小，字符间隔大小等规范。包含我国小型汽车的牌照尺寸大小比例，字符间的间隔规律，各个字符的宽度大小以及车牌字符与边框距离等信息。图4.1我国小型汽车牌照尺寸与字符间隔大小规范4.2斜度矫正受拍摄角度的影响，摄像头在对车辆牌照进行拍摄后的车牌图像会有一定的倾斜度，车牌图像的倾斜角对车牌字符的切割有很大的影响，其角度翻转是否合理影响着字符的切割效果因此，在进行字符切割前需要对车牌图像进行斜度矫正。斜度矫正需要借助车牌图像的边缘信息，进而使用Randon积分变换对边缘检测结果图像进行图像角度翻转。4.2.1边缘检测图像边缘通常不会受光照的影响，在对车牌识别的处理中，其图像边缘分布情况也不易受拍摄角度的影响。图像边缘的检测是对图像灰度值变化较大的检测，对图像进行扫描，找到灰度值突变的位置，将所检测到的突变位置像素值置为1，非突变位置像素值置为0。一个像素点位置与相邻像素点的关系决定该像素点是否为边缘，一个图像可以用一个二维空间表达，其边缘可由强度幅值与方向组合成一个变量，这里我们可以用梯度表示边缘。用Q(Z,X)表示像素点亮度值，由亮度值依次推导出梯度、幅度值以及方向。公式(4.1)求梯度，公式(4.2)求幅度值，公式(4.3)求方向。(4.1)(4.2)(4.3)4.2.2Radon变换进行斜度矫正在进行斜度偏转前需要获取图像的倾斜角度，本课题研究通过Radon积分变换来完成对车牌图像偏转角度的判断。Radon变换的原理是将原图像的X-Y平面上各直线投影到A-B平面，X-Y平面上的直线长度对应A-B平面点的厚度。在平面上直线到原点的距离为L，直线角度为α。平面上的直线可用公式(4.4)表示：(4.4)设X-Y平面上有一函数g(x,y)，对该平面的函数进行的直线区域L进行积分，如公式(4.5)：(4.5)上述积分形式可以转化为公式(4.6)形式：(4.6)在X-Y平面上对直线（图4.5(a)中的红色直线）进行积分得到R-XP平面上点的厚度，即在各直线角度α上对g(x,y)进行线积分得到R-XP平面的g1-g7的分布情况，其纵轴R为XP上对应的点的厚度。积分后的平面图变化如图4.2所示。X-Y平面直线分布(b)积分后点厚度分布图4.2X-Y平面radon变换得到R-XP平面最后由R-XP平面的分布图得到一个R值分布的矩阵：[g1,g2,g3,g4,g5,g6,g7]。车牌处理过程中，对车牌区域的边缘二值图像进行Radon变换，二值边缘车牌图像中，可由车牌边框对角线计算车牌边框的偏转角。其车牌边框对角线为X-Y平面上的最长直线，对应R-XP上的最大R。该矩阵为从角度1-180范围内各R值的分布情况，因此对矩阵[g1,g2,g3,g4,g5,g6,g7]进行两次求取最大值，可以得出最大R在其对应的角度α。图4.3为车牌图像倾斜角J与偏转角的关系图。图4.3车牌图像倾斜角J与偏转角的关系由最大R值的对应的角度可得J的角度，最后计算出图像偏转角值为angle。其计算公式为(4.7)(4.7)以angle作为倾斜角度进行翻转的处理结果如图4.4所示。图像翻转前(b))图像翻转后图4.4车牌翻转前后对比4.3字符分割我国小型汽车牌照包括其边框区域，尺寸长为440mm，宽为140mm，其字符范围区域尺寸在第二章进行了讨论，大小为409mm*90mm。在牌照字符区域中，除省份汉字简称外，数字及字母均为连续无间隔的字符。因此对于车牌字符分割可以寻找连续连通的区域范围对字符进行分割。而对于汉字的分割，需要设置适当的阈值，留出一定切割空间。由于图像像素点的个数受图像大小的影响，即图像像素值越高，其所含像素点越高，图像组成字符的像素点就越多，为保证在进行阈值切割时对各种大小的图像进行正确字符切割，在设定字符切割阈值时根据图像大小对阈值进行调整，该阈值设定过程需要大量的图像分割实验进行设置。字符分割处理过程如下：对二值车牌区域图像字符进行垂直投影，统计图像每一个竖列黑色的像素点的个数，得到车牌字符区域垂直方向的投影图，字符间间隔的宽度为黑色像素点低于分割阈值的行坐标位置。在得到的垂直投影图中判断字符的起点，垂直方向上连续低于分割阈值，直到遇到高于分割阈值的行坐标位置，作为字符起点，对该起点坐标进行保存，继续扫描投影图，垂直方向上连续高于阈值，直到遇到低于分割阈值的行坐标位置，作为字符终点，对该起点坐标进行保存。重复以上扫描过程，直到完成七个字符的区域定位。完成对各个字符的分割后，将分割出来的七个保存在新的矩阵中。分割后的七个如图4.5所示。(b)车牌字符(b)切割后分别显示字符图4.5车牌字符完成切割4.4字符统一摄像头的拍摄角度偏差除了造成车牌角度的偏转，还会造成车牌区域字符字体大小不统一，位置不统一，甚至造成字体的扭曲，因此在完成对字符的分割后，需要对字符进行位置的统一与字体大小的统一。4.4.1字符位置统一由于车牌图像倾斜，造成对车牌斜度矫正后字符出现上下偏的现象，同时也可能因为在进行字符切割时的不准确，出现字符左右偏的现象。对于字符位置偏差的误差，可以取字符的中心像素点作为字符偏移质点，以质点为基准，对字符有效像素点进行整体的偏移，把整个字符像素点移动到预定位置。以中心质点对字符进行偏移的公式如(4.8)、（4.9）。(4.8)(4.9)4.4.2字符大小统一为尽可能将图像中变形的字符进行像素点阵进行恢复，同时使分割出来的字符的尺寸大小保持一致，本课题研究采用双线性插值的方法对单个字符进行处理，将字符的像素点矩阵缩小到统一的尺寸。对字符大小格式进行统一，能够在最后处理阶段对字符进行识别的过程中，提高字符与模板对比的识别率。本课题研究使用双线插值法把车牌字符大小归一化到110*55的尺寸，在所创建的新的图像中[7]，对于某一个像素点的灰度值，其大小取决于原灰度图中对应位置的相邻构成的矩阵的四个像素低。以这四个像素点像素值进行加权运算出灰度值就是新的图像中像素点的像素值，图4.6为双线性插值图。图4.6像素点双线插值示意图通过公式(4.10)、(4.11)、(4.12)完成对质点的双线性插值计算。(4.10)(4.11)(4.12)完成了字符大小尺寸的统一处理，还需改善字体扭曲变形的现象。除利用字符像素点矩形点阵的像素点质心外，还需引入字符点阵水平与垂直方向上的离散因子，和。公式（4.13）、（4.14）求与。(4.13)(4.14)本课题研究对字符像素点阵的有效像素点在水平和垂直方向上的拉伸、缩小，来调整字符像素点阵相对质心离散因子，达到字符拉伸缩放。4.5本章小结本章主要对车牌区域图像进行斜度矫正，对矫正后的图像进行阈值分割，把车牌字符分割出来，将分割后出来的七个字符分别进行大小的统一与位置的统一。5字符识别在完成对车牌字符分割后，需要将字符识别出来，将图像字符转化为计算机数据常量，以供计算机对车牌字符数据进行数据库的数据上传、对比等计算机操作。5.1字符识别实现方式目前字符识别方式比较常用的方式有基于模板匹配的方式、基于神经网络的的方式、利用图像特征字符识别以及基于支持向量机的车牌字符识别。基于模板匹配的的方法。使用该方法需要建立一个字体模板库，模板库需要包含车牌字符可能出现的所有字符模板。在对单个字符识别时，把要识别的字符与模板库对比，比较待识别字符与模板库字体模型的特征，找出待识别字符与字模库特征相似程度最大的字模，将该字模所代表的字符常量输出，以此完成字符识别。基于神经网络的方式。将待识别的字符像素点阵作为测试样本，创建相应的样本库以作为训练样本。神经识别需要一个训练过程，对于字符的识别包括两个部分，一是获得网络模型各权值系数值；二是利用该网络模型与权值系数对测试样本进行测试。网络模型和各个权值系数的获取需要经过大量的测试样本进行网络训练获得。图像特征字符识别方式。借助对待测字符样本的特征统计进行特征提取，而后用具有特定规则的决策函数对特征进行决策和分类。该方式对初始的车牌图像要求较高，并且在预处理时需要经过许多精密的处理，力求分割出来的车牌字符处于较为理想的状态。基于支持向量机的字符识别。其主要的实现方式是构造最理想的一个平面，该平面使不同的测试样本集和与超平面的距离最大化，实现最大泛化能力。该识别方式能将大小尺寸统一的字符点阵直接作为样本输入，对其进行识别，同时也能提取特征，将特征作为输入。在以上字符识别方式中，模板匹配的识别方式最为成熟，其原理简单，在车牌字符识别的过程中能够较为准确的对字符进行识别，识别速率也快。因此本课题研究就基于模板匹配的识别方式对车牌字符进行字符识别。5.2模板匹配的对比原理在对一个待识别图像进行识别前，需要对图像处理为二值图像，该二值图只包含黑色与白色两种颜色，其颜色值分别为0和1，也就是说，字符其余的像素点的值为1。那么接下来我们要对像素点进行相应的逻辑运算，以达到预期的识别效果。在数学逻辑运算中有以下运算规则：0&0=01&1=10&1=01&0=0对应以下颜色值逻辑关系：黑&黑=黑白&白=白黑&白=黑白&黑=黑由以上逻辑运算结果可知，当两个对比图像的相对区域像素点的值一致时，才能使两个对比图像的对比结果产生与两个图像的一致的区域像素值。即两个对比图像中，相同位置的像素点的像素值一致时，对比结果图像相应位置像素点才会产生一致的像素点值。将要识别的字符的图像跟对应的标准模板进行逻辑运算后得到与待识别字符相似的字符图像，待识别字符与不对应的字符模板逻辑运算后产生与待识别字符图像像素值分布不一致的图像，即待识别字符的白色部分与不应对模板的黑色部分进行与运算，该对比结果图像中对比像素点位置的颜色为黑色，与待识别图像像素值不一致，识别失败。其直观的对比图像如图5.1所示。(g)A和A与运算(b)B和A与运算(c)C和A与运算(d)A和9与运算(e)5和9与运算(f)9和9与运算(g)京和京与运算(h)津和京与运算(i)冀和京与运算图5.1字符对比逻辑运算结果由上图可知，待识别字符与相应的字模进行对比后，逻辑运算产生的字符图像像素点值分布能够大致与待识别字符相似。5.3字符模板匹配的过程要进行模板匹配需要制作字符模板库，以供对比使用。该字符模板库包括我国各省简称，大小字母A到Z，阿拉伯数字0到9，共67个字符模板。在进行对比前需要对模板库中字符进行归一化处理，将其统一处理110*55的尺寸大小，与待测字符尺寸大小一致。字符图像尺寸大小归一化在第五章中进行了详细介绍。除了字符图像大小统一，还需对模板字符图像进行二值化处理得到二值图像矩阵，确保模板字符仅含黑白两种像素点。（3）把待测字符图像矩阵T与字符模板矩阵进行比对，完成两个矩阵间的与逻辑运算得到一个结果字符图像矩阵。（4）待测字符图像与每个结果字符图像比较，找出与待测字符相似度最高的结果字符模板，输出与之对应的字符常量。其实现通过统计待识别字符图像与对比结果字符图像相应像素点位置的相等像素点，相等像素点最多的对比结果字符图像。如公式(5.1)所示。识别得到的字符矩阵。(5.1)为提高字符识别正确率与识别的速度，本课题研究按车牌字符排布规律对字符汉字、识别、字母进行分别对比。经过以上步骤的操作，完成车牌的字符识别，结束车号识别图像算法处理的最后一步，识别结果如图5.2所示。切割出来的七个字符(b)字符识别结果输出图5.2识别结果5.4本章小结本章对车牌字符识别进行研究，首先对目前比较常用的车牌字符识别方式进行介绍，继而采用模板匹配的方法对字符识别进行研究。其识别过程主要是将待识别字符与字符模板库进行对比，找到待识别字符与模板字符相似度最大的字符图像，输出相应的识别结果。总结与展望本课题主要就车牌定位、图像预处理、字符分割以及字符识别进行车号识别算法研究[7]，通过以上四个部分对车牌图像进行处理，完成对小型汽车蓝底白字牌照字符的识别并输出，以供计算机对车牌信息进一步处理。该车号识别算法能够在复杂背景下对图像信息进行处理，完成车牌图像的优化、尺寸大小的调整与图像斜度矫正等图像的改善，其车牌号字符正确识别率达89%，在对车牌图像处理过程中根据试验调试的实际情况不断对图像进行修补和优化。本课题的车号识别算法实现过程分以下四个部分。车牌定位：设置蓝色像素点阈值，扫描X、Y轴两个方向的像素点的蓝色像素点，确定车牌字符区域的上下、左右边界，完成车牌定位；图像预处理：将彩图进行灰度化、二值化、各种形态学处理，去除背景干扰信息，使图像尽可能地只剩下字符信息；字符分割：设置切割阈值，在字符区域图像中寻找连续连通的单个字符区域，保存每个字符的左右边界，保存新的字符分割完成的图像；字符识别：将待识别字符与每个逐个模板字符进行对比，分别的到结果字符图像，找出与待识别图像最相似的图像，输出相应的字符常量。在本车号识别算法算法图像处理研究过程中遇到了很多问题，根据实际的解决实验调试情况，也相应地改进程序，对各种问题进行解决。如车牌定位区域过度切割问题，导致车牌字符区域不完整或区域范围过大，影响进一步地图像处理。针对这个问题，区域切割时根据上下边界的实际情况与车牌长宽比例确定车牌区域的左右边界。并且根据实验调试结果对区域边界进行一定的缩放。在对汉字字符进行分割时，一些左右结构的汉字（如桂字）被分割为两个字符。经调试分析，该问题由字符分割阈值设置不准确引起，修改阈值，调整分割字符的左右边界。本课题车牌识别的算法对于蓝色背景图像的识别存在一定的缺陷，在车牌定位时无法正确地找到车牌字符区域。对于该车牌定位问题处理，后续尝试对车牌图像进行白边检测的方式，以一定长宽比例的车牌区域寻找车牌白边，完成车牌的定位。本课题完成了对我国小型汽车的蓝低白字边框的牌照车号的识别，在本课题接下来的完善中，可在此基础上添加我国大型汽车的黄底黑字牌照与警车的白底黑、红字的车辆牌照进行车辆牌照字符的识别。此识别项目的添加需要增大字符模板库，以供其他的车牌字符进行对比，另外需要改变车牌定位的方式，各种相应的分割阈值也应该有所调整，同时对图像优化部分作更细化的图像优化处理。最后将本课题的车号识别算法的识别率提高至95%以上。对识别算法完善后，将该算法处理方式在STM32单片机上进行识别，借助单片机芯片进行图像算法处理。在此基于上添加摄像头进行车牌图像获取，以图像识别算法的识别结果控制关卡栏杆动作。最终，完成整套可投入商用的智能车牌识别系统。致谢在获取知识的过程中我们也许会也许会迷茫，怀疑自己，但是要时刻谨记，人生就是一场又一场的自我挑战，一个不断攻克难关的过程。在此，我对在一路上给我帮助的人表达最真诚的感谢。首先，我要感谢我的导师余老师，感谢余老师的实验室为我提供本课题研究所需的各种资源。余老师教会了我很多专业知识，同时能够在我学习懈怠的时候给我提个醒，也是余老师的善良和耐心教会了我如何在遇到困难时保持心态，如何以平静的心态去学习，去解决那些自己从未遇到难题。余老师在上课也教导我们要学以致用，事实证明，把理论运用在实际的过程中还是会遇到很多问题。感谢刘老师，我经常在遇到问题时向刘老师寻求帮助，刘老师通常能够就我的问题给我提出建议，让我在学习与实践的过程中少走很多弯路。刘老师也经常鼓励我们在实际项目中学习，学习一些在在理论学习学不到的东西。在本课题的研究中，刘老师也为我提供了诸多帮助。感谢黄老师，黄老师是一位德高望重的人生导师，他严谨的科研态度也时刻提