汽车车牌的自动检测技术的研究

-汽车车牌的自动检测技术的研究摘要车牌自动识别是现代交通体系的车牌识别系统的重要组成部分。随着现代交通管理要求越来越高，出现了汽车牌照识别技术。自动识别技术车牌定位，切割和字符识别和后处理的字符是关键技术。车牌检测是汽车牌照识别系统的重要环节，本文提出了基于数学形态学与多特征组合分析相结合的快速汽车车牌定位方法。首先将彩色图像转换成灰度图像，消除了因车身颜色不同以及环境因素给车牌定位造成的不良影响。采用Otsu算法进行二值化处理，用Robert算子进行边缘检测，利用数学形态学中由膨胀和腐蚀组合成的开运算和闭运算对边缘图像进行处理，得到较好的车牌候选图像。针对车牌候选区的二值图像，采用长宽比、面积比以及车牌字符的水平分布特征等多种因素综合分析的方式进行判别，提高了车牌检测的准确性。基于在内容中所采用的算法是不是由图像中板的位置的限制，它有对变形，污染和模糊较强的抗干扰能力，也适用于环境光线和图像对比度的品种。关键词：车牌识别系统、车牌检测、字符分割识别-i-AbstractAutomaticlicenseplaterecognitionisanimportantpartofthemoderntransportationsystemlicenseplaterecognitionsystem.Withtheincreasingdemandsofmoderntrafficmanagement,vehiclelicenseplaterecognitiontechnologyemerged.AutomaticIdentificationTechnologylicenseplatelocation,charactersegmentationandcharacterrecognitionandpost-processingisakeytechnology.Licenseplatedetectionisanimportantpartofcarlicenseplaterecognitionsystem,thispaperpresentsafastcarlicenseplatelocationmethodbasedonmathematicalmorphologyandmulti-featurecombinationofportfolioanalysis.First,thecolorimageintoagrayscaleimage,eliminatingtheadverseeffectsduetodifferentbodycolorsaswellasenvironmentalfactorstocausethelicenseplatelocation.Otsualgorithmusingbinaryprocessing,withRobertoperatoredgedetection,theuseofmathematicalmorphologyandcorrosionbyacombinationofexpansionintotheopeningoperationandclosingoperationontheedgeoftheimagetogiveabettercandidateforthelicenseplateimage.Forbinaryimageplatecandidateareas,theuseoftheaspectratio,arearatio,andhorizontaldistributionoflicenseplatecharacterscomprehensiveanalysisofavarietyoffactorsdeterminethewaytoimprovetheaccuracyoflicenseplatedetectio.Algorithmsusedinthecontentisnotbasedonthelocationoftheimageplaterestrictions,ithastodeformation,pollutionandfuzzystronganti-jammingcapability,thealgorithmalsoappliestotheambientlightandimagecontrastvarieties.Keywords:Licenseplaterecognitionsystem,licenseplatedetection,charactersegmentationrecognition-ii-目录摘要.1Abstract.2第1章绪论.3第1.1节背景.3第1.2节国内外研究现状.3第1.3节目标与任务.5第1.4节论文体系结构.6第2章系统设计.7第2.1节图像预处理.7第2.2节图像灰度化.7第2.3节边缘检测.8第2.4节部分算法设计.9第2.5节预处理后的结果.11第3章车牌定位.14第3.1节车牌定位流程.14第3.2节图像形态学处理.14第3.3节车牌边界确定.15第3.4节车牌定位的MATLAB实现.15第4章字符分割识别.20第4.1节字符分割.20第4.2节字符的识别.20第4.3节字符归一化处理.21第4.4节处理后的结果.21第5章结论.22致谢.23参考文献.24附录.25第0页第1章绪论第1.1节背景随着经济的迅速发展，对交通工具的安全管理的要求也相应提高。智能交通系统因此诞生，利用图像处理技术、信息通信技术和自动控制技术等来实现对车辆、驾驶员和道路的自动化管理，以达到缓解城市交通堵塞、减少城市污染、提高工作效率和增加城市活力的目的。车辆牌照识别系统(LicensePlateRecognition,LPR)是智能交通系统关键组成部分，在交通调查、交通监管和车辆管理等方面发挥着举足轻重的重用，利用车牌的识别技术能够完成车辆的自动化管理，从而提升车辆管理的效率。具体应用：公路收费、监控管理能准确地识别出车牌号码，很好地监督车辆在公路上的收费情况，避免逃费情况发生。城市道路监控、违章管理、安全管理。通过车牌识别系统，对行驶在道路上的车辆进行实时监控，并对一些压线、超速和闯红灯等违章汽车进行监控。车辆定位能自动地识别出车牌的号码，精确定位出车辆的具体位置，对于防范和追踪犯罪的车辆具有重要的作用。停车场、园区管理可对进出停车场的汽车进行实时的记录，实现车辆收费管理和保证车辆安全。第1.2节国内外研究现状上世纪80年代国外就有大量相关研究，取得的成果也比较多。牌照自动识别主要分成：牌照定位、牌照分割、和字符识别。技术难点在于如何在复杂的环境下进行汽车牌照的准确定位。牌照本身处于一个非常复杂的识别环境中，汽车车体及汽车周围背景都会干扰汽车牌照的识别。且识别现场的光照角度、光线强度、天气因素也会对汽车牌照识别产生较大影响。这些使得LPR系统一直得不到很好的应用,很多方法需要大量的数值运算,不能进行实时处理。为解决上述因环境影响而造成的图像恶化的问题,牌照识别算法必须具有比较强的抗干扰能力，具备足够的强度。国内采取的办法是主动红外照明摄像或使用特殊的传感器采集图像等方法来提高图像的质量,继而提高识别率。国外现在一些比较成功的产品系列:以色列Hi-TeehSolution公司的See/CarSystem一第1页系列产品,新加坡Optasia公司的VLPRS产品等。另外加拿大、英国等西方发达国家都有适合于本国车牌的识别系统，基本上都是基于车辆探测器的系统。目前内地有多家企业从事车牌产品的开发和生产，比较成熟的有北京汉王、川大智胜等企业。比较典型的是北京汉王的“汉王眼”、川大智胜的ZTZ000车牌自动识别系统等。车牌检测的研究现状车牌检测车牌检测，又称车牌定位，作为牌照识别技术的第一个环节，如果定位不准确就无法进行车牌分割识别。国外汽车牌照和国内的差别很大，因而这方面的算法也不尽相同。国外汽车牌照多为长方形，少数为正方形的，车号多为单排的，少数为双牌的，因此国外的牌照识别算法比较复杂。目前，国外较理想的牌照定位算法多是采用纯粹的数学形态学方法。此算法如下：1图像预处理将彩色汽车图像进行灰度化处理。2形态学处理形态学处理分两步：首先定义一个黑色的圆形结构元素，对汽车图像进行Top-Hat运算。设图形元素为A，圆形结构元素为B，则TopHat形态学运算公式如下：（1-1）A-)(maxinA-)(TopHatA,B运算完毕，其结果为变换后的图像中将只包含汽车牌照中德字符识别部分和少量的干扰信息。下一步对图像进行二值化处理生成黑白图像，然后用一个横线结构元素进行多次形态闭运算。字符将融合成一个白色矩形区。再寻找此矩形区即可完成汽车牌照定位工作。该算法较实用，对牌照字符比划宽度有要求，要求汽车和图像采集设备的距离在一定范围之内。国外还有其他算法：神经网络方法、基于边缘特征方法、基于彩色特征方法。由于国内对汽车牌照的管理非常严格，汽车牌照的形状、颜色、安装位置基本不变。这就为牌照定位算法创造了非常有利的条件。具体如下：1基于彩色图像信息的算法2基于灰度聚类的算法3基于纹理特征的算法4基于边缘检测的算法第2页这些算法都是通过在汽车图像中找符合汽车牌照特征区域进行汽车牌照定位的。思路是可行的，但有不足：第一种算法运算量过大，不能满足系统实时性第二种算法仅考虑图像的灰度信息，忽略颜色信息，难以解决背景复杂的图像定位问题第三种算法较为常用，抗干扰能力弱，难以解决背景复杂的图像定位问题第四种算法利用边缘检测方法测得汽车牌照边缘，要求图像边缘的连续性要好，但实际拍摄的汽车牌照边框往往不连续；综上，关于牌照的定位问题，不论是国外的还是国内的算法都有局限性，尤其是在背景、光照、气候的多变以及牌照本身污损等条件下，目前都解决得不理想。车牌区域图像的分割车牌区域图像分割，是检验车牌字符和车牌背景的不同属性，最终将其分离的过程。图像分割的方法和种类有很多，一般采用的方法有边缘检测、边界追踪等。第1.3节目标与任务1.3.1.目标目标是在复杂环境下，主要针对车牌识别系统的图像预处理、车牌识别定位和字符的分割识别的方法进行研究，不涉及信息采集以及系统硬件的问题。是在图像已经采集好了的情况下，找出一种能够自动检测出图像中车牌的有效方法。1.3.2.任务本课题以灰度车牌定位系统为例，介绍如何基于MATLAB的自动车牌检测的研究与开发。主要包括车牌的定位,车牌提取和字符的分割识别。涉及了图像处理、数学形态学等方面,系统总体结构如图1.1所示:图像输入图像预处理分割出车牌车牌定位模块字符分割识别图1.1系统总体结构图其基本工作过程如下：第3页1摄像头所采集的车辆图片由专用的网络传输到用于车牌识别的计算机系统中；2由计算机处理系统对采集的车辆牌照进行预处理，灰度车牌预处理包括灰度化处理、直方图均衡化、小颗粒去噪、图像的平滑处理和倾斜校正等；3利用各种不同的定位算法对牌照进行检测处理，从中搜索出车牌所在的区域，并最终把车牌所在的矩形区域从整幅图像中定位并分割出来；本文主要子模块如下：车牌颜色提取、车牌区域定位、车牌字符识别、提取、检测倾斜度、车牌校正、车牌区域二值化、擦除干扰区域、字符分割、字符归一化处理、结果输出第1.4节论文体系结构1第一章介绍了自动车牌检测系统的应用领域，和研究现状，并论述了本文研究的主要内容。2第二章介绍了系统设计方案:车牌预处理，对用到的技术分别作了介绍与分析。主要包括图像灰度化、边缘检测、腐蚀、图像的平滑处理。3第三章介绍了本文提出的基于数学形态学与小波变换的车牌定位方法，并对可能出现的车牌倾斜问题进行讨论，并提出了处理方法。主要包括数学形态学、Hough变换等。4第四章进行车牌字符的识别分割及归一化处理。5第五章对本文进行了总结，提出不足和需要改进的地方。第4页第2章系统设计第2.1节图像预处理图像预处理是车牌检测的第一步,用摄像头采集的是RGB彩色图像,而车牌识别系统处理的是灰度图像或二值图像,因此首先要把原图转化为灰度图像;另外,在景物成像的过程中,由于季节更替、自然光照度昼夜变化等原因会引起牌照图像的退化,会使图像的灰度值与实际景物不完全匹配,进行一定的灰度变换。为便于处理,我们对灰度图进行阀值分割,把它变换为二值图像,使得字符与背景能够分离开来，减小存储空间，便于后期字符识别，见流程图2.1所示彩色图像灰度化输出结果边缘检测图2.1图像预处理流程图第2.2节图像灰度化2.2.1.彩色图像的表达基于彩色图像处理技术来寻找车牌区域。因为车牌背景颜色和字符颜色的组合数量有限（蓝底白字、黄底黑字、黑底白字），在一幅图像中只存在一处车牌区域。以家庭小型车蓝底白字车牌进行识别为例，根据彩色图像的RGB比例定位出近似蓝色的候选区域。由于RGB三原色空间中两点间的欧氏距离与颜色距离不成线性比例，在设定蓝色区域的定位范围时不能很好的控制，因此造成的定位出错是最主要的。这样出现较多的蓝色背景情况下识别率会下降，不能有效提取车牌区域。车牌区域内边缘的固定颜色搭配特征，采用颜色对边缘检测，可以有效地突出符合车牌颜色搭配边缘像素点，削弱其它边缘。以蓝白车牌为例，蓝底色由于褪色、灰尘覆盖及摄像设备引起的失真等原因，其饱和度不为1，即并不是纯蓝色而是介于蓝色和青色之间的一种深蓝色，车牌区域包含着密集的蓝白边缘，而其它区域则较少，所以针对颜色做边缘检测较容易突出车牌区域。2.2.2.灰度处理灰度化就是使彩色的RGB分量值相等的过程，灰度化处理的方法5：最大值法：使RGB的值等于这3个值中最大的一个，形成亮度很高的灰度图像，则公式为：（2-1）B)G,max(RN平均值法：利用RGB的值求出平均值，形成较柔和的灰度图像，则公式为：（2-2）加权平均值法：根据重要性或其他指标给RGB赋予不同的权值，并使RGB的值加第5页权平均，即公式为：（2-3）0.1B59G0.3RN其中N表示灰度图的亮度值;R代表红色分量值;G代表绿色分量值；B代表蓝色分量值。分量前的系数为经验加权值，系数的取值建立在人眼的视觉模型之上。对于较为敏感的绿色取较大的权值，对较为不敏感的蓝色则取较小的权值。通过该公式转换的灰度图能够比较好地反应原图像的亮度信息。第2.3节边缘检测图像的边缘是图像的基本特征，是指图像中周围像素灰度有阶跃或屋顶变化的那些像素点，即灰度值导数较大或极大的地方。边缘检测用于标识数字图像中亮度变化明显的点，实质是一种梯度锐化的思想,准确的边缘信息是车牌定位的重要特征。常见的边缘监测算子3：1、Roberts算子是一种利用局部差分算子寻找边缘的算子，边缘定位精度高，不足之处在于容易丢失一部分边缘，不具备抑制噪声的能力，适用于边缘陡峭且含噪声小的图像，其计算公式如下：（2-4）2/1),yf(x,y)21),yf(x,y)）(x,yg其中是表示处理后点的灰度值，表示处理前该点的灰度值。是具有整数像素坐标的输入图像，平方根运算使处理类似于在人类视觉系统中发)f生的过程。该算法的算子模板如图2.2所示。-10010-110图2.2Roberts算子模版2.Sobel算子具有两个33的卷积核。图像中的每个点都用这两个核进行卷积，一个核对通常的垂直边缘影响最大；另一个核对水平边缘影响最大。两个卷积的最大值作为该点的输出值，运算结果是一幅边缘幅度图像。它具有方向性，在水平方向和垂直方向上形成最强烈的边缘。考虑了邻域问题，具备一定的抑制能力，不能完全排除检测结果中出现的虚假边缘。虽然边缘定位效果不错，但检测出的边缘易出现多像素宽度。算法模版图如图2.3所示。第6页-1-2-1000121-101-202-101图2.3Sobel算子模版3.Prewitt算子具有2个卷积核，图像中的每个点都用这两个核进行卷积，取最大值作为输出，产生一幅边缘幅度图像，考虑了邻域问题，具备一定的抑制能力，不能完全排除检测结果中出现的虚假边缘。虽然边缘定位效果不错，但检测出的边缘易出现多像素宽度。4.Canny边缘检测算子对图像选择一定的高斯滤波器进行平滑滤波，再采用非极值抑制技术进行处理得到最后的边缘图像，具有较强的去噪能力,也存在容易滤掉一些边缘信息的问题第2.4节部分算法设计图像灰度化算法：1读取图像，判断是否是灰度图像，是返回，否继续；2获取图像参数3据公式，计算每个点的灰度值；0.1B59G0.3RN4再令原像素点的R，G，B值都等于N值；生成灰度图像颜色表；腐蚀算法：1获取图像参数；2读取结构元素；求输入图像数据的补集；3针对每个像素，判断结构元素能否填入目标内部；4判断结构元素是否可以在当前点填入目标内部;5若当前结果元素位置为1，则判断对应的图像上的像素点是否为1；6若像素点为1,则将标志位置0;7判断所有像素点的标志位，若为0，则置白；若为1，则置黑；8求出整幅图像的补集，输出结果。图像平滑算法：1获取图像的参数；2处理处于图像边界的行和列将其置黑；第7页3利用模版进行卷积运算；4归一化处理；5输出图像图像二值化算法：1判断图像是否为灰度图像，若不是，则进行灰度化处理；若是，则继续。2将每个像素的灰度值与设定的阀值进行比较。若大于平均值，则将灰度值设为0；反之，则设为2553建立一个新视图显示二值化结果；膨胀算法：1获取图像参数;2读取结构元素;3针对每个像素,判断结构元素能否填入目标内部;4判断结构元素是否可以在当前点填入目标内部;5若当前结构元素位置为1,判断对应的图像上的像素点是否为1;若像素为1,则将标志位为0;6判断所有像素点的标志位,若为0,则置白;若为1,则置黑7输出结果车牌定位算法：1获取图像参数2扫描图像，通过统计特定范围内的黑色像素的个数和频度的变化，初步确定车牌的位置3细寻找车牌的纵向坐标4细寻找车牌的横向坐标5输出结果字符分割算法：1m,n=size(d),逐排检查有没有白色像素点,设置1=120)&(PY11)PY1=PY1-1;endPY2=MaxY;while(Blue_y(PY2,1)=40)&(PY2PX1)PX2=PX2-1;end%end纵向扫描PX1=PX1-2;%对车牌区域的校正PX2=PX2+2;dw=I(PY1:PY2,:,:);t=toc;figure(7),subplot(1,2,1),imshow(IY),title(行方向合理区域);figure(7),subplot(1,2,2),imshow(dw),title(定位剪切后的彩色车牌图像)imwrite(dw,dw.jpg);filename,filepath=uigetfile(dw.jpg,输入一个定位裁剪后的车牌图像);jpg=strcat(filepath,filename);a=imread(dw.jpg);b=rgb2gray(a);imwrite(b,1.车牌灰度图像.jpg);figure(8);subplot(3,2,1),imshow(b),title(1.车牌灰度图像)g_max=double(max(max(b);g_min=double(min(min(b);T=round(g_max-(g_max-g_min)/3);%T为二值化的阈值m,n=size(b);d=(double(b)=T);%d:二值图像imwrite(d,2.车牌二值图像.jpg);figure(8);subplot(3,2,2),imshow(d),title(2.车牌二值图像)figure(8),subplot(3,2,3),imshow(d),title(3.均值滤波前)%滤波h=fspecial(average,3);d=im2bw(round(filter2(h,d);imwrite(d,4.均值滤波后.jpg);figure(8),subplot(3,2,4),imshow(d),title(4.均值滤波后)%某些图像进行操作%膨胀或腐蚀%se=strel(square,3);%使用一个3X3的正方形结果元素对象对创建的图像膨胀%line/diamond/ball.se=eye(2);%eye(n)returnsthen-by-nidentitymatrix单位矩阵m,n=size(d);ifbwarea(d)/m/n=0.365d=imerode(d,se);elseifbwarea(d)/m/n=round(n/6.5)val,num=min(sum(d(:,k1+5:k2-5);d(:,k1+num+5)=0;%分割endend%再切割d=qiege(d);%切割出7个字符y1=10;y2=0.25;flag=0;word1=;whileflag=0m,n=size(d);left=1;wide=0;whilesum(d(:,wide+1)=0wide=wide+1;endifwidey2flag=1;word1=temp;%WORD1endd(:,1:wide)=0;d=qiege(d);endend%分割出第二个字符word2,d=getword(d);%分割出第三个字符word3,d=getword(d);%分割出第四个字符word4,d=getword(d);%分割出第五个字符word5,d=getword(d);%分割出第六个字符word6,d=getword(d);%分割出第七个字符word7,d=getword(d);figure(9),imshow(word1),title(1);figure(10),imshow(word2),title(2);figure(11),imshow(word3),title(3);figure(12),imshow(word4),title(4);figure(13),imshow(word5),title(5);figure(14),imshow(word6),title(6);figure(15),imshow(word7),title(7);m,n=size(word1);%商用系统程序中归一化大小为40*20,此处演示word1=imresize(word1,4020);word2=imresize(word2,4020);word3=imresize(word3,4020);word4=imresize(word4,4020);第26页word5=imresize(word5,4020);word6=imresize(word6,4020);word7=imresize(word7,4020);figure(16),subplot(3,7,8),imshow(word1),title(1);subplot(3,7,9),imshow(word2),title(2);subplot(3,7,10),imshow(word3),title(3);subplot(3,7,11),imshow(word4),title(4);subplot(3,7,12),imshow(word5),t