LPR系统中车牌的定位与提取.doc

毕 业 设 计学生姓名袁志钢学 号240801033学院 物理与电子电气工程学院专 业电子信息科学与技术题 目LPR系统中车牌定位的研究与实现指导教师 于海春 讲师/硕士 2012年5月淮阴师范学院毕业论文（设计）摘 要：车牌识别技术是公安执法系统、高速公路自动收费系统、城市道路监控系统、智能停车管理系统等诸多与智能交通相关的应用系统的核心技术，可以起到节省人力成本、提高效率、改进管理体系等作用。随着我国汽车数量的迅速增加，车牌识别技术呈现出巨大的经济价值和现实意义。而车牌定位是车牌识别的前提，本文基于图像处理的方法，给出了一种经过图像预处理，由车牌粗定位到车牌精确定位的方法，并用MATLAB语言进行了实现，取得了较好的定位结果。关键词：车牌定位；车牌识别；图像处理；边缘检测；Abstract：License plate identification technique is public security law enforcement system, highway to be automatic charge system, urban road monitoring system, intelligent management system, and many other stop and intelligent traffic related application system core technology, can rise to save the human cost, improve efficiency, improve management system functions.With Chinas car of the rapid increase in the number and license plate recognition technology present a huge economic value and practical significance. And license plate localization is the premise of the license plate recognition, this paper, based on the image processing methods, gives a after the image pretreatment, the coarse position of vehicle license plate to license plate accurate location method, with MATLAB language realization, has obtained the good location results. Key words:License plate location, License plate identification, Image processing, Edge detection目 录1 绪论41.1 课题的研究背景及意义41.2 国内外研究及发展42 车牌识别系统技术简介52.1 汽车车牌识别的流程52.2 车牌的特征62.3 国内外车辆牌照识别技术现状72.4 车牌识别技术的应用情况82.5 车牌识别技术的发展趋势93 车牌定位93.1 车牌定位的主要方法93.1.1 基于直线检测的方法93.1.2 基于阈值化的方法103.1.3 基于灰度边缘检测方法103.1.4 基于彩色图像的车牌定位方法123.2 车牌定位流程133.3 图像预处理133.3.1 灰度变换143.3.2 图像增强153.4 图像边缘提取及二值化163.5 形态学滤波213.6 车牌提取233.7 实验结果30结 论31参 考 文 献32致 谢331 绪论1.1 课题的研究背景及意义早在上个世纪九十年代初，汽车身份识别已经引起了全世界的广泛重视，人们开始研究有关汽车身份证汽车牌照自动识别的相关问题。几年后，汽车的另一个重要的身份象征汽车标志识别也成为了热门话题。车牌识别的一般途径为：采用计算机图象处理技术对车牌进行分析后自动提取车牌信息以确定车牌号。车标识别则基于边缘直方图和模板匹配相关系数混合的算法。目前车牌与车标识别的理论已经成熟，离线算法识别率已经达到较高的水平，同时向着集成化、智能化方向发展。车辆牌照自动识别是近几年发展起来的计算机视觉与模式识别技术在智能交通领域应用的重要研究课题之一。车辆牌照识别是智能交通系统的重要组成部分，通过车辆牌照可以检索车辆的重要信息（监视车辆的违章和车辆缴费情况等）。开发研制了车辆牌照自动识别系统，该系统通过对车辆牌照定位找出车辆牌照位置，而车牌定位是牌照自动识别系统中最关键的环节，也是检验牌照自动识别系统优劣的重要指标长期以来，许多学者从事这方面的探讨和研究，相继出现了一些新方法、新思路尽管如此，目前国内尚无一个完善、通用的牌照定位系统。针对复杂环境下的车牌定位，提出利用车牌字符边缘颜色多分量信息特征的定位算法，分别提取车牌底色像素点和字符色像素点，排除没有字符色像素点相邻的底色纹理像素点。由于字符色与底色的相互影响，字符边缘处色度、饱和度分量都有较窄的范围，可缩小车牌的搜索区域。结果证明该特征有助于车牌的准确定位，可确定车牌颜色，同时运算多在二值图上进行，速度快。1.2 国内外研究及发展国外的研究人员对车牌自动识别的研究，其主要途径就是对车牌的图像进行分析，自动提取车牌信息，确定汽车牌号。在车牌识别过程中，也出现了很多的技术方法，有人使用模糊数学理论，也有人用神经元网络的算法来识别车牌中的字符，但由于外界环境光线变化、光路中有灰尘、季节环境变化，以及车牌本身比较模糊等条件的限制和影响，使得LPR系统一直是一个有解但一直都不能解决得很好的问题，而且很多的方法都需要大量的数值计算，并没有考虑到实时处理的环境。从车牌识别系统的主要关键技术(车牌定位、车牌字符分割、车牌字符识别)而言，关于车牌定位的研究，国外起步比较早，现有比较好的牌照定位方法主要有J. Barros等提出的基于水平搜寻的定位方法,R. Paris等提出的基于DFT变换的频域分析方法, J. Bulas Crue等人提出的基于扫行的车牌提取方法。上述方法，尽管在一定的条件下能够分割出车牌，但车牌识别系统大多是利用摄像机室外拍摄汽车图像，存在许多客观的干扰，如天气、背景、车牌磨损、图像倾斜等因素，因此定位并不十分理想。90年代以来，由于交通现代化发展的需要，我国也开始对车牌定位进行了深入研究，并取得了一定的成就。2 车牌识别系统技术简介2.1 汽车车牌识别的流程汽车车牌识别要进行：图像采集，图像水平差分，车牌区域粗分割，车牌区域定位，牌照图像二值化，车牌倾斜度检测（如倾斜要进行倾斜车牌校正），确定字符边界，字符分割，字符识别。车牌识别系统的主要关键技术有车牌定位、车牌字符分割、车牌字符识别等。车牌定位是一个与工况联系很大的实际问题，方法多种多样，它可以是先前方法的改进，也可以是新老方法的结合，也可以是独辟蹊径的创新。对一些复杂图像应用某些数学工具不仅可以加快处理速度而且可以改善和优化处理结果。所以有必要对车牌定位方法进一步的研究。字符分割的任务是把多行或多字符图像中的每个字符从整个图像中切割出来成为单个字符。对于字符分割的问题常常不被重视，但是字符的正确分割对字符的识别十分关键。由于各种因素的影响，使得字符分割的复杂性大，目前的字符分割的算法一直在不断完善。针对车牌图像的字符分割，是字符分割的一个具体应用，目前人们根据车牌字符的特征已经提出了一些算法，如:基于先验知识的分割算法。基于投影轮廓和拓扑结构的分割算法等。但是考虑到车牌中字符可能存在的粘连、断裂情况，字符分割技术仍需要进一步改进。字符识别可以被认为是属于印刷体文字识别的范畴，目前清晰图像的印刷体字符识别问题在OCR (Optical Character Recognition)产品中有较好的实现，其关键在于特征提取和分类器的组织。识别方法从传统的单一特征抽取和单一分类方法发展为采用多特征抽取和多分类方法，并多种形式混合，从而解决一个复杂的问题。另外识别方法从单字识别发展为基于多字识别模型的集群识别，从而大量融汇语言信息，借助上下关联校正分类结果，有效提高识别率。与此相比，车牌字符的识别研究仍相对滞后，目前仍没有相对成熟的系统。由于摄像机获取的是车牌号的二维平面图像，所以与用扫描仪作为输入手段的印刷体字符识别相比，车牌字符的识别有特殊性，主要有:1）公安部门颁发车号印刷质量不一、数字字体不规范，车牌照的新旧程度也不同，使车牌照表面的光线反射光强、车号的清晰程度各不相同。2）图像一般是在室外采集的，有周围环境、天气、季节变化带来的影响。即使采集设备自身具有调节的能力，但是能力有限。3）由于环境、道路或人为因素造成汽车牌照污染严重，使得车牌字符出现断裂、模糊等情况。尽管如此，也有大量的学者从事车牌字符识别的研究。现在己经有了一些比较成熟的方法，根据提取的特征，主要分为两大类:结构法和统计法。结构方法是发展最早的一种方法，它的基本思想是把字符图像分割化为若干的基元，例如笔划、拓扑点、结构突变点等，然后和模板比较进行判别。主要的方法有基于轮廓、笔划和骨架的方法。统计法比结构法起步较晚，它往往依赖于大量的原始样本和数值计算。统计方法的特征提取要从原始数据提取出与分类相关的信息，使得类内差距极小化，类间差距极大化，要求特征对同一字符类的形变应该尽量保持不变。主要的方法有基于K-L变换、Gabor变换的字符识别。2.2 车牌的特征车牌的本身具有许多固有特征，这些特征对不同的国家是不同的，我国现在使用的车牌主要根据中华人民共和国机动车牌号GA36-92标准，具有以下特征： （1）形状特征：标准的车牌外轮廓尺寸440*140，字符高90，宽45，字符间距12，间隔符宽10。整个字符的高宽比例近似为3:1，车牌的边缘是线段围成的有规则的矩形。主要用在车牌的定位分割。 （2）颜色特征：现有的字符颜色与车牌底色搭配有四种类型，蓝底白字，黄底黑字，白底黑字，黑底白字。这部分特征主要用在对彩色图像进行车牌的定位。 （3）字符的特征：标准的车牌上有7个字符，呈水平排列，待识别的字符模板可以分为一下三类，汉字，英文字母，阿拉伯数字，主要用于对字符匹配识别方面。 （4）其他国家的汽车牌照格式(如汽车牌照的尺寸大小，牌照上的字符排列等)通常只有一种，而我国则根据不同车辆、车型、用途，规定了多种牌照格式(例如分为军车、警车、普通车等)。 （5）我国汽车牌照的规范悬挂位置不唯一。 （6）由于环境、道路或人为因素造成汽车牌照污染严重，这种情况下，国外发达国家不允许上路，而在我国仍可上路行驶。车牌与汽车的其它区域相比，还有一下主要特征：(1) 车牌区域中的垂直边缘比水平边缘密集，而车身其它部分的水平边缘明显，垂直边缘较少。(2) 灰度变化特征：车牌的底色、边缘颜色，车辆外部的颜色都是不同的，表现在图像中就是灰度级互不相同，这就在车牌边缘形成了灰度突变边界。实际上，车牌的边缘在灰度上的表现是一种屋脊状边缘。在车牌区域内部，字符和车牌底的灰度较均匀的呈现波峰波谷。 （3）有相对集中和规则的纹理特征。由于我国汽车车牌识别的特殊性，这就导致了采用任何单一识别技术都是难以奏效的。2.3 国内外车辆牌照识别技术现状目前，国内外有大量关于车牌识别方面的研究报道。国外在这方面的研究工作开展较早。在上世纪70 年代，英国就在实验室中完成了“实时车牌检测系统”的广域检测和开发。同时代，诞生了面向被盗车辆的第一个实时自动车牌监测系统。发展到今日，国外对车牌检测的研究已经取得了一些令人瞩目的成就，如Yuntao Cui提出了一种车牌识别系统，在车牌定位以后，利用马尔科夫场对车牌特征进行提取和二值化，对样本的识别达到了较高的识别率。Eun Ryung 等利用图像中的颜色分量，对车辆照进行定位识别，其中提到了三种方法：以Hough 变换为基础的边缘检测定位识别；以灰度值变换为基础的识别算法；以HLS 彩色模式为基础的车牌识别系统，识别率分别为81.25%、85%、91.2%。日本对车牌图像的获取也做了大量的研究，并为系统产业化做了大量工作。Luis开发系统应用于公路收费站，全天识别率达到了90%以上，即使在天气不好的情况下也达到了70%。国外对车牌识别的研究起步早，总体来讲其技术已比较领先，同时由于他们车牌种类单一，规范程度较高，易于定位识别，目前，已经实现了产品化，并在实际的交通系统中得到了广泛的应用。由于中国车牌的格式与国外有较大差异，所以国外关于识别率的报道只具有参考价值，其在中国的应用效果可能没有在其国内的应用效果好，但其识别系统中采用的很多算法具有很好的借鉴意义。从车牌识别系统进入中国以来，国内有大量的学者在从事这方面的研究，提出了很多新颖快速的算法。中国科学院自动化所的刘智勇等开发的系统在一个样本量为3180 的样本集中，车牌定位准确率为99.42%，切分准确率为94.52%，这套系统后来应用于汉王公司的车牌识别系统，取得了不错的效果。南京大学的熊军等提出了基于字符纹理特征的定位算法，准确率达95%。华中科技大学的陈振学等学者提出了一种新的车牌图像字符分割与识别算法，使用一维循环清零法，通过对垂直投影图进行一次扫描，有效的清除了杂点和间隔符，正确分割率达到了96.8%。浙江大学的张引、潘云鹤等提出了彩色边缘算子Color Prewitt 和彩色边缘检测与区域生长相结合的牌照定位算法，算法简单，且全面作用在颜色空间的三个分量上，检测出的牌照区域易于与背景剥离。但是计算量和存储量都比较大，难以满足实时性的要求。此外，当车辆区域的颜色和附近颜色相近时，定位失误率会增加。国内还有许多学者都在进行这方面的研究，并且取得了大量的研究成果。2.4 车牌识别技术的应用情况车辆牌照识别系统技术能够从一幅车辆图像中准确定位出车牌图像，经过字符切分和识别后实现车辆牌照的自动识别，从而为以上应用提供信息和基础功能。 目前车牌识别系统主要应用于以下领域： （1）停车场管理系统。利用车牌识别技术对出入车辆的号牌进行识别和匹配，与停车卡结合实现自动计时、计费的车辆收费管理系统。（2）高速公路超速自动化管理系统。以车牌自动识别技术为基础，与其他高科技手段结合，对高速公路交通流状况进行自动监测、自动布控，从而降低交通事故的复发生率，确保交通顺畅。（3）公路布控。采用车牌识别技术实现对重点车辆的自动识别，快速报警，既可以有效查找被盗车辆，同时又为公安、检察机关提供了对犯罪嫌疑人的交通工具进行远程跟踪与监查的技术手段。（4）城市十字交通路口的“电子警察”。可以对违章车辆进行责任追究，也可以辅助进行交通流量统计，交通监测和疏导。(5）小区车辆管理系统。社区保安系统将出入社区的车辆通过车牌识别技术进行记录，将结果与内部车辆列表对比可以实现防盗监管。2.5 车牌识别技术的发展趋势车牌识别技术作为智能交通系统中的关键技术，在各国学者的共同努力下，已经得到了长足的发展，并且已经得到了不同程度的实际应用，但目前还存在着种种不足。对于未来车牌识别产品的技术发展趋势，汉王科技智能交通部总经理乔炬认为，首先，由于市场需求不同，对识别产品的需求也有差异，因此就要求研发针对不同细分市场的车牌识别产品。其次，随着算法的不断改进，基于视频触发技术的车牌识别产品将得到大范围的应用，但是视频触发技术取代外触发装置尚需时日。第三，现在的车牌识别系统设备过多，系统集成难度大，系统稳定性差，系统维护是一个让人头疼的问题。随着技术不断进步，以往多个设备实现的功能可能由一个设备实现。目前，车牌识别技术和产品性能进入实用阶段的时间还不是很长，随着人工智能以及自动识别技术的进步，未来的技术发展空间还会非常大。例如，核心算法继续发展，识别率和识别速度进一步改善，图像处理中对模糊图像预处理能力增强，画质改善技术的提高等等。3 车牌定位3.1 车牌定位的主要方法所谓车牌定位算法是指在实际拍摄的图像中确定车牌区域的位置以便提取分割出车牌区域图像的问题。牌照的快速准确定位是车牌自动识别技术中非常关键的一步，是典型的图像分割问题，因此定位方法与车牌特征和图像处理技术是分不开的。经典的车牌定位分割算法包括从简单的灰度阈值方法、频域和空间分割方法到复杂的连接元素方法以及Hough变化法等，在背景较复杂和光照不均匀条件下，这些方法难以取得令人满意的分割效果。近年来，人们针对这种情况，提出了各种各样的定位算法。目前没有一个标准图像数据库来评价无限制条件车牌定位算法的性能，这个问题的研究目前刚刚起步。3.1.1 基于直线检测的方法这类方法一般采用Hough变化等方法来检测直线（车牌周围边框形成）。利用车牌形状特性来定位车牌，在实际运用中忧郁光照不均匀等影响和摄像机畸变，曝光不足和动态范围太窄等原因，导致图像存在伪影，加上车牌上的灰尘、脏污等使形状特性表现的不明显，从而影响定位效果，此外传统的Hough变换法应用在车牌定位中，只是单纯的进行直线的检测，没有和车牌形状特性结合起来，而且Hough空间与原图像空间不是一一对应的，由Hough空间中检测到的特征点无法确定出车牌轮廓的起始位置，无法避免直线干扰的问题，因此在有直线干扰时及未进行边框提取时的可能性会大大增加。Hough变化计算量较大，对于边框不连续的实际车牌，需要附加量加大的运算。3.1.2 基于阈值化的方法图像经过阈值化得到一个字符和背景分离的二值图像是这类方法的特点。目前已经提出了多种阈值化策略，但简单算法二值化效果不好，复杂算法计算时间长、计算量大限制了实际应用。3.1.3 基于灰度边缘检测方法此类方法通常利用车牌区域局部对比度明显和灰度有规律变化的纹理特征来定位。中国车牌类型较多，在不同光照条件下车牌对比度更加不一，需要进行图像增强处理，还要考虑图像中与车牌特征非常相似的非车牌区域的排除问题。 （1）基于灰度直方图的门限化边缘检测基于灰度直方图的门限化边缘检测是一种最常用、最简单的边缘检测方法。对检测目标背景图像中目标的边缘效果很好。这种图像的灰度直方图呈双峰状态。 （2）基于微分的边缘检测1.基于差分的边缘检测一阶差分边缘检测对位于边缘两侧的点，像素点灰度值将发生急剧变化，因此有较大的差分值。当差分方向和边界方向垂直时将获得最大差分，因此，只要对f(i ,j) 各方向的差分值再进行一次门限化处理，即可检出边缘像素点，从而求得其边缘图像。二阶差分边缘检测这是利用在图像的边缘处，灰度发生急剧变化这一特性，采用图像灰度值沿着确定方向(x，y或对角线)取二次差分后的某些性质进行边缘检测的。2. 基于梯度的边缘检测由于边缘发生在图像灰度值变化比较大的地方，对应连续情形就是函数梯度最大 的地方。Roberts算子、Prewitt算子和Sobel算子就是比较简单而常用的例子。还有一种比较直观的方法就是利用当前像素临域中的一些像素值拟合一个曲面，然后求这个连续曲面在该像素处梯度。从统计角度上说，我们可 以通过回归分析得到一个曲面，然后做类似的处理。 Robert算子在图 像中边缘的锐利程度是由图像的梯度来决定的。梯度是一个向量,o f指出梯度 （3-1） Prewitt算子和Sobel算子1970 年左 右，Prewitt和Sobel分别提出7一个算子，即Prewitt算子Sobel算子。Prewitt边缘检测算子使用两个有向算子(一个是水平的，一个是垂直的一般称为模版，每一个逼近一个偏导数): （3-2）Sobel算子和Prewitt算子的不同在于使用的模板不一样 ： （3-3）对一些图像噪声结构，Sobel算子和Prewitt算子能产生比较好的结果，但是他们存在一些共同的问题:A.检测结果对噪声很敏感，图像的离散差分对噪声比对原图像更敏感;B.可以通过对图像做平滑来改善结果，但是又会产生一个问题:会把一些靠在一起的边缘平滑掉，而且会影响对边缘的定位:C用上述模板卷积后得到的边缘可能是跨越好几个点而不是一个点:为了改善这个问题 ，还要做一些改进:边缘像素不只是要大于闽值，而且梯度方向上梯度的 大小要大于它的前者和后者，这个方法称之为非极值抑制。Canny边缘检侧算子提起图像边缘检测就不得不提Canny准则及Canny算子。1986年JohnC anny提出了划时代的边缘检测的三条准则，并在此基础上得到了一个很不错的使用算法。Canny三准则:A. 好的检测结果，或者说对边缘的错误检测率要尽可能的低:就是在图像上边 缘出现的地方检测结果不应该没有:另一方面也不要出现虚假边缘。这是因为所有用边缘检测做更深入工作的系统，它的性能依赖于边缘检测的误差 。B. 对边缘的定位要准确:检测出的边缘位置和图像上真正的边缘中心位置充分接近 。C. 对同一边缘要有低的响应次数。Canny还提出一种对噪声进行估计的使用方法。假设边缘信号的响应是比较少的而且是比较大的值而噪声的响应是很多但是值相对较小，那么阈值就可以通过滤波后的图像的统计累积直方图得到(实践数据表明取阈值为这个累积直方图的0.8，而Matlab取其0.7)。在Canny准侧的基础上，人们进行了更深入的研究，得到了很多的结果。但是仅仅有一个阈值是不够的。由于噪声的影响边缘信号响应只有差不多一半大于这个阈值的，由此造成了斑纹现象，也就是边缘是断的.如果我们把这个阈值降低，我们往往发现出现错误的“边缘”。为了解决这个问题，Canny提出一种双阈值方法。前面利用累计统计直方图得到一个高阈值T,，然后再取一个低阈值Tz (Matlab6.5中使用的是T2=0.4T,)。如果图像信号的响应大于高阈值，那么它一定边缘;如果低于低阈值，那么它一定不是边缘;如果在低阈值和高阈值之间，我们就看它的8个邻接像素有没有大大于高阈值的边缘，如果有，则它是边缘。 3.1.4 基于彩色图像的车牌定位方法目前的车牌分割受限于灰度图像，所以定位效果受阴影和光照条件的限制。由于人类视觉对彩色信息比较敏感，人眼能分辨的灰度只有20多级，而分辨的色彩却有35000种，彩色图像可以提供更多的视觉信息，有图像学者提出了利用车牌的颜色信息来搜索牌照，将处理对象改为彩色图像以求可以精确地定位车牌。比如一些系统采用BP神经网络对彩色图像进行彩色分割，把每个像素通过网络学习归类为期望的颜色，然后利用水平和数值直方图的方法确定牌照的位置，但是当车牌区域颜色域附近颜色非常相似且牌照倾斜的情况下彩色定位分割错误将会增加。但是基于彩色图像的定位算法最大的缺点是计算量和存储量都比较大，如基于神经网络的彩色图像车牌分割方法，此方法需要处理好网络局部收敛问题，定位时间长。此外当车牌区域颜色和附近颜色相似时，定位错误增加。也有一些系统采用彩色边缘检测算子计算二值边缘图像，然后采用形态学方法来生成连通区域图像，再进行轮廓跟踪，通过标记候选牌照区域，得到n个候选牌照区域，最后对候选牌照进行分析与分解，进而提取牌照区域，但是当途中相似颜色区块较多时，定位速度会急剧下降。 也有的系统首先利用颜色信息对输入图像进行彩色粗分割，得到了颜色为车牌照的一些区域。然后将分割结果中的伪目标（即除了车牌区域以外的区域）分为两类（一类是与汽车牌照颜色相近的背景，一类是可能与牌照颜色相近的汽车外壳），分别进行处理，最终利用投影法得到准确的车牌位置。虽然这种方法的定位率比较准确，但是识别速度却很慢。这类方法一般都是将输入的RGB彩色图像转换成HIS彩色图像，然后进行基于模糊逻辑或神经网络的色彩分割，再进一步定位车牌，计算量巨大。目前，基本上处于理论研究阶段，随着计算机运算速度的提高，应该逐步走向实用阶段。上述4种方法中，基于直线检测的方法对我国车牌来讲并不完全适用，因为我国车牌的悬挂明显不够规范，有些车牌边框不够明显必然造成定位算法失效，如果结合别的算法则需要在本身运算量很大的情况下额外增加系统开销。车牌的最明显特点是其纹理特征，这样看来，在兼顾到实时心要求和定位成功率的情况下，基于灰度边缘检测的方法不失为一个理想选择。此外，基于颜色（提取像素点）的车牌定位也是比较普遍的定位方法。3.2 车牌定位流程自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。首先对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，最后选定一个最佳的区域作为牌照区域，并将其从图象中分割出来。流程图:导入原始图像图像预处理增强效果图像边缘提取车牌定位 对图像开闭运算 3.3 图像预处理图像预处理是车牌定位的准备工作，以提高车牌图片的适用性。从采集卡获得的原始图像不仅包括车牌照，而且还有汽车本身和汽车背景图像，因此必须去掉这些非牌照图像的影响，才有可能正确的提取出牌照区域，为以后的车牌字符识别打下基础。在实际应用中，由于季节的更替、自然光照度的昼夜变化、光照的稳定性与均匀性、车辆自身的运动、观察点(摄像机的角度、位置、观察角度等)、采集图像的设备本身的因素等的影响，CCD所获取的图像有时并不令人十分满意，存在各种各样的噪声。因而必须对图像进行预处理，以改善图像质量，提高字符识别率。3.3.1 灰度变换彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。由彩色转换为灰度的过程叫做灰度化处理。选择的标准是经过灰度变换后，像素的动态范围增加，图像的对比度扩展，使图像变得更加清晰、细腻、容易识别。彩色图像分为R、G、B 三个分量，分别显示出红、绿、蓝等各种颜色，灰度化就是使彩色的R、G、B 分量相等的过程。灰度值大的像素点比较亮（像素值最大为255，为白色），反之比较暗（像素值最小为0，是黑色）。本次灰度图像变换的实现采用了rgb2gray函数rgb2gray：转换RGB图像或颜色映像表为灰度图像格式：I=rgb2gray(RGB) I=rgb2gray(A)原始图像和灰度图如图3-1、3-2 所示：图 3-1 原始图像 图 3-2 灰度图像3.3.2 图像增强对车辆图像进行灰度化处理之后，车牌部分和非车牌部分图像的对比度并不是很高，此时如果直接进行边缘提取，由于车牌界限较为模糊，难以提取出车牌边缘，因而难以准确定位车牌。为了增强牌照部位图像和其他部位图像的对比度，使其明暗鲜明，有利于提高识别率，需要将车辆图像进行增强。图像增强的目的是对图像进行加工，以得到对具体应用来说视觉效果更适于计算机识别的图像。增强图像的方法有很多，如灰度变换、图像平滑处理和线性滤波等，根据处理图像域又可分为空间增强与频域增强。目前用于车牌图像增强的方法有：灰度拉伸、直方图均衡、中值滤波、高斯滤波、邻域滤波、图像腐蚀、多图像平均、同态滤波等等。（1） 对原始图像进行开操作得到背景图像：s=strel(disk,13);%strel函数Bgray=imopen(Sgray,s); figure,imshow(Bgray);title(背景图像);输出背景图像，如图 3-3 所示：图 3-3 背景图像原始灰度图像与背景图像做减法，对图像进行增强处理：Egray=imsubtract(Sgray,Bgray);figure,imshow(Egray);title(增强黑白图像);输出黑白图像如图 3-4 所示：图 3-4 增强的黑白图像3.4 图像边缘提取及二值化(1）边缘提取边缘主要存在于目标与目标、目标与背景、区域与区域（包括不同色彩）之间，边缘检测主要是精确定位边缘和抑制噪点，原理是：由于微分算子具有突出灰度变化的作用，对图像进行微分运算，在图像边缘处及其灰度变化较大，故该处微分计算值较高，可将这些为分支作为相应点的边缘强度，通过阈值判别来提取边缘点，即如果为分支大于阈值，则为边缘点。其基本步骤是首先利用边缘增强算子，突出图像中的局部边缘，然后定义像素的“边缘强度”，通过设置门限的方法提取边缘点集。常用的传统边缘检测算子有 Robert 算子、Sobel 算子、Prewitt 算子、Laplace算子和Canny 算子。Robets算子：边缘定位准确，但对噪声敏感，去噪声作用小，适合于边缘明显且噪声较小的图像分割；Sobel算子：它是方向性的，在水平和垂直方向上形成了最强烈的边缘。Sobel算子不仅能检测边缘点，而且能抑制噪声影响，对灰度渐变和噪声较多的图像处理得较好；Prewitt算子：与Sobel算子相比，对噪声抑制较弱；Laplace算子：它是一个与方向无关的各向通行边缘检测算子，对细线和孤立点检测效果好，但边缘方向信息丢失，常产生双像素的边缘，对噪声有双倍加强作用，很少直接用于检测边缘；Canny算子：边缘检测的方法是寻找图像梯度的局部极大值，它使用两个阈值来分别检测强边缘和弱边缘，而且仅当弱边缘和强边缘相连时，弱边缘才会包含在输出中。通过实验图对几种边缘检测算子进行仿真（图3-5至3-8），可知： Roberts算子定位比较准确，但由于不包括平滑，所以对噪声比较敏感。 Prewitt算子和Sobel算子都是一阶的微分算子，而前者是平均滤波，后者是加权平均滤波，对噪声具有一定的抑制能力，但不能完全排除检测结果中出现伪边缘。该类算子对灰度渐变和具有噪声的图像处理比较好。其中Sobel算子比Prewitt算子更能抑制噪声的影响。Canny算子同样采用高斯函数对图像做平滑处理，因此具有较强的去噪能力，但同样存在容易平滑掉一些边缘信息。同时它所采用的一阶微分算子的方向性较好，因此边缘定位准确性较高。图 3-5 Robert算子图 3-6 Prewitt算子图 3-7 Sobel算子图 3-8 Canny算子结论分析：通过边缘检测仿真结果图可见，几个边缘检测算子都可以较好的提取所需的车牌边缘。为了车牌的定位，希望车辆图像的车牌区域突现出来的同时，其它边缘能够很好的得到抑制。Canny算子提取边缘能有效地检测出车牌区域的纹理特征，所以，本次设计选用Canny算子。(2）灰度图像二值化灰度图像的二值化处理就是将图像上的点的灰度置为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。在数字图像处理中，二值图像占有非常重要的地位，要进行二值图像的处理与分析，首先 要把灰度图像二值化，得到二值化图像，这样子有利于再对图像做进一步处理时，图像的集合性质只与像素值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。如果某特定物体在内部有均匀一致的灰度值，并且其处在一个具有其他等级灰度值的均匀背景下，使用阈值法就可以得到比较的分割效果。如果物体同背景的差别表现不在灰度值上（比如纹理不同），可以将这个差别特征转换为灰度的差别，然后利用阈值选取技术来分割该图像。动态调节阈值实现图像的二值化可动态观察其分割图像的具体结果。图像二值化最佳阈值计算方法：Level=(fmax1-(fmax1-fmin1)/3)式中Level为最佳阈值，fmax为最大灰度，fmin为最小灰度，将图像二值化：fmax1=double(max(max(Egray); %egray的最大值并输出双精度型fmin1=double(min(min(Egray); %egray的最小值并输出双精度型level=(fmax1-(fmax1-fmin1)/3)/255; %获得最佳阈值bw22=im2bw(Egray,level); %转换图像为二进制图像bw2=double(bw22);figure,imshow(bw2);title(图像二值化); %得到二值图像，如图 3-9：图 3-9 图像二值化3.5 形态学滤波形态学是法国和德国的科学家在研究岩石结构时建立的一门学科。形态学的用途主要用来获取物体拓扑和结果信息，他通过物体和结构元素相互作用的某些运算，得到物体更本质的形态。人们后来用数学形态学表示以形态为基础对图像进行分析的数学工具。他的基本思想是用一个被称为结构元素的探针收集图像的信息。当探针在图像中不断移动时，便可考察图像各个部分间的相互关系，从而了解图像各个部分的结构特征。作为探针的结构元素，可直接携带知识（形态大小以及灰度和色度信息）来探测所研究图像的结构特征。数学形态是一种非线性滤波的方法，可以用于抑制噪声，进行特征提取、边缘检测、图像分割等图像处理问题。数学形态学首先被用来处理二值图像，后来也被用来处理灰度图像，现在又有学者开始用软数学形态学和模糊形态学来解决计算机视觉方面的问题。腐蚀是一种消除边界点的过程，结果是使目标缩小，空洞增大，因而可有效地消除孤立噪声点；膨胀是将于目标物体接触的所有背景点合并到物体中的过程，结果是使目标增大，孔洞减小，可填补目标物体中的空洞，形成联通域。先腐蚀后膨胀的过程为开运算，它具有消除细小物体，并在纤细处分离物体和平滑较大物体边界的作用；先膨胀后腐蚀的过程为闭运算，具有填充物体内细小空洞，连接临近物体和平滑边界的作用。本次毕业设计是运用了这种方法来实现其中重要步骤的。对图像做了开运算和闭运算，这两种运算是数学形态学中的重要运算。开运算就是对图像先进行腐蚀，然后在用同一结构元素对图像进行膨胀运算。闭运算就是反过来，先对图像膨胀再腐蚀。闭运算可以使图像的轮廓线更为光滑，它通常用来消掉狭窄的间断和长细的鸿沟，消除小的孔洞，并弥补轮廓中的断裂。滤波处理：bg1=imclose(grd,strel(rectangle,5,19); figure,imshow(bg1);title(图像闭运算5,19); bg3=imopen(bg1,strel(rectangle,5,19);figure,imshow(bg3);title(图像开运算5,19);bg2=imopen(bg3,strel(rectangle,19,1); figure,imshow(bg2);title(图像开运算19,1)；图 3-10 图像闭运算图 3-11 图像开运算图 3-12 图像开运算结论分析：采用矩形算子能有效地将车牌区域连接成片，去除非车牌区域，通过程序处理后的图可以清楚地看到对图像经过开操作滤波后的可能的车牌区域都清楚的保留了下来，是非常成功的。3.6 车牌提取对二值图像进行区域提取，并计算区域特征参数。进行区域特征参数比较，提取车牌区域，经根据先验知识和调试中的经验，设定了车牌长款的范围作为判断依据。 （1）首先对图像每隔区域进行标记，然后计算每个区域的区域特征参数：区中心位置，最小包含矩形、面积。提取车牌特征区域的代码：L,num = bwlabel(bg2,8); %标注二进制图像中已连接的部分Feastats = imfeature(L,basic); %计算图像区域的特征尺寸Area=Feastats.Area; %区域面积BoundingBox=Feastats.BoundingBox; %车牌的框架大小RGB = label2rgb(L, spring, k, shuffle); %标志图像向RGB图像转换 figure,imshow(RGB);title(图像彩色标记);%输出框架的彩色图像图 3-13 图像彩色标记 （2）计算出包含所标记的区域的最小宽和高，并根据先验知识，比较谁的宽高比更接近实际车牌宽高比，将更接近的提取并显示出来。2007年实施的车牌标准规定，车前车牌长440mm，宽140mm。比例为440/1403.15.根据图像像素的大小，这里筛选条件为宽在98到160之间，高在25到50之间，这样就可以比较准确的得到车牌的大致位置。 图 3-14 灰度子图和二值子图计算矩形的高度框架的宽度和高度的范围车牌的开始列车牌的开始行计算车牌长宽比获取车牌二值子图计算矩形的宽度 程序流程图 （3）对水平投影进行峰谷分析:对水平投影进行峰谷分析,计算出车牌上边框、车牌字符投影、车牌下边框的波形峰上升点、峰下降点、峰宽、谷宽、峰间距离、峰中心位置参数。 图 3-15 垂直投影和水平投影 图 3-16 水平投影和二值图 （4）计算车牌旋转角度:a.车牌倾斜的原因导致投影效果峰股谷不明显，在这里需要做车牌矫正处理。这里采取的线性拟合的方法,计算出车牌上边或下边图像值为1的点拟合直线与水平X轴的夹角。求最大宽度为字符检测上边从顶边至第一个峰下降点扫描从底边至最后一个峰的上升点扫描找第一个为1的点标示出图像大小程序流程图线性拟合，计算与x夹角：fresult = fit(xdata,ydata,poly1); %poly1表示一介拟合，Y = p1*x+p2p1=fresult.p1;angle=atan(fresult.p1)*180/pi; %弧度换为度，360/2pi, pi=3.14旋转车牌图象：subcol= imrotate(subcol1,angle,bilinear,crop); %旋转车牌图象sbw = imrotate(sbw1,angle,bilinear,crop);%旋转图像figure,subplot(2,1,1),imshow(subcol);title(车牌灰度子图);%输出车牌旋转后的灰度图像标题显示车牌灰度子图subplot(2,1,2),imshow(sbw);title();%输出车牌旋转后的灰度图像title(车牌旋转角: ,num2str(angle),度 ,Color,r);%显示车牌的旋转角度 图 3-17 旋转后的灰度图像和旋转角度 （5）旋转车牌后重新计算车牌水平投影，去掉车牌水平边框，获取字符高度:histcol1=sum(sbw); %计算垂直投影histrow=sum(sbw); %计算水平投影figure,subplot(2,1,1),bar(histcol1);title(垂直投影（旋转后）);subplot(2,1,2),bar(histrow); title(水平投影（旋转后）); 图 3-18 垂直投影（旋转后）和水平投影（旋转后）figure,subplot(2,1,1),bar(histrow); title(水平投影（旋转后）);subplot(2,1,2),imshow(sbw);title(车牌二值子图（旋转后）); 图 3-19 水平投影（旋转后）和车牌二值子图（旋转后） （6）去水平（上下）边框,获取字符高度: a.通过以上水平投影、垂直投影分析计算，获得了车牌字符高度、字符顶行与尾字符宽度、每个字符的中心位置，为提取分割字符具备了条。maxhight=max(markrow2);findc=find(markrow