毕业论文-车牌识别系统设计（完稿）.doc

兰州交通大学毕业设计（论文）摘 要随着交通拥挤和堵塞等各种问题的日益突出，以及计算机技术的不断发展，智能交通系统得到了越来越广泛的应用，尤其在欧、美等发达国家，而在我国的应用尚处于探索研究的起步阶段。车辆的自动识别是ITS的重要组成部分，可用于各类车辆管理场所，特别是高速公路智能控制，提高管理效率和水平，节省人力，物力，实现车辆管理的科学化，规范化。本论文在分析了各种车辆车牌信息特征的基础上，应用图像处理技术，包括汽车图像预处理，车牌定位，车牌图像分割和字符识别等，设计并实现了一个原始的车牌识别系统的仿真。 首先对摄像机采集的图像进行去除背景的运算以获取车辆图像，随后的工作是图像的预处理、特征提取、车牌图像分割、字符识别，以达到车牌识别的目的。图像的预处理中首先用加权平均值法对图像进行灰度化处理，然后灰度值线性展宽，用中值滤波消除噪音，用Canny算子进行边缘检测。车牌定位时采用混合特征的多车牌快速定位方法。用改进的Otsu法进行二值化；采用模板匹配的方法进行识别。关键字：图像预处理；车牌定位；车牌图像分割；字符识别ABSTRACTWith the increasing problems in traffic management, the development of computer technology has made the intelligent transportation system more and more applied. ITS have been widely applied in advanced country such as Europe and America. But in our country, the application of it is in research phase. Automatic identification and tracking of vehicles is an important part of ITS. This thesis analyzes various types of vehicle identification technology, and uses Image processing and pattern recognition technology to complete vehicle identification.” Classification of the Toll for High ways adopted in this dissertation as the vehicle classification standard.First, the vehicle image was extracted from camera image after removing the background. Then this dissertation describes image pretreatment, feature extraction and pattern recognition algorithm, finally the type of the vehicle was obtained.In the image preprocessing, using method of weighted average process image gray value, then using method of linear broaden process grey value, with a median filter eliminate noise, with Canny operator on edge detection; License plate localization based on hybrid features used more license plate quick location methods; With the improvement of OTSU method; Using the template matching method for identification.Keywords：Image preprocessing; license plate location; license plate image segmentation; character recognitionIV目 录1. 绪论11.1 课题的研究背景11.2 车牌识别系统研究目的及意义21.3 车牌识别系统的结构和工作原理31.4 车牌识别技术的国内外研究现状42. 车牌图像预处理62.1 图像的灰度化72.2 灰度图像增强82.2.1 线性灰度变换82.2.2 分段线性变换92.3 图像中值滤波112.4 图像边缘检测112.4.1 Roberts边缘算子122.4.2 Sobel边缘算子122.4.3 Prewitt边缘算子122.4.4 Log边缘算子132.4.5 Canny边缘算子143. 车牌区域定位193.1 基于灰度图像的车牌定位方法193.2 基于混合特征的多车牌快速定位方法213.3 车辆图像二值化243.3.1.理论基础243.3.2本文采用的改进的Otsu法264. 字符分割284.1 引言284.2 常见的字符分割方法285. 车牌字符识别315.1 模板匹配原理315.2 基于模板匹配识别方法的字符识别326. 结果分析33致 谢36参考文献371 绪论车牌自动识别系统是智能交通系统的重要组成部分。从道路桥梁隧道收费到入境管理，车牌识别系统都显得至关重要，它集中了光电、计算机、数据通信、图像处理、计算机视觉、人工智能、模式识别等关键技术，成为智能交通领域中的重要研究课题之一。1.1 课题的研究背景随着我国城市化进程的不断加快，国民经济的进一步发展，汽车数量越来越多，建立一个信息化、智能化、数字化的综合交通管理系统就显得非常重要。目前世界上许多国家都存在交通拥堵严重、交通事故频发等问题，如何缓解交通拥堵，减少交通事故，合理使用现有的道路资源，己成为各国所面临的共同问题。不断恶化的城市交通状况，日益成为制约城市发展的瓶颈。相比于投入巨资一味进行道路基础设施建设，运用各种先进高新技术，充分发挥现有道路资源显得更有效、更实际可行。随着研究的不断深入，智能交通系统(Intelligent Transportation System，简称ITS)己经成为当前交通领域发展的重要方向。ITS就是将计算机技术、数据通信技术、导航定位技术、人工智能技术、自动控制技术、计算机视觉技术、数字图像处理技术、模式识别技术等综合应用于陆地交通管理体系，从而建立起一种准确、高效、实时的现代交通管理系统。随着高速公路的快速发展和车辆管理体制的不断完善，使图像场景日益简单化和标准化，为以图像理解为基础的ITS进入实际应用领域提供了契机。在ITS中，最重要的环节之一就是检测车辆信息，而车辆牌照是车辆的唯一身份标识，于是车牌自动识别系统(License Plate Recogtions system，LPRS)应运而生，它是ITS的重要组成部分，在交通管理方面有着巨大的市场前景及商业价值。目前车牌自动识别技术主要有:数字图像处理技术、条形码识别技术、IC卡识别技术、射频识别技术、模式识别技术1。其中条形码识别技术、IC卡识别技术和射频识别技术都要求预先在车身上印刷条形码或安装标识卡，因此，这三种技术在全国范围内推广有一定的困难。而LPRS是基于数字图像处理技术的识别系统，因此它具有广泛的应用前景，其应用场合包括：高速公路、桥梁、隧道等自动收费管理系统；高速公路、国道、省道、城市道路及城市出入口监控；智能交通违章监摄管理(电子警察)；机场、港口等出入口车辆的管理；公共汽车停车场的车队管理；车辆保安管理及监控系统；住宅小区及企事业单位出入口；停车场的出入口管理及保安系统；车辆安全防盗、查堵指定车辆；肇事车辆、被盗车辆、犯罪车辆的辨识和拦截；交通流量检测等2。LPRS本身是一个相对独立的子系统，主要包括图像采集、图像预处理、车牌定位、车牌字符分割、字符识别等工作模块，它同时应具有良好的稳定性、可维护性和可扩展性。1.2 车牌识别系统研究目的及意义车牌识别系统的主要任务是分析和处理摄取到的复杂背景下的车辆图像，定位分割牌照，最后自动识别汽车牌照上的字符，LPR是利用车辆牌照的唯一性来识别和统计车辆，它是以数字图像处理、模式识别、计算机视觉等技术为基础的智能识别系统3。在现代化交通发展中车牌识别系统是制约交通系统智能化、现代化的重要因素，LPR系统应该能够从一幅图像中自动提取车辆图像，自动分割牌照图像，对字符进行正确识别，从而降低交通管理工作的复杂度。车牌识别系统将获取的车辆图像进行一系列的处理后，以字符串的形式输出结果，这样不但数据量小，便于存储，操作起来也更容易，因此LPR系统的便捷性是人工车牌识别所不能比拟的，它蕴藏着很大的经济价值和发展空间，对LPR技术的研究是非常有的意义的4。在车牌识别系统中最为重要的两个技术是车牌定位和车牌字符识别，这两个技术的好坏直接影响到整个车牌识别系统的实时性和准确性。国内外己有不少学者对车牌定位技术做了大量的研究，但在实际的应用中还没有一个有效可行的方法，如由于车辆抖动造成车牌图像的歪斜、由于污迹和磨损造成车牌字符的模糊、由于光照不均造成车牌图像的模糊等都会或多或少影响到车牌定位的准确度。针对以上实际情况，很多学者开始在鉴于车牌图像本身特征的基础上研究车牌定位技术，并先后提出了一些有效的定位方法，以减小种种主、客观因素对车牌定位准确度的影响5。然而智能交通的不断发展使得对车牌定位系统有了更高的要求，主要表现在系统的实时性和准确性。车牌字符识别的实质是对车牌上的汉字、字母和数字进行快速准确的识别并以字符串的形式输出识别结果，字符识别技术是整个车牌识别系统的关键。车牌识别系统与其它图像识别系统相比较而言要复杂的多，在字符识别中，汉字识别是最难也是最关键的部分，很多国外较为成熟的车牌识别系统无法进入中国市场的原因就在于无法有效的识别汉字6。此外，由于外界环境的影响，系统必须保证能够在任何天气情况下全天不间断的正常工作。到目前为止，在众多的车牌自动识别方法中还没有一个可以达到理想的效果，因此对车牌识别技术的研究意义重大。1.3 车牌识别系统的结构和工作原理车牌识别技术的任务是处理、分析摄取的车辆图像，实现车牌号码的自动识别5。典型的车辆牌照识别系统是由图像采集系统、中央处理器、识别系统组成，一般还要连接相应的数据库以完成特定的功能。当系统发现(通过埋地线圈或者光束检测)有车通过时，则发出信号给图像采集系统，然后采集系统将得到的图像输入识别系统进行识别，其识别结果应该是文本格式的车牌号码。区域搜索与分割预处理图像输入单字识别字符特征提取归一化字符分割图1-1 车牌识别别系统原理图车牌整体识别过程大体可分为四个步骤:图像预处理、车牌定位和分割、车牌字符分割和车牌字符识别。图像预处理图像采集车牌定位分割车牌字符分割车牌字符识别图1-2 别流程图 图像预处理，在外界光照不均匀，光照强度不稳定的情况下，通过摄像机采集到的车牌原始图像会模糊不清，因此需要对其进行图像增强的处理；在外界环境噪声以及电子器件自身产生的噪声干扰下，车牌图像质量会有所下降，因此需要对原图像进行去噪处理；当摄像头摆放位置与车辆牌照悬挂位置存在一定角度，或者在摄像头进行拍摄的过程中，由于车辆发动机的震动导致摄像头抖动从而使摄取到的车牌图像具有一定程度的倾斜，因此需要对车牌图像进行倾斜矫正等等。以上所做的这些处理均属于图像预处理的工作。 车牌定位分割，在一张完整的车辆图像中，大部分区域都是背景图像，对识别工作毫无意义，我们可以将背景区域视为无用区域，并设法将其去除，即从复杂的背景图像中准确的定位并分割出车牌区域图像，从原图像中提取出需要的部分舍弃不需要的部分，以便节省系统识别时间，这也是车牌定位分割的目的及意义所在。在定位分割的过程中要保证不能把非车牌区域误判为车牌区域，也不能漏检车牌区域，否则后继的工作将无法进行。 车牌字符分割，被分离出的车牌区域图像，系统并不能直接对其进行识别，还需要将车牌上的每一个字符都独立的完整的分割出来，即从车牌区域图像中将车牌上所包含的每一个字符都切分出来，使其成为不具有任何相关性的单个字符图像，再由系统分别对每个字符进行识别，在对字符进行切分时，要注意保证每个字符的完整度。 字符识别:车牌字符识别是系统的最后一个步骤，也是最为关键的一步，前面对车牌图像所做的处理都是为了完成最终的识别。系统输入的是单个的字符图像，输出的却是文本格式的完整的车牌号码，车牌字符识别的准确率直接反映出车牌识别系统性能的好坏。对于车牌识别系统而言，以上的每一个步骤都是必不可少的，并且后一步骤均是建立在前面步骤的基础之上进行的，因此，只有确保做好每一步才能顺利完成系统最终的识别工作。1.4 车牌识别技术的国内外研究现状车牌自动识别系统的研究，国外最早出现于20世纪80年代，但这个阶段并没有形成完整的体系。进入20世纪90年代，随着数字图像处理、计算机视觉、模式识别等技术的发展，开始出现了LPRS的系统化研究。Yuntaocu开发的车牌识别系统，在车牌定位后，利用马尔科夫场对车牌进行特征提取和二值化，其重点工作是放在二值化上，最后对其样本的识别达到了较高的识别率。R.mullot开发了一种既可以用于集装箱识别又可以用于车牌识别的统，该系统利用字符纹理特征对车辆图像进行定位和识别。Paolo等开发了一套针对意大利车辆的车牌识别系统，该系统的识别率达到了91%。Tindail开发的车牌识别系统可以识别全部5种英国格式的车牌。Luis开发的针对日本车辆的车牌识别系统的识别率达到了90%以上，天气不好的情况下也达到了70%3。目前国外比较成熟的车牌识别系统产品有:以色列Hi-Tech公司的See/Car System系列，新加坡Optasia公司的VLPRS系列，英国Racal Messenger Ltd公司的Talon LPRS，英国Alphatech公司的ARGUS产品，中国香港Asia Vision Technology公司的VECON产品等。其中Hi-Tech公司有多种不同的产品来分别适应某个国家或地区的车牌，See/Car Chinese系列可以对中国大陆的车牌进行识别，但汉字识别率较低。另外，美国、加拿大、德国、日本、意大利、西班牙等发达国家都有适合本国的车牌识别系统。我国在这方面的研究起步比较晚。国内做得比较好的产品有中科院自动化所汉王公司的“汉王眼”，深圳市普利得公司的Plate DSP车牌识别系统，厦门衰天电子科技有限公司的SuP Plate车牌识别系统，除此之外，北京文通公司，沈阳聚德公司，深圳吉通电子公司，上海高德威智能交通系统有限公司，中智交通电子有限公司等也都有自己的产品。另外，清华大学、浙江大学、上海交通大学、西安交通大学、四川大学等科研院所也做过类似的研究。但大多数产品的识别效果不是很理想，尤其是在复杂背景条件下的识别效果不是很理想，这与我国汽车牌照的现状有很大的关系7: 我国大陆车牌由汉字、大写英文字母和数字组成，汉字识别的难度要比英文字母和数字高得多。 国外的车牌底色和字符颜色只有对比度较强的两种颜色(如韩国的车牌底色为红色，字符颜色为白色)，而我国的车牌底色和字符颜色有多种混合颜色的组合形式(如蓝底白字，黄底黑字等)。 由于环境因素(光照、天气等)或人为因素造成的牌照污染严重的车辆，发达国家不允许上路，而我国认可上路行驶。 我国的汽车牌照的悬挂位置不唯一。 国外的车牌格式(如牌照上字符的排列等)通常只有一种，而我国根据不同的车辆、车型、用途规定了多种牌照格式(如分为普通车、军车、警车、教练车、领事馆车等)。我国汽车牌照的特殊性使得我国的车牌识别系统不能照搬国外的模式，并且不能采用单一的识别模式。在LPRS产品的性能指标中，识别率和识别速度往往难以同时提高，其原因是多方面的，如图像处理技术的不够成熟，摄像设备、计算机等的性能限制。但是随着理论研究的不断深入，硬件平台性能的不断提高，以及图像源设备的不断更新，LPRS产品的性能会日趋完善，其在现代交通领域的需求会越来越大。2. 车牌图像预处理本章根据车牌图像的具体情况选择合适的预处理方法，以达到较理想的效果。首先简述数字图像处理的基本概念8，在此基础上再详述本文所采用的预处理方法。一幅图像可以定义为一个二维函数f(x，y)，其中x和y是空间坐标，而f在任意一对坐标(x，y)处的幅度称为该点处的亮度或灰度。当x，y和f的值都是有限的离散值时，称该图像为数字图像。可以用一个MN阵来表示一幅数字图像，在计算机内常用二维数组来表示数字图像的矩阵，其中MN称为图像的分辨率，显然分辨率越高图像就越逼真。一幅大小为MN的图像的矩阵表示形式见式(2-1)所示:f(x,y)= (2-1)数字图像由有限数量的元素组成，每个元素都有一个特殊的位置和数值。而数字图像处理就是用计算机处理数字图，图像处理所涉及的领域广泛，事实上，图像处理和计算机视觉之间并没有明显的界限，但我们可以通过考虑三种类型的计算机化处理来加以划分:低级处理，中级处理和高级处理。低级处理包括原始操作，如降低噪声、对比度增强和图像锐化等。低级处理的特点是其输入与输出均为图像。图像的中级处理涉及诸如分割这样的任务，即把图像分为区域或对象，然后对对象进行描述，以便把它们简化为适合计算机处理的形式，并对单个对象进行分类识别。中级处理的特点是，其输入通常是图像，但输出则是从这些图像中提取的属性(如边缘、轮廓以及单个对象的特性)。最后，高级处理通过执行通常与人类视觉相关的感知函数，来对识别的对象进行总体确认。本文所涉及的数字图像处理包含其输入输出都是图像的过程，从图像中提取特性的过程，以及对单个对象进行识别的过程。为了便于车牌的分割识别，摄像机摄下的原始图像应具有适当的亮度和对比度。但通常经输入系统获取的车牌图像信息由于光照条件、牌照的整洁度、摄像机的状态(焦距、角度和镜头的光学畸变)以及车速的不稳定等因素都会使图像含有各种各样的噪声与畸变。例如由于光照度不均匀造成图像灰度过于集中；由于摄像头获得的图像经过转换、线路传送都会产生噪声污染；车牌的字符部分受到磨损或是被污迹覆盖等等。这些主客观因素不可避免地影响车牌图像的清晰程度，降低图像质量，轻者表现为图像不干净，难以看清细节，重者表现为图像模糊不清、歪斜或缺损，车牌字符边界模糊、细节不清、比划断开、粗细不均等现象。这势必会影响车牌区域分割，降低车牌字符识别的准确度。因此，在对车牌图像进行分析之前，必须要对车牌图像进行预处理。对车牌图像的预处理主要包括以下三个方面: 图像对比度增强。由于车牌识别系统需要全天候工作，自然光照度的昼夜变化会引起车辆图像对比度的严重不足，所以增强图像是很有必要的。 图像去噪。通常得到的汽车图像会有一些污点，为了保证识别的效果，需要对图像进行去噪处理。 倾斜矫正。摄像机的位置、车辆的运动等因素经常使拍摄出来的汽车图像有一定的倾斜，这就需要对图像进行倾斜矫正，或在分割出车牌区域之后对字符倾斜矫正。2.1 图像的灰度化通常情况下，实际的车牌识别系统中由摄像机采集到的原始图像是彩色图像9，所有的彩色图像都是由红(R)、绿(G)、蓝(B)三基色组合而成，在数字图像中每一个基色都被分为256个等级，即0255。由R、G、B三基色不同级别的组合方式，可以计算出一幅彩色数字图像最多可包含2563=16777216种颜色。在灰度图像中R=G=B，因此灰度图像中只有一种灰度颜色，同彩色图像中的三基色一样，灰度色也被分成0255，共256个等级，同理可以计算出一幅灰度图像最多只包含256种颜色。由此可见，一幅彩色图像所包含的信息量远远大于一幅灰度图像，它不仅需要大量的存储空间还需要复杂的图像处理算法，这使得整个车牌识别系统操作时间过长，无法达到其实时性的要求。所以，应将采集到的彩色图像转换成一幅灰度图像，这个过程便是图像的灰度化。令g为转换后灰度图像在某一点的灰度值，R、G、B分别为转换前该点的R、G、B分量。常用的灰度化处理方法有以下三种: 最大值法(Maximum)g=max(R，G，B) (2-2)这种方法处理后灰度图像的亮度会偏高。 平均值法(Average)g= (2-3)这种方法处理后灰度图像的亮度较柔和。 加权平均值法 (Weighted Average)g= (2-4)式（2-4）中，WR、WG、WB分别为R、G、B的权值，当其权值取不同的值时，能够形成不同灰度的灰度图像，由于人眼对绿色的敏感度最高，红色次之，蓝色最低。因此当WG WRWB时，所产生的灰度图像更符合人眼的视觉感受，通常WR=0.9，WG=1.77， WB=0.33时图像的灰度最合理，即g=0.3R+0.59G+0.11B （2-5）式(2-5)中:R表示原图像中每个像素点的红色分量的值，G表示原图像中每个像素点的绿色分量的值，B表示原图像中每个像素点的蓝色分量的值。g表示灰度变换后图像中每个像素点的颜色值。本文使用加权平均值法对彩色汽车图像进行灰度化处理。2.2 灰度图像增强所谓图像增强就是通过将画面上重要的的内容增强突出，同时将不重要的内容进行抑制，以此达到改善画面质量的方法10。灰度拉伸是车牌图像增强的一种基本灰度变换。如果车辆图像灰度集中在较暗的区域而导致图像偏暗，则可以用灰度拉伸功能来拉伸(斜率l)物体灰度空间以改善图像；如果车辆图像灰度集中在较亮的区域而导致图像偏亮，则可用灰度拉伸功能来压缩(斜率1)物体灰度区间以改善图像质量。一般成像系统具有一定的亮度范围，亮度的最大值和最小值之比称为对比度。灰度拉伸的意思就是把感兴趣的灰度范围拉开，使得该范围内的像素，亮的越亮，暗的越暗，从而达到了增强对比度的目的。对灰度化的图像进行对比度拉伸，使图像上边缘更加凸显，这样牌照区域的笔画特征更明显，有益于以后进行的边缘检测。有三种灰度变换。2.2.1 线性灰度变换在曝光不足或过度的情况下，使得图像的灰度值被限制在一个很小的范围，这时人们看到的将是一个模糊不清、似乎没有灰度层次的图像。用一个线性单值函数，对图像内的每一个像素作线性扩展，将有效的改善图像的视觉效果。令原图像f(x，y)的灰度范围为a，b，经过线性灰度变换11后，图像g(x,y)的灰度范围为c,d，如图22所示，大部分像素的灰度级在一个比较小的范围内，或者我们只对灰度级在某一范围内的像素感兴趣。f(x,y)和g(x,y)之间的灰度变换关系如式（26）。 g（x，y）= （2-6） dc0abf(x,y)g（x，y）图2-1 线性灰度变换示意图其中g(x,y)为进行灰度变换后的图像，并且有。从灰度直方图分析，由于，所以对离散图像来说，尽管变换前后像素的个数不变，但是不同像素之间的灰度差变大，改善了图像质量。若图像中大部分像素的灰度级在范围a,b内，少部分像素分布在小于a和大于b的区间内，式（2-6）可以用式（2-7）作变换，但是这种两端截取式的变换使小于灰度级a和大于等于灰度级b的像素分别强行变为c和d，这将会造成小部分图像信息的丢失。g(x,y)= （2-7）2.2.2 分段线性变换在图像处理过程中，需要突出图像中某个灰度范围内的图像细节，同时又允许适当损失另外灰度范围内的图像细节，可以采用线性灰度变换的另一种形式，即分段线性变换12。经过这种变换以后，可以使得所关心的图像细节的灰度范围得以扩展，增强其对比度；同时又使得所不关心的图像细节所处的灰度范围得以压缩，降低其对比度。这种分段性变换，变换前后整幅图像总的灰度范围不变。三段分段线性变换的数学表达式和示意图如式（2-8）和图2-2。g(x,y)= （2-8）dc0abf(x,y)nmg(x,y)图2-2 分段线性灰度变换示意图式中对灰度范围a,b进行了灰度扩展，而对灰度范围0,a和b,m进行了压缩。通过调整折线点的位置和分段直线的斜率，可以对任意灰度范围进行扩展或压缩。通常，车牌的位置在车头下部，属于低灰度级范围，而车头上部及背景中一些区域一般较亮，属于高灰度级范围。为了突出牌照的灰度细节，抑制高灰度级区域，本文采用灰度分段线性变换，根据需要，拉伸特征物体的灰度细节，相对抑制不感兴趣的灰度级，从而增强图像对比度。通过以往实验，我们发现车牌图像的灰度取值范围大多局限在(30,200)之间，而且总体上灰度偏低，图像较暗，将灰度范围扩展到（0,255）之间是比较理想的。下图为利用分段线性展宽处理前后的图像：图2-3 均衡前后灰度直方图2.3 图像中值滤波中值滤波13是一种非线性的滤波技术，由于实际计算过程并不需要图像的统计特性，所以比较方便。它是基于图像的这一特性：噪声往往以孤立的点的形式出现，这些点对应的像素很少，而图像由像素较多，面积较大的小块构成。在一定条件下可以克服线性滤波器所带来的图像细节性模糊，而且对滤波脉冲及图像的扫描噪声比较有效。中值滤波原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代替。设一个一维序列f1，f2fn。取窗口长度为奇数m（m为其数），对此序列进行中值滤波，就是从输入序列中抽取m个数，fi-v，fi，fi+v，其中fi是窗口的中心值，v=(m-1)/2，再将这m个点的数值按数值大小排列，取其序号为正中间的那个数为滤波器输出。中值滤波表达式为：Yi=Med ， ， v=(m-1)/2 （2-10）对数字图像进行滤波，实质上就是对二维序列Xmn的中值滤波，滤波窗口也是二维的，用一个活动窗口W在图像上进扫描，把窗口内包含的图像像素按灰度级升（或降）序排列起来，取灰度值居中的像素灰度为窗口的中心像素的灰度(若窗口中有偶数个像素，则取两个中间值的平均)，用公式表示为：X(m,n)=Me （2-11）本课题采用33的矩形窗（共9个像素），结果表明通过中值滤波可以很好的消除孤立噪声点的干扰，还可以有效地保护边界信息。中值滤波后中值滤波前图2-4 中值滤波前后图2.4 图像边缘检测边缘检测的实质是采用某种算法来提取出图像中对象与背景间的交界线。我们将边缘定义为图像中灰度发生急剧变化的区域边界。图像灰度的变化情况可以用图像灰度分布的梯度来反映，因此我们可以用局部图像微分技术来获得边缘检测算子。经典的边界提取技术大都基于微分运算。首先通过平滑来滤除图像中的噪声，然后进行一阶微分或二阶微分运算，求得梯度最大值或二阶导数的过零点，最后选取适当的阈值来提取边界。2.4.1 Roberts边缘算子Roberts算子是一种利用局部差分算子寻找边缘的算子，由式式（2-12）给出。g(x,y)=-+- （2-12）其中f(x,y)是具有整数像素坐标的输入图像，平方根运算使该处理类似于在人类视觉系统中发生的过程。Roberts算子边缘定位准，但是对噪声敏感。适用于边缘明显而且噪声较少的图像分割，在应用中经常用Roberts算子来提取道路。2.4.2 Sobel边缘算子Sobel边缘算子的卷积和如图2-5所示，图像中的每个像素都用这两个核做卷积。这两个核分别对垂直边缘和水平边缘响应最大，两个卷积的最大值作为该点的输出位。运算结果是一幅边缘幅度图像。-1-2-1000121-101-202-101图2-5 Sobel边缘算子 Sobel算子认为邻域的像素对当前像素产生的影响不是等价的，所以距离不同的像素具有不同的权值，对算子结果产生的影响也不同。一般来说，距离越大，产生的影响越小。2.4.3 Prewitt边缘算子Prewitt边缘算子的卷积和如图2-6所示，图像中的每个像素都用这两个核做卷积，取最大值作为输出，也产生一幅边缘幅度图像。-1-1-1000111 图2-6 Prewitt边缘算子10-110-110-1 Prewitt算子在一个方向求微分，而在另一个方向求平均，因而对噪声相对不敏感，有抑制噪声作用。但是像素平均相当于对图像的低通滤波，所以Prewitt算子对边缘的定位不如Roberts算子。2.4.4 Log边缘算子现在介绍一种利用图像强度二阶导数的零交叉点来求边缘点的算法对噪声十分敏感，所以在边缘增强前滤除噪声。为此，马尔（Marr）和希尔得勒斯（Hildreth）根据人类视觉特性提出了一种边缘检测的方法，该方法将高斯滤波和拉普拉斯检测算子结合在一起进行边缘检测的方法，故称为Log（Laplacian of Gassian）算法。也称之为拉普拉斯高斯算法。该算法的主要思路和步骤如下：（1）滤波：首先对图像f(x,y)进行平滑滤波，其滤波函数根据人类视觉特性选为高斯函数，即： （2-13）其中，G（x，y）是一个圆对称函数，其平滑的作用是可通过来控制的。将图像与进行卷积，可以得到一个平滑的图像，即： （2-14）（2）增强：对平滑图像进行拉普拉斯运算，即： （2-15）（3）检测：边缘检测判据是二阶导数的零交叉点（即的点）并对应一阶导数的较大峰值。这种方法的特点是图像首先与高斯滤波器进行卷积，这样既平滑了图像又降低了噪声，孤立的噪声点和较小的结构组织将被滤除。但是由于平滑会造成图像边缘的延伸，因此边缘检测器只考虑那些具有局部梯度最大值的点为边缘点。这一点可以用二阶导数的零交叉点来实现。拉普拉斯函数用二维二阶导数的近似，是因为它是一种无方向算子。在实际应用中为了避免检测出非显著边缘，应选择一阶导数大于某一阈值的零交叉点作为边缘点。由于对平滑图像进行拉普拉斯运算可等效为的拉普拉斯运算与的卷积，故上式变为： = （2-16）式中称为LOG滤波器，其为：= + = （2-17）这样就有两种方法求图像边缘： 先求图像与高斯滤波器的卷积，再求卷积的拉普拉斯的变换，然后再进行过零判断。 求高斯滤波器的拉普拉斯的变换，再求与图像的卷积，然后再进行过零判断。这两种方法在数学上是等价的。上式就是马尔和希尔得勒斯提出的边缘检测算子（简称M-H算子），由于LOG滤波器在空间中的图形与墨西哥草帽形状相似，所以又称为墨西哥草帽算子。拉普拉斯算子对图像中的嗓声相当敏感。而且它常产生双像素宽的边缘，也不能提供边缘方向的信息。高斯-拉普拉斯算子是效果较好的边沿检测器，常用的55模板的高斯-拉普拉斯算子如图2-7所示：00-100-1-20-1-216-10-1-2000-10-2-4-4-2-408-4-482-4-408-4-2-4-4-2图2-7 高斯拉普拉斯算子高斯-拉普拉斯算子把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先平化掉噪声，再进行边缘检测，所以效果更好。2.4.5 Canny边缘算子检测阶跃边缘的基本思想是在图像中找出具有局部最大梯度幅值的像素点。图像边缘检测必须满足两个条件：一是必须能有效地抑制噪声；二是必须尽量精确确定边缘的位置。既要提高边缘检测算子对边缘的敏感性，同时也提高了对噪声的敏感。 Canny边缘检测基本原理： 具有既能滤去噪声又保持边缘特性的边缘检测最优滤波器，其采用一阶微分滤波器。采用二维高斯函数的任意方向上的一阶方向导数为噪声滤波器，通过与图像卷积进行滤波；然后对滤波后的图像寻找图像梯度的局部最大值，以此来确定图像边缘。根据对信噪比与定位乘积进行测度，得到最优化逼近算子。这就是Canny边缘检测算子。 类似与Marr（LOG）边缘检测方法，也属于先平滑后求导数的方法。 Canny边缘检测算法：step1:用高斯滤波器平滑图象；step2:用一阶偏导的有限差分来计算梯度的幅值和方向；step3:对梯度幅值进行非极大值抑制；step4:用双阈值算法检测和连接边缘。其数学描述如下：step1:二维为高斯函数为：= （2-18） 在某一方向n上是的一阶方向导数为：=nn=，= （2-19）式中：n式方向矢量，是梯度矢量。将图像与作卷积，同时改变n的方向，*取得最大值时的n就是正交于检测边缘的方向。step2: =，=* （2-20）=， （2-21）反映了图像(x,y)点处的边缘强度，是图像(x,y)点处的法向矢量。step3:仅仅得到全局的梯度并不足以确定边缘，因此为确定边缘，必须保留局部梯度最大的点，而抑制非极大值（non-Maxima suppression，NMS）。解决方法：利用梯度的方向。 图2-8 非极大值抑制四个扇区的标号为0到3，对应33邻域的四种可能组合。在每一点上，邻域的中心像素M与沿着梯度线的两个像素相比。如果M的梯度值不比沿梯度线的两个相邻像素梯度值大，则令M=0。step4:减少假边缘段数量的典型方法是对G(x,y)使用一个阈值。将低于阈值的所有值赋零值。但问题是如何选取阈值？解决方法：双阈值算法进行边缘判别和连接边缘。 首先是边缘判别：凡是边缘强度大于高阈值的一定是边缘点；凡是边缘强度小于低阈值的一定不是边缘点；如果边缘强度大于低阈值又小于高阈值，则看这个像素的邻接像素中有没有超过高阈值的边缘点，如果有，它就是边缘点，如果没有，它就不是边缘点。 其次是连接边缘：双阈值算法对非极大值抑制图像作用两个阈值1和2，且212，从而可以得到两个阈值边缘图像G1(x,y)和G2(x,y)。由于G2(x,y)使用高阈值得到，因而含有很少的假边缘，但有间断(不闭合)。双阈值法要在G2(x,y)中把边缘连接成轮廓，当到达轮廓的端点时，该算法就在G1(x,y)的8邻点位置寻找可以连接到轮廓上的边缘，这样，算法不断地在G1(x,y)中收集边缘，直到将G1(x,y)连接起来为止。实际上，还有别的边缘点判别方法，将边缘的梯度分为四种：水平、竖直、45度方向、135度方向。各个方向用不同的邻接像素进行比较，以决定局部极大值。若某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比并不是最大的，那么将该像素置为零，即不是边缘。此外，在实际应用中，检测效果还与滤波模板大小有关，当时有较好的检测效果。Canny算子检测方法的优点：低误码率，很少把边缘点误认为非边缘点；高定位精度，即精确地把边缘点定位在灰度变化最大的像素上；抑制虚假边缘。在这几种算法中除Roberts算子外都使用了图像模板，模板运算是图像的一种处理手段邻域处理，有许多图像增强效果都可以采用模板运算实现，如平滑效果，中值滤波，油画效果，图像的凹凸效果等等。在模板运算中，首先定义一个模板，模板的大小以33的较常见，也有22，55或更大尺寸的。运算时，把模板中心对应到图像的每一个像素位置，然后按照模板对应的公式对中心像素和它周围的像素进行数学运算，算出的结果作为输出图像对应像素点的值。这些经典的边缘提取算子，虽然各自不同，有不同的长处，但是它们也有共同的特点:每种算子对应的预定义的边缘是它们最适合使用的情形，也就是说它们有针对性。这一点在应用中是有优越性的，它们的针对性可以帮助我们完成特定的任务。同时这也是算子的局限性，对于一般的问题或者情况未知的问题，预定义边缘的方法可能不会达到最佳效果。由图2-9可以看出Canny算子的边缘检测效果更好。Canny算子具有既能滤去噪声又保持边缘特性的边缘检测的特性。采用二维高斯函数的任意方向上的一阶方向导数为噪声滤波器，通过与图像卷积进行滤波，然后对滤波后的图像寻找图像梯度的局部最大值，以此来确定图像边缘。根据对信噪比与定位乘积进行测度，得到最优化逼近算子。本课题采用Canny算子的边缘检测效。Prewitt算子检测Robert算子检测Log算子检测Sobel算子检测Canny算子检测图2-9 边缘检测图像3. 车牌区域定位3.1 基于灰度图像的车牌定位方法在车牌定位技术发展的初期，由于过分依赖计算机运算速度和内存大小的制约，兼顾定位系统的实用、便捷性，该技术主要是基于灰度图像进行处理，也是传统的图像处理方法与车牌特征的有机结合。经过长期的研究与改进，现如今仍有大量学者沿袭该方法进行车辆牌照的快速定位研究，取得了一定的成果，目前涉及较多的定位方法主要有如下几种。 基于数学形态学的定位方法数学形态学的基础是集合，用来表示以形态为基础对图像进行几何形态描述和分析的数学工具，在处理方法上，主要利用集合论的方法来定量描述图像的几何结构。近年来，随着数字图像处理领域和机器视觉领域的发展，与数学形态学有机的融合使得该方法得到了广泛发展和应用。数学形态学方法的主要思想是通过一种具有一定形态的结构元素去收集图像信息，这种自定义的结构元素可携带大小、形态等知识，以便度量和提取图像对应的结构特点和形状信息，从而实现对图像的分析，该结构元素通常被形象的称为“探针”。数学形态学最基本的运算是腐蚀、膨胀、开启和闭合运算，其中膨胀是腐蚀运算的对偶运算，开启运算就是先对图像进行腐蚀，然后对腐蚀的结果进行膨胀操作，闭合运算又是开启运算的对偶运算，即先对图像进行膨胀，然后再作腐蚀处理。基于数学形态学方法的车牌定位技术一般情况下通常先把待处理图像转换为灰度图像，进行必要的灰度均衡处理后，继而转换成二值图像，然后定义一个结构元素对二值图像进行膨胀运算，使车牌区域的像素点连接起来后，再对处理后的图像进行腐蚀运算，这样可以去除噪声，去噪的过程较之传统点滤波的方法也优越许多，点滤波的缺陷就是不能保证每一个噪声点都满足给定的判定条件，而此处只需要噪声块中单点满足判定条件，即可消除整个噪声块。最后，便可以通过边缘特征分析等方法提取出车牌区域。这样处理后有可能会产生伪车牌区域，此时就需要一些车牌的先验知识进行伪车牌区域的去除。 基于小波分析的定位方法小波分析是当前应用数学和工程学科中一个迅速发展的新领域，是应用数学的重要分支，自上世纪八十年代后期发展至今，重要的数学形式化体系已经建立，与此同时，理论基础也更加扎实，逐步演变成一种应用于图像处理的重要分析工具，它是一种时间窗和频率窗均可改变的时频局部化分析方法。小波分析的应用领域相当广泛，包括数学领域的许多学科、军事电子对抗与武器的智能化、量子力学与理论物理、音乐与语言的人工合成、信号分析与图像处理、计算机分类与识别、地震勘探数据处理、医学成像与诊断以及大型机械的故障诊断等方面，小波分析的主体思想是将原始信号平移或伸缩后分解为一系列子带信号，这些子带信号具有不同频率特性、方向特性和不同空间分辨率，同时还具有良好的时域、频域等局部特征，这样，研究对象有原来的原始信号转换到新生成的一系列子带信号中来，因为原始信号的局部特征恰好能用这些分解后得到的子带信号特征来表示，从而实现对信号时间、频率的局部化分析，木节主要介绍小波分析方法在车牌定位系统中的应用。小波分析又被称之为数学显微镜，因为其局部化分析结果在低频部分，具有频率分辨率较高和时间分辨率较低的特点，高频部分同样具有与之相对应的特点。小波分析的多分辨率特性可以在不同的分辨率层次上对图像进行分割，使小波分解系数在不同方向的高频子波系数具备不同的特征，其多尺度分解特性实际上更加符合人类的视觉机制。方向小波可以反映图像在不同分辨率上沿某一方向变化的情况，在低分辨率层次上进行粗分割，借助计算量较小的优势比较适合定位目标的大致轮廓，而在较高分辨率上实现精细分割，前者的分割结果可对进一步处理提供指导。我们利用小波变换进行车牌定位的具体方法通常是先对待处理图像进行多尺度小波变换，求出各尺度下梯度方向和梯度矢量模，然后根据设定的规则进行多尺度匹配，重构图像的边缘模型，最后根据所得边缘信息结合其他方法，如配合数学形态学算子从而实现车牌的准确定位。基于小波分析的定位方法，弥补了传统边缘检测算法的不足，提供较高边缘定位精度的同时，还有效的抑制了噪声的影