车牌图像识别应用技术研究

PAGE46摘要车牌图像识别技术以计算机视觉、人工智能和模式识别理论为基础，是实现交通管理智能化的一个重要组成部分。由于在实际使用场合中，所采集图像的内容和质量的变化非常复杂，给车牌图像识别技术的应用和发展带来了很大的困难。本文围绕着开放或半开放采集环境中的车牌图像特点，对车牌图像自动识别系统中的三个方面的关键技术——车牌区域定位技术、车牌字符切分技术和车牌字符特征提取和分类识别技术——进行了研究。主要完成了以下几个方面的工作：1、对于二值化、边缘检测、同态滤波、数学形态学处理、直方图变换和几何畸变校正等图像处理方法在车牌图像识别技术中的应用特点进行了分析和总结；设计出一种基于Canny边缘检测寻找目标对象特征点，再对特征点的灰度像素值分析判断来确定阈值的车牌字符图像二值化方法，可以满足本文对车牌字符特征提取时预处理的要求。2、对于现有的车牌区域定位方法进行了分析研究；在此基础上，设计实现了一种基于多方向边缘提取和数学形态学处理的车牌区域定位方法。采用这种方法能在一定程度上解决车牌定位依据的共性特征信息选择的问题。3、在分析研究现有车牌字符切分方法的基础上，提出了一种基于Canny边缘检测的车牌字符切分方法，并对其可行性进行了实验验证。该方法受噪声影响小，对字符定位准确，判断决策方法简单。4、分析研究了现有的车牌字符特征提取和分类识别的方法，设计出一种车牌字符分类识别的方案。方案考虑了汉字、英文字母和阿拉伯数字的不同特点，分别提取汉字、字母和数字的分类特征，并选择不同的分类识别方法。关键词：车牌定位、字符切分、特征提取、模式识别

目录第一章绪论11.1车牌图像识别技术应用现状11.2车牌图像识别技术研究现状21.3本文研究的主要内容4第二章车牌图像识别中的常用图像处理技术72.1图像二值化技术72.2图像边缘检测技术102.3同态滤波13数学形态学142.5图像灰度直方图变换152.6关于车牌图像几何畸变校正问题16第三章车牌区域技术研究183.1车牌区域特征分析183.2现有的一些车牌区域定位方法简要分析193.3基于多方向边缘处理的车牌区域定位方法24第四章车牌字符切分技术研究334.1车牌图像中字符区域及单字符图像特征分析334.2现有的一些车牌字符切分方法分析334.3基于Canny边缘检测的车牌字符切分方法35第五章车牌字符分类识别技术研究415.1字符图像的前期处理415.2字符分类识别特征及其提取方法415.3现有的一些分类识别方法分析445.4车牌字符分类识别方案的设计48第六章结论及建议506.1结论506.2建议50参考文献52

插图清单图2.1二值化效果评价 7图2.2Otsu算法二值化 9图2.3Bersen算法二值化 9图2.4基于Canny边缘检测的车牌图像二值化 10图2.5不同车牌图像Canny边缘检测效果图 13图2.6同态滤波处理 14图2.7同态滤波对二值化的影响 14图2.8同态滤波对Canny边缘检测的影响 14图3.1原灰度图 27图3.2正西方向边缘 27图3.3西南方向边缘 27图3.4西北方向边缘 27图3.5东南方向边缘 28图3.6四个方向边缘合成图 28图3.7去除小连通区后图 29图3.8车牌粗分割结果 29图3.9开运算后正西方向边缘图 30图3.10开运算后正北方向边缘图 30图3.11四个方向边缘合成图 31图3.12去除小连通区后图 31图3.13车牌区域定位结果 31图4.1原车牌灰度图像 36图4.2Canny算子法检测边缘 37图4.3宽度较大的连通区 37图4.4宽度最大的连通区 37图4.5去除字符上下背景后Canny边缘图 38图4.6闭运算后图 38图4.7可能的字符区置“1” 38图4.8各个字符区域标记 39-PAGE49-绪论1.1车牌图像识别技术应用现状[1][2]2002年，车牌图像识别产品第一次在国内实际应用于交通工程。刚开始主要用于高速公路收费辅助系统以降低交通通行征费收入的流失，后来逐步发展到城市交通、停车场管理、门禁管理等多种应用领域。1、车牌图像识别技术在高速公路领域的应用高速公路是车牌图像识别技术在我国交通工程中最早应用的领域，也是车牌识别产品应用最多的领域。据统计，目前我国车牌识别产品主流供应商(如北京汉王科技、昆明利普视觉、上海高德威、沈阳聚德、北京信路威等公司)的产品有一半左右是应用在此领域。主要用于高速公路收费管理、路径判别、规费征稽、交通数据采集等方面，其中，最常用的是高速公路收费辅助系统。高速公路收费辅助系统：一般是在高速公路入口处进行车牌图像采集、识别，将识别结果写入通行卡(票)或者通过网络传送至各出口站，在车辆到达出口时，再进行一次车牌图像采集、识别，并将识别结果与入口识别结果相比对，以防止或发现倒卡、换卡、换牌等逃费行为。目前的高速公路收费辅助系统中，采用车牌图像识别技术在车牌识别速度指标基本可以满足，但识别结果正确率指标还不是很理想。从一些产品的解决方案来看，实际使用时一般仍然需要人工复核。因此，虽然车牌图像识别技术在这一领域取得了较好的使用效果，但还不能实现真正意义上的智能化收费。2、车牌图像识别技术在城市交通领域的应用随着我国机动车保有量的迅速增加，以及政府对公共安全的日益重视，城市交通监控和管理工作日趋繁重。因此，城市交通领域迫切需要应用一些较可靠、有效的智能化技术手段。目前，车牌图像识别技术已经开始在移动电子警察、城市卡口监控、超速布控报警等城市交通(治安)方面有了一定的应用。其中，最常用的场所是城市卡口监控。城市卡口监控：公安部颁布的城市卡口监控系统部颁标准明确规定了车牌识别是城市卡口监控系统的一个重要组成部分，越来越多的城市公安部门正在积极筹建卡口系统。公安系统设立城市卡口监控点的主要任务是对车辆进行车牌识别，并将识别结果与被盗抢、肇事、在逃、通缉的车辆牌号黑名单进行比对。移动电子警察：移动电子警察现在逐渐应用到交警日常工作中，采用移动电子警察技术可以灵活地对非固定监控点的交通违章和事故进行取证处理，不仅提高了警察执法效率，而且增强了执法的公正性。在城市卡口监控、移动电子警察方面，对车牌图像识别技术在车牌识别结果的正确率指标的要求比较高，否则将给执法工作带来很大的麻烦。目前的车牌图像识别产品在这方面尚不够理想，因此一般也是作为一种辅助手段，还不能实现真正意义上的智能化。3、车牌图像识别技术在停车场收费管理系统中的应用停车场收费管理系统：用于对出入车辆号牌识别和匹配，实现自动计时、计费管理。由于停车管理日益成为城市交通管理中一个严重问题，人们对停车管理的智能化呼声日渐高涨，通过车牌识别系统可以构建一个智能的停车管理系统，因此，在大中城市的商场、写字楼有很大的市场潜力。停车场收费管理系统对车牌图像识别技术在车牌识别结果的正确率指标的要求也非常高，目前的车牌图像识别产品在这方面也不够理想，一般也需要人工干预。此外，车牌图像识别技术超速抓拍、门禁管理等方面也有一定的应用，但与前述三个方面的应用一样，还存在着一些问题有待于解决。其中，车牌识别正确率是目前车牌识别产品中存在的最主要的问题，也是国内主流厂商最为头疼的问题。各个厂商所声称的识别正确率一般在95%左右，与真正智能化的要求还有一定的距离。而且由于并没有建立一个标准规范的测试体系，因此有关数据的客观公正性、可比性和可靠性等方面尚值得商榷。由于各个厂商对其使用的车牌图像识别技术都是不公开的，我们很难了解其中采用的三个方面的关键技术(车牌区域定位、单个字符区域切分、字符分类识别)中使用的具体方法，因此很难具体评价其方法的优劣。但通过各个厂商在其有关网站提供的信息和对两家厂商提供的测试软件进行一定数量样本的测试后，可以发现，各个厂商声称的车牌识别正确率往往是通过对特定场所、特定时间范围内的样本进行测试而得出的结论。也就是说，所采用的车牌图像识别技术往往还在一定程度上要依赖待识别图像具体的采集环境和采集方式等因素。如果这些因素变动时，就可能要根据具体的样本、通过一定的分析学习过程以确定和修改使用的有关参数，才可能获得较好的识别效果，否则其识别正确率可能不会很理想。由此可以推断，目前的车牌图像识别产品对于不同使用环境的适应性还不是特别理想，其原因主要是关键技术对于不同背景和不同自然条件下所采集图像的适应性还不是很好,会导致车牌识别产品软件的通用性还不是太好，往往需要在现场采集大量样本分析测试，并且要修改相应参数甚至方法，使得施工周期往往较长，识别结果的可靠性往往也不能让人完全放心。1.2车牌图像识别技术研究现状上世纪90年代中后期开始，随着数字图像处理基础理论的不断发展和视频处理技术、电子技术及计算机信息技术的迅速进步，国内从事车牌图像识别技术研发的厂商和研究人员增长迅速，提出了大量的关键技术算法，实际应用中也取得了一定的成果。有关研究大多围绕车牌图像识别的三大关键技术(车牌区域定位、单个字符区域切分、字符分类识别)进行。通过对有关资源数据库中1998年—2006年在各类期刊上公开发表的约380篇相关论文的统计，发现有关车牌区域定位的内容占50%以上。这在一定程度上反映了车牌定位技术的重要地位，也一定程度上反映出目前这方面尚有不尽人意之处。相关论文中提出了很多车牌图像处理、分割、分析、识别的算法，主要利用较经典的图像空间变换、智能计算和数据挖掘理论，并在一定程度上进行了实验论证。在车牌区域定位方面，公开资料中提出的方法主要有：基于神经网络分类器的车牌区域定位方法、基于彩色图像特征的车牌区域定位方法、基于纹理检测和边缘检测的车牌区域定位方法、基于区域的车牌区域定位方法、基于几何形状特征的车牌区域定位方法、基于离散图像空间变换的车牌区域定位方法、基于离散图像空间变换的车牌区域定位方法、基于遗传算法的车牌区域定位方法等。在车牌字符切分方面，公开资料中提出的方法主要有：基于二值(灰度)图像水平(垂直)投影分布的车牌字符的切分方基于二值图像字符区域上下轮廓分布的车牌字符切分方法、基于模板匹配的车牌字符切分方法、基于聚类分析的车牌字符切分方法、基于车牌二值图像字符连通性的字符切分方法、基于颜色分类的车牌字符切分方法等。在车牌字符分类识别时的特征选择和提取方面，公开资料中利用的字符分类特征主要有：以二值图像中字符的笔画像素分布为基础的字符特征(主要包括四周边特征、粗网格特征、投影特征等)、以二值图像字符轮廓、骨架为基础的字符特征(包括字符笔画方向线素特征、汉字结构特征点特征等)、基于灰度图像小波变换的字符特征(包括小波系数特征、小波矩特征和小波能量特征)。在车牌字符分类器设计方面，公开资料中提出的分类器主要有：神经网络分类器(包括BP神经网络、SOFM网络等)、模板匹配分类器、基于概率统计的Bayes分类器、几何分类器等。上述方法的提出，为本文的有关研究提供了重要的参考和对照，在本文的第三章、第四章和第五章中进行了相应的分析。有关研究也存在一些不足之处，主要表现在以下几个方面：1、一些方法对实际应用特点考虑的还不够全面实际应用中，车牌识别产品大多是在开放或半开放的场所使用，车牌图像的采集往往是在不同的时空进行，因而图像中车牌的有关特征一般来说不太稳定，表现比较复杂。一些方法中要求的图像的特征(比如，要求图像中车牌区域大小一致，或者要求车牌图像字符位置固定等)在目前的图像实际采集时可能还难以满足，方法的实用性也就难免存有一定的疑问。此外，由于一些客观因素的影响，对于有关方法实验验证时，难以获得足够数量的具有广泛代表性图像样本，实验结果的说服力还不够充分。2、对与车牌图像识别关键技术相关领域的研究还存在一定的困难由于一些客观的原因，有关研究工作往往是局限于车牌图像识别关键技术本身的设计方案和算法。但在实际应用中发现，车牌图像识别关键技术还与其它一些因素有密不可分的关系。比如，国家车牌标准、车牌图像采集标准、有关测试规范的统一以及有关的执法管理工作等方面的因素，都直接或间接地影响着车牌图像识别关键技术采用的方案和算法的选择和实际应用效果。而目前这些方面的研究还比较困难，有待于进一步加强。1.3本文研究的主要内容车牌区域定位、单个字符区域切分和字符分类识别作为车牌图像识别系统的三个关键技术，同时又是一个有机的整体。关键技术水平的高低，决定了一个车牌图像识别产品性能的优劣，在某种程度上也决定着车牌识别技术的应用前景。对于92式普通民用车牌，识别的基本过程如下：原始图像→车牌定位→字符切分→识别第一个字符→…→识别第七个字符上述过程可以看作是一个三个方面九个环节组成的链式结构，根据概率论的原理，对于三个关键技术可靠性的要求极高。从某种程度上讲，意味着要完全可靠。而由于实际应用场合，原始图像几乎都是在开放或半开放的环境中进行采集的，天气变化、光线变化、摄像机与车牌不同的相对位置以及图像采集现场不同的景物背景等因素，都直接或间接地影响着图像的内容和质量，从而会影响相关方案的选择。因此，如何保证车牌识别结果的可靠性，是一项十分艰巨的任务。本文在参考大量有关车牌图像识别技术公开资料的基础上，围绕着车牌图像识别技术实际应用的特点和要求，并通过一定的实验分析手段，主要进行了如下几方面的工作：1、对于车牌图像识别技术中常用的一些基本的图像处理方法，进行了分析研究在这部分工作中，重点分析研究了图像的二值化、边缘检测、同态滤波、数学形态学处理、直方图变换和几何畸变校正等方法在车牌图像识别中的作用和应用特点。(1)关于图像的二值化在车牌图像识别中，图像二值化是一个非常重要的技术。目前提出的车牌字符切分和字符分类特征提取的方法，很多是以二值图像为基础的。二值化阈值的确定应该以对图像进行二值化时期望达到的目的为依据。在车牌图像识别中，本文认为最好应避免在车牌区域定位和车牌字符切分阶段对图像进行二值化，并设计出一种基于Canny边缘检测寻找目标对象特征点、再对特征点的灰度像素值分析判断来确定阈值的车牌字符二值化方法，改善了车牌字符图像二值化处理的质量，可以满足本文对车牌字符特征提取预处理的要求。(2)关于图像的边缘检测通过分析比较，本文在车牌区域定位时采用了Sobel模板进行多方向边缘检测，而在字符切分时采用了Canny边缘检测方法，获得了较好的应用效果。(3)关于图像的同态滤波对车牌图像进行同态滤波可以增强字符与背景的对比，有利于边缘提取，对车牌区域图像的二值化具有一定的帮助。但通过实验发现，同态滤波对Canny边缘检测结果的影响很小，这也从另一侧面反映了Canny边缘检测方法效果是比较稳定的。(4)关于图像的数学形态学处理数学形态学中的开运算和闭运算，具有在基本不改变目标对象形状的情况下对背景像素进行处理的优点，在本文的车牌区域定位和字符切分方法中有较好的应用效果。(5)关于图像的直方图变换图像的直方图变换在车牌图像识别中的作用具有两面性,如何有效利用图像的直方图变换尚有待于在实践中总结。(6)关于车牌图像的几何畸变校正在车牌图像识别中，几何畸变校正基准的获得比较困难。常用的通过Hough变换检测直线获取校正基准的方法，实际应用的效果还不是很理想。而且,对图像进行几何畸变校正的同时，会产生新的畸变，也可能会给字符的分类识别带来不利的影响。本文建议最好在图像采集阶段，将几何畸变控制在一定的范围内。2、在分析研究公开资料中提出的一些车牌区域定位方法的基础上，设计实现了一种基于多方向边缘处理和数学形态学处理的车牌区域定位方案。该方案综合利用图像的边缘和纹理信息，利用Sobel模板提取四个方向的边缘，并分别进行数学形态学等处理，同时利用纹理信息分析判断，分两个阶段实现对车牌区域的定位。采用这种方法能在一定程度上解决车牌定位依据的共性特征信息选择的问题。3、分析研究了一些车牌字符切分方法，提出了一种基于Canny边缘检测的字符切分方法。该方法以Canny边缘检测为基础，利用非汉字字符外形轮廓的连通性，通过数学形态学运算去除边框处噪声的影响，先获得非阿拉伯数字1的字符的高度，进而确定字符的垂直方向的位置，再利用汉字字符处与左边框在垂直方向像素值变化的不同，确定汉字的水平方向起始位置，最后根据字符宽度来确定其它字符的水平方向位置。经过实验验证，该方法受噪声影响较小，对字符定位准确，判断决策过程简单。4、对一些车牌字符特征提取和分类识别的方法进行了分析研究，设计出一种车牌字符分类识别的方案。方案考虑了汉字、英文字母和阿拉伯数字的不同特点，分别提取字符的分类特征，并选择不同的分类识别方法。在实际应用中，车牌图像几乎都是在开放或半开放的环境中进行采集的。在这种环境中，很多因素都直接或间接地影响着图像的内容和质量。比如，天气变化因素(雨、雾、温度、湿度)、光线变化因素(如阳光直射、反射，黄昏、白天、夜间，等)、摄像机与车牌不同的相对位置、摄像机的有关摄像参数的不同以及图像采集现场不同的景物背景等因素，使得即使对于同一辆车的同一个车牌采集的图像往往也表现出许多不同的特点。因此，相较于其它一些图像采集环境一般比较稳定的如指纹图像识别、人脸图像识别、机械零件图像检测、水果缺陷图像检测等图像识别技术来说，车牌图像在内容和质量的变化上要复杂得多，从而对为获得车牌图像识别对象稳定而明确的特征信息所进行的有关图像处理技术提出了更高的要求。下面，对于本文中主要使用的有关图像处理技术进行简要的介绍，并对它们在车牌图像识别中的应用特点进行分析总结。2.1图像二值化技术目前提出的车牌字符切分和字符分类特征提取的方法，很多是以二值图像为基础的。因此，在车牌图像识别中，图像二值化是一个非常重要的技术。从字面上理解，所谓图像二值化，就是将彩色或灰度图像用两个灰度级别(一般为黑、白)来表示。为原图像，为二值化后图像，为阈值二值化的目的是将目标对象与背景分离。图像二值化一般作为一种预处理方法，评价其效果的优劣应当兼顾下面两方面的基本要求：1、二值图像中目标对象的完整性。2、二值图像中噪声对于后续处理影响的大小。对二值化效果优劣的评价因目的不同会有很大的差异。以图2.1(b)为例，如果以将车牌字符与背景分离为目的，可视为完全失败；而如果以将车牌区域与背景分离为目的，则可视为效果较好。(a)原图图2.1二值化效果评价二值化实际上是寻找阈值的过程，而阈值的选择要以满足二值化目的为依据。目前，公开的资料中提出了很多图像二值化的算法，主要有Otsu算法[3]、Bersen算法[4]、彩色二值化算法[5]、直方图凹面分析算法[6]、Kittler算法等。下面主要介绍两种比较典型、较常用的Otsu算法和Bernsen算法，并提出一种Canny边缘检测指导下的字符（车牌）图像二值化的方法。2.1.1Otsu算法Otsu算法是一种全局阈值二值化方法，又称为最大类间方差法或大津阈值分割法，是在判决分析最小二乘法原理的基础上推导得出的。其基本思想是：设阈值t将灰度分成了两类，一类对应背景部分，一类对应目标对象，则这两类灰度值的类内方差应当最小，两类间方差应当最大。具体做法为：设给定图像具有L级灰度值，对1tL中的每个t将图像像素分成两类，计算类1的象素个数，平均灰度,方差；类2的象素数，平均灰度,方差。可以用式（2-1）至式（2-4）来分别计算，，，：式（2-1）式（2-2）式（2-3）式（2-4）其中t表示灰度级。M,N表示图像大小为M，用来统计各组间像素个数。则：类内方差式（2-5）类间方差式（2-6）对于给定的一幅图像，+=常数，因而最大时，则最小，此时t=T便是使图像分为两类的最佳阈值。由上述可以发现：Otsu算法阈值的确定以灰度图像像素值的分布而不是以具体的二值化目的为依据，适合于目标对象和背景明显分离的图像的二值化阈值的确定。如图2.2所示，将车牌边框、铆钉和字符一起作为目标对象时，则可以认为灰度图像中目标对象和背景明显分离，此时采用Otsu算法二值化的效果较好；而如果仅将其中的某一个看作目标对象，则不满足以上条件，对其二值化效果的评价也要大打折扣。(a)原图(b)图2.2Otsu算法二值化2.1.2Bernsen算法算法是一种局部阈值二值化方法，通过定义考察点的邻域，并由邻域计算模板实现考察点灰度与邻域点的比较。局部阈值二值化方法阈值的选择依靠考察点的灰度值及其周围的局部邻域的灰度值来决定，它是一种动态选择阈值的方法。设图像F(x,y),则图像在像素点处的灰度值为。考虑以像素点(x,y)为中心的(2W+1)*(2W+1)模板，(其中W表式模板的大小)，则Bersen算法可描述如下：(1)动态计算图像中各像素点的阈值式（2-7）(2)对图像中的各像素点进行逐点二值化，设二值化后的图像为，表示二值化图像在处的灰度值。则有：式（2-8）Bersen算法存在以下问题和缺点：1、由于Bersen算法阈值的确定是通过动态计算每个考察点邻域的灰度值来确定，其实现速度较全局阈值二值化方法要慢，而且也没有做到以二值化目的作为阈值选择的依据。2、Bersen算法二值化容易产生严重的噪声。由于Bersen算法以局部窗口内最大、最小值作为考察点的邻域，当考察窗内无目标点时，个别噪声点将引起阈值的突变，背景灰度的非均匀性也将影响局部阈值的变化，当考察窗内均为目标点时，局部阈值被拉伸，这样势必使得宏观上本应同类的部分象素:目标(或背景)被强行二值化为背景(或目标)，从而产生严重的噪声。如图2.3所示。(a)原图(b)Bersen算法二值化图图2.3Bersen算法二值化2.1.3基于Canny边缘检测的字符(车牌区域)图像二值化的方法在车牌图像识别中，一般是在切分字符时对车牌区域图像进行二值化，以及在提取字符分类识别特征时对字符图像进行二值化。对车牌区域图像二值化时的目标对象除字符外，还可能是或者包括边框(一般是在需要对车牌进行几何畸变校正时)，而对字符图像进行二值化时的目标对象则明确为字符。Canny边缘检测(在本章2.2中具体介绍)能够比较好地检测出边缘，同时对于孤立点和非边缘噪声能够进行很好的抑制。下面所述的二值化方法，是以Canny边缘检测来寻找目标对象特征点，再根据对特征点灰度值的分析判断来确定阈值进行二值化。这种方法较为简单，主要过程如下：Step1对车牌(字符)灰度图像进行Canny边缘检测,如图2.4(b)所示；Step2根据Canny边缘检测结果，在车牌(字符)灰度图像中找到目标对象的边缘像素点；Step3根据在车牌(字符)灰度图像中找到的边缘像素点的灰度值，进行具体的分析判断来确定阈值，进行二值化。Canny算子法检测出的边缘定位比较准确、宽度为一个像素、孤立点和非边缘噪声得到了较好的抑制，大大减少了图像中需要分析判断的数据，一般比较容易判断出目标和背景，从而能够较好地确定图像二值化的阈值。如图2.4所示，本例原图与图2.1原图相同，以字符作为二值化目标对象，结果如图2.4(c)所示。(a)原图(b)Canny边缘检测结果(c)二值化结果图2.4基于Canny边缘检测的车牌图像二值化对于比较精确分割出的车牌区域图像，进行二值化时的判断决策相对较为容易；但如果分割出的车牌区域图像精确度较差时，就会给判断决策带来较大的困难。而单个字符图像的字符与背景的区别一般来说较为明显，判断决策比较容易，基本可以获得比较好的二值化效果。因此，在进行车牌字符切分时最好避免以二值化图像为基础。2.2图像边缘检测技术目前，经过对公开资料中有关车牌图像分割和识别方法所依据的特征进行分析，发现字符在边缘、轮廓、形状、纹理方面的特征是最多被使用的较可靠而且是较容易提取的特征。而边缘检测是提取这些特征的一种基本的、较为可靠的手段。因此，在车牌图像识别中，边缘检测技术十分重要。灰度图像中，所谓边缘像素点表现为该点的邻域是一个灰度级变化带，衡量这种变化最有效的两个特征值，是灰度的变化率和变化方向。所以，边缘检测方法从本质上讲都是通过对这两个特征值的处理来实现的。根据对这两个特征值的处理方法的不同，基本的边缘检测方法主要有如下几种：微分算子边缘检测法、Laplacian算子边缘检测法和Canny算子边缘检测法等。2.2.1微分算子边缘检测法常用的微分算子有Roberts、Prewitt和Sobel算子，都是以图像灰度的两个差分来逼近梯度算子。在进行边缘检测时，其基本过程如下：Step1:获得各个像素点的逼近梯度算子f为灰度图像，、为两个方向模板，表示卷积。对于Roberts算子,,对于Prewitt算子,,对于Sobel算子,，Step2:进行阈值操作得到二值边缘图像thresh为阈值采用上述方法对车牌图像进行边缘检测时，阈值thresh的选择对边缘提取的效果至关重要。如果thresh选取得好，可以获得比较完整的边缘，同时使得噪声不至于过大。但如果thresh选取得不合适，则极易得到较强的噪声或者是提取的边缘信息的完整性不好。由于对噪声比较敏感，而且由于阈值固定，自适应性不好。在车牌图像的分割和识别中，一般不采用上述的纯微分算子边缘检测法。本文在车牌区域定位时采用了Sobel模板进行多个方向的边缘检测。2.2.2Laplacian算子边缘检测法Laplacian算子法是通过寻找灰度图像二阶导数的零交叉点来检测边缘。Laplacian算子用模板表示为：在进行边缘检测时，其基本过程如下：Step1:获得灰度图像f的二阶差分：Step2:寻找零交叉点。如果的一个像素值小于给定阈值-T，而其周围邻接的8个像素值都大于T,则此像素即为零交叉点，对应着图像的边缘。上述纯Laplacian算子法检测边缘，对于噪声更敏感，而且也有由于阈值固定，自适应性不好的问题。在车牌图像的分割和识别中，同上述的微分算子边缘检测法一样，纯Laplacian算子边缘检测法也难以获得理想的实际应用效果。而在此基础上提出的LoG算子边缘检测法，通过高斯滤波来减少噪声，边缘检测效果获得了一定的提高。2.2.3Canny算子边缘检测法[7]Canny算子边缘检测法遵循的三个准则为：1、保证成功检测出边缘，对于弱边缘也应有强响应。2、保证边缘良好定位。3、保证一个边缘只得到一次检测。Canny算子法检测边缘的具体过程如下：Step1:用二维高斯滤波模板与灰度图像f(x,y)卷积，以减小噪声影响；二维高斯函数为：卷积：Step2:利用导数算子(如Prewitt算子、Sobel算子)找到图像灰度沿着两个方向的导数Gx、Gy,并求出梯度的大小|G|和方向θ：Step3:对梯度幅值进行非极大值抑制。遍历图像，如果某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比不是最大的，则将该像素值置0，即不是边缘。Step4:用双阈值算法检测和连接边缘。根据梯度幅值累计直方图获得高、低两个阈值；灰度值大于高阈值的像素为边缘，小于低阈值的不是边缘，介于两个阈值之间的，如果其邻接像素有灰度值大于高阈值的则为边缘，如没有则不是。在对车牌图像进行边缘提取时，采用Canny算子边缘检测法能比较好地提取出字符的轮廓边缘，同时对于噪声有很好的抑制。更为重要的一点是根据C-anny原则进行边缘检测,易于实现有关阈值的自适应判断，符合车牌图像处理的特点要求。如图2.5所示，采用Canny算子法对于不同场景的车牌图像一般都可以得到较稳定的边缘提取结果。(a)车牌灰度图(b)Canny边缘检测图图2.5不同车牌图像Canny边缘检测效果比较2.3同态滤波[8]2.3.1同态滤波在实际采集的图像中，车牌区域或字符在边缘、纹理等图像的细节方面与背景的区别是不同图像中普遍存在、比较稳定的一个特点。因此，对于边缘、纹理等图像细节的提取，是车牌区域定位和字符切分的一个关键所在。同态滤波就是一种有利于图像细节信息提取的处理方法。根据人工光学成像原理可知，对于灰度图像f(x,y),可以认为图像的灰度是由照射分量i(x,y)和反射分量r(x,y)相乘所得，即有f(x,y)=i(x,y)*r(x,y)反射分量反映图像的细节内容，其频谱处于高频区域；照射分量在空间上变化缓慢，其频谱处于低频区域。因此，如果要增强图像细节结构，就要加强高频成分减弱低频成分。具体到车牌图像，字符部分主要为高频成分，而背景主要为低频成分。对车牌图像采用同态滤波即可滤除一些低频非字符信号突出高频的字符信号，同时减少光照强度的动态范围，以利于字符边缘、纹理等图像细节的提取。同态滤波处理基本过程如下：f(i,j)→对数运算→FFT→滤波→FFT-1→指数运算→g(i,j)对数运算是为了使照射分量i(x,y)和反射分量r(x,y)的傅立叶变换可分以便于分别进行处理，滤波器可采用高斯型高通滤波器，在压缩动态范围的同时增强对比度。同态滤波处理后的车牌图像，字符与背景的对比得到增强，边缘更为突出,灰度直方图分布也发生较大的变化。如图2.6所示。(a)车牌灰度图像(b)同态滤波处理后图像(c)原灰度直方图(d)同态滤波处理后灰度直方图图2.6同态滤波处理2.3.2同态滤波对车牌图像边缘检测和二值化的影响从图2.6可以看出，同态滤波处理后，图像的灰度动态范围有一定程度的压缩。与处理前相比，直方图更接近于双峰分布，字符与背景的分离相对更容易些。经过实验也可以证实，对于车牌图像进行同态滤波处理后再用Otsu算法进行二值化一般可以获得较好的效果。如图2.7所示，本例原图与图2.1原图相同。(a)车牌灰度图像(b)同态滤波后Otsu法二值化图像图2.7同态滤波对二值化的影响对车牌图像同态滤波处理后，增强了字符与背景的对比，突出了边缘,使边缘检测也更易于进行。但实验中发现，同态滤波对Canny边缘检测结果的影响不是很大，这也从另一侧面反映了Canny边缘检测方法效果是比较稳定的。如图2.8所示。(a)车牌灰度图像(b)同态滤波前Canny边缘(c)同态滤波后Canny边缘图2.8同态滤波对Canny边缘检测的影响2.4数学形态学[9]数学形态学理论提出了独特的变换和概念用于描述图像的基本特征，采用了以积分几何和随机集论为基础的数学工具，可以得到几何常数的测量和反映图像的体视性质，在图像处理和分析方面有着较广泛的应用。2.4.1开运算和闭运算腐蚀和膨胀是两种基本的数学形态学运算方法，但单独采用腐蚀或膨胀运算往往会使图像中目标对象（如车牌字符）的形状改变较大，从而可能歪曲其有关的信息。将腐蚀和膨胀组合的开运算和闭运算则基本不改变目标对象的形状，有利于真实信息的利用，因此本文主要采用这两种运算。开运算：是先腐蚀再膨胀的过程。A为原始图像，B为结构元图像。本文中利用开运算的目的，主要是在基本不改变目标对象形状的基础上，减少或消除目标对象外小像素对象和目标对象外有关背景像素。闭运算：是先膨胀再腐蚀的过程。A为原始图像，B为结构元图像。本方法中利用闭运算的目的，是在基本不改变目标对象形状的基础上，获得连通的目标对象的外轮廓或区域。2.4.2连通区域标记[10]在本文中，主要是针对目标对象在二值图像中表现较为稳定的几何形状等方面的特征信息进行有关的数学形态学处理，以滤除影响目标判断的一些噪声像素。通过选择相应的结构元可实现对相关像素族的整体处理，而相关像素族的几何形状特征，又是选择结构元的一个直接依据。本文中，连通区域标记和数学形态学处理是相伴进行的。像素连通性的判断通常采用4邻域连通与8邻域连通两种规则。4邻域连通：坐标为(i,j)的像素，其四个4邻域像素的坐标分别为(i+1,j)，(i-1,j)，(i,j+1)，(i,j-1)。当像素互为4邻域时,即称为4邻域连通。8邻域连通：坐标为(i,j)的像素，其八个8邻域像素的坐标分别为(i+1,j)，(i-1,j)，(i,j+1)，(i,j-1)，(i+1,j-1)，(i-1,j-1)，(i-1,j+1)，(i+1,j+1)。当像素互为8邻域时即称为8邻域连通。本文中全部采用8邻域连通规则。2.5图像灰度直方图变换[11]法国人Estournt在研究图像与其直方图的关系时，在实验中发现,一般图像的外观甚至内容与其直方图之间没有直接的关系。也就是说，在不丢失灰度级之间次序的情况下，改变图像的直方图形状一般并不会影响图像中重要的因素。这也是能对图像进行直方图变换的基础。改变图像的直方图形状的一个目的，是希望能够稳定和突出图像中目标对象的特征信息，以有利于识别。对于车牌图像处理来说，由于采集环境的复杂性，车牌区域的特征很不稳定，给识别带来了很大的困难。能否通过改变图像直方图的分布形状来获得车牌区域稳定的、具有普遍代表性的特征，是一个有必要研究的命题。在本章2.3中，有一个同态滤波处理后进行车牌图像二值化的例子。经分析，发现在同态滤波处理后，使得图像直方图的分布形状更接近于双峰分布，以车牌字符为对象时，字符与背景的灰度差别更明显，有利于改善Otsu算法二值化的效果。这就使我们想到：能否通过将车牌图像直方图形状规定化为合适的双峰分布(如双正态分布、双三角分布等)来获得较理想的Otsu算法二值化的处理效果。但由于图像直方图变换所起的作用尚没有足够的能令人信服的理论依据，还必须通过对大量样本的实验和归纳分析，进行进一步的研究。2.6关于车牌图像几何畸变校正问题[12][13]造成图像几何畸变的原因主要有两个因素，一个是摄像系统自身因素，另一个是对象与摄像镜头的轴线相对位置因素。对于车牌图像来说，由于几何畸变，会使得车牌字符的结构和笔画形状发生变化，可能增加样本的类型，从而给字符的分类识别带来困难。同时，车牌形状、字符位置也会因几何畸变发生变化，也会给车牌区域的定位和单个字符的切分造成困难。图像几何畸变的校正一般分为两个步骤：1、图像空间几何坐标变换；2、确定校正空间像素点的灰度值。图像空间几何坐标变换指的是按照一幅标准图像或一组基准点去校正几何失真图像。目前，对于车牌图像几何畸变校正一般只能够按照一组基准点去校正。因此，如何获得基准点的坐标便成为校正能否成功的最关键之处。由于车牌图像的复杂性，寻找校正基准点是非常困难的。传统的寻找校正基准点的方法是采用Hough变换方法检测车牌区域边缘。在车牌区域较大、车牌附近的干扰比较少、车牌边缘清晰的情况下一般可以较好地检测出车牌边缘直线；而当车牌较小、车牌附近干扰较多、车牌边缘不清晰等情况下，则很难检测出车牌边缘直线。此外，即使能够得到比较准确的车牌边缘，使用Hough变换也存在计算量大的缺点。依托车牌区域边缘寻找校正基准是目前较为简单可靠的方法。也有其它一些方法，比如，根据字符重心位置、字符中心走向等来确定校正基准，但这样则对字符图像前期处理（如二值化）提出了更高的要求，而且判断决策相对也更为困难。既然要依托车牌区域边缘寻找校正基准，就必须要保证在车牌图像中能检测出车牌区域边缘。检测出的车牌区域边缘不一定要求很完整，但必须要能与其它对象边缘区分。实际采集车牌图像时，在光线很强或很弱（夜晚）的情况下，往往很难从一些图像中检测出车牌区域边缘。这个问题一般能够通过在图像采集阶段改善技术手段来解决。事实上，目前越来越多的车牌是镶嵌在矩形框中的，如果在制定车牌标准时在这方面有一定规范，那么，保证车牌图像中能检测出车牌区域边界线在技术上应不难实现。下面给出车牌图像水平倾斜校正的一种简易方法：Step1:获得车牌图像Canny边缘检测图f，选择f中不包括左右边框的部分f1（比如，可选择f中间宽度为图像宽度约2/3部分）；Step2:以8邻域连通法则对f1中白色像素进行连通区域标记,并将宽度不是最大的白色像素连通区置0；Step3:经上述处理后，图像中的白色像素一般就可视为车牌图像水平边界的一部分。可从白色像素中选择若干点以最小二乘法进行直线拟合。这条直线即可作为车牌图像水平倾斜校正的依据。用这种方法对车牌图像进行水平倾斜校正比用Hough变换法要简单，实验中也取得了较好的结果。但需要指出的是，即使通过一定的方法可以解决校正基准的问题，车牌图像几何畸变校正效果也未必尽如人意。由于校正后的图像中，某些像素点可能分布不均匀，没有落在坐标点上，需要采用内插法近似求得这些像素点的灰度值，实际上这也就是产生了新的畸变。如果图像的几何畸变严重时，因校正而产生的新畸变也可能会比较大，会给以后字符的分类识别带来一定的困难。因此，有必要研究如何在车牌图像采集的阶段将图像的几何畸变限制在一定的范围里。比如，有关车牌标准怎样与车牌图像几何畸变校正相协调，怎样通过改善图像采集技术手段获得满足几何畸变控制要求的车牌图像，等等。3.1车牌区域特征分析[14]图像特征是图像场中可用作标志的属性，是对图像进行处理和分类识别的依据。按图像特征与人类视觉的关系可分为自然特征与人为特征两大类。自然特征：是图像中人类视觉可以直接感受到的图像的属性，如区域的亮度、轮廓、纹理、颜色等。人为特征：是图像中人类视觉不能直接感受到的，需要通过变换或测量才可以得到的图像的属性，如各种变换的频谱、直方图、各阶矩等。根据其基本的描述方法，图像特征可分为如下几类：1、幅值特征图像幅值特征包括像素点的亮度值、灰度值、彩色图像中的RGB三刺激值等，还包括利用各种变换（如傅立叶变换、小波变换等）形成的变换系数的幅值。幅值特征容易在特定的像素点处或某个区域内进行测量，判断决策时更易理解。但由于车牌图像的复杂性，有关的幅值特征往往是不稳定的。2、灰度直方图特征图像灰度直方图是通过统计各像素点的灰度值而获得的，可用来估计图像的概率分布，其形状能够反映出图像的一些特征信息。比如，图像对比度的高低，不同灰度区域的数量，等等。一阶灰度直方图的表征参数主要有平均值、方差、倾斜度、陡峭度、能量、熵等，二阶灰度直方图的表征参数主要有自相关系数、协方差、惯性矩、绝对值、能量、熵等。由于车牌图像灰度直方图分布十分复杂，目前对于其灰度直方图特征的规律性的认识还不是很清楚。3、变换系数特征图像的变换系数特征包括利用各种变换(如傅立叶变换、小波变换等)形成的变换系数的属性，变换系数的分布也能够反映图像一些方面的特征信息。采用各种变换的目的，一般是为了突出图像的某些特征信息，以便于寻找其规律性。比如，对车牌图像进行小波变换，可以突出车牌区域高频的边缘和纹理信息。4、边缘特征图像的边缘特征包括灰度边缘特征和彩色边缘特征，反映的是图像灰度值或颜色的不连续性，而这种不连续性又反映出图像中存在不同属性的区域。因此，图像的边缘特征是区分图像中不同对象的重要特征。目前提出的车牌区域图像定位方法中，绝大多数都在不同的程度上利用了车牌图像的边缘特征。在某种程度上，可以说边缘特征是车牌图像中被经常利用的最重要的特征之一。5、矩特征图像矩集的定义为： j,k为非负整数，j+k称为矩的阶数。图像分析时经常利用各阶中心矩，其定义为：式中通过重心主轴计算并用面积规范化的中心矩具有与位置无关的特性，在物体放大、平移、旋转时保持不变。在车牌图像识别中，矩特征在车牌区域定位和单个字符区域切分方面的应用比较少，但在字符特征提取时则较常采用。6、线条和角点特征图像中经常出现线条以及线条与线条相交引起的角点，这些线条和角点能够反映出对象的特征信息。角点特征具有其所代表的局部关系信息不因视角不同而改变的优点，在汉字字符分类识别时有所应用。但由于实际应用中车牌图像的复杂性，较难提取稳定的线条和角点特征信息。因此，在车牌区域定位时的应用比较少。7、纹理特征图像纹理是一种反映某一区域中像素灰度级变化的空间分布的属性，目前对其确切的定义尚存在不同的观点。纹理可分为自然纹理和人工纹理两类，常用结构模型或统计模型两种方法进行分析。一般来说，由于车牌区域图像的像素灰度级变化较强，因此，在车牌定位时自然会想到利用其纹理特征。但是由于车牌图像的复杂性，其纹理特征并不是很稳定。目前，车牌区域定位时利用的主要是在边缘检测基础上获得的一些较简单、直观、易于判断的相对比较可靠的纹理特征，在本文后面的内容中也有进一步的分析。此外，图像中还存在其它方面的一些特征信息。但由于实际应用中的车牌图像的特点，目前，车牌区域定位时利用的相对比较可靠的大多还是一些比较直观、较易提取的自然特征（如亮度、轮廓、纹理、颜色等），或者是在自然特征的基础上变换或测量而来的人为特征。由于目前实际应用中采集的车牌图像样本类型难以穷举，那些仅对少数图像样本的数据进行统计分析而得来的车牌图像特征的规律性，其可靠性还需要在实际应用中检验。3.2现有的一些车牌区域定位方法简要分析为了尽可能设计出适应性较好的车牌区域定位方法，对公开资料中所提出的较常用和常提到的一些方法进行了一定的分析研究。下面提及的一些车牌区域定位方法仅根据一些资料中的叫法分类，各类方法之间可能有一定的交叉。3.2.1基于神经网络分类器的车牌区域定位方法[15][16]在所收集的资料中，基于神经网络分类器的车牌区域定位方法采用的神经网络有BP神经网络、Elman递归神经网络和SOFM神经网络等不同的类型，但其过程基本相同。主要步骤如下：Step1采集或收集具体应用场合的各类具有代表性的含车牌图像；Step2构建所使用的神经网络；Step3确定训练神经网络所需要的车牌区域图像样本和非车牌区域图像样本的尺寸，对样本图像进行相应的预处理，建立相应的特征向量（一般利用的是样本灰度图像的灰度值）；Step4分别提取样本集中样本的特征来训练神经网络，直至神经网络能够区分出具有代表性的所有图像训练样本中的车牌区域和非车牌区域；Step5用与训练样本尺寸相同的移动窗口遍历要识别的图像，判定含车牌区域的子窗口，从而确定车牌区域的位置。由以上过程可以看出，这类车牌区域定位方法的基本出发点是为了利用神经网络在分类方面的优点，主要是神经网络的泛化能力和对样本的学习能力。但由于实际应用中采集的车牌图像的特点，较难建立明确稳定的特征向量。而如果采用样本灰度图像的全部灰度值数据作为特征向量，则对于待识别图像中车牌区域的尺寸有一定的要求，使得其使用场合受到了较大的限制；同时，由于实际应用中图像采集环境的复杂性，使得训练样本的取得也是非常困难的；而且，神经网络的训练过程耗时较长；同时，由于车牌区域定位时要用移动窗口遍历要识别的图像，实时性不太好，对图像中车牌区域尺寸变化时的适应性不理想。因此，这类车牌区域定位方法在实际工程中的应用还需要解决上述问题。3.2.2基于彩色图像特征的车牌区域定位方法[17][18]该类方法主要是为了充分利用彩色图像信息，采用颜色分类、颜色聚类、颜色模板匹配等方法,或者是在彩色空间中提取边缘、纹理等特征信息从彩色图像中分割出车牌。这里仅对前者进行简要分析，后者则在后面的相应方法中加以说明。现对彩色空间中以颜色分类法进行的车牌区域定位方法作简要分析。以基于HSV(H表示色度，S表示饱和度，V表示亮度)颜色空间的彩色图像特征的车牌区域定位方法为例，其基本过程是：首先根据我国车牌底色一般为蓝、黄、黑、白中的一种这一特点，在H和S分量子空间中找出蓝色和黄色区域，在V分量子空间找出黑色和白色区域，然后再根据其它特征信息在这些区域中确定车牌区域的位置。这种方法要求图像中车牌的颜色必须比较稳定，而在实际应用中，待识别图像一般是在开放或半开放环境中采集，一些情况下会存在比较严重的颜色畸变。因此，采用这种方法必须首先控制好图像的颜色畸变。至于颜色聚类法、颜色模板匹配法，由于对车牌区域定位所依据的特征信息与颜色分类法并没有本质的不同，也需要解决因图像颜色畸变带来的问题。3.2.3基于纹理检测和边缘检测的车牌区域定位方法这一类车牌区域定位方法是目前在工程应用和相关的研究中最为普遍采用的，而且也是效果较好的一种方法。之所以将纹理检测与边缘检测结合在一起研究，是因为在车牌分割的工程应用和相关研究实践中，这两种方法往往是相辅相成、互为补充的。图像的自然纹理信息中往往蕴含着甚至就直接或间接地来源于图像的边缘信息，而图像的边缘信息往往也呈现出一定的纹理信息的特点。目前，在车牌区域定位中一般利用的多为人们易于感知的车牌图像边缘和纹理的分布规律（比如，车牌区域边界几何形状、字符区域水平方向灰度密度分布等），而对于图像一些较深层边缘和纹理的分布（如分布的一致性，致密度等）则还未能总结出适应范围较大的规律。本章3.3中提出了一种利用图像的边缘和纹理信息，基于多方向边缘处理的车牌区域定位方法。3.2.4基于区域的车牌区域定位方法[19]1、区域生长[20]区域生长的基本思想是将具有相同或相似性质的像素集合起来构成区域。具体过程是：Step1：确定图像中要分割的区域及各区域的一个种子像素；Step2：以种子像素为生长起点，根据事先确定的生长或相似准则，将种子像素周围领域中与其性质相同或相似的像素合并为一个区域，并以新像素为新种子继续上述过程；Step3：当所有区域都满足生长停止的条件或规则时，整幅图像便被分割为满足分割条件的不同子区域。因此，实际应用中区域生长法要达到分割目的，需要解决三个基本问题：(1)正确确定能满足分割要求的图像区域及其种子像素；(2)制定合适的区域生长的准则；(3)制定合适的区域停止生长的条件或规则；由于实际应用中车牌图像的特点，在进行车牌定位时这三个基本问题都很难解决。用区域生长方法进行车牌区域定位困难之处在于首先需要知道图像的许多相应的先验知识，而且有些参数对不同类型的图像比较敏感。2、区域分裂—合并区域分裂—合并方法是从整幅图像开始通过不断分裂得到各个区域，一般是先把图像分成任意大小且不重叠的区域，然后再合并或分裂这些区域以满足分割的要求。与区域生长类似，应用区域分裂—合并方法进行车牌区域定位时也还需要进一步解决一些相关的问题。3.2.5基于几何形状特征的车牌区域定位方法[21]直观看来，车牌字符集中分布于一个近似矩形的区域中，这个特点是在所有可识别的车牌图像中都存在的。而且，一般来说图像中车牌区域与周围背景之间存在较明显的颜色区别，具有一定的封闭性和独立性。因此，利用图像中车牌区域的几何形状特征进行车牌区域图像定位，是最容易想到也是最早使用的方法。基于几何形状特征的车牌区域定位方法的核心，主要是对图像进行矩形检测、角点检测或者直线检测，一般要以图像二值化或边缘检测为基础。其中，基于矩形检测的车牌区域图像定位方法的判断决策最为简单明确，但要求必须能够从图像中检测出车牌区域四个方向边界上易于判断、且易于连接为矩形的边缘信息，对于背景复杂的图像还必须要利用其它方面的信息才能正确判断。至于基于角点检测和直线检测的车牌区域图像定位方法的判断决策更为复杂，可靠性也相对要低些。3.2.6基于二值图像的车牌区域定位方法在第二章中介绍过图像的二值化问题，由于现有图像二值化方法尚不能较理想地处理灰度直方图分布复杂的图像。因此，在此基础上提出的车牌区域定位方法首先要解决如何保证图像二值化的质量问题。3.2.7基于离散图像空间变换的车牌区域定位方法[22]对图像进行空间变换的目的是为了利用变换空间的特有性质以更好地进行图像增强、图像恢复、图像数据有效缩减和特征提取等处理。常用的图像空间变换方法有离散傅立叶变换、离散余弦变换、离散K—L变换、离散小波变换等。在车牌定位时，对图像进行空间变换的目的主要是为了有效地缩减图像数据，以突出车牌区域特征信息（较为有效的是车牌区域的边缘和纹理信息），其中，采用小波分解的方法在突出车牌区域的边缘和纹理信息方面获得了较好的效果。1、基于离散傅立叶变换的车牌区域定位[23]傅立叶分析的核心是将一个函数分为不同频率函数的叠加，从而可以通过对不同组成频率的函数进行运算来对图像进行处理。由于车牌区域存在丰富的高频信息，其傅立叶变换频谱的幅值与低频区域存在差别。因此，可以据此突出车牌区域信息。但傅立叶变换不能反映信号的局部的时域和频域特性，只适宜处理平稳信号，不适于非平稳信号分析和实时信号处理，在车牌区域定位时应用较为困难。2、基于离散余弦变换的车牌区域定位[24]同离散傅立叶变换一样，离散余弦变换也可以突出图像高频区域与低频区域的差别，但也像离散傅立叶变换一样存在同样的不足之处，在车牌区域定位时应用也较为困难。3、基于离散K—L（卡洛）变换的车牌区域定位[25][26]K—L变换也称霍特林（Hotelling）变换或主分量分析，图像的K—L变换给定如下：其中，是一个N2×1的向量，向量的每一个元素等于图像的平均灰度值，A是图像g的自相关矩阵的特征向量构成的矩阵，将图像g的自相关矩阵的特征值按降序排列，A中的行是特征值对应的特征向量。通过对的不同选用可获得不同层次的K—L变换图像。对图像进行K—L变换可以将图像分解为不同层次的特征图像，从而有可能将对象从图像中分离出来。但由于车牌图像的复杂性，对其K—L变换获得的特征图像也是不稳定的，车牌区域定位时应用较为困难。4、基于小波分解的车牌区域定位[27]小波变换是傅立叶变换的继承和发展，其突出特点是时频分辨率可相互转换。对高频信号用窄窗小波基，以较高的采样密度抽样，对低频信号用宽窗小波基，以较稀的采样密度抽样。小波变换可分析信号中的平稳和非平稳成分，在图像分析中有广泛的应用。在实际采集的含车牌图像中，车牌区域一般比其它区域具有更丰富的高频信号成分，这是不同场所图像中车牌区域一般都具有的较为稳定的特征。在进行车牌区域定位时，通常采用塔式算法对图像进行小波分解，获得图像对应于不同空间频率的不同图层，主要目的是获得图像的水平和垂直方向的高频细节信息（边缘、纹理信息），从而利于对车牌区域图像的分析和定位。采用塔式小波分解（Mallet小波分解）对图像进行边缘、纹理信息提取，在车牌区域定位中取得了较好的效果，但也存在着算法开销大、实时性不太好的缺陷。3.2.8基于遗传算法的车牌区域定位方法遗传算法是在达尔文进化论和孟德尔遗传变异理论基础上发展起来的一种随机搜索寻优算法，它通过模拟生物进化的四种基本形式：繁殖、变异、竞争和选择完成对某个目标函数的全局优化，具有隐含并行性和全局优化能力。遗传算法处理过程一般为：Step1将待求解问题的解进行参数编码，并给出针对该参数编码的适度函数。要求解空间中的可能解越满足待求解问题，则其对应的适度函数值越大，适度函数值的全局最大值对应问题的全局最优解；Step2生成初始种群，一般为一组随机生成的可能解；Step3计算种群个体适度值，并判断是否满足算法停止条件，是则退出并输出当前最优解；Step4根据适度函数进行选择操作，从种群中选择进入下一代的个体，被选择的概率正比于个体的适度函数值；Step5对选择后的个体以重组概率P两两进行重组生成新个体；Step6对新个体以变异概率进行变异操作；Step7转Step3继续执行。使用遗传算法进行车牌区域定位，主要需要解决搜索空间编码、适度函数的确定和终止条件设定等问题。而由于车牌图像的复杂性，这些问题的解决都比较困难。而且，采用遗传算法，实时性一般不太好。因此，在车牌区域定位实际应用中还需要解决相关的一些问题。除上述车牌区域定位方法外，还有其它一些方法提出，比如基于分形盒子维数的车牌区域定位方法、基于模糊边缘检测的车牌区域定位方法、基于隐马尔科夫模型树的车牌定位方法等，但这些方法在实际应用中也还分别存在着一些较难解决的问题。3.3基于多方向边缘处理的车牌区域定位方法车牌区域的定位技术是车牌图像识别产品的较基础、关键、核心的技术，因为它是后续的图像处理和分类识别的前提；同时由于在这个阶段需要处理的图像数据量最大，它又直接关系到车牌图像识别实时性的好坏。目前的车牌识别软件对于不同场景图像适应性不是太理想的原因，也主要体现在这个环节。车牌区域定位技术的困难之处在于车牌图像的采集几乎都是在开放或半开放的环境、在不同的时空中进行，使得即使对于同一辆车的同一个车牌，采集的图像往往也表现出许多不同的特点。因而图像中车牌区域的有关特征一般来说不太稳定、表现复杂，尤其是在大视景监控和移动追踪监控时更是如此。因此，首先应考虑的是如何获得内容和质量较为稳定的车牌图像。如果能够获得稳定的车牌图像，则现有的车牌图像处理和识别技术就基本可以获得较理想的应用效果。但目前在车牌图像采集方面，无论是在硬件设备，还是在采集方案等方面都不足以保证获得稳定的车牌图像。甚至我们连应该获得什么样的车牌图像都还没有一个明确的结论。在不能够获得较为稳定的车牌图像的条件下，为提高车牌区域定位的正确性，就需要根据通常的车牌图像中普遍具有的车牌区域特征，来设计车牌区域图像定位方法，才能够具有较好的适应性。在此，提出一种利用车牌区域中较直观的自然特征，基于多方向边缘处理的车牌区域定位方法。采用该方法能在一定程度上解决车牌定位依据的共性特征信息选择的问题，对于定点图像的车牌区域定位具有较好的使用效果，同时对于图像采集方面的要求也较为宽泛，且决策判断方法比较简单。3.3.1车牌区域特征的选取车牌区域特征选取的恰当与否是能否正确进行车牌区域定位的前提条件，也是评价车牌区域定位方法优劣的关键。通过对一些在不同时间和空间获得的车牌图像分析发现，各类图像中的车牌区域共同具有的较为稳定的特征信息还是很有限的。尽管人们用各种方法来试图获得稳定、明确的车牌区域的特征信息，但由于车牌图像采集和使用环境的极其复杂性，目前在车牌区域定位时利用的相对比较可靠的特征，主要还是一些比较容易提取的、直观的自然特征，或是在自然特征的基础上变换或测量而来的人为特征。其中公认的相对比较稳定可靠的是车牌区域在边缘和纹理方面的特征信息，而一些人为规定或者是仅对少数样本图像的数据进行统计分析而来的车牌图像的特征的规律性在实际应用中还需要进一步的检验。想找到足以使车牌区域与背景图像区分的、具有唯一性的单一特征极为困难，只能通过对一些特征信息的组合和相互补充利用来满足或者基本满足车牌区域定位的要求。下述的车牌区域定位方法主要综合利用车牌区域如下三个方面的较直观的自然特征信息：(1)图像中车牌区域一般与周围背景之间存在较明显的颜色区别。也就是说，车牌区域相对于区域外的背景具有较好的封闭性和独立性。这一点在图像采集时采取一定的措施一般可以保证，特别是在现在越来越多的车牌是镶嵌在矩形框中的，如果在制定车牌标准时在这方面有一定规范的情况下更是如此。(2)图像中车牌区域的牌底颜色与字符颜色对照比较大，可提取出丰富的边缘信息，且标准的英文字母与阿拉伯数字的轮廓都是上下连通的。这一点在图像采集时同样比较容易保证。(3)图像中车牌区域一般在车身的下部，其下方主要是车轮和车外背景图像，通常情况下边缘信息比较少。如果在制定车牌标准时在车牌的悬挂位置方面有一定的规范，这方面也可以基本得到保证。3.3.2基本思路及实现的方法步骤基本思路：利用上述车牌区域的三个方面的特征信息，采用多方向边缘处理和数学形态学运算等方法，以得到覆盖车牌区域或者比车牌区域稍大些的连通区，从而对车牌区域进行定位。(以对于图3.1所示的彩色图片处理过程为例。)过程1：车牌区域的粗定位通过实验发现，对于背景比较复杂的图像直接进行处理,会得到许多不含车牌的较大的连通区或者是虽含有车牌但连通区过大，使得对车牌难以甚至不能定位。而且如果对整幅图像进行过于复杂的运算和判断，也难以满足实时性的要求。因此，应该先对图像背景进行较大程度的缩减，也就是先对车牌进行粗定位。粗定位时，由于允许图像中存在较多的背景，相对较简单。本方法主要利用了上述车牌区域(2)、(3)两个方面的特征信息。由于车牌区域边缘丰富，英文字母与阿拉伯数字的轮廓上下连通，利用数学形态学处理的方法可获得车牌区域内或者其稍下方的较大的连通区，而车牌下方其它地方的连通区往往很小，从而能判断车牌垂直方向所在的大致位置。1、多方向边缘增强及提取在彩色车牌图像中，存在着比较丰富的边缘信息。这些边缘信息中又蕴含了车牌区域纹理以及几何形状等方面的特征。因此，目前实际应用的车牌图像的计算机识别方法中，对于边缘信息的处理在车牌区域分割、字符的分割和字符特征提取中起着非常重要的作用。在基于边缘检测的车牌区域定位方法中，图像丰富的边缘信息给车牌区域的定位提供了依据。但也正由于图像边缘信息的丰富性，以及不同场景图像边缘信息的不确定性，又给车牌区域定位时的判断、决策带来了很大的困难。所以，如何合理地提取和利用图像的边缘信息，成为了车牌区域能否正确定位的关键所在。一些基于边缘检测的车牌区域定位方法，虽然采用了较复杂的判断决策方法，但对于背景复杂图像的分割效果仍然并不理想。经过分析发现，这些方法适应性不好的主要原因就是该方法对于图像边缘信息的处理不够合理，造成车牌定位时依据的边缘信息不足或者是过多，使得难以进行正确的决策判断。图像在不同方向的边缘蕴含的信息也有所不同，对图像不同方向的边缘信息进行提取并且进行相应的处理，有利于更充分合理地利用边缘信息。本方法在车牌区域的粗定位和精确定位时均进行了多方向的边缘提取及相应的处理。粗定位时进行这种处理的目的主要在于要利用车牌区域(2)、(3)两个方面的特征信息，在利用车牌区域边缘信息的同时减少车牌下方背景图像边缘信息的影响，以利于判断垂直方向上车牌所在的大致位置。而在精确定位时进行这种处理的目的则主要在于获得车牌区域充分的边缘信息。粗分割时采用了四个方向的Sobel模板[3]进行多个方向的边缘增强。本实验中发现采用正西、西北、西南和东南这四个方向的Sobel模板(分别以g1、g2、g3和g4表示)进行处理效果较好(也可以采用其它模板)。然后对增强后的边缘进行提取，二值输出。具体过程如下：Step1:用加权平均值法将彩色图像灰度化；Step2:灰度图象f(m,n)分别与四个方向Sobel模板进行卷积运算；k=1,2,3,4Step3:分别提取四个方向边缘，二值输出。t为阈值，为获得足够的边缘信息的同时减少图像非车牌部分的影响，二值提取时阈值的选取应合适，一般可选hk(i,j)平均值的2－3倍。图3.1原灰度图图3.2正西方向边缘图3.3西南方向边缘图3.4西北方向边缘图3.5东南方向边缘图3.6四个方向边缘合成图2、数学形态学滤波去除小像素噪声用上述方法提取的边缘图像往往存在大量的小像素噪声，为减少噪声的影响，应进行滤波处理。但有些情况下，提取的车牌区域边缘也是由一些不连续的小像素组成的，如果对车牌区域的边缘信息削弱过多将不利于后面的处理，所以在这里只要去除大小为1-2个像素的噪声即可。分别对四个方向的边缘图进行开运算：B为结构元素，可选择半径为1的圆结构元素。滤波后四个方向的边缘分别如图3.2—图3.5所示。3、图像合成将经过上面处理后的四个方向边缘图像进行合成，目的是在车牌区域内得到一定的连通区或者封闭孔洞。由于车牌区域边缘信息的丰富性，实验中只进行简单的加运算，即能达到这个目的(如图3.6所示)。加合成：然后将p(i,j)中大于255的值归一化为255。4、数学形态学操作，以获取车牌区域的连通区首先，对上面得到的合成图像进行闭运算，以加强连通区和封闭孔洞。闭运算时选用的结构元素应合适，以避免噪声影响过大，一般选用半径为1-2个像素的圆形结构元素即可。然后，对孔洞进行填充操作，获得连通区。最后对图像进行开运算，以去除小的连通区，主要目的是去除车牌下方的连通区(如图3.7所示)。具体过程如下：Step1:对边缘合成图进行闭运算：B为结构元；Step2:以4邻域连通方式对f(i,j)进行孔洞填充操作；Step3:开运算去除小像素，结构元一般选用10×10以下的矩形结构。图3.7去除小连通区后图5、对车牌区域进行粗定位一般情况下，通过上述一系列处理后，获得的图像g(i,j)最下方的连通区就是车牌内或者其稍下方区域，可以据此确定一个含车牌的区域。当然，此时还应该根据下面精确定位时所用方法(见本文30页)获得的车牌区域垂直边缘特征信息来进行判断确认，如果判定不含车牌区域，则向上继续搜索连通区。由于本方法定位时可利用的信息较少，所以仅适合车牌区域的粗定位，但也能在垂直方向去除较多的背景。如果对于某一个固定场所采集的图像，利用经验知识，也可以得到较高精度的车牌区域定位效果(车牌区域粗定位结果如图3.8所示，考虑到一些极端情况，选取了整个图像宽度)。图3.8车牌粗分割结果过程2：车牌区域的进一步定位经过上述处理，可以获得包含车牌的一个相对较小区域图像，但车牌的定位还比较粗，须进行进一步处理，以对车牌区域进行较精确的定位。精确定位主要是利用车牌区域的特征(1)，获得车牌区域的完整的连通区来进行。1、同态滤波为获得车牌区域完整的连通区,对车牌区域进行较为精确的定位,需要进一步突出