（交通信息工程及控制专业论文）电子警察系统中车牌定位与识别技术的研究.pdf

摘要随着现代交通系统的快速发展，智能交通系统已经成为当前交通管理系统的主要发展趋势。作为智能交通系统中的一组成部分电子警察系统，在城市交通系统中起了相当重要的作用，它可以降低城市交通的管理成本，节省大量的警力和物力。车牌识别技术是电子警察系统中的一项核心技术之一，研究车牌识别技术是具有重要的理论和现实意义。根据我国车牌的基本特征，本文对车牌识别技术中的车牌定位和车牌字符识别这两个环节进行了深入的研究。在车牌定位环节中，先对所采集的车辆图像进行一系列预处理：对图像进行灰度化、图像增强、二值化；对二值化图像进行滤波及对滤波后的二值化图像进行边缘检测；根据我国常用车牌的特征和对车牌二值化的边缘检测图像进行水平投影，确定出车牌的水平位置，再对确定好的车牌水平区域所对应的二值化图像进行垂直投影，确定出车牌的垂直位置，最终确定出车牌区域。在车牌定位的基础上，对车牌区域图像进行车牌字符识别处理，先对车牌区域进行倾斜校正，采用的是基于图像矩的车牌倾斜校正算法；再对倾斜校正后的车牌区进行字符分割，采用了垂直投影法，并根据车牌特征对车牌字符的垂直位置做出修正；最后对车牌中的字符进行识别，本文采用了两级识别处理，即先对待识别字符按其是否垂直对称或水平对称原则进行分类，再对该字符用基于1 3 特征值的模板匹配法对其进行具体的识别，不同的分类其权值选取不同，这样有助于提高字符的识别率，并对所使用的方法进行了合理性分析和验证。关键词：车牌定位、字符分割、字符识别、边缘检测a b s t r a c tw i t ht h eh i 曲s p e e dd e v e l o p m e n to ft h em o d e mt r a f f i c ，i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e mh a sb e c o m et h em a i nd e v e l o p m e n tt r e n do ft h ec u r r e n tt r a f f i cm a n a g e m e n ts y s t e m a sap a r to ft h ei n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ，t h ea u t o m a t i cp o l i c es y s t e mi si m p o r t a n tt ot h ec i t yt r a f f i cs y s t e m i td e c r e a s e st h em a n a g e m e n tc o s to fu r b a nt r a f f i c ，s a v e sp l e n t yo ff i n a n c i a lr e s o u r c e sa n dm a t e r i a lr e s o u r c e s l i c e n s ep l a t er e c o g n i t i o nt e c h n o l o g yi sak e yt e c h n o l o g yo ft h ea u t o m a t i cp o l i c es y s t e m ，s ot h es t u d yo fl i c e n s ep l a t er e c o g n i t i o nt e c h n o l o g yi si m p o r t a n tp r a c t i c a ls i g n i f i c a n c e t h e r ei sm o r er e s e a r c ho nt h el o c a t i o na n dc h a r a c t e ri d e n t i f i c a t i o no ft h el i c e n s ep l a t ei nt h er e c o g n i t i o nt e c h o l o g y a tt h el o c a t i o no ft h el i e c e s ep l a t es t a g e ，as e r i e so fi m a g ep r o c e s s i n gt e c h n o l o g yh a sb e e n d o n ei nt h ev e h i c l ei m a g e st h a tw er e c e i v e d ：g r e y , i m a g ee n h a n c e m e n t ，b i n a r yi m a g e ，m e d i a nf i l t e r ，e d g ed e t e c t i o n ；a n a l y s i so ft h ec h a r a c t e ro ft h ec o m m o nl i c e n s ep l a t e b a s e do nt h er e s u l t so fi m a g ep r o c e s s i n ga n dt h ef e a t u r eo ft h el i c e n s ep l a t e ，w em a k et h eh o r i z o n t a lp r o j e c t i o na n dv e r t i c a lp r o j e c t i o no ft h el i c e n s ep l a t et og a i nt h ea r e ao ft h el i c e n s ep l a t ea f t e rt h ep r e t r e a t m e n to ft h ec o l l e c t e di m a g eo ft h ec a r r e c o g n i z i n gc h a r a c t e ro ft h ei m a g ea r e ao fl i c e n s ep l a t eh a st h r e es t e p s ：t h ec o r r e c t i o no ft h el i c e n s ep l a t e ，t h ed i v i s i o no ft h ec h a r a c t e r , a n dt h ei d e n t i f i c a t i o no ft h ec h a r a c t e r w ec o r r e c tt h el i c e n s ep l a t eb yt h em e t h o d sb a s e do nm a t r i x w ed i v i d et h ec h a r a c t e ro ft h el i c e n s ep l a t eb yt h eh o r i z o n t a lp r o j e c t t h ei d e n t i f i c a t i o no ft h ec h a r a c t e rh a st w os t e p s ：t h ec h a r a c t e r sc l a s s i f i c a t i o n ，t h ed i f f e r e n ti d e n t i f i c a t i o nm e t h o d so ft h ed i f f e r e n tk i n d s w ea n a l y s i st h er a t i o n a l i t yo ft h em e t h o d sw eu s e d k e yw o r d s ：v e h i c l el i c e n s ep l a t el o c a t i o n ，c h a r a c t e rs e g m e n t a t i o n ，c h a r a c t e ri d e n t i f i c a t i o n ，e d g ed e t e c t i o n 论文独创性声明本人声明：本人所呈交的学位论文是在导师的指导下，独立进行研究工作所取得的成果。除论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体己经公开发表的成果。本声明的法律责任由本人承担。论文作者签名：桶p 姬如c 年争月砭归论文知识产权权属声明本人在导师指导下所完成的论文及相关的职务作品，知识产权归属学校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为长安大学。( 保密的论文在解密后应遵守此规定)论文作者签名：柳妃导师签名：靴榷刎年s 月2 z e i血d7 年多月边e l长安大学硕士学位论文第一章绪论1 1 车牌识别技术概述车牌识别技术【1 ( v e h i c l el i c e n s ep l a t er e c o g n i t i o n ，v l p r ) 一般包括车辆图像获取、车牌定位、车牌字符分割和车牌字符识别四个部分，是计算机视觉和模式识别技术在现代智能交通系统中的一项重要研究课题，是实现智能交通系统的重要环节。车牌自动识别系统是以数字图像处理、模式识别、计算机视觉等技术为基础的智能识别系统。车牌识别技术可以通过摄像机所拍摄的车辆图像进行处理分析，可以在不影响汽车运行状态的情况下，由计算机自动完成车牌的识别，可降低交通管理工作的复杂度。车牌自动识别技术在全自动不停车收费，交通流量控制指标的测量，稽查和追踪车辆违规行为，提高智能交通服务速度，等方面有重要作用。汽车牌照识别系纠3 】的基本工作原理为：当系统发现有车辆通过时( 通过埋地感应线圈或视频检测) ，触发图像采集系统，c c d摄像机摄取包含车辆牌照的图像，将图像通过视频采集卡输入计算机进行预处理，再由检索模块对牌照进行搜索、检测、定位，并分割出包含牌照字符的矩形区域，然后对牌照字符进行二值化并将其分割为单个字符，归一化后输入字符识别子系统进行识别。1 2 课题研究的目的和意义机动车闯红灯是机动车交通事故的主要原因之一，这也是日常交通管理中常见的交通违法现象，这种现象扰乱了正常的交通秩序。为了降低机动车的交通违法现象，特别是机动车闯红灯；改善交通秩序、保障交通安全、提高道路交叉口通行能力、减少交通事故，需要采用现代化的以先进技术作为其核心技术的智能化交通管理系统来对交通进行控制和管理。如何利用现有的基础设施和科学技术来有效的控制和管理复杂的城市交通道路状况，关系着一座城市的精神面貌和经济的可持续发展。电子警察能对有违法行为的机动车辆自动进行抓拍，从而能有效地提高交通管理的工作效率，降低机动车的交通违法现象。因此对电子警察系统中车牌定位与识别技术的研究具有重要的现实意义。1 3 车牌识别技术在电子警察的应用电子警察作为交通管理、抓拍违章、取得证据的一种有效手段，近几年已在全国各城市间广泛使用。电子警察系统的应用是我国交通管理中体现科技强警的一项重要举第一章绪论措，缓解了日益繁忙的交通勤务管理与警力严重不足之间的矛盾。同时在一定程度上消除了道路交通管理在时间和空间上的盲点，有效抑制了机动车驾驶员的违章行为。总的来说，目前普遍适用的电子警察系统一般具备这几个功能：闯红灯行为的抓拍、违章压黄线越界行为的抓拍、违章超速行为抓拍、全套管理查询系统等功能。就其整体结构区分可以划分为二个部分，一是外部硬件设备，二是后期处理软件。电子警察系统中的一项很重要的技术是车牌识别技术。它利用每一个汽车都有唯一的车牌号码，通过摄像机拍摄到的包含车牌的车辆图像，在不影响汽车的行驶状态下自动完成车拍的识别，降低了交通管理工作的复杂度。车牌自动识别技术在提高交通服务速度和质量，缓解交通紧张状况，改善交通安全和城市治安等都有积极的作用。1 4 车牌识别技术研究现状在2 0 世纪9 0 年代初，国外的一些研究机构就已经开始了对汽车牌照识别的研究。如以色列h i t e c h 公司的s e e c a rs y s t e m 系列，新加坡o p t a s i a 公司的v l p r s 系列都是比较成熟的产品【2 1 。另外日本、加拿大、德国、意大利、英国等各个西方发达国家都有适合本国车牌的识别系统。国内在90 年代也开始了车牌识别的研究。目前比较成熟的产品有中科院自动化研究所汉王公司的“汉王眼，亚洲视觉科技有限公司、中国信息产业部下属的中智交通电子有限公司等也有自己的产品，另外一些高校也做过图像处理和识别研究或与之相类似的研究。基于图像的车牌识别技术一般包括数字图像处理技术，模式识别技术及人工神经网络技术。1 数字图像处理技术：数字图像处理就是将图像转化为一个数字矩阵存放在计算机中，并采用一定算法对其进行处理。数字图像处理的基础是数学，最主要的任务就是各种算法的设计和实现。目前数字图像处理技术己经在许多不同的领域得到重视，并取得了巨大的成就。2 模式识别技术：模式识别技术在车牌图像处理中为图像分割、特征提取和模板构造、字符识别等三个部分。利用不同阈值对应的直方图不同，经过大量统计实验确定出车牌位置的图像直方图的阈值范围，从而根据特定阈值对应的直方图分割出车牌，再利用预先设置的标准字符模板进行模式匹配识别出字符。3 人工神经网络技术：近几年来，计算机及相关技术发达的一些国家丌始探讨用人工神经网络技术解决车牌自动识别问题。已经研究出了多种基于神经网络的车牌定位和2长安大学硕上学位论文识别方法。近年来，随着数字图像处理技术，模式识别技术及人工神经网络技术的发展，基于图像的车牌识别技术也有了较快的发汽车牌照智能识别的技术得到了快速发展，就其识别技术，主要可分为间接法和直接法两种。间接法是基于i c 卡鉴别或基于条码的识别；直接法是基于图像的汽车牌照识别。而本文研究的是基于图像的汽车牌照识别。1 间接法是基于i c 卡鉴别或基于条码的识别；它通过识别安装在汽车上的i c 卡或条形码中所存储的车牌的信息，来识别车牌及相关信息。这种技术识别准确度高，运行可靠，可以全天候作业，但它整套装置价格昂贵，硬件设备十分复杂，需要制定出全国统一的标准，对近期在短时间内推广造成困难，目前不具备实用性。2 直接法是基于图像的车牌识别技术【4 】，它是一种无源型汽车牌照智能识别方法，能够仅根据包含车牌信息的车辆图像就定位出车牌位置和识别出车牌信息。与间接法识别系统相比，首先，这种系统节省了设备安置及大量资金，从而提高了经济效益；其次，由于采用了先进的计算机应用技术，所以可提高识别速度，较好地解决实时性问题；再次，它是根据图像进行识别，所以通过人的参与可以解决系统中的识别错误，而其他方法是难以与人交互的。1 5 主要研究内容第一章介绍了课题研究的目的和意义，概述了车牌识别技术在电子警察系统的应用和车牌识别技术算法研究现状，说明了本课题研究的内容、必要性和重要性。第二章主要介绍图像的预处理，介绍了图像的灰度化、图像的增强、图像的二值化、图像的去噪处理还有二值化图像的边缘检测，详细地说明图像预处理的过程和方法。第三章主要研究的是车牌的定位问题，其中包括我国车牌的特征、常用的车牌定位方法以及本论文所采用的车牌定位方法的介绍，并与其他车牌定位方法进行了比较。第四章主要阐述的是车牌倾斜的判定及校正和字符的分割。其中车牌倾斜校正部分介绍了车牌倾斜的种类，了车牌区域的二值化，常用的车牌倾斜校正方法以及本论文选用的基于图像矩的车牌倾斜校正算法。字符分割主要采用投影法和先验知识相结合的方法。第五章介绍了车牌中字符的识别，字符识别前的预处理，即对字符的归一化处理；对车牌图片字符的识别处理算法进行了详细的说明，如字符的分类，方法的选取，权值的选取以及合理性分析等情况。3第二章图像预处理第二章图像预处理2 1 图像的灰度化本文实验选用的图像是2 4 位的彩色图像，每个像素由3 个字节组成，分别表示r( 红色) ，g ( 绿色) ，b ( 蓝色) 三个通道分量值。灰度图是只有强度信息，不含彩色信息的图像，即在表示图像每个像素的字节中，其r ( 红色) ，g ( 绿色) ，b ( 蓝色) 三个通道分量相等，每个通道的颜色分量均由一个字节( 8 位) 数据组成，其取值范围为0 - 2 5 5 ，其中每个在其取值范围内的值称为一个灰度级，所以灰度图有2 5 6 个灰度级。由于彩色图像文件占用的存储空间比较大，直接对其进行数据处理需要开辟很大的内存，其运算量是灰度图运算量的3 倍，而在本算法中，并不需要其彩色图像，所以我们将其转换为灰度图，这样计算量相对较小，节省了数据空问，并且提高了运算速度。2 1 1 图像灰度值选取的基本方法图像灰度化，其灰度值的选取有多种方法【5 1 ，常用的有以下几种：1 最大值法：g r a y ( x , 纠= m a x ( r ( x , ，g 似，b 似圳( 2 1 )2 平均值法：g r a y ( x , 纠= 俾阢+ g 伍+ 曰阮y ) ) 3( 2 2 )3 加权平均法：g r a y ( x , = a 宰r 阮+ b 宰g 以+ c 幸b 阮纠( 2 3 )其中r 伍纠，g 伍，丑化纠分别表示图像坐标阮纠处像素的红色分量，绿色分量，蓝色分量的值，g r a y ( x , 表示求得的图像坐标( x ，y ) 处的灰度值。a ，b ，c 分别表示取值0 1 之间的数字。2 1 2 本文图像的灰度化经过比较，本文选用现在比较常用的标准灰度值求值公式来选取其每个像素的灰度值，公式如2 4 所示：g r a y ( x , 纠= 0 3 0 木r 阮纠+ 0 5 9 牛g 阢纠+ 0 1 1 掌b 阮纠( 2 4 )将( 1 ) 式所求的g r a y ( x , y ) 值代入该像素处各r ( 红色) ，g ( 绿色) ，b ( 蓝色) 分量处，即尺阮纠= g 似= b 似纠= g r a y ( x , 纠( 2 5 )其原始图像如图2 1 ：4量室点兰塑兰些堡圣灰度化后的图像如图2 2图2 1 原始图像圈2 2 灰度化后的图像2 2 图像的增强图像增强是将图像进行处理增强图像的某种对比度，使其比原始图像更适合于特定的应用。在不同的特定应用下，图像增强处理的目的不相同，图像增强处理的方法不相同。例如为了方便人眼观察而进行的图像增强和为了实现机器识别而进行的图像增强是不同的。由于各外在因素的影响，各灰度化后车牌信息图像扶度级的分布也有很大的差别。对于那些偏暗的图像，会对其后续的处理造成影响，降低车牌定位的准确率，为了改进这一不足，需要对这些图像进行增强处理。2 21 图像增强的基本方法图像的增强大体上分为两类：一种是线性变换，一种是非线性变换。具体介绍如下：l 灰度线性变换灰度线性变换”1 是灰度变换的一种，图像的敷度变换通过建立灰度映射来调整源图像的灰度值而达到图像增强的目的。其变换公式见式( 26 ) ：墨三要堕堡塑壁堡g ( x ，y ) = k f ( x ，y ) + d( 2 6 )其中f ( x ，y ) 为输入值，即源灰度化后的图像像素值，g ( x ，y ) 为输出值，即变换后的像素值，k 为变换系数，d 为图像整体增加或减少的亮度值。具体分析如下：( 1 1 当k l 时：此时会增加图像的对比度，图像的像素值在变换后全部增大，整体现实效果被增强。( 2 1 当k = - i 时：这种情况用于调节图像亮度，其调节强度由d 的值所决定。( 3 1 当o k l 时：图像的对比度和整体效果都被消弱。r 钔当k o 时：在这种情况下，源图像较亮的区域变暗，而较培的区域会变亮。2 灰度非线性变换获度非线性变换【”是使用非线性变换关系式进行的一种图像变换，常用的包括对数变换，幂次变换，指数变换等。2 22 本文选取的图像增强方法及效果在适用于牌照识别处理系统中，现在常用的一种灰度变换的映射关系见式( 27 ) ：亭o ，y ) =00 f ( x y 、( 口：m g ，( x ，一) 】口，( x ，y ) 6( 27 )0 一am gb ，( z ，y ) m 7其中f ( x ，y ) 为输入值，即源灰度化后的图像像素值；窖y ) 为输出值，即变换后的像素值，其范围为【0 ，m ； ；对于2 5 6 级图像来说- m - 吖。2 2 5 5 。参数a 和b ，对于不同的取值有不同的增强效果，以下对a 和b 取不同的值，以此对比其增强效果。对图2 2 做增强处理我们取= 2 5 ，b = 2 3 5 ，其效果见图23 a ：取a = 8 0 ，b = 2 0 0 ，其效果见图23 b ：取a = 1 2 0 ，b = 1 8 0 ，其效果见图23 c 。图2 3 a 做增强处理后的图像1苎墨茎堂耍堂垫堡皇斑2 3 b 傲增强处理后的图像2圈2 3 t 做增强鲑理后的图像3通过多次实验发现，对于正常光线下拍摄的图像，可以直接取d = 2 5 ，b = 2 3 5 ，进行灰度变换。2 3 图像二值化图像二值化就是设定一阈值将图像简单地分为只有0 和2 5 5 两个灰度级的图像，即分为只有黑白两色的图像。二值化操作虽使某些信息丢失，但为了减少图像的一些干扰信息，简化图像，方便计算机识别牌照却是某些处理不可缺少的步骤。图像的灰度化和增强处理都是为能更好地对图像进行二值化做准备。对图像进行二值化处理可提高图像的对比度，突出我们所需要的图像特征，使车牌定位更准确，识别更容易。2 31 图像二值化的基本方法图像二值化处理是一种灰度处理算法，其基本思想是：对于给定的阐值，程序将灰度大于给定闽值的点变成白点，另外的点变为黑点。图像，o ，y ) 的二值化即在图像灰度级范围内确定一个闺值t ，使二值化后图像g ( x ，) 计算见式( 28 ) ：第二章图像预处理l2 5 5f ( x ，y ) tg ( x ，y ) = ( 2 8 )10f ( x ，y ) t二值化的关键在于阈值的确定，在阈值确定上有各种侧重不同的方法，主要有双峰法、p 参数法、最大方差自动取阈值法等。目前提出来的阈值选取方法多达数1 0 种，在实际使用中常用的方法有：直方图波谷法、o t s u 法、最大熵方法、矢量保持法、梯度统计法等，这些方法各有优缺点。根据使用条件，目的不同，选用适用的方法。2 3 2 本文选取的二值化方法及效果在对图像进行二值化的过程中，本文根据需要不同，在对整体图像进行二值化和对已经定位的车牌局部图像进行二值化采取了不同的方法。在对整体图像进行二值化时，由于灰度信息较复杂，单一的确定一个阈值会降低车牌二值化的准确率，同时也将会产生大量的不必要的信息，为了克服这个缺点，本文根据车牌特征，在图像的二值化处理中设置动态阈值，为了排除干扰，还加入了游程平滑算法的思想，采取了对图像进行逐行扫描来进行二值化方法。游程平滑算法的基本原理是：对同一扫描行上的相邻黑像素点之间的距离进行检测，当两相邻黑像素点之间的空白游程长度大于阈值时，则用黑像素点填充两点之间的空白游程。游程平滑算法的具体思想为：设l = ( b i ，b ：，b ，彬小，形小b j ，b 。) 为扫描行上的一段游程，其中( b 1 ，b i ) 和( b 曰。) 由两段连续的黑像素点组成，而( 彬小，一，)由一段连续的白像素点组成。若白像素点的游程长度d 。= j f l 小于某阈值t ，则平滑后的游程不变；当白游程长度d w 大于阈值t 时，则将白像素游程( 形小，形h ) 全部填充为黑像素点，平滑后的游程为l = ( b 。，b 2 ，b i ，b i + l ，b 书，。) 。ib jb在本文的处理中，只是将相邻满足条件的灰度跳变看成是相邻黑色像素点，将未发生满足条件的灰度跳变看成是白色像素点。对二值化处理加如了游程平滑算法，基本思路是：对图像的每一行进行扫描，在一定长度的连续像素内，如果没有峰值变化，就置该像素值为零，如果有峰值变化，并且峰值的变化个数及峰值之间距达到预设值，则根据峰值的最大值和最小值取一个变化值作为二值化的变化阈值，对该段进行二值化处理。这种方法的优点是，直接去除了大量的干扰信息，方便后续车牌的定位处理；缺点是在去除大量干扰信息的同时，对车牌字符某些笔画也造成了不必要的损失。整体定位8量窒盘堂堕主堂垫堡塞效果比较好，但对后续字符分割识别处理却不适用，所以在对车牌进行倾斜校正前需要对车牌区域单独进行二值化处理。在后文对车牌区域重新进行时，其二值化的阀值确定选用o t s l l 算法，具体算法将在后文中进行介绍。现有的车牌按车牌背景色和字符的颜色有四种类型：蓝底白字，黄底黑字白底黑字，黑底白字。由于不同底色和不同字符颜色的车牌图像经灰度化后的菩灰度级有较大差异一种是字符的灰度值高于背景灰度值，一种是字符的敷度值低于背景扶度值，其经二值化后的图像由于各背景色和字符色不同，所得到的背景色和字符色也不统一。其中蓝底白字车牌和黑底白字车牌的二值化结果是黑底白字，而黄底黑字和白底黑字车牌的二值化结果是白底黑字。未进行二值化的灰度图，源车牌颜色为蓝底白字见图2 4 a ，对其进行二值化后的图像见图2 4 b 。图2 4 a 蓝底白字车牌图像的灰度图图2 4 b 蓝底白宇车牌图像的二值化图未进行二值化的扶度图，源车牌颜色为黄底黑字，见图2 5 a ；对其进行二值化后的图像如图2s b 所示：第一章图像预n 目圈2 5 1 黄底黑字车牌图像的灰度图圈2 5 b 黄底黑字车牌图像的二值化田其中图2 4 a 来源于电子警察系统的远距离实际抓拍，受条件限制，图2 5 a 由数码相机近距离拍摄。2 4 图像的去噪处理由于外界因素的影响，如光线，沙尘以及车子本身的清洁程度，背景的平滑程度，所拍摄到的图像都会有一定的干扰。其经过二值化处理的图像必然也存在一定的噪声干扰，为了排除这些孤立的噪声干扰，需要对二值化后的图像进行滤波处理。2 , 4i 图像去噪处理的基本方法常用的滤波处理方法有：均值滤波法n 高斯平滑滤波法【8 】【9 】，中值滤波法等 8 】 1 川】。以下对各种滤波器做简单的介绍：1 均值滤波器最简单的线性滤波器是邻域平均法，即每一个像素值用其局部邻域内所有值的均值作替换，公式见式佗外：如功2 玄k w 似川f 2 9 、长安大学硕十学位论文其中，n 是所选区域，m 是n 内的像素点总数：舷力为原图像的灰度值，g ( x ，y ) 为计算后的新值。均值滤波器可以通过卷积模板的等权值卷积运算来实现，卷积模板的大小可以根据图像像素点数的多少来决定。2 高斯平滑滤波器高斯平滑滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对去除服从正态分布的噪声是很有效的。对图像处理来说，常用二维高斯函数作平滑滤波器。这种函数的表达式见式( 2 1 0 ) ：一三丝g ( x ，力= c e2 a 2( 2 1 0 )其中。为分布参数，c 为高斯函数的系数，( z ，y ) 为滤波器窗口的大小，g ( x ，y ) 为计算后像素的新值。3 中值滤波器中值滤波器的基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，一般采用奇数点的邻域来计算中值，但如果像素点数为偶数时，中值就取排序像素中间两点的平均值。采用大小不同邻域的中值滤波器的效果是不一样的，常用的中值滤波窗口如图2 6 所示：图2 6 常用的中值滤波窗口2 4 2 本文选取的去噪处理方法及效果中值滤波方法在去除脉冲噪声、椒盐噪声的同时又能保留图像边缘细节。考虑到本文的滤波对象是对二值化后的图像孤立的噪声点，中值滤波对孤立噪声点的去除效果较里三里崮堡堕堑里好，所以本文选用中值滤波对二值化后的图像进行噪声去除。本文选用的滤波窗r l 是3 x 3 的模板，如图2 7 所示：圈圈2 7 滤波窗口模板其中e 点为当前需要处理的像素值。图24 b 和图25 b 经过中值滤波后的效果见图28 a 和图28 b匿2 8 a 滤波效果图1图2 8 b 滤被效果图22 5 二值化图像的边缘检测边缘检测是图像处理和计算机视觉领域的一个基本问题，也是图像后续处理的前提。检测并提取边缘对图像特征提取、图像分割、图像分析与理解具有重要意义。在车牌的定位叶l ，对图像进行边缘检测足其中的关键环节，边缘检测效果的好坏直接影响到车牌定位的准确率。长安大学硕上学位论文前边介绍过，现有的车牌按车牌背景色和字符的颜色有四种类型：蓝底白字，黄底黑字，白底黑字，黑底白字。由于不同底色和不同字符颜色的车牌图像经灰度化后的各灰度级有较大差异，一种是字符的灰度值高于背景灰度值，种是字符的灰度值低于背景灰度值，其经二值化后的图像由于各背景色和字符色不同，所得到的背景色和字符色也不统一。其中蓝底白字车牌和黑底白字车牌的二值化结果是黑底白字，而黄底黑字和白底黑字车牌的二值化结果是白底黑字。为了对不同的图像进行统一处理，同时去掉一些干扰信息，所以需要对二值化的图像进行边缘检测。2 5 1 边缘检测的基本方法图像上颜色相近的临近的像素连在一起形成了不同的区域，而不同区域间的边缘则表现为颜色灰度的跃变。边缘检测就是根据边缘的这种特征，利用微分等方法，通过对灰度跃变的分析寻找图像上区域边缘的技术。对于数字图像，通常使用卷积或类似卷积的方法来实现对灰度的分析。迄今为止，人们已发现许多种图像的边缘提取方法，常用的算法有梯度法【1 2 】，r o b e r t算子方法【1 2 】【1 3 1 ，s o b e l 算子方法【1 2 】【1 4 】【1 5 l ，p r e w i t t 算子方法【1 2 】【1 4 】【1 5 1 和l a p l a c e 算子方法【1 2 】【1 6 】等。这些方法各有特点，又存在诸多不足。r o b e r t 算子方法检测水平和垂直边缘的效果好于斜向边缘，定位精度高，但受噪声影响大。s o b e l 算子方法和p r e w i t t 算子方法的区别只是选用的模板不同。它们对噪声都具有平滑作用，能滤除一些噪声，去掉部分伪边缘，定位比较准确和完整，但同时也平滑了部分真正的边缘；容易出现边缘多像素宽。这两种方法对灰度渐变和具有噪声的图像处理的效果好。l a p l a c e 算子方法不具有方向性，对灰度突变敏感，定位精度高，同时对噪声敏感，且不能获得边缘方向等信息。2 5 2 本文选取的边缘检测方法及效果本文选用形态学的处理方法对二值化经滤波去噪处理后的图像进行边缘检测，其基本原理如下式所示：v a l u e = ( f ( x ，y ) 一f ( x + 1 ，y ) ) | | ( f ( x ，y ) - f ( x ，y + 1 ) )( 2 11 )f 0v a l u e = 0g ( x ，y ) = ( 2 1 2 )【2 5 5v a l u e 0v a l u e 为临时定义的一中间值，f ( x ，y ) 为图像像素坐标为( z ，y ) 的输入值，g ( x ，y ) 为图像像素坐标为( x ，y ) 计算后的输出值。对图2 8 a 和图2 8 b 边缘检测后的图像分别见图2 9 a 和图2 9 b 。图2 知边缘检测圈1图2 9 b 边缘检测图22 6 本章小结图像预处理是车牌定位技术的基础部分，只有很好的实现车牌图像的预处理，才能提高车牌定位的准确率，本章介绍的预处理的技术主要有图像灰度化、图像增强处理、图像二值化、图像去噪处理、以及二值化图像的边缘检测。长安人学硕二i ：学位论文第三章车牌定位3 1 我国车牌的特征为了准确、快速地定位出车牌区域，人们已经研究出了多种定位方法，这些定位方法的研究都是以车牌本身的特征为基础的。不同的国家其车牌特征也不同。目前国内的车辆牌照是由汉字、字母和阿拉伯数字组成的字符序列，总共有七个字符，其中第一个字符为汉字，第二个字符为字母，后边的五个字符是字母和数字的组合( 军警车除外) 。不同类型的车辆其车牌有所不同，表3 1 列出了常见车牌的一些基本信息。表3 1 车牌信息表外廓尺寸分类颜色皿x 圈m前：4 4 0 x1 4 0大型汽车号牌后：4 4 0 x 2 2 0黄底需字黑框线挂车号牌4 4 0 x 2 2 0小塑汽车号牌蓝底自字自抠线使绍汽车号睥照底自字，纫：“使栉、“领”字自领钨，e 车号牌椎线港澳入国境车4 4 0 x1 4 0黑底自字，自。港 、“酒黾”芍巴自号牌框线黄残黑字，黑“学忡教练汽率号牌字黑榉线囱戒黑字，红“警”警阳汽车号牌字黑椎线适用于大型汽车前号牌、小型汽车号牌、领馆汽车号牌、港澳入出境车号牌、教练汽车号牌的标准车牌如图3 1 所示：第三章车牌定位1 0 01 1 s 12 1 0l鞋盖一1【。1iy叶。、1 1 4“一j ii i- lir r1 75 厶ootml一()乞i_。li一童l|；lll专s l4 51 251 2 j 01 24 51 2 51 24 51 1 24 51 西4 5r l o。t 。it 一一i一富，鸯涪区i甸隔符序母互辖市衙称l发牌机关代号图3 1 标准车牌经分析，我国常用的这种车牌具有以下几种可用于车牌定位的特征：1 车牌有一个连续或由于磨损而不连续的矩形边框，车牌内的7 个字符基本呈水平排列且有一定的间隔，在牌照的矩形区域内存在较丰富的垂直边缘，而其他区域往往水平边缘丰富。2 车牌的底色、边缘颜色及车牌外的颜色各不相同，在图像中其灰度级也互不相同。由于字符本身与牌照底的内部狄度是均匀的，且字符大小和间距变化有一定的变化范围。3 车牌区域为矩形区域，本文只对大小为4 4 0 m m x1 4 0 m 的车牌进行分析处理。其宽高比为3 1 4 ，并且大多悬挂在车辆的下部。4 字符的高度为9 0 m m ，字符最底端距离车牌下边缘的距离和字符距离车牌上边缘的距离都为2 5 m m ，即字符离上下边缘距离约占字符高度的2 8 。5 这七个字符整体所占的宽度为4 0 9 m m ，第一个字符与车牌左边界的距离为1 5 5 m m ，最后一个字符与车牌右边界的距离也为1 5 5 m m ，即字符离车牌左右边界的距离约占字符总体宽度的4 。3 2 常用车牌定位方法车牌定位3 2 1 是车牌识别技术的一个关键技术，定位的准确与否直接影响着车牌识别的准确率。在车牌定位算法中，我们通过使用一系列的图像处理算法，使原始图像经过该算法的处理后能够使图像中非车牌区域的各种纹理，灰度，颜色信息消失或减弱，突出显示出车牌区域，以方便计算机识别，来判断出车牌的水平位置和垂直位置1 6长安大学硕上学位论文包含车牌图像中存在着大量噪声、图像的质量较差，是影响车牌定位的主要因素；图像处理的数据过大，造成用时过多，不符合实时性要求。为了快速准确地进行车牌定位，国内外学者进行了广泛的研究，提出了许多算法，基于纹理的分析法、基于汽车牌照颜色变化法、数学形态学等。常用的方法1 3 5 1 有：边缘检测法、数学形态学法、基于彩色或者灰度处理的方法、行检测和边缘统计法、模糊逻辑法、g a b o r 滤波法、遗传算法，h o u g h 变化和轮廓线法、自适应增压法、基于小波变换的方法、均衡变换法、神经网络法、脉冲耦合神经网络法、时延神经网络法、矢量量化方法等。以下对各种方法进行简单的介绍和比较：1 边缘检测法和数学形态学法就车牌区域提取而言，将边缘检测方法同数学形态学方法结合使用，会取得比较好的效果。这两类方法基于统计图像中的梯度数量级和局部梯度变化，要求车牌区域的亮度变化显著而且变换频率要高于其他区域。具有高度边缘梯度和高度边缘变化的区域将被认定为可能的车牌区域。这两类方法不依赖于车牌的外边框是否清晰，在车牌外边框不清晰或有断裂的情况下，仍然能快速准确地定位出车牌区域。但是基于边缘的方法很难处理复杂情景的图像，因为这种方法对那些多余的边缘也很敏感，从而影响其定位的准确率。2 基于颜色的处理方法基于颜色的处理方法获得成功的关键在颜色的分割阶段。这种方法是基于颜色的，在某些情况下，基于颜色的处理方法有着很好的性能。同一场景在不同光线强度下，其颜色并不同，或者图像中存在很多与车牌部分颜色相似的区域，这种方法便不具备高度准确性，它不能检测各种不同颜色的车牌。一种改进的基于颜色的处理方法是在颜色处理的基础上引入车牌纹理特征。使用两者相结合的方法，效果有所改进。但是，这种处理方法在图像严重污损或者过于复杂时，效果依然不理想。3 扫描统计边缘法对图像进行行扫描，并对边缘计数。如果边缘数目大干某一给定的阈值，则说明，当前检测到了车牌区域。如果第一次检测没有找到车牌区域，则降低该闽值，重新检测。这种方法的特征就是执行速度快，实现起来较简单。4 h o u g h 变化和轮廓线法这类方法，首先统计输入图像的边缘，然后，应用h o u g h 变换检测车牌区域。h o u g h1 7第三章车牌定位变换法同轮廓线相结合使用，其识别率较高。果车牌区域的边界是模糊的，或者是扭曲的，这种方法的效果也并不理想。5 g a b o r 滤波法同时h o u g h 变换对边界变形非常敏感，如或图像中存在较强的其它干扰边缘信息，g a b o r 滤波是目前纹理分析的主要工具之一。这种方法对于处理由固定位置和角度获得的数字图像有良好的效果。但是其对图像分析处理的运算量很大，会占用较多的系统资源，且运行速度较慢。6 人工神经网络目前有很多种用于车牌定位的神经网络。例如，脉冲耦合神经网络( p u l s ec o u p l e dn e u r a ln e t w o r k s ，p c n n s ) ，时间延迟神经网络( t i i n ed e l a yn e u r a ln e t w o r k s ，t d n n s )以及离散时间细胞神经网络( d i s c r e t et i m ec e l l u l a rn e u r a tn e t w o r k s ，d t c n n s ) 等。这些方法的定位效果较好，其运算复杂度也较高。7 模糊逻辑法这类方法对于车牌的颜色和光线都比较敏感，尽管可以获得较好的结果，但是与传统的基于颜色的处理方法相比，需要较长的处理时间，同时对于图像中非车牌区域存在大量与车牌区域相近颜色的图像，其识别率较低。8 基于小波变换的方法这种方法主要利用小波变换进行车牌定位。应用小波变换，定位在一幅图片中的多个不同位置的车牌效果较好。但是，当车辆和摄像机之间的距离太远或者太近的时候，这种方法将会大大降低识别率。3 3 本文车牌定位方法介绍及效果目前车牌定位的方法很多，综合考虑，本文采用的是改进的基于边缘特征的车牌定位算法，主要特色是利用车牌区域的边缘及字符纹理特征来对车牌进行定位。这种方法主要有两个关键的步骤：行定位和列定位。下面进行具体的介绍。3 3 1 车牌的水平定位1 对二值化的图像进行行扫描，并统计出灰度值为2 5 5 点的数目。在统计点数时，对一些孤立的点不计入内。这些孤立的点，可以根据实际情况来设定一定的范围，若在这个范围内，其灰度值为2 5 5 的点小于一定的数目，则舍弃该段，不计入统计点数之内。并将该组数存入数组l i n e n q b ，n 的取值范围为0 至i j h ，h 为图像的像素高度，方长安大学硕士学位论文便以后分析；2 根据实际情况，确定出车牌区域中灰度值为2 5 5 点的数目的最小经验值l m i n ，并根据实际得出车牌高度的经验值范围h m i n n h m a x ；3 对数组l i n e n 进行分析，若其值l i n e n 大于m i n ，则视为有效数值；并对这些有效数值进行分析，根据得出的车牌高度的经验值范围以及这些数值的连续性确定出可能是车牌的水平区域，并记下区域的底部坐标y 1 和顶部坐标y 2 。当然这些区域可能不止一个。由于车牌一般悬挂于车辆底部，并且路面背景有较强的灰度连续性，在前期的预处理中，路面背景部分信息基本上被去除，因此我们扫描到的第一个可能是车牌水平区域是真正的车牌区域的可能性非常大。我们进行的行扫描是自下而上的，这样就提高了车牌水平定位的准确性和快捷性。图2 9 a 和图2 9 b 的定位的效果见图3 2 a 和图3 2 b 。图3 2 a 定位效果图l图3 2 b 定位效果图23 3 2 车牌的垂直定位由于已经大概确定出了车牌的水平位置，其图像复杂度大大的减少，所以对车牌的垂直定位相对比较简单，车牌区与非牌照区相比，车牌区内有较多的竖向纹理且呈现出间隔规律性和密集性，其垂直投影图呈现出有规律的峰，谷，峰特性。对上边所得出的水平区域进行垂直投影，根据垂直投影图可以剔除伪车牌，并确定车牌所在的垂直区域。在此，我们对经过滤波处理的二值化水平区域进行投影。3 3 a 和图3 3 b 为图3 2 a 和图3 2 b 所确定出的水平位置的所对应的二值化图像垂直投影图。1 9第三章车牌定位图3 3 a 垂直投影图1图3 3 b 垂直投影图2车牌字符的高度为9 0 m m ，第一个字符到最后一个字符的总宽度为4 0 9 r a m ，即确定的字符区域的总宽度约为字符高度的4 6 倍，根据这一特性，可剔除与字符有相似锯齿状的投影区域，更能准确地判断出车牌的垂直位置。车牌垂直定位见图3 4 a 和图3 4a 。l t l 【- h 一，z图3 4 a 垂直定位图1醚茁d0 出图3 4 b 垂直定位图23 3 3 对倾斜车牌的处理考虑到车牌边框，为了定位更准确，包含信息更完整，我们应该根据由对字符边缘统计所得到的车牌水平位置进行适当的调整，调整量主要由字符离上下边缘距离约占字2 0符高度的百分比所决定，前边分析过，字符离上下边缘距离约占字符高度的2 8 ，因为所拍到的图像角度的不同，并不是每个车牌在图像中都正好处于水平显示的，为了减少车牌信息的损失量，我们在水平定位时还应该考虑到车牌会扭曲的情况，因此，在车牌水平定位调整时，应该留有一定的余量，本文取占字符高度5 作为上下边界浮动的余量，调整公式见式( 31 ) ：n e w h = 西a r h x 3 3 ( 31 )其中c h a r h 表示初次水平定位所得到的车牌区域高度，n e w h 为需要调整的高度。计算出n e w h ，并使用进一法对n e w h 整数化，根据下面的式子分别计算出新的车牌区域底部坐标n e w y l 和新的顶部坐标n e w y 2 。n e w y l = y l n e w h( 32 )n e w y 2 = y 2 + n e w h( 3 3 )车牌的垂直定位也应该留有余量，其原理与水平调整相同。原灰度图见图35 a ，处理后的车牌定位图像见图3 ，5 b 。图3 5 a 原图像获度图围3 5 b 车牌定位处理图像3 34 车牌定位效果图3 6 a 坂图像灰度盈图3 6 b 车牌水平定位效果图图3 6 c 车牌定位效果图图3 7 a 原图像灰度图“二墨口区叠岛誓i _ 幽e图3 7 o 车牌水平定位效果图图3 7 c 车牌定位效果图墼塞盔芏堡主生堡丝壅口图38 a 原图像灰度