（计算机应用技术专业论文）基于连通区域分类算法的车牌定位方法研究.pdf

拿、! _ 1 i 一 独创性声明 本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究工作所取得 的成果。据我所知，除了特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果。对本人的研究做出重要贡献的个人和集体，均已在文中作了 明确的说明。本声明的法律结果由本人承担。 学位论文作者签名：2 必釜日期： 学位论文作者签名： 睑坐幽坠 日期： 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定，即：东 北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许 论文被查阅和借阅。本人授权东北师范大学可以采用影印、缩印或其它复制手段保存、 汇编本学位论文。同意将本学位论文收录到中国优秀博硕士学位论文全文数据库 ( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论文全文数据库( 中国科学技 术信息研究所) 等数据库中，并以电子出版物形式出版发行和提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：啦 指导教师签名： 日 期：塑! q ：( ：f 兰 e t 期： 学位论文作者毕业后去向： 工作单位： 通讯地址： 梦缓 电话： 邮编： 摘要 随着国民经济的飞速发展，汽车的数量急剧增加，城市交通管理现代化水平的提高 势在必行。汽车牌照识别系统作为智能交通系统中的重要部分，被广泛应用于智能停车 场管理、违规车辆的识别、被盗车辆的检测等领域。该系统能大大提高智能化管理水平、 减少人力物力，在高速公路、城市道路和停车场等项目管理中具有不可取代的地位。 车牌定位技术是车牌识别系统的关键。在实际应用中，车牌图像通常是在自然场景 中被采集的，图像的内容和质量会受到很多因素的影响，如天气变化因素( 雨、雪) 、 光照变化因素( 阳光直射、反射，白天、夜间等) 、车牌污损以及图像采集现场不同的 景物背景等因素，现有的车牌定位方法还有待进一步的完善。 本文提出了把车牌定位问题转化成识别问题，用分类的方法实现车牌的定位。针对 本文汽车图像包含白天、夜间等不同光照条件的情况，我选用能够抗光照的特征 s i f t 特征，来减少光照对正确定位车牌的影响，以便更好的提高定位的准确率。本文还 通过提取三种特征，分别训练三个独立的支持向量机分类器的方法，最大程度的区分正 负两类样本图像，提高分类算法的鲁棒性。通过对本文采用的数据进行多种车牌定位方 法的实验对比，本文提出的算法具有定位的准确率高和速度快的优越性。可以说，本文 的算法具有鲁棒性和对光照的适应性，还具有实时性。 关键词：汽车牌照识别；车牌定位；s i f t 特征；支持向量机 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h en a t i o n a le c o n o m y , as h a r pi n c r e a s ei nt h en u m b e ro f v e h i c l e s t h a ti si m p e r a t i v et oi m p r o v et h em o d e r n i z a t i o nl e v e io fu r b a nt r a m cm a n a g e m e n t l i c e n s ep l a t er e c o g n i t i o ns y s t e mi sa ni m p o r t a n tp a r to ft h ei n t e l l i g e n tt r a m cs y s t e m w h i c h i sw i d e l yu s e di ni n t e l l i g e n tc a rp a r km a n a g e m e n t ，i l l e g a lv e h i c l ei d e n t i f i c a t i o n ，s t o l e nv e h i c l e d e t e c t i o n ，a n do t h e ra r e a s i tc a ne n h a n c et h el e v e lo fi n t e l l i g e n tm a n a g e m e n tg r e a t l y , r e d u c e h u m a na n dm a t e r i a lr e s o u r c e s i th a sa ni r r e p l a c e a b l ep o s i t i o ni np r o j e c tm a n a g e m e n to ft h e h i g h w a y , u r b a nr o a d sa n dp a r k i n gl o t s l i c e n s ep l a t el o c a l i z a t i o ni st h ek e yo ft h el i c e n s ep l a t er e c o g n i t i o ns y s t e m i np r a c t i c a l a p p l i c a t i o n ，t h el i c e n s ep l a t ei m a g e sa r ea l m o s ta l w a y sc o n d u c t e di na n a t u r a ls c e n ec o l l e c t i o n ， al o to ff a c t o r sa f f e c tt h ei m a g ec o n t e n ta n dq u a l i t y f o re x a m p l e ，w e a t h e rf a c t o r s ( r a i n ，s n o w ) ， i l l u m i n a t i o nc h a n g ef a c t o r s ( d i r e c ts u n l i g h t ，r e f l e c t i o n ，d a y t i m e ，n i g h t ，e t c ) ，l i c e n s ep l a t e i m a g ec a p t u r eo n - s i t ed e f a c e m e n ta sw e l l 舔ad i f f e r e n tl a n d s c a p eb a c k g r o u n d ，e t c ，t h e e x i s t i n ga p p r o a c ho f l i c e n s ep l a t el o c a l i z a t i o nh a v et ob ef u r t h e rp e r f e c t i nt h i sp a p e r , t h el i c e n s ep l a t el o c a l i z a t i o np r o b l e mi st r a n s f o r m e di n t oi d e n t i f l c a t i o n p r o b l e m u s i n gt h ea p p r o a c ho fc l a s s i f i c a t i o nt oa c h i e v et h el i c e n s ep l a t el o c a l i z a t i o n t h e v e h i c l ei m a g e so ft h i sa r t i c l ec o n t a i nd i f f e r e n tl i g h t i n gc o n d i t i o n so ft h ed a y , n i g h t ，a n ds oo n iu s ea n t i l i g h tf e a t u r e s i f tf e a t u r et or e d u c et h el i g h t i n gi m p a c to ft h ec o r r e c tl o c a t i n g l i c e n s ep l a t e s i no r d e rt oi m p r o v et h el o c a l i z a t i o na c c u r a c y t h i sa r t i c l eu s e st h ea p p r o a c ho f e x t r a c t i n gt h r e ef e a t u r e s ，a n dt r a i n i n gt h r e es u p p o r tv e c t o rm a c h i n ec l a s s i f i e r ss e p a r a t e l y , t o d i s t i n c tt h et w ot y p e so fs a m p l ei m a g e st h a tp o s i t i v ea n dn e g a t i v e ，i m p r o v et h er o b u s t n e s so f c l a s s i f i c a t i o na l g o r i t h m t h r o u g hav a r i e t yo ft h ee x p e r i m e n t a lc o n t r a s to fv e h i c l el i c e n s e p l a t el o c a l i z a t i o n ，t h ea l g o r i t h mp r o p o s e d i nt h i sp a p e rh a sg r e a ta d v a n t a g e so fh i g h l o c a l i z a t i o na c c u r a c ya n dr a p i dl o c a l i z a t i o ns p e e d w ec a ns a yt h a tt h i sa l g o r i t h mh a st h e r o b u s t n e s sa n da d a p t a b i l i t yt ol i g h t a sw e l la sr e a l - t i m i n g k e yw o r d s ：l i c e n s ep l a t er e c o g n i t i o n ；l i c e n s ep l a t el o c a l i z a t i o n ；s i f tf e a t u r e ；s v m c l a s s i f i e r n 目录 摘要i a b s t r a c t 】： 目录i i i 第一章引言1 1 1 课题研究的背景及意义1 1 2 国内外研究现状1 1 2 1 国外车牌识别技术研究情况2 1 2 2 国内车牌识别技术研究情况2 1 2 3 国内外车牌识别技术差距的原因2 1 3 车牌定位的常用方法2 1 3 1 基于灰度图像的车牌定位方法2 1 3 2 基于彩色图像的车牌定位方法3 1 4 本文研究内容及组织结构4 第二章提取训练样本图像的方法6 2 1 图像预处理7 2 1 1 彩色图像灰度化7 2 1 2 开一闭滤波7 2 2 连通区域的提取9 2 2 1s o b e l 算子边缘检测9 2 2 2 形态学处理提取连通区域9 2 3 候选样本的后处理“ 2 3 1 应用h o u g h 变换的车牌倾斜校正1 2 2 3 2 图像二值化1 3 2 3 3 去除上下边界1 3 2 3 4 去除左右边界1 4 2 3 5 图像归一化1 4 第三章支持向量机分类算法的实现；1 6 3 1 特征提取1 6 3 1 1s i f t 特征1 6 3 1 2 垂直投影直方图2 3 3 2 支持向量机训练算法2 5 3 2 1 支持向量机的原理2 5 3 2 2 支持向量机训练及存储参数2 6 第四章实验结果2 7 4 1 训练s v m 分类器实验2 7 4 2 测试车牌定位实验2 8 4 3 实验结果分析与比较2 9 第五章总结与展望3 6 5 1 总结3 6 5 2 展望3 6 参考文献3 7 致谢4 0 i i i 在学期间公开发表论文及著作情况4 1 i v 东北师范大学硕士学位论文 第一章引言 1 1 课题研究的背景及意义 进入二十一世纪以来，我国经济飞速发展，各种事物逐渐添新，其中，汽车数量的 增加更加明显。车辆的增加给人们的现代生活提供了便利，与此同时，也引发了各种不 可避免的新问题，汽车闯红灯、超速超载等违章现象，以及汽车犯罪等事件急剧增加， 伤亡事故不断发生。从当前的情况来看，急切的需要采用更先进的技术来实时监控和检 测道路上的各种车辆，从而提高交通管理现代化的水平。当前，公路交通、城市道路的 管理需要利用智能交通系统i t s ( i n t e l l i g e n tt r a n s p o r ts y s t e m ) 【l j ，这个系统的应用提供 了高效率的管理方式和更有效、更方便的服务。所谓智能交通系统是指利用信息技术对 交通进行最有效和最合理的管理和指挥的一系列软硬件的有机结合体，它通过对自动采 集的实时交通信息进行自动分析，提出最优的解决方案，能最大程度的提高地面交通设 施的利用率和效率1 2 j 。 在智能交通系统中，汽车牌照识别系统l p r s ( l i c e n s ep l a t er e c o g n i t i o ns y s t e m ) 是它的核心组成部分，是模式识别技术在智能交通领域中的重要研究课题之一1 3 j 。汽车 牌照识别系统的应用比较广泛，主要用于智能停车场的管理；城市交通车辆管理，如超 速车和违规车辆的识别、记录：车牌验证，被盗车辆的检测、跟踪等领域。这个系统能 大大提高智能化管理水平、减少人力物力、降低劳动强度，在高速公路、城市道路和停 车场等项目管理中具有不可取代的地位 4 1 。 车牌识别系统的首要环节就是把车牌区域从汽车图像中分割出来，在定位出车牌之 后才能对车牌中的字符进行分割和识别。由于现实场景中拍摄到的汽车图像背景较复 杂，因此车牌定位的算法要求对光照改变、噪声、牌照污损、倾斜形变等情况具有普适 性。 本文着重研究车牌的定位环节，要求快速准确的分割出车牌区域图像。由于最初输 入的汽车图像处于道路场景中拍摄，有白天和夜间等不同光照条件的情况，并受天气的 影响存在各种噪声，使得图像质量较差，同时，由于汽车离摄像头远近的不同，又造成 了车牌图像的倾斜形变，这些都给车牌的定位增加了难度。而已有的车牌定位技术在夜 晚、雨雪天气和复杂背景等特殊情况时，鲁棒性、通用性都较差，因此对其进行研究仍 具有很大的理论意义和实际应用价值。 1 2 国内外研究现状 车牌识别技术经过了近二十年的研究发展，已形成了较系统的理论体系和研究处理 方法，也已开发出了用于实际环境中使用的车牌识别系统产品。 东北师范大学硕士学位论文 1 2 1 国外车牌识别技术研究情况 国外的道路发展的速度比较快，因此他们的车牌识别技术的研究起步也比较早。现 有的比较成熟的应用产品主要有1 5 】：以色列h i t e c h 公司的s e e c a r s y s t e m 系列，这个系 列有多种变形的产品来分别适用于某一个国家的车牌识别；新加坡o p t a s i a 公司的 v l p r s 系列，这个产品适用的国家主要是新加坡。其中，s e e c a r c h i n e s e 系统能够对中 国大陆的车牌进行识别，但由于其不适合识别车牌中汉字的部分，因此不能直接应用于 我国的车牌识别。 1 2 2 国内车牌识别技术研究情况 我国在9 0 年代也开始了车牌识别的研究，目前比较成熟的产品有中科院自动化研 究所汉王公司的“汉王眼，中国信息产业部下属的中智交通电子有限公司、亚洲视觉 科技有限公司等也有自己的产品，另外，清华大学人工智能国家重点实验室、上海交通 大学的计算机科学和工程系、西安交通大学的图像处理和识别研究室等也做过相应的研 究【6 】o 1 2 3 国内外车牌识别技术差距的原因 国内外车牌识别技术存在很大差距，它的主要原因有【7 j ：第一，国外道路交通的发 展速度较快，国外车牌识别技术研究的起步较早，已研究出很多适于实际环境的车牌识 别产品，但不适用于我国车牌识别领域，我国学者需要研究适合本国的车牌识别技术； 第二，对于中国车牌中汉字的识别，会给识别系统增加很大的难度；第三，国外很多国 家的车牌颜色配对仅有一种，而我国至少有蓝底白字、黄底黑字、白底黑字、黑底白字 这四种颜色配对；第四，我国汽车的车型、车牌悬挂的位置有很多样式，造成统一识别 的难度较大；最后，我国地面道路的污染严重，会造成车牌的污损、模糊等情况，这些 因素都会加大我国车牌识别系统的难度，难以提高识别的准确率。 1 3 车牌定位的常用方法 自2 0 世纪9 0 年代以来，我国研究者也研究出很多车牌定位的处理方法，现有的车 牌定位方法主要有两类：一类是基于灰度图像的车牌定位方法i & 朔，另一类是基于彩色 图像的车牌定位方法【1 8 2 5 1 。下面就分类介绍一下几种典型的车牌定位方法。 1 3 1 基于灰度图像的车牌定位方法 大多数的车牌定位方法都是利用车牌的边缘特征和字符特征来对汽车图像进行分 析，从而定位车牌的。对车牌灰度图像进行分析，可以看出车牌区域的灰度变换非常明 显，这种基于灰度图像进行车牌定位的常用方法有： 1 基于边缘检测的定位方法。车牌区域的牌底和牌字具有较大的对比度，使得车 牌区域相对于图像其它区域有更丰富的边缘信息。图像的边缘是指在灰度级上发生急剧 变化的区域，而在背景或者物体的内部这种灰度的变化是比较平缓的。 2 东北师范大学硕士学位论文 z h e n g 等人【8 j 首先对汽车图像进行垂直边缘检测，然后用一个车牌大小的矩形框遍 历边缘图像，计算矩形框中边缘点的像素和，如果这个值大于某个阈值，那么该矩形框 所在的区域，就可能是车牌区域，从而定位出车牌。但是这种方法的定位效果会受车灯 和车前端散热片的干扰，由于仅对边缘进行检测通常不能排除车牌以外的边缘密集区， 所以会导致定位错误或不准确。t r a n 等人【9 1 是在对图像提取边缘之后，可以看出车牌区 域有直线边缘，就利用h o u g h 变换进行检测直线，从而确定车牌在图像中的位置。但是， h o u g h 变换只进行直线检测，没有结合到车牌的形状特征，在有直线干扰时可能会导致 定位不准确。j i a o 等人i l o l 是用边缘检测和区域生长的方法定位了多种样式的车牌。首先 通过边缘检测算子对图像进行边缘检测，然后采用区域生长方法形成候选车牌区域，最 后利用车牌的宽高比等特性，去除虚假车牌区，定位真实的车牌。h a m i d 等人i l l j 是用边 缘检测和形态学结合的方法定位出车牌区域。 2 基于纹理检测的定位方法。车牌区域具有比较强的字符纹理特征，可以通过扫 描图像确定具有字符纹理特征的区域。 h o u 等人【1 2 1 是首先对原始汽车图像做预处理，然后对预处理后图像做两次线扫描， 寻找满足车牌灰度变化规律的区域，定位出真实车牌区域。a n a g n o s t o p o u l o s 等人l i 驯是 用滑动窗1 2 1 搜索的方法寻找车牌，从而精确定位。h s i e h 等人1 1 4 j 是对汽车图像进行小波 特性的分析，发现小波分解后的细节分量中有较好体现出车牌位置的信息，特别是垂直 高频、水平低频分量能提供更准确的车牌位置信息，然后找出一条参考线来进一步缩小 车牌搜索的范围，最后通过车牌调整来精确定位出车牌，该方法能够在一幅图像中定位 出不同方向的多个车牌。z h a n g 等人【l5 】是利用a d a b o o s t 分类学习的方法，结合全局统计 特征和局部h a r r - l i k e 特征，实现了车牌的定位。 1 3 2 基于彩色图像的车牌定位方法 上节基于灰度图像的车牌定位方法速度较快，但其效果易受到噪声和光照变化的影 响。然而彩色的图像由于其信息量丰富，可以更充分的体现车牌的信息，因此也有很多 研究者是基于彩色图像进行车牌定位的，这类算法有： w a n g 等人【l8 】是基于模糊逻辑的方法实现车牌的定位，首先将彩色图像转换到色调 饱和度亮度空间( h s v 空间) ，将h s v 空间的三个分量根据不同的隶属函数映射到模 糊集中，用于颜色识别的模糊分类函数通过三个加权的隶属度的整合来得到。这样，识 别出图像中符合车牌颜色规律的区域就是该图像车牌的区域。j i a 等人【2 0 j 是用m e a ns h i f t 分割的方法找到彩色图像中候选的车牌区域，然后辨别这个候选区域中是否包含真实的 车牌，这种基于区域的方法会比其他方法要好些。y o u s s e f 等人田j 是首先利用颜色特征 提取候选区域，然后用形态学的方法最终定位车牌。v a h i d 等人【2 5 】是首先根据车牌几 何形状检测边缘轮廓，然后用形态学的方法初步形成候选车牌区域，最后根据车牌颜色 特征精确定位车牌。 这种基于彩色图像的车牌定位方法存在很多不足之处，首先，由于事先不知道车牌 自身的颜色，所以处理较为复杂，处理时间会很长，影响了实时性，并且稳定性不高； 3 东北师范大学硕士学位论文 其次，当车身或背景物体的颜色与车牌颜色相近时，往往还需要借助边缘性质来定位车 牌，定位准确率受到影响，鲁棒性不强。综上所述，由于灰度图像和彩色图像的处理方 法各有优缺点，鉴于车牌识别系统对实时性的要求，本文采用基于灰度图像的车牌定位 方法。 1 4 本文研究内容及组织结构 本课题的主要工作是车牌定位方法的研究，在总结了前人的方法和经验之后，我考 虑提出一个能够快速准确定位车牌，并且针对光照不同条件下车牌的定位也有很强适应 性的方法。我研究的方向是模式识别，即模式分类，我考虑用分类的思想做车牌定位的 研究，如果能够训练一个有效的区分车牌和非车牌两类样本的分类器，用学习的思想让 分类器学习如何区分各种光照不同条件下、不同扭曲形变下的两类图像，那么对识别准 确率的提高会有很大帮助。这样的话，在进行车牌定位时，就不用在输入汽车图像的同 时，再去分析图像中各个像素的关系，根据车牌的某些特征来提取车牌，而是用一个已 经训练好、学习好辨认车牌的分类器来识别出图像的哪个区域是真j 下的车牌区域，直接 显示出定位到的车牌，该方法定位的速度比较快，准确率也很高，并且鲁棒性很强。引 入学习机制的最大好处就是能使系统越用越“聪明”，适应性越来越强，实现车牌定位 更好的结果。本文车牌定位算法的流程如图1 1 所示。 图1 1 车牌定位流程图 本文定位方法的第一个阶段就是从原始的汽车图像中提取用于识别的正负两类样 本图像。先前的方法是从图像库中任意的挑选大量的车牌正样本和非车牌负样本图像， 训练一个能够区分两类图像的分类器，但是这种现成的与待测汽车图像中车牌标准不一 致的j 下样本图像，和一些不相干的负样本图像，很难得到较高的识别率。我考虑让分类 算法要识别什么就学习什么，让计算机通过图像处理的方法自动提取汽车图像中的车牌 和非车牌区域作为训练的正负两类样本图像，这就使得训练和识别的样本图像是通过同 样的方法提取的，并且出自于同一个数据库，能够达到定位准确率较高的目的。由于中 国车牌是由7 个连续字符组成的字符串，字符的纹理丰富、间隔紧密，而图像的背景及 其他区域较为平滑，我用基于连通区域提取的方法找到图像中纹理密集的像车牌区域， 4 东北师范大学硕士学位论文 截取这些尺寸大概是车牌大小的区域作为样本图像，把其中是车牌的区域作为候选j 下样 本图像，非车牌区域作为候选负样本图像，再对候选图像做一些后处理，得到用于训练 的两类样本图像。 接下来要对两类图像提取特征，由于本文数据库中的汽车图像包含了白天、夜间等 不同光照条件的情况，通过提取具有抗光照的特征s i f t 特征，能够减少光照变化 对样本图像的影响，提高分类算法的分类性能。另外，又对样本图像做垂直投影直方图， 进一步区分正负两类样本图像。 最后要选择适合本文的分类算法，由于支持向量机s v m ( s u p p o r tv e c t o rm a c h i n e ) t e 常适合于小样本的两类图像的分类问题，我采用对提取的三种特征分别训练三个s v m 分类器的方法，来完成训练阶段的过程。 识别也就是测试车牌定位的过程和训练过程类似，下面介绍一下本文的组织结构。 论文共分为五章，具体内容如下： 第一章，介绍论文研究的课题背景及意义；概述l p r s 的重要性和国内外研究现状； 概述车牌定位的常用方法；介绍论文主要研究内容及组织结构。 第二章，细述如何从原始汽车图像中提取训练样本图像的过程。该过程共分为三个 阶段，首先是图像预处理，包括彩色图像灰度化和开一闭滤波，以达到突显车牌区域、 平滑车身及背景区域的目的；然后是连通区域提取，包括边缘检测和形态学处理，得到 初步的候选样本图像；最后，由于车牌区存在倾斜、无用边界等现象，还要对候选样本 图像做后处理，包括倾斜校正、图像二值化、去除四周边界、图像归一化这几步，最终 得到用于训练的正负两类样本图像。 第三章，讲述对训练样本图像提取特征，训练分类器的过程。本文中，先提取具有 抗光照的s i f t 特征，然后对其做水平和垂直投影，从而降低s i f t 特征较高的维数，另 外，对样本图像做垂直投影直方图，这也是能区分正负两类样本图像的有效特征；最后 讲述支持向量机的原理，训练分类器并存储参数。 第四章，评析论文的实验结果，进行支持向量机的训练和测试的实验，记录车牌定 位的测试结果，并与其它定位算法做比较。实验表明，本文的算法具有定位准确率高和 速度快的优越性。 第五章，总结论文所做的工作，指出本系统今后改进的方向，并对后续的研究工作 进行了一些探讨。 5 东北师范大学硕士学位论文 第二章提取训练样本图像的方法 从这章开始，就进入了本文具体算法的细述部分。首先，要从原始的汽车彩色图像 中，通过数字图像处理的方法，提取出用于训练分类算法的正负两类样本图像。为什么 要让计算机自动的提取训练样本，而不是手动选取样本图像，就是因为，本文的车牌定 位方法，是要在一幅原始汽车彩色图像中寻找像车牌的若干区域，通过分类算法识别出 哪个是真正的车牌的过程。这样，我用测试时寻找像车牌区域的方法，来形成训练样本 图像，就是让分类算法要识别什么就学习什么，从而能得到学得更好的分类器，有利于 车牌的识别定位。下一章，再对样本图像提取特征，训练有效的分类器，从而实现车牌 的定位。 提取训练样本图像的过程是，首先对原始的汽车彩色图像做图像预处理，使得彩色 图像变成灰度图像，有利于减少彩色像素的干扰，提高计算速度；再对灰度图像进行形 态学开一闭滤波操作，灰度图像减去滤波后图像就得到了突显车牌区域、平滑车身及背 景区域的预处理结果图像。然后对预处理后图像做一些形态学的处理，利用基于连通区 域提取的方法，找到图像中纹理密集的像车牌区域，从原始汽车彩色图像中截取这些区 域作为候选的样本图像，手动将这些图像分成两类，是车牌的区域作为候选正样本图像， 非车牌区域作为候选负样本图像。最后，由于各个车牌在候选图像中存在倾斜、大小不 一致的情况，还要对这些候选样本图像做后处理，进行倾斜校j 下、去除四周非字符边界、 图像归一化的操作，就形成了用于训练的正负两类样本图像，图2 1 是本章的流程图， 下面详细描述本章所进行的各种图像处理的过程。 图2 1 提取训练样本图像流程图 6 东北师范大学硕士学位论文 2 1 图像预处理 图像预处理的作用是突出图像中的有用信息，削弱或去除图像中的噪声。大多数在 现实场景中拍摄到的汽车图像都会受到天气变化、光照变化、拍摄角度不同的影响，从 而造成图像的对比度较低、噪声干扰等情况，这些不利因素都将直接影响车牌定位的结 果，因此需要对拍摄获得的原始汽车图像做图像预处理，改善图像质量，利于定位车牌。 2 1 1 彩色图像灰度化 将彩色图像转化为灰度图像的过程称为彩色图像的灰度化处理。彩色图像的颜色是 由红、绿、蓝这三种基本颜色有机组合而成。灰度图是指只包含亮度信息、不包含彩色 信息的图像，灰度值大的像素点比较亮( 像素灰度值最大为2 5 5 ，呈白色) ，反之则较暗 ( 像素灰度值最小为0 ，呈黑色) 。 进行彩色图像灰度化处理的原因有：1 图像中的车身及周围景物的颜色可能与车 牌颜色相近，简单的基于彩色信息并不一定能找到车牌；2 由于车牌的新旧程度和光 照强度的不同，车牌的颜色可能不同程度的偏离了本来的颜色，增加了区分不同颜色车 牌的难度；3 将彩色图像灰度化以后，我们感兴趣的信息并没有减少，相反会使处理 过程更加简单和省时，另外，彩色图像存储量大，处理起来很不方便，因此一般需将彩 色图像转换为灰度图像进行处理。本文的车牌定位算法也是基于灰度图像的，所以预处 理的第项工作就是彩色图像的灰度化。 由彩色图像转为灰度图像的公式如下： y = r 0 2 9 8 9 + g 0 5 8 7 0 + b x 0 1 1 4 1 ( 2 1 ) 其中，r 、g 、b 分别是彩色图像中像素的红、绿、蓝三个分量，y 是该像素在灰度图像 中的灰度值。图2 2 是彩色图像灰度化得到的图像。 ( a ) 图2 2 彩色图像灰度化结果：( a ) 汽车彩色图像；( b ) 汽车灰度图像 2 1 2 开一闭滤波 数学形态学1 2 6 1 是用集合论方法描述几何结构的科学，它是由一组形态学的代数算子 组成，其中最基本的形态学算子是：腐蚀和膨胀，其它的如开、闭运算等都是由这两种 算子组合完成。结构元素是一个可以在图像上平移，且尺寸比图像小的集合。我们可以 按照目的选取不同形状和尺寸的结构元素，来度量和提取图像中对应的形状，以达到对 7 东北师范大学硕士学位论文 图像进行分析和识别的目的。数学形态学可以应用于边缘检测、特征提取、图像分割等 领域的研究。 设s ( x ，y ) s l g l b ( i ，) 均为二维离散空间上的两个离散函数，其中，6 ( f ，) 是具有一定 形状和大小的结构元素，y ( x ，y ) 是图像位于( x ，y ) 处像素的灰度值，则6 ( f ，_ ，) 对灰度图 像s ( x ，y 1 膨胀与腐蚀运算及丌运算和闭运算的定义分别如下： 膨胀：( 厂。6 ) ( z ，y ) = m a x 厂( x f ，y - j ) + b ( i ，埘 ( 2 2 ) 腐蚀：( 0 6 ) ( x ，y ) = m a x f ( x + f ，y + j ) - b ( i ，硝 开运算：( 厂6 ) ( x ，y ) = ( 一6 ) 0 6 ( x ，y ) ( 2 3 ) ( 2 4 ) 闭运算：( 6 ) ( x ，y ) = e ( s 。b ) o b j ( x ，y ) ( 2 5 ) 开运算的实质是先膨胀后腐蚀，它具有消除细小物体，并在纤细处分离物体和平滑 较大物体边界的作用；闭运算则先腐蚀后膨胀，它具有填充物体内细小孔洞，连接邻近 物体和平滑边界的作用。由于开运算可以去除比结构元素更小的明亮细节，闭运算可以 去除比结构元素更小的暗色细节，所以它们经常组合在一起用来平滑图像并去除噪声， 这个过程称为开一闭滤波【2 1 7 1 。从汽车灰度图像中减去开一闭滤波后的图像就得到了突显车 牌区域、平滑车身及背景区域的预处理结果图像。图2 3 是开一闭滤波得到的图像。 至此，通过彩色图像灰度化和开一闭滤波处理两步操作，就得到了突显车牌区域、 平滑车身及背景区域的汽车灰度图像，去掉了很多背景区域的干扰，为进一步提取样本 图像作铺垫。 图2 3 开一闭滤波结果：( a ) 汽车灰度图像；( b ) 开一闭滤波图像；( c ) 差值图像 3 东北师范大学硕士学位论文 2 2 连通区域的提取 图像预处理之后，就要把图像中纹理密集的区域，通过形态学的处理方法，形成连 通的区域，然后从原始汽车彩色图像中截取这些区域作为候选的样本图像。首先，用 s o b e l 算子【2 8 】提取边缘图像，使纹理密集的区域显现出来，然后，利用形态学的一些操 作，逐步把图像中纹理密集的区域形成若干连通的区域，提取这些区域作为候选的样本 图像，下面分别介绍提取候选样本图像的各种操作。 2 2 1s o b e l 算子边缘检测 边缘检测的实质是检测图像特性发生变化的位置，实践中最常用的边缘检测方法有 p r e w i t t 算子和s o b e l 算子。由于所处理的图像通常包含车身信息，s o b e l 算子在抑制噪 声方面表现较好，提取的轮廓失真较小，所以这里采用s o b e l 算子边缘检测。 s o b e l 算子可以分别对垂直边缘、水平边缘产生最大的响应，由于车身的水平边缘 较多1 2 9 】，s o b e l 水平边缘检测结果加强了这部分边界的信息，垂直边缘检测算子在抑制 车辆其它边缘信息并突出车牌区域中字符边缘信息方面表现更好，因此这里只用g 。分 量来求。图2 4 是s o b e l 算子边缘检测得到的图像。 图2 4s o b e l 算子边缘检测结果：( a ) 预处理后汽车图像；( b ) 汽车垂直边缘图像 2 2 2 形态学处理提取连通区域 这节要对提取到的垂直边缘图像，也就是图像中梯度跳变明显区域的轮廓，做一些 形态学的处理，用基于连通区域提取的方法，找到图像中像车牌的若干区域，作为候选 的样本图像，下面详细描述本节需要做的一些形态学处理方法。 首先，对垂直边缘图像做形态学膨胀运算，使得边缘密集的区域得到大体上的连通， 为了保证找到图像中包含车牌在内的若干区域，我用大小为4 的正方形结构元素，以达 到较大程度的连通。图2 5 是膨胀运算得到的图像。然后，从膨胀图像中可以看出，与 边界相连的区域都不是车牌的区域，为了进一步处理的方便，需要去除与边界相连的区 域，去除边界后图像如图2 6 所示。还要对去边界后图像进行去噪点，按行扫描图像中 白色像素点的累加和，如果累加和小于一定阈值，就将这行用黑色像素点填充，这样就 可以去除一些白色像素点较少的行，即去除与像车牌连通区域不接近的前景像素行，去 噪点后图像如图2 7 所示。最后，对去噪点后图像再次做膨胀运算，目的有两点：1 为 9 东北师范大学硕士学位论文 了使首次未能将车牌区域连通的情况连通上；2 为了使连通区域的面积增大些，增加 像车牌连通区域的个数，即增加训练负样本的个数，提高分类算法的分类性能，有利于 提高识别率。图2 8 是再膨胀运算得到的图像。 图2 5 膨胀运算结果：( a ) 汽车垂直边缘图像：( b ) 汽车膨胀图像 图2 6 去除边界结果：( a ) 汽车膨胀图像；( b ) 汽车去边界图像 ( a ) 图2 7 去噪点结果：( a ) 汽车去边界图像；( b ) 汽车去噪点图像 图2 8 再膨胀运算结果：( a ) 汽车去噪点图像；( b ) 汽车再膨胀图像 1 0 东北师范大学硕士学位论文 最终，要在形态学处理后的图像中，找出面积大于定阈值的连通区域，这些都是 纹理密集的像车牌的区域，从原始的汽车彩色图像中找到这些连通区域的质心，分别截 取车牌大小的矩形区域，就得到了候选的样本图像，其中，是车牌的区域作为候选j 下样 本图像，非车牌的区域作为候选负样本图像。图2 9 是提取连通区域得到的图像。 东北师范大学硕士学位论文 拍摄到的车牌有大有小，如果将这些非字符的四周边界区域去除，则会更有利于提取同 类样本特征的共性，因此，要将这些边界去除；最后，由于去除边界后的车牌图像大小 不一致，还要对图像进行尺寸归一化，使得用于训练的样本图像大小保持一致。 下面以正样本的车牌图像为例，分别介绍候选样本后处理的四个步骤倾斜校 正、图像二值化、去除四周边界、图像归一化。为了实现正负两类图像操作的统一性， 对候选负样本图像做相同的处理，最终形成用于训练的正负两类样本图像。 2 3 1 应用h o u g h 变换的车牌倾斜校正 在实际情况下，由于某些客观原因，所获得的车牌不一定是标准的矩形，总会有不 同角度的倾斜。造成车牌倾斜的原因有：1 摄像机与车牌不在同一高度，拍摄到的车 牌会发生一定程度的倾斜；2 捕获的汽车处于运动之中，车头发生了左右摆动；3 有 的车牌原本就挂歪了。这些几何变形使得从图像中提取的数据不准确，对机器识别性能 的影响比较大，因此有必要将倾斜的车牌校j 下。 h o u g h 变换是利用两个坐标系之间的变换来检测平面内的直线。h o u g h 变换具有很 强的检测能力，在待测直线有微小扰动、断裂，甚至是虚线时，都能准确的检测到所在 直线的位置。 设在原始图像空间( x ，y ) ，直线方程为y = 戗+ 6 。对于任意方向和任意位置直线的 检测，为了避免垂直线的斜率无穷大，采用极坐标( p ，0 ) 作为变换空间，其极坐标方程 可以写成： p = x c o s o + y s i n o( 2 6 ) 其中( p ，0 ) 定义了一个从原点到线上最近点的向量，这个向量与该直线垂直。 使用h o u g h 变换进行峰值线的检测是一种挑战。因为数字图像的空间中的量化、 h o u g h 变换的参数空间中的量化以及典型图像的边缘都不是很直，h o u g h 变换的峰值一 般位于多个h o u g h 变换单元中。为了克服这个问题的策略是： 1 找到包含有最大值的h o u g h 变换单元并记下它的位置。 2 把第一步中找到的最大值点的邻域中的h o u g h 变换单元设为零。 3 重复该步骤，直到找到需要的峰值数或者达到一个指定的阈值时为止。 一旦在h o u g h 变换中识别出了一组候选的峰被，则还要确定是否存在与这些峰值相 关的线段以及它们的起始和结束位置。对每一个峰值来说，首先找到图像中影响到峰值 的每一个非零值点的位置，然后将与这些位置相关的像素组合成线段。 经过h o u g h 变换检测峰值线并链接成线段，能够找到车牌图像中的峰值线，这条峰 值线和水平方向的夹角就是车牌倾斜的角度，然后按照这个角度旋转车牌，就能得到校 正后的车牌图像。图2 1 2 是h o u g h 变换进行倾斜校正得到的图像。 1 2 东北师范大学硕士学位论文 ( a ) 誓銮盈二 ( c ) 厢羽0加4 05 0 e ( b ) 图2 1 2h o u g h 变换结果：( a ) 倾斜的车牌图像；( b ) 带有1 个峰值位置的h o u g h 变换； ( c ) 标识峰值线的车牌图像；( d ) 校正后的车牌图像 2 3 2 图像二值化 图像的二值化就是将图像上的点的灰度置为0 或2 5 5 ，也就是将整个图像呈现出明 显的黑白效果。在数字图像处理中，二值图像占有非常重要的地位，车牌图像的二值化 的目的就是区分车牌上的背景和字符，所有灰度大于或等于阈值的像素就是字符区域， 呈白色，否则这些像素点就是背景区域，呈黑色。 本文用全局阈值算法来进行二值化的处理，这种方法是将灰度阈值设定为常数，来 区分目标和背景【3 l 】。图2 1 3 是二值化得到的图像。 ( a ) 图2 1 3 二值化结果：( a ) 车牌校正图像；( b ) 车牌二值化图像 2 3 3 去除上下边界 由于车牌图像中有多余的非车牌字符的四周边界区域，为了进一步提取车牌特征的 一致性，要将这些边界区域去除。本节讲述去除上下的边界，具体操作为：对车牌二值 化图像做行扫描，由顶到底逐行计算各行白色像素点的累加和，如果累加和小于一定阈 值，就将这行用黑色像素点填充，反之，如果累加和大于一定阈值，就将这行用白色像 素点填充。在经过处理后的二值图像中，找出连续白色像素行大于一个给定阈值的所有 行，从校正后图像中截取这些行，就得到了去除上下边界后的车牌图像，图2 1 4 是去除 上下边界得到的图像。 1 3 东北师范大学硕士学位论文 匾銮盔叠裔二二二二二 ln 疆；蔓譬- ll i 4j ( a ) ( b )( c ) 图2 1 4 去除上下边界结果：( a ) 车牌二值化图像；( b ) 行扫描图像；( c ) 去除上下边界 车牌图像 2 3 4 去除左右边界 在去除了车牌上下边界后，还要去除左右的边界，具体操作为：对车牌