（信号与信息处理专业论文）基于神经网络的车牌识别技术的研究.pdf

9 8 扬州人学硕士学位论文 扬州大学学位论文原创性声明和版权使用授权书 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导下独立进行研究工作所取得的研 究成果。除文中已经标明引用的内容外，本论文不包含其他个人或集体已经发表 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标 明。本声明的法律结果由本人承担。 学位论文作者签名：您、巧凶 签字日期：删年多月8 日 学位论文版权使用授权书 本人完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向 国家有关部门或机构送交学位论文的复印件和电子文档，允许论文被查阅和借 阅。本人授权扬州大学可以将学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国 科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通过网 络向社会公众提供信息服务。 学位论文作者签名：萱氛砺 签字日期：z 硝年占月彦日 导师签名：一a 云l ) 签字日期：二啦钐月甲日 ( 本页为学位论文末页。如论文为密件可不授权，但论文原创必须声明。) 陈亮：基于神经网络的车牌识别技术的研究 摘要 车牌识别系统是现代智能交通系统的重要组成部分，在智能交通管理、治安检 查中有着十分广阔的应用前景，是目前国内外研究的热点。 本文对车牌识别系统中图像预处理、车牌定位、车牌图像二值化、字符分 割、字符识别5 个关键环节进行了分析研究，具体如下： ( 1 ) 图像的预处理：分析了传统的灰度拉伸变换和图像直方图均衡法，针对全 局图像增强算法存在噪声过增强的问题，提出了基于分块思想的局部图像增强算 法。该算法只对车牌相似区域进行局部增强，可以对车牌区域的图像进行有效地增 强，且引入的背景噪声较少，特别适合需要局部增强的低对比度车辆图像的处理。 ( 2 ) 车牌的定位：针对复杂背景下的彩色图像中车牌定位精度低的问题，提出 一种基于字符边缘检测和颜色特征的车牌定位方法。根据图像中车牌区域含有丰富 的边缘，首先进行垂直边缘检测，然后去除大量背景和噪声边缘，接着通过对垂直 边缘的统计分析确定2 个候选区，再结合车牌的颜色特征确定最终的车牌图像区 域。该方法具有准确率高，鲁棒性好的特点。 ( 3 ) 车牌图像二值化：针对车牌字符光照的复杂特征，提出一种改进背景补偿 的车牌图像二值化算法。首先使用同态滤波增强车牌图像从而减弱光照不均等带来 的影响，然后使用改进的背景补偿算法对车牌图像进行二值化。该方法能有效地克 服光照不均等带来的影响，二值化效果良好。 ( 4 ) 字符的分割：针对定位后车牌区域的噪声影响以及存在不可避免的某种程 度的倾斜，提出了基于字符特征的车牌倾斜矫正算法直接对二值车牌图像进行矫 正，然后采用基于垂直投影和车牌先验知识的字符分割方法从矫f 后的车牌图像中 分割出单个字符。该方法可以有效地解决字符分割时出现的断裂、粘连和几何失真 等问题，分割效果好。 ( 5 ) 字符的识别：根据国内车牌字符的特殊性，采用一种特征提取与b p 神经 网络算法相结合的分类识别技术。选取字符的粗网格特征作为字符的识别特征，以 改进后的粗网格特征输入到b p 神经网络分类器中进行车牌字符识别研究。针对易 混淆的字符设计神经网络细分类器，进一步提取突出相似字符差别的局部细微差异 2 扬州大学硕士学位论文 特征；针对汉字笔划粘连等现象，在标准样本的基础上，= 为结构复杂、笔划紧密的 省份汉字适当增加典型笔划粘连样本到汉字网络的训练样本中，。该法能有效地提高 字符下确识别率。 对上述算法进行了仿真实验，结果表明其算法定位准确，识别率高，具有较高 的实用价值。 关键词：车牌定位，二值化，倾斜矫正，字符分割，神经网路，车牌识别 a b s t r a c t t h el i c e n s ep l a t er e c o g i l i t i o n ( l p r ) s y s t e mi sas i g l l i f i c 觚ts e c t o ro ft h em o d e m i n t e l l i g e n tt r a m cm a n a g e m e n t ，w h i c hh a saf 狒r e a c h i n g 缸u r ef o rt h ea p p l i c a t i o no f 臼褴cm a l l a g e m e n ta n dp o l i c es e c 嘶吼a i l da t t r a c t e db ya l lo v e rm e w o r l da tt h ep r e s e n t f i v ek e yp a n so fl i c e n s ep l a t er e c o g i l i t i o ns y s t e mh a v eb e e nr e s e 甜c h e d ，w m c ha r e 油a g ep r e p r o c e s s i n g ，l i c e l l s ep l a t ei o c a t i o n ，i m a g eb i i l a r i z a t i o n ，c h a r a c t e rs e g m e n t a t i o n a n dc h a m c t e rr e c o g n i t i o n ，i i i i l a g ep i e p r o c e s s i i l g 1 r a d i t i o n a lm e t h o d so fi m a g ee n h a i l c e r n e n t l i k e g r a y s t r e t c ha n d1 1 i s t o 伊锄 e q 训i z a t i o n h a v e b e e n a l l a l y z e d -c o n s i d e 咖g m ed e f i c i e n c i e so fm e s eg l o b a j e n l l a n c e m e n ta l g o r i t h m s ，s u c ha sn o i s eo v e r _ e n h a i l c e m e n t ， am e m o do fl o c a l e i l l l a n c e m e n ta l g o r i t h mb a l s e do ns e c t i o nt h i i l 虹n gh a sb e e np u tf o n a r d i te n h a n c e st 1 1 e r e 西o n sw h e r ea r es i i i l i l a rt o 证l el i c e n s ep l a t e s ，a i l di tc a l lb en o to i l l y h a sas i 印i 矗c a n t e i l l l a n c 锄e n tt om er e 西o no fl i c e n s ep l a t eb u ta l s o 、i mf e w e rb a c k 铲o w l dn o i s et i l a ti t w a si n 昀d u c e d m o r e o v e r ，i t 谢ub ee s p e c 谳l ye 腑c t i v cf o rt h el o wc o 腑a s tv e h i c l e i m a 紧sw t l i c hn e e dl o c a le 幽c e m e n t i i l i c e n s ep la _ t el o c a t i o n ， & m i n g a tl o wp r e c i s i o no fl i c e n s ep l a t el o c a t i o ni nt l l ec o l o rv e l l i c l ei m a g e sw i 1 c o m p l e xb a c k g r o u n d ，ah y b r i dl i c e n s ep l a t el o c a t i o nm e t h o d b a s e do ne d g ed e t e c t i o na n d c o l o rf e a t u r e sh a sb e e np r o p o s e d “c e n s ep l a t er e g i o nc o n t a i n sr i c he d g ei o r i n a t i o n ，s o f i r s t l y t h ev e l t i c a le d g e sa r ee x t e a c t e do u t ，a n dn l e nm o s to fm eb a c k g r o u n da 1 1 dn o i s e e d g e sa r er e n l o v e d ，撕e rt h e n 铆oc a n d i d a t er e g i o n sa r ea s c e r t a i n e d b yv e n i c a le d g e s s t a t _ i s t i c a la n a l y s i s ，a i l df i m l l ym er e g i o no fr e a lp l a t ei sf i l t r a t e db yc o l o rf e a t u r e so f p l a t e 1 1 1 em e t h o di sa c c u r a t ea j l dr o b u s t i i ii m a g eb i n 撕z a t i o n a i m i n ga tt h ec h a r a c t e r i s t i co fl i c e n s ep l a t ei m a g ew i t hc o m p l i c a t e d - b a c k g r o u n d ，a b i n a r i z a t i o na l g o r i t h mo fl i c e n s ep l a t ei m a g eb a s e do ni m p r o v e dc o m p e n s a t i o n b a s e d b i 画z a t i o nh a sb e e np r o p o s e d f i r s t l y ，t h eq u a l i t yo fp l a t ei m a g ei se n h a n c e db y h o m o m o 巾h i c6 l t e r i n gf 0 re l i m i n a t i n gt h en e g a t i v eo ft h en o n u n i f o m li l l u m i n a t i o n ，a l l d t h e n 。t h ep l a t ei m a g ei sb i n a r i e db ya ni m p r o v e dc o m p e n s a t i o n b a s e da i g o r i m m s o m e i n n u e n c e sw 1 1 i c hc o m e 丘d mm en o n u n i f o 册i l j 啪i n a t i o nc a nb es u 肌o u n tr o b u s t l y ，a n d t h ee f f e c to ft h eb i n a r i z a t i o ni sw e l l i v c h a r a c t e rs e g m e n t a t l o n c o n s i d e r i n gm ei n f l u e n c eo fn o i s ea i l ds o m e 吼a v o i d d b l es l a m si nt h e a r e ao f l o c a t e dl i c e n s ep i a t e s ，a n 印p f o a c ho fr e c t i 每i i l gd i s t 0 蹴dl i c e n s ep l a t ei m a g e 磁e do a c h a r a c t e rf e a t i l r el l a sb e e np r e s e n t e dt or c c t i 匆t l l eb i n a 拶p l a t ei m a g e sd i r e c t l y a n dt h e na m e t h o do fc h a r a c t e rs e g m e n t a t i o nb a s e do nv e n i c a ip r o j e c t i o na n d 砸0 r | 【i l o w i e d g eo f l i c e n s ep l a t eh a sb e e nu s e dt 0s e g m e n ts i n 9 1 ec h a r a c t e r 觚mr e c t i 6 e dp l a t ei m a g e t l l e p r o b l e m so fm p t l 鹏，a d h e s i o na n dg e o m e t r i cd i s t o n i o ne x i s t e di nt h cp r o c e s s o fc 1 1 a r a c t e r s e g m e n t a t i o nc a nb es o l v e de 毹c t i v e l y ，a n dt h em e t h o dh a sk 曲s e g m e n t 永i o na c c n r a 叮 v c h a r a c t e rr e c o g n i t i o n a c c o r d i i l gt ot h ep a n i c u l a r i 够o fd o m e s t i cl i c e n s ep l a t ec h a r a c t e r ，ac l a s s i 6 c a t i o n t e c h n 0 1 0 9 yb yc o m b i n a t i o no ff e a t n r ee x 妇c t i o na n db pn e u m ln 嘶v o r ka l g o 圳咖h 丛 b e e na d o p t e d t h ef e a ：c l 鹏o fr o u 幽酣dh a sb e e n6 h o s e na sm ef e a t i 】r e o fc h a r a c t e r r e c o 辨i t i o n ，a n dd i r e c t i yi 印u tm ei m p r o v e d 南孤h o fr o u 曲鲥dt 0b p n e w a ln e 啪r k c l a s s i f i e rt or e c o 星面z et h el i c e n s ep l a t ec h a r a c t e r a i m e da tn l ec o n 如s a ：b l ec _ h a r a c t e r s ，a c a r e 如in e u r a ln e t 、o r kc l a s s i f l e rh a sb e e nd e s i 伊e df o rd i s t i l l i n gt 1 1 e d e t a i lf 色a 吣r e so f c h a r a c t e r s c o n s i d 面n gt h ep h e n o m e n a0 fs t r o k ec o n 9 1 u t i n a t i o n f o u n di nc h i n e s e c h a r a c t e r sa n db e c a u s eo fs o m ep r o v i n c ec h a r a c t e r sw h i c ha r ec o m p l e xi n 姗呶l r ea n d c o m p a c ti ns t r o k e s ，s o m er e p r e s e n 协t i v es 们k ec o n g i u t i n a t i o ns 哆i e b o o k s a r es u i 诅b i y a d d e dt ot l l en e 似，o r k 仃a i n i n gs t ) ，l d b o o k so fc h i n e s ec h a r a c t e rb a s e d o ns t a n d a r d 卿l e b o o k s n l er a t i oo fc h a r a c t e rr e c o 朗i t i o ni si m p r o v e de m c i e n t l yb y m e 脒油o d 。 t 1 1 ea 1 9 0 r i h ma b o v e m e n 垃0 n e dh a sk 盟蕊e u a l i z e db ye x p e r i m e n t s t h e e x p e r i m e n t a lr e s u l t ss h o wt h a t t h e a l g o r i t h mh a ss o m ea d v a n t a g e s u c ha sa c c 嘣l t e l o c a t i o n ，h i 曲f e c o g n i t i o nr a t e ，a n dh i g hu t i l i t yv a l u e k e y w o r d ： l i c e n s e p l a t e l o c a t i o n ， b i n a d r z a t i o n ， s l a n tc o 玎e c t i o n ，c h 锄c t e r s e g m e n t a “o n ， n e u f a jn e t w o r 王( ，l i c e n s ep l a 把r ，e c o g n i t i o n 、， 陈亮：基于神经网络的车牌识别技术的研究5 1 绪论 1 1 课题研究背景及现实意义 随着我国国民经济的高速发展，汽车数量迅速增加，交通需求急剧增长，道路 运输所带来的交通拥堵、交通事故和环境污染等致使传统交通运输系统负担越来越 重。如何高效管理和解决道路交通问题已经成为现实生活中亟需解决的问题。针对 此问题，国内外专家提出了智能交通系鲥1 】( i n t e l l i g e n t1 船n s p o r 眦i o ns y s t e f n s ，简 称i t s ) 这一道路交通解决方案。 车牌识别系统吲( “c e l l s ep l a t er e c o 鲥t i o n ，l p r ) 是智能交通系统中极其重 要的一个环节。其任务是处理、分析摄取的汽车图像，自动识别汽车牌号。随着传 感器、通讯与网络技术、图像处理和计算机视觉等高新技术的发展，车牌识别和交 通状态检测技术得到了长足的进步，其应用逐渐深入到我们生活的方方面面。车牌 识别系统可广泛应用于高速公路电子收费站、出入控制、失窃车辆查询、停车场车 辆管理、公路稽查、监测黑牌机动车、监控违章车辆等重要场合。l p r 系统应用 于这些系统，可以实现不停车收费技术以提高公路系统的运行效率，可以解决通缉 车辆的自动稽查问题，可以极大缓解车流高峰期因出入口车流瓶颈造成的路桥卡 口、停车场交通堵塞问题，可以避免因工作人员作弊造成的路桥卡口、高速公路、 停车场应收款流失的问题，还可以用最简单的方式完成交通部门的车辆信息联网， 解决数据统计自动化，模糊查询的问题等。由此可见，l p r 系统对提高交通系统 的管理水平和自动化程度有着重要的意义，具有非常广阔的应用前景。 目前常用的l p r 识别技术有i c 卡识别技术、条形码识别技术和图像处理识别 技术等。基于图像处理技术的l p r 系统无需在车上额外安装条形码或者i c 卡，因 而不必改造现有的车辆系统，相对其他两种识别技术来说适用面广，更容易普及。 如今市场上己经出现了一些车牌识别系统，它们在系统规定的条件和环境下还是比 较符合车牌识别的要求，但对于一些比较特殊的环境，比如说雾天，雨天和晚上等 拍摄图像质量较差的环境，这些系统就会出现识别率迅速下降和拒识等问题，通用 性比较差。因此，寻找一种更通用的方法，使l p r 具有更加准确的识别率是完全 有必要的，也只有在大多数环境下l p r 都具有高性能时，l p r 才会得到更加广泛 6 扬州大学硕士学位论文 的运用。综上所述，车牌识别技术是未来交通领域必不可少的技术，进行车牌识别 技术的研究和应用开发具有相当的理论价值和现实意义。 1 2 车牌识别技术的国内外研究现状 l p r 主要分为2 大关键技术：车牌的定位；车牌字符的识别。 1 2 1 车牌定位技术研究现状 车牌定位技术在国外起步较早。由于计算机运算速度及内存的原因，早期的 车牌定位技术都是针对灰度图像进行的，主要的定位方法有：基于水平线搜索的车 牌定位方法【3 】；基于d f t 变换的频域分析方法【；4 】；基于n i b l a c k 二值化算法及自适 应边界搜索的定位方法【5 】：基于扫描行的车牌定位方法【6 】等。随着数学工具的引 入，出现了基于权重模板匹配的定位方法【7 】；基于动态投影翘曲的定位方法【8 j ；基 于形态学的车牌识别系统【9 j 。后来又出现了基于小波变换，基于支持向量机 ( s v m ) 等数学方法的车牌定位技术【1 刁。随着计算机技术的飞速发展，逐渐出 现了利用车牌的彩色信息进行车牌定位的方法，这类方法不需要将图像转换成灰度 图像，而是利用车牌固有的颜色搭配进行定位分析。主要方法有：基于相关颜色分 析的车牌定位方法；基于模糊训练和颜色边缘对分析的定位方法【1 4 】；先利用神 经网络对图像进行颜色分割，然后利用投影分析的定位方法l l5 l 等。 近年来，国内的学者们也在车牌定位理论上做出新的尝试，如基于移差扫描 和窗口搜索的车牌自动识别方法【1 6 】；基于彩色边缘信息的车牌定位分析技术【l 7 】； 基于小波隐性马尔可夫树模型的车牌定位方法【1 8 】等。这些方法的提出丰富了车牌 识别的理论知识，同时也由于它们自身的局限性，对车牌识别技术的精确性及稳定 性提出了更高的要求。 1 2 2 车牌字符识别技术研究现状 鉴于车牌字符本身的特点，它的识别要易于普通字符。目前常用的字符识别方 法有模板匹配、特征统计、小波运算、支持向量机( s v m ) 、神经网络分析等。 模板匹配法1 1 9 l 主要从提取待识别字符的主要信息入手，把字符分成若干份， 标记等份中的各个特征量，并与标准字符模板进行比较，当它们的差异度在一定范 陈亮：基于神经网络的车牌识别技术的研究 7 围内时，识别：出字符。这种方法需要标准字符模板，对字符有较高的要求，断裂、 污损的车牌比较难识别。 特征统计法1 2 0 j 是一种比较直观的方法，这种方法直接利用字符的笔划信息进 行分析，将它们的字符特征和笔划信息统计在一个特征矩阵中，同样需要一个标准 矩阵进行对比，与模板法不同的是，这种方法直接统计字符图像的特征。 小波运算的方法【l j 比较复杂，它作为一种处理工具，分离出字符图像的水 平、垂直等分量信息，由于每个字符的信息不一样，从而根据这些信息识另l j 出字 符，但对于相似的字符没有较好的分辨力。 支持向量机法口2 】主要从训练样本着手，从样本信息中找出可最大程度分离字 符的函数，称之为判别函数。确定这个函数以后，只需要对输入的字符图像进行预 处理后进行训练就可以进行识别，该方法关键在于训练集的数量及判别函数的确 定。 神经网络分析的方法【2 3 】采用模拟生物神经网络模型，能较好的实现人类存储 知识及处理信息的机能，使系统可以模拟人类思维，对需要解决的问题进行记忆， 联想和推理，从而能较好的解决车牌字符识别中缺损和粘连的字符。 现实车牌图像中分离出来的字符往往存在断裂、变形、扭曲、污损等现象， 给字符的识别带来很大影响。因此，怎样利用已有的方法更好地识别字符是目前字 符识别技术中急需解决的关键问题。 1 3 车牌识别系统的构成 基于图像的处理系统车牌自动识别系统一般由c c d 摄像机、图像采集卡及计 算机处理系统以及识别软件组成。其基本工作原理为：将c c d 摄像机拍摄到的包 含车辆车牌的图像通过图像采集卡输入计算机进行预处理，再由车牌识别模块对车 牌进行定位，并分割出包含车牌字符的矩形区域，然后对车牌图像进行二值化并将 其分割为单个字符，规一化后输入字符识别模块进行识别，最后将识别出的结果存 入数据库中。如图1 1 所示，系统主要包括以下几个主要模块： 图车牌识别系统的构成 8 扬州人学硕十学位论文 。，( 1 ) 图像采集：当行驶车辆通过预设的检测点时，位置传感器立即向主机发出 触发信号，主机控制c c d 摄像机自动摄取车辆正面的图像，被摄取的图像经过图 像输入接口处理、帧存和a d 转换，就可以进行车牌自动识别的工作。 ( 2 ) 图像预处理：由于光照条件的不稳定变化，摄像头与车牌之间角度和距离 不合适，以及车辆通过摄像头时速度过侠等因素，都将引起车牌图像质量的严重下 降，包括图像对比度低和模糊等现象。通过图像预处理技术，以便更好的提取车 牌。 邝) 车牌定位：该技术是车牌自动识别技术中核心的部分之一。车牌定位的出 发点是利用车牌区域的特征来判断牌照，将车牌区域从车牌车辆图像中分割出来。 其输入是整个原始图像，而输出则是长方形车牌图像。定位出含有车牌图像宣接关 系到车牌识别系统后续识别部分的正确率。 ( 4 ) 车牌二值化：经过定位的车牌在迸行字符识别之前，需要把目标从背景中 彻底分量出来。针对灰度车牌图像背景干扰较多，为了尽可能少地减少背景像素干 扰，常常直接把图像分为目标和背景两部分，即对车牌图像进行二值化。 ( 5 ) 字符分割：由于摄像机采集车牌图像时，有时候会出现采集到的车牌图像 里牌照区域是倾斜的。倾斜的牌照不利于后续的字符分割与识别，直接导致字符识 别的失败。因此，在进行字符分割与识别之前，有必要对牌照进行倾斜矫正。字符 分割则是对获得的牌照分离出单个字符( 包括汉字、字母和数字等 ，并归一化处 理，以便于后续的字符识别。 ( 6 ) 字符识别：将包含单个车牌字符的图像识别出车牌号码，转换为车牌号码 字符串存入数据库或直接显示出来。 以上几个过程，前一步是后一步的基础，在整个系统工作时，只有处理好每一 个过程，最后才能保证快速，准确的把字符识别出来。 1 ，4 课题研究的主要内容 车牌自动识别是智能交通系统的重要缉成韶分，具有广闼的应用前景。但目前 仍有许多技术难点需要解决。本文以汽车牌照自动识别为背景，以静念车辆图像为 主要对像，深入研究了数字图像处理、神经网络、模式识别等背景知识，设计相应 的算法，为更好地投入实际应用做好技术储备。 陈亮：基丁神经网络的车牌识别技术的研究 9 本文对车牌识别系统的各个环节进行深入的介绍，着重对车牌的定位和字符的 识别进行研究，并进行相应的仿真实验。 ( 1 1 车辆牌照的定位 ：对常用的基于灰度特征、边缘特征、几何特征、频谱特征、纹理特征、颜色特 征的车牌定位方法在算法上进行总结并分析比较其算法的优点及不足。本文提出一 种综合边缘检测和颜色特征的车牌定位算法，从而有效地解决背景复杂的彩色图像 中车牌定位准确率较低的问题。该方法保留字符边缘检测定位算法准确率较高，反 映时间快的优点，同时结合颜色特征，对车牌周围的文字广告或垂直纹理建筑物、 竖列散热孔等容易误判为车牌的区域进行筛选，进一步提高了准确率。 ( 2 ) 基于神经网络的字符识别 对经典的基于匹配技术、统计分类、神经网络分类器的字符识别方法在算法上 进行分析比较的基础上，采用具有较高识别准确度的神经网络的字符识别算法来实 现字符的识别。先采用同态滤波结合改进背景补偿的车牌图像二值化算法对定位后 的车牌进行二值化；接着对车牌进行倾斜矫正并根据车牌图像中字符分布的先验知 识和垂直投影特征，对倾斜矫正后的牌照进行单字符分割；最后对分割后的单个字 符进行特征提取，并依据神经网络的容错和自适应的能力，设计一个识别率较高、 稳健性能较好的车牌字符识别系统，即通过实验，主要研究神经网络的有关参数的 选取，以及学习样本的采集和初始权值的选取等。 本文主要内容共分为7 章，大体结构如下： 第一章绪论，大致介绍车牌识别系统的研究背景，国内外研究现状以及车牌识 别系统的基本构成。 第二章介绍了车牌图像预处理技术，包括图像狄度化、图像增强，提出了基于 分块思想的图像局部增强处理方法。并与传统的狄度拉伸和直方图均衡全局增强算 法的实验结果进行了比较，该方法尤其适合只需局部增强的车辆图像。 第三章是关于车牌定位技术的研究，针对复杂背景下的车牌定位精度较低的问 题，重点提出了一种综合边缘检测和颜色特征的车牌定位算法，该法可以有效地提 高在复杂背景下的彩色图像的车牌定位精度。 第四章是关于车牌图像二值化处理，针对光照不均的车牌灰度图像，提出一种 改进背景补偿的车牌图像二值化算法，该方法能有效地克服光照不均等带来的影 响，二值化效果良好。 1 0 扬州大学硕士学位论文 第五章是关于车牌字符分割技术的研究，在分割之前采用基于字符特征的车牌 倾斜矫正算法对车牌图像进行倾斜矫正，然后结合投影法和车牌的先验知识对字符 进行分割，该方法分割效果好，4 ，可以较好的解决字符分割时出现的断裂、：黏连和几 何失真等问题。 第六章是字符识别技术的研究。首先字符识别技术和b p 神经网络的相关知 识。根据我国车牌字符的特点，设计4 种分类器，分别对其中的数字字符、字母字 符、数字和字母字符、汉字字符进行了识别。通过分析，针对易混淆的字符设计神 经网络细分类器，进一步提取突出相似字符差别的局部细微差异特征，同时针对汉 字笔划粘连等现象，在训练过程中适当增加典型笔划粘连样本，进一步提高字符的 识别率。 第七章是是总结展望，给出了全文的总体结论，并提出了进一步的研究方向。 陈亮：基于神经网络的车牌识别技术的研究 l l 2 车牌图像的预处理 当摄像机从外界摄入视频图像时，首先把它转换为静态图像，再送入计算机进 行处理。由于拍摄环境的多变性。车牌图像中存在噪声和干扰，这些给车牌提取带 来困难。，为了使系统能够更好的定位车牌，必须对原始图像进行预处理。+ 一 2 1 车牌图像的采集 进行车牌图像预处理之前，先要获得一幅汽车图像，车辆图像的采集是整个系 统的第1 步。在车辆牌照识别系统中，图像采集模块主要有2 种模式：电荷耦 合器c c d 结合图像采集卡；数码相机或数码摄像机。前者技术成熟，而后者 则具有分辨率高、图像质量好的优点。 图像采集模块根据触发信号完成车牌图像的抓拍。在采集的触发方式上，车辆 图像的采集有外设触发和视频触发【2 4 】： ( 1 ) 外设触发采用线圈、红外等检测器检测车辆到达信号，触发采集设备抓 拍。外设触发式图像采集模块如图2 1 所示，其工作过程是：首先在摄像机前方检 测点设置一传感器( 线圈或红外检测器) ，当汽车通过检测点时，传感器向主机发 出信号，系统即自动摄下车辆的图像，并将图像输入计算机。 通行信号灯拦车器摄像机 图2 1 外没触发式图像采集模块示意图 ( 2 ) 视频触发采用运动目标序列图像分析处理技术，实时监控车道上车辆的运 动状况，当发现车辆通过时，触发抓拍。该采集模块的工作过程则是通过摄像机拍 摄视频流，系统需要对连续的视频流进行不断地分析，当发现有大小合适车牌的画 1 2 扬州人学硕+ 学位论文 面时给出触发信号j 启动抓拍程序，咱动摄下车辆的图像，并将图像输入计算机o ： 车辆一般处于运动状态，抓拍车牌画面可能不够清晰，有时难以从中摄取需 要的信息。为了解决这一问题，在硬件方面我们尽量采取清晰度更高和更精确的 c c d 摄像机或通过设置更精确的硬件来保证图像的清晰度。这样可以为后续图像 处理减小难度和提高系统的精确度以及稳定性。 出于实验条件有限，本系统中使用的汽车图像是用数码相机在室外从不同角度 采集得到的。 2 2 彩色图像灰度化 一般情况下，我们采集的车牌原始图像大多是彩色图像。由于这种图像包含 大量的颜色信息，每个像素都具有3 个不同的颜色分量只( r e d ) 、g ( c e n ) 、b ( b l u e ) ，这样的图像占据的存储空间很大。对彩色图像进行处理时会耗用较多的 系统资源，导致系统的执行效率不高。而灰度图像是指尺、g 、口分量都相同的一 种特殊的彩色图像，一般1 个像素点的变化范围为2 5 6 种，即只含有亮度信息，因 此灰度图像的处理更好地满足汽车牌照识别系统的实时性要求。 彩色图像的灰度化处理一般可用3 种方法： ( 1 ) 最大值法，即求出每个像素点的r 、g 、b 分量的最大值，然后将这个最 大值赋给这个像素的3 个分量。转换公式如式2 1 ： ，= m a ) 【( 月，g ，b )( 2 1 ) ( 2 ) 平均值法，即求出每个像素点的r 、g 、b 分量的平均值，然后将这个平 均值赋给这个像素的3 个分量。转换公式如式2 2 ： ，：掣 ( 2 2 ) 3 ( 3 ) 加权平均值法，即给每个像素点的r 、g 、b 分量各自增加1 个特定的加 权系数，相乘后求和，其计算结果作为狄度值，转换公式如式2 3 ： ，= 0 2 2 9 r + 0 5 8 7 g + o 1 1 4 b ( 2 3 ) 最大值法和平均值法灰度化以后，相同颜色的像素具有相同的亮度，这就形 成了以亮度为层次的狄度图像。灰度值大的像素比较亮，反之较暗。而加权平均值 法的系数取值建立在人跟视觉模型的基础上，对于人跟比较敏感的绿色分量，赋予 了较大的系数，对于人眼比较迟钝的蓝色分量则取较小的系数。这样得到的灰度图 陈亮：基于神经网络的乍牌识别技术的研究 1 3 像在视觉上比较接近人的主观感觉。 本文采用加权平均值法，将彩色图像转换为灰度图像( 通常将灰度值分为2 5 6 等份；，o ”表示最暗的级别；“2 5 5 ”表示最亮的级射) ，实验结果如图2 2 所示。 ( a ) 彩色图像( b ) 加权平均值法灰度化结果 图2 2 彩色图像经加权平均值法灰度化后效果图 2 3 图像的增强 由于车牌图像在拍摄时受各种各样条件的限制和干扰，如天气、光照、观察点 等的影响，图像中车牌区域会出现对比度不足等弊端，使图像细节分不清，这将直 接影响到图像的后续处理。因此需要将牌照区域进行有效的图像增强，为车牌定位 打下良好的基础。 2 3 1 传统的图像增强方法 1 灰度拉伸变换 狄度拉伸变换是指根据灰度直方图的分布有选择的拉伸某段狄度区间以改善 输出图像质量。主要目的就是提高图像的对比度，即增强原图像各部分的反差。 狄度拉伸变换就是将输入灰度图像厂( x ，少) ，通过映射函数丁映射成输出图像 中的灰度g ( z ，y ) ，即g ( x ，y ) = 丁【( x ，j ，) 】。假设输入灰度图像厂( x ，y ) 中大部分像素 的狄度级在一个较窄的范围 口，6 】内，经过线性狄度变换后，可以将这一狄度范围 口，6 】扩展到输出图像g ( x ，j ，) 中一个比较大的狄度范围 c ，d 】，即ld ci i6 一口i 。 其变换公式如式2 4 ： 1 4 扬州大学硕十学位论文 g ( x ，y ) = c 。： d c 6 一口 d 厂( x ，y ) 6 对车牌图像来说，尽管变换前后像素的个数不变，但不同像素的灰度差变犬j 增强了图像的对比度。但是，如图2 3 所示，这种两端截取式的变换使小于狄度级 a 和大于等于灰度级b 的像素分别直接变为c 和d ，将会造成部分信息的丢失。因 此，为了突出图像中的某些灰度范围，同时又不牺牲其他次度级上的细节，可采用 分段扩压变换。如图2 4 所示，使需要的细节灰度级拉伸，增加对比度，而将不需 要的灰度细节压缩。为了突出牌照区域的灰度细节，抑制高灰度区域，采用分段线 性灰度变换对图像进行对比度增强，并且减少了信息的丢失。实验中狄度变化前后 的灰度范围是 0 ，2 5 5 ，其变换的公式如式2 。5 ： g ( x ，y ) = 三厂( x ，y ) 2 厂( x ，y ) 一口】+ c d 一口 0 厂( x ，少) 口 口厂( x ，j ，) 6 ( 2 5 ) 裂炉6 + d 埘少脚5 5 a b2 5 5 i i _b 2 5 5 图2 3 两端截取式的灰度拉伸变换图2 4 分段扩压式的灰度拉伸变换 设输入图像为聊n 像素，其直方图为办( f ) ，其中0 f 2 5 5 。口取值为满足 口 厅( ，) o 1 聊门的最小整数，6 耿值为满足办( f ) o 9 m 刀的最大整数，对应的 ，= 0 ，= o c = o 5 口，d = 1 4 6 ( 且d 2 5 5 ) 。这样就可以把高灰度和低灰度区域压缩，中间 陈亮：基丁神经网络的车牌识别技术的研究 1 5 区域灰度拉伸，其处理结果如图2 5 所示。 ( a ) 原始灰度图像( b ) 灰度拉伸变换后的i 型像 图2 5 灰度车辆图像灰度拉伸变换结果对比 从实验结果图2 5 中我们可以看出，经灰度拉伸后的车辆图像对比度有所增 强，车牌区域内的字符图像也清晰了些。 2 直方图均衡瞳踟 图像直方图是一个2 维图，横坐标表示图像中各个像素点的灰度级，纵坐标为 各个灰度级上图像各个像素点出现的次数或概率。具有统计特征的直方图能描述图 像的灰度分布特征，从中可得到诸如总体明亮程度、对比度、灰度分布概貌等信 息。直方图均衡化是一种使输出图像直方图近似为均匀分布的变换算法。由信息学 的理论来解释，具有最大熵( 信息量) 的图像为均衡化图像。直观地讲，直方图均 衡化可以增加像素灰度值的动态范围从而达到增强图像整体对比度的效果。 直方图均衡化处理是以累积分布函数变换法为基础的直方图修j 下法。假定变 换函数为式2 6 ： j = 丁p ) = 【p ，( ) d 缈 ( 2 6 ) 式中甜是积分变量，而f 所( 缈) d 就是，的累积分布函数( c d f ) 。可以证明变换 后的变量j 的定义域内的概率分布是均匀分布的。 对于数字图像，其灰度值为离散值，必须引入离散形式的公式。当狄度级是 离散值的时候，可以用频数近似代替概率值，如式2 7 ： p ( ) = 竺( 0 1 ，尼= 0 ，1 ，一1 ) ( 2 7 ) 1 6 扬州大学硕士学位论文 式中n 是图像中像素的总和，体是灰度级为咯的像素个数，三为图像申可能的灰度 级总数。式2 7 的离散形式为： 七七 = 丁( ) = 等= 只( o ) ( o o l ，j | = o ，1 ，一1 ) ( 2 8 ) ，= o “= 0 对应直方图均衡化的计算步骤如下： ( 1 ) 列出原始图像的灰度级，= 0 ，l ，尼，三一l ，其中是灰度级个数。 ( 2 ) 统计各灰度级的像素数目行，= o ，1 ，七，三一1 。 ( 3 ) 计算原始图像直方图各灰度级的频数只( ) = ! ，= o ，1 ，七，一1 ， 刀 其中露为原始图像的总的像素数目。 七 ( 4 ) 计算累计分布函数c ( ) = 0 ( 乃) ，= o ，1 ，厩，三一1 。 ，= o ( 5 ) 计算映射后的输出图像的狄度级g ，f = o ，1 ，七，尸一l ，其中p 为输出 图像狄度级的个数，那么吕= i n t 【( g 。一i 。) c ( ) + g 。i 。+ o 5 】，其中i n t 为取整符号。 ( 6 ) 统计映射后各灰度级的像素数目，扛0 ，l ，豇，尸一1 。 ( 7 ) 计算输出图像直方图e ( 蜀) = 竺，f _ 0 ，1 ，七，尸一l 。 ，z ( 8 ) 用，和吕的映射关系修改原始图像的灰度级，从而获得直方图近似为均匀 分布的输出图像。 根据原图像的直方图统计值就可以算出均衡化后各像素的灰度值。进行上述 步骤后，直方图中灰度分布较广的部分被拉伸，稀疏的部分被压缩，使得各个灰度 值的出现概率基本一致，这样在一定程度上提高了图像的对比度。 直方图均衡化的结果如图2 6 所示，经直方图均化后，图像的细节更加清楚 了，而从图像的直方图上也可以看到，在直方图调整之前，低灰度的比例很大，经 过直方图调整，各狄度等级的比例更加平衡。从图2 6 ( a ) 可以看到，原图像灰度 值集中在0 5 0 之间，图像整体显得比较黯淡模糊，经过直方图均衡后，狄度值映 射到整个灰度范围内，图像整体对比度得到增强。 陈亮：基丁神经网络的乍牌识别技术的研究 】7 ( a ) 原始灰度图像及其直方图 ( b ) 直方图均衡后的灰度图像及其直方图 图2 6 灰度车牌图像直方图均衡结果对比 2 3 2 基于分块思想的局部图像增强算法 传统的图像增强算法对于图像的对比度低等现象有一定的改善效果。但是都是 基于整幅车辆图像的。在随后的车牌定位算法中，目的是将车牌区域从图像中分割 出来，那么其中最关键的是图像中车牌区域的特征。如何有效地增强车牌区域是图 像增强的关键。本文提出了一种基于分块思想的局部图像增强算法，该算法是将车 辆图像均匀划分成若干个矩形区域。根据图像中车牌区域狄度变化比较剧烈的特 征，通过计算每个矩形区域罩标准差来大致判断陔区域是否为车牌区域，根据矩形 区域与标准车牌的