（应用数学专业论文）车牌识别技术研究.pdf

武汉理工大学硕士学位论文 摘要 本文基于图像处理和字符识别的相关理论，在了解车牌牌照识别系统的国 内外最新动态、分析我国车牌识别的难点、总结了车牌的本质特征的基础上， 对车辆牌照识别系统进行了较深入的研究和分析。本文做了以下的研究工作： 1 、对几种常见的定位方法进行了研究，然后提出了一种基于场景分类及灰 度跳变的车牌定位算法。该算法首先对待分析图像所属的场景进行识别，将图 像分类为白天场景类或夜晚场景类；然后利用车牌的字符与背景的灰度跳变来 实现车牌候选区域的快速提取，其中不同的场景使用不同的灰度跳变值。对于 定位出的几块候选区域，不同的场景用不同的方法选取出一块候选区域来进行 下一步的处理。最后，使用不同的灰度跳变值进行对选出的区域进行投影分析 来实现车牌的精确定位。 2 、在字符分割中，我们首先对传统的灰度投影法进行了修改，并且在用该 方法分割完后，采用了字符中心距的办法进行了验证和修改，提高了分割的准 确性。 3 、对字符特征的选择和提取进行了研究，并选取了象素特征、结构特征和 笔画特征作为字符识别特征。对b p 神经网络的结构和训练算法进行了研究和 分析，同时对b p 训练算法进行了优化。采用这种优化的算法，对分别使用上 述特征作为输入的b p 神经网络进行数字、字母的识别研究。在此基础上，提 出了基于多个神经网络的字符识别方法。它的基本思想是将待识别的字符放入 三个神经网络分别进行识别，并按一定判别规则进行判断，如果有两者以别相 同，则确定字符并输出结果。不能识别或是不能肯定的字符位置处用”? ”代替。 4 、对二值化和反色判断等均进行了研究。提出了局部二值化和全局二值化 结合的方法，并利用连通域进行去噪。提出了利用灰度平均值进行反色判断的 方法。 5 、在理论研究的基础上，本文采用v i s u a lc + + 6 0 编程语言对相应的算法 进行了实现，构造了一个车牌识别系统软件平台。并利用该平台对上述方法进 行了实验。 实验结果表明，本文所设计的系统能较准确定位、分割车牌并进行识别， 系统的性能良好。该系统所采用的算法设计思想对其他车牌识别系统的设计具 有一定的参考、借鉴价值。 。 武汉理：【大学硕士学位论文 a b s t r a c t b a s e do nt h et h e o r yo f i m a g ep r o c e s s i n ga n dp a u e r nr e c o g n i t i o n ，t h el a t e s tt r e n d s o fv e h i c l el i c e n s e r e c o g n i t i o r is y s t e m ，a n a l y s i s o ft h ed i f f i c u l t i e si nt h el i c e n s e r e c o g n i t i o n i n c h i n a ，a n d t h er e v i e wo ft h eb a s i cc h a r a c t e r i s t i c so fl i c e n s e i d e n t i f i c a t i o n ，t h i sa r t i c l ed o e si n d e p t hr e s e a r c ha n da n a l y s i so nt h ev e h i c l el i c e n s e r e c o g n i t i o ns y s t e m t h i sa r t i c l ed o e sr e s e a r c h w o r ka sf o l l o w i n g f i r s t ，t h i sa r t i c l ed o e sr e s e a r c ho ns o m ec o m m o nm e t h o d so fp o s i t i o n i n g ，a n d t h e nc o m e su pw i t haa r i t h m e t i co fl i c e n s ep o s i t i o nb a s e do nt h es o r t so fs t a g e sa n d g r a yl e v e lj u m p o fb a c k g r o u n d s t h i sa r t i c l ed o e sr e c o g n i t i o no nt h es t a g e so f i m a g e s ， c l a s s i f i e st h ei m a g e sa ss t a g eo fd a y t i m ea n ds t a g eo fn i g h t t i m e ；t h e nr e a l i z e st h e e x t r a c t i o nf o rt h ea r e ao f l i c e n s e sc a n d i d a t e sb yl e t t e r so f l i c e n s ea n dg r a yl e v e lj u m p o f b a c k g r o u n d s a st os e v e r a lp o s i t i o n e da r e a so fc a n d i d a t e s ，d i f f e r e n ts t a g e su s e d i f f e r e n tm e t h o d st oe x t r a c ta na r e ao fc a n d i d a t e st od of u r t h e rp r o c e s s i n g f i n a l l y ， u s ed i f f e r e n tv a l u eo f g r a yl e v e lj u m pt od op r o j e c ta n a l y s i sf o rt h ea r e at o r e a l i z e a c c u r a t ep o s i t i o no fv e h i c l el i c e n s e s e c o n d ，i nt h el e t t e rs p l i t ，d os o m e a m e n d m e n t so nt h et r a d i t i o n a lm e t h o do f g r a y p r o j e c t i o n ，a n dt h e nu s e m e t h o do fc h a r a c t e r s c e n t e ri n t e r v a lt ot e s t i f ya n da m e n dt o i m p r o v e t h ea c c u r a c yo f s p l i t t h i r d ，s t u d i e st h ec h o i c ea n de x t r a c to fs t r i n gc h a r a c t e r i s t i c s ，a n dc h o o s et h e c h a r a c t e r i s t i c so fe l e m e n t ，s t r u c t u r ea n ds t r o k e st ob et h a to fs t r i n gi d e n t i f i c a t i o n t h e p a p e r s t u d i e sa n da n a l y s e st h es t r u c t u r ea n de x e r c i s ea r i t h m e t i co fb pn e u r a ln e t w o r k ， a n do p t i m i z et h ee x e r c i s ea r i t h m e t i co fb p b a s i n go nt h i sa r i t h m e t i c ，t h i sp a p e ru s e s t h ea b o v ec h a r a c t e r i s t i cs e p a r a t e l yt os u b s t i t u t et h ei n p u to fb pn e u r a ln e t w o r ka n d s t u d i e st h ei d e n t i f i c a t i o no fn u m b e ra n dc h a r a c t e r o nt h i sb a s i s ，t h i sp a p e rs u g g e s t s t h es t r i n gi d e n t i f i c a t i o nm e t h o d sb a s i n go ns e v e r a ln e u r a ln e t w o r k s i t sb a s i ci d e ai s p u t t i n gt h es t r i n gn e e d st o b ei d e n t i f i e dt ot h r e en e u t r a ln e t w o r kt o i d e n t i f yt h e m s e p a r a t e l y ，a n dj u d g et h e mb y c e r t a i nr u l e s i ft h et w oi d e n t i f i c a t i o na r ei d e n t i c a l ，t h e n c o n f i r mt h es t r i n ga n do u t p u tt h er e s u l t ，i fi tc a l l tb ei d e n t i f i e do rc o n f i r m e d ，t h e n s u b s t i t u t et h es t r i n gu s i f i g “? ” 亟墨望三盔堂堕主堂堡堡壅 f o u r t h ，d or e s e a r c ho nb i n a r ya n dj u d g m e n t o nr e v e r s ec o l o r t h i sa r t i c l ep u t s f o r w a r d st h ec o m b i n a t i o no f p a r t i a lb i n a r ya n do v e r a l lb i n a r y ，u s e sc o m m u n i c a t i o n a r e at oe l i m i n a t ei n a c c u r a c y ，a n du s ea v e r a g eo f g r a yt o j u d g e r e v e r s ec o l o r 。 f i f t h ，b a s e d o nt h et h e o r yr e s e a r c h ，t h i s a r t i c l eu s e sc o m p u t e rl a n g u a g e so f v i s u a lc + + 6 0t or e a l i z er e l a t e da r i t h m e t i ct oc o n s t r u c ts o f t w a r ep l a t f o r mf o rl i c e n s e r e c o g n i t i o n a n dd oe x p e r i m e n t o nt h i sp l a t f o r m t h er e s u l t so fe x p e r i m e n t sd e m o n s t r a t et h a tt h ed e s i g n e ds y s t e mi n t h i sa r t i c l e c a na c c u r a t e l 3 ) p o s i t i o n ，s p l i tv e h i c l el i c e n s ea n dr e c o g n i z e t h es y s t e mg o e s w e l l - a n dm ei d e so fa r i t h m e t i cd e s i g nh a ss o m e a c a d e m i cv a l u et oo t h e rd e s i g no f l i c e n s e r e c o g n i t i o ns y s t e m i l l 独创性声明 7 2 d 1 1 8 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 签名：日期 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保 留、送交论文的复印件。允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名：同期： 武汉理工大学硕士学位论文 1 1 选题的意义 第1 章引言 车牌识别系统集中了先进的光电、计算机、图像处理、模式识别、远程数 据访问等技术，实现对监控路面过往的车辆的特征图像和车辆全景图像的连续 全天候实时记录，计算机根据所拍摄的图像进行牌照自动识别。因此，车辆识 别系统可以应用到路桥关口，实现对过往车辆的不停车收费，除此之外，车牌 识别系统还可以应用在以下几个领域： ( 1 ) 交通监控。利用车牌识别系统的摄像设备，可以直接监视相应路段的交通 状况，获得车辆密度、队长、排队规律等交通信息，防范和观察交通事故。可 以动态监视各交通路口的状态，发现违规车辆，提高交通管理的科学化。 ( 2 ) 流控制指标参数的测量。该系统能够测量和统计很多交通流指标参数，如 总的服务流率，总行程时间，总的流入量和流出量，车型及车流组成，同车流 量，小时分钟车流量，车流高峰时间段，平均车速，车辆密度等，这为交通诱 导系统提供必要的交通流信息。 ( 3 ) 公路上的事故自动测报。这是由于该系统能够监视道路情况和测量交通流 量指标，能及时发现超速、堵车、排队、事故等交通异常现象。 ( 4 ) 路费交纳，安全检查、运营管理实行不停车检查。根据识别出的车牌号码 从数掘库中调出该车档案材料，可发现没有及时交纳养路费的车辆。另外，该 系统还能发现无车牌的车辆。若同车型检测器联用还可迅速发现所挂车牌与 车型不符的车辆。 ( 5 ) 车辆定位。由于能自动识别车牌号码，因而极易发现被盗车辆，以及定位 出车辆在道路上的行驶位置，这为防范、发现和追踪涉及车辆的犯罪，保护重 要车辆的安全有重大作用，从而对城市治安及交通安全有重要的保障作用。 ( 6 ) 停车场及小区车辆管理。车主进入停车场或业主入住时，将自己的车辆 进行登记，其车辆信息被记录到计算机数据库，采用车牌识别技术对进出车辆 自动识别，并根据数据库中的信息来判断车辆什么时候离开停车场或是否属于 园区车辆，有利于减少纠纷并提高车辆的安全管理。 2 0 世纪9 0 年代以来我国在基础设施的建设上加快了步伐，相比之下道路管 理监控及科学收费软件等设施的建设就显得相对滞后。针对这种情况，管理部 门已着手进行诸如交通信号自适应控制系统、智能交通监控系统、g p s 车辆管 理及导航系统、不停车收费系统等智能化交通管理系统的研制。目前，我围限 武汉理工大学硕士学位论文 在考虑建立一个全国统一的、智能的、信息共享的车辆信息系统( v i s ) ( v e h i c l e i n f o r m a t i o ns y s t e m ) ，使车辆在登记( 车辆管理) 、上路( 交通管理) 、运营( 信 息服务) 、收费( 路桥停车) 、安全( 防盗防劫) 等过程或任务中能实时地进行 自动化数字化的处理，使交通拥塞、公交运营效率低下、盗车劫车案件频出、 伪造偷换车牌、公交私用等问题得到有效的解决。 机动车辆自动识别涉及到多种现代科学技术，如图像处理、模式识别与人工 智能、计算机视觉、光学、机械设计、自动控制等。 作为现代社会主要交通工具之一的汽车在人们生产、生活的各个领域得到大 量使用，实现自动采集车辆信息和智能管理的车辆自动识别系统具有十分重要 的意义： 1 、它使城市交通管理上了一个新台阶 利用车牌自动识别系统，可自动捕捉违章汽车牌照号码，如当红灯亮时， 捕获冲闯红灯的汽车图像，对其车牌进行识别后当作新的黑名单自动分发到管 理中心及各稽查站点，同时现场报警。 利用车牌自动识别系统，可以进行交通流量检测。通过各个主要公路上的 交通流量，可对当前的交通进行控制与引导，以保证各条干路的畅通。 此外，车牌自动识别系统还可以用于交通限速管理。在通往城镇的主要入口、 出口地点，违章超速行驶的过往车辆很多，在这些地方安装车牌自动识别系统 能够检测到超速行使的车辆。 2 、提高了高速公路管理水平 利用车牌自动识别系统，可以实现不停车自动收费，阻止中途互换入口卡 的逃费车辆，减少车辆停靠时间，加快通行速度，而且可以杜绝人工管理中的 作弊行为。 3 、有利于车辆防盗和追赃 利用车牌自动识别系统，相关部门可以自动检测在逃车辆、寻找被盗机动车， 从而抑制车辆盗窃行为，减少被盗人员的损失。 4 、为公共场合车辆自动化管理提供了可能 利用车牌自动识别系统，可以实现居民小区、军事管理区、高级宾馆或饭店 等相关场合的车辆自动化管理。 1 2 车牌识别系统的组成和工作原理 基于p c 的车牌识别系统是利用通过某一路段的汽车前视或后视图像，完成 车牌目标的自动定位与识别。其原理流程如图1 2 i 所示。 笪堡堡土盔兰堡圭兰鱼笙苎 图1 2 1 车牌识别系统的基本流程 系统的工作原理 1 ：当车辆通过检测区域时，检测装置将车辆的通过信号传 送到图像采集设备；图像采集设备采集车辆图像，并将图像传送到计算机；计 算机对车牌进行自动定位和识别并将识别结果送至监控中心或收费处等应用场 所。 系统的核心部分为视频捕获、图像预处理、检测定位、自动目标识别等，所 有这些工作均在一台较高配置的计算机上完成。下面简述各部分的主要功能： ( 1 ) 视频采集。采用视频卡捕获汽车视频图像。这部分的任务主要是判断有无 来车，若有，则截获一帧图像作为后续定位识别之用，否则持续进行监视。 ( 2 ) 图像预处理。首先将输入的彩色图像进行灰度化，随后在灰度图像上利用 滤波算子进行滤波预处理，并生成一个门限，将滤波后的图像转化为二值图像， 对_ 二值图像中的噪声还要进行消除。 ( 3 ) 检测定位。在预处理得到的二值图像中进行区域搜索，寻找出具有车牌特 征的候选区域，根据实际车牌的特征找出真丁f 的车牌区域，然后交给后续模块 进行处理。 ( 4 ) 字符分割。在得到的车牌图像中进行字符的分割和归一化，然后将分割出 的字符输入到后续的识别模块进行识别。 ( 5 ) 模式识别。对分割出来的每个字符进行识别，并进行语法分析，判断识别 的结果是否正确，并将结果反馈到前面的模块。 1 3 车牌识别技术理论背景 车牌识别技术的任务是处理、分析摄取的视频流中复杂背景的车辆图像，定 位分割牌照，最后自动识别汽车牌照上的字符。车牌识别技术所涉及的研究方 向较多，主要有数字图像处理、计算机视觉、模式识别等。 数字图像处理就是将图像转化为一个数字矩降存放在计算机中，并采用一定 算法对其进行处理。数字图像处理的基础是数学，最主要的任务就是各种算法 的设计和实现。目前数字图像处理技术已经在许多不同的领域得到重视，并取 得了巨大的成就。根据应用领域的不同要求，可以将数字图像处理技术划分为 武汉理_ 大学硕士学位论文 许多分支，其中比较重要的分支有：图像增强与复原、图像编码、图像分割与 特征提取、图像分析、图像隐藏。 计算机视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学技术。计 算机视觉系统的首要目标是用图像创建或恢复现实世界模型，然后认识现实世 界。计算机视觉的应用范围非常广泛，从医学图像到遥感图像，从工业检测到 文件处理，从毫微米波到多媒体数据库，不一而足。可以说，需要人类视觉的 场合几乎都需要计算机视觉。应该指出来的是，许多人类视觉无法感知的场合， 如精确定量感知、危险场景感知、不可见物体感知等，计算机视觉更突出其优 越性。车牌照识别技术主要用到计算机视觉的二值图像分析、区域分析、图像 预处理、边缘检测、纹理等部分。 模式识别是研究用机器代替人去识别、辨识客观事物的学科。识别的对象可 以是文字、声音、图像等具体对象，也可以是状态、程度等抽象对象，这些对 象与数字形式的对象相区别。模式识别的方法有两种，一种是统计决策方法， 一种是句法方法。几十年来，模式识别研究取得了大量的成果，在很多方面取 得了成功的应用。但是，由于模式识别涉及到很多的问题，现有的理论和方法 对于解决这些问题还有很多不足之处。 1 4 车牌识别技术在国内外发展的现状 从2 0 世纪9 0 年代初，国外的研究人员就已经开始了对汽车牌照识别的研 究。以色列h i t e c h 公司的s e e c a rs y s t e m 系列，新加坡o p t a s i a 公司的v l p r s 系列都是比较成熟的产品【2 。其中v l p r s 产品主要适台新加坡的车牌，h i t e c h 公司的s e e c a rs y s t e m 有多种变形的产品来分别适应某一个国家的车牌。s e e c a r c h i n e s e 系统可以对中国大陆的车牌进行识别，但都存在很大的缺陷，而且不能 识别车牌中的汉字，另外日本、加拿大、德国、意大利、英国等各个西方发达 国家都有适合本国车牌的识别系统。 国内在9 0 年代也开始了车牌识别的研究。目前比较成熟的产品有中科院自 动化研究所汉王公司的“汉王眼”，亚洲视觉科技有限公司、深圳吉通电子有限 公司、中国信息产业部下属的中智交通电子有限公司等也有自己的产品，另外 西安交通大学的图像处理和识别研究室、上海交通大学的计算机科学和工程系、 清华大学人工智能国家重点实验室、浙江大学的自动化系等也做过类似的研究。 字符识别是车牌识别系统的一个重要组成部分，车牌字符识别可以认为属于 印刷体文字识别的范畴。早在五十年代人们就己经认识到印刷体字符识别的意 义，开始了相应的研究，在以后的三十年中不断有一些不是很成熟的软件出现。 武汉理人学硕士学位论文 到了八十年代后期，计算机硬件资源获得飞速的提高，使得印刷体文字的快速 识别成为可能。九十年代，大量的o c r 方面的论文和系统见诸于世，s p i e ，i e e e 在这一方面也曾举行过多次会议，大大推动了该方向的研究，所有这些研究为 车牌字符的识别提供了理论上的指导，但目前的科学技术还不能揭示人的文字 识别的机制，脑机能研究的进展会不断地揭示人的这种机制，旦这一机制被 我们所认识，建立在这个基础上的文字识别理论和技术将会产生质的飞跃。目 前离线的文字字符识别产品已大量问世，有代表性的国内外系统和研究小组有： 美国的e x p e r v i s i o n 的p t k ( r e c o g n i t i o n c o o l k i t s ) 和纽约州立大学b u f f a l o 分校的 c e d a r 研究中心，加拿大c o n o r d i a 大学的c e n p a r m i 实验室，日本东芝的 t e x t r e a d e r ，法国的银行支票识别系统。 对汉字识别研究最早的是美国i b m 公司的c a s e y 和n a g y ，1 9 9 6 年他们发 表了一篇关于汉字识别的文章，用模本匹配法识别1 0 0 0 个印刷体汉字，从此在 世界范围内拉开了汉字识别研究的序幕。而手写体汉字识别的研究最早始于7 0 年代中期的日本。目前进行手写体汉字识别研究的国家和地区主要集中在中国、 同本、美国和加拿大，实际应用水平最高的首推日本。我国是在7 0 年代开始进 行邮政信函分检的数字识别研究，7 0 年代末一些大学和研究所开始从事印刷体 汉字识别的研究工作，8 0 年代初才开始进行手写体汉字识别的研究。从纵向发 展水平看，我国手写体汉字识别主要是进行识别方法的研究，而且把研究重点 集中在方法实验和软件研制上，遗憾的是硬件专用设备的研制几乎是空白，这 是国内手写体汉字识别研究的主要特点。 1 5 车牌识别技术中的难点 车牌识别系统在实验室里己经取得了令人满意的效果，但很难应用于实际工 程中，这是因为实验室的环境是处于理想状态的，而在自然环境里，由于受到 天气等因素的影响，识别率很难达到要求。现大致把这些因素归纳为三类： f 一) 汽车牌照本身的特征 ( i ) 牌照缺乏统一的标准。根据中华人民共和园公共安全行业标准对机动 车辆牌照的有关规定，车牌的规格、颜色和适用范围各有不同。由于缺乏统一 的标准，使得车牌识别过程中字符的分割难度较大，缺乏统一的模式规则的指 导作用。 ( 2 ) 牌照的质量无法保证。有些牌照被污损，而有些牌照的字符模糊不清， 对光线的散射性不好，这些不确定性极大得影响了识别的准确率a ( 3 ) 车牌附近环境恶劣。车牌附近往往有复杂的外形或挡车器等，不利于 武汉理上人学硕士学位论文 车牌的定位和分割。 ( 二) 外部环境的特征 ( 1 ) 外界光照条件各不相同，白天和晚上光照不同。光照对图像质量影响 很大。不同的光照角度，对车牌光照的不均匀度影响也较大。不同时间，不同 气候条件，以及背景光、车牌反光程度决定了车牌区域的亮度特征。 ( 2 ) 外界背景的复杂程度也影响着车牌的定位准确率。背景中与车牌区域 特征相似区域的大小反映了背景的噪声程度。例如与车牌字符相似的背景远处 的广告语容易影响车牌的粗定位。 ( 三) 车牌识别系统应用方案的特征 ( 1 ) 不同实际工程其摄像方位和角度不一样。实际工程中摄像方位相对于 车辆行驶的方向一般是正上方、左侧和右侧，摄像角度一般在1 5 0 0 - - 3 0 0 0 之间。 相对来说，摄像角度越小，车牌在平面图像中变形越小，识别效果越好。摄像 方位和角度对车牌字符分割影响较大，对车牌校正的方法的校正能力要求也更 高了。 ( 2 ) 光线较暗时，不同的人工光照角度、方位和亮度对车牌识别系统影响 也不一样。尽管规范车牌对光的散射能力较强，但人工光照的方位角度不同时， 也会影响车牌的亮度。亮度不均匀对车牌照二值化算法的适应性提出了更高的 要求。 ( 3 ) 不同的实际工程，图像的分辨率要求也不同。分辨率大小影响车牌识 别系统的识别速度和字符的识别率。o c r 中字符的象素分辨率一般为3 2 3 2 ， 而车牌识别系统字符的分辨率一般在1 2 1 2 和2 4 2 4 之问。分辨率过高时， 整个识别系统的处理时间会明显增多，特别是在车牌分割，车牌二值化的处理 中时间会显著增加。分辨率过低，字符识别率会下降，字符中的汉字二值化效 果较差，车牌识别系统的识别率会下降。 总之，车牌识别系统的研究由于受到多方面的限制，其技术还存在着一些不 足。但现代智能交通的发展，使其具有巨大的应用潜力。相信随着研究的不断 深入，车牌识别技术肯定会逐步走向成熟。 1 6 课程的研究成果和论文的章节安排 本文对车牌识别系统的主要步骤进行了详尽地探讨和研究，论文的主要内 容安排如下： ( 1 ) 第2 章介绍了图像预处理的知识，包括图像的灰度变换、同态滤波和 图像平滑，并提出了本系统采用的具体方法。 武汉理工大学硕士学位论文 ( 2 ) 第3 章介绍了车牌定位技术。首先介绍了我国汽车牌照的特点，然后 研究了几种车牌定位方法，最后提出本系统所采用的行之有效的定位算法。 ( 3 ) 第4 章介绍了车牌倾斜矫正的方法。首先介绍了两种车牌倾斜矫正的 方法，最后介绍了本系统采用的h o u g h 变换法。 ( 4 ) 第5 章介绍了车牌二值化的方法。首先介绍了常用的车牌二值化方法， 分析了它们的优缺点，在此基础上，提出了本系统采用的二值化方法和新的反 色判断方法。 ( 5 ) 第6 章介绍了字符分割的方法。本系统采用了传统的灰度投影分析法， 在此基础上，提出了利用字符中心距验证分割的方法。 ( 6 ) 第7 章介绍了字符识别的方法。深入地研究了常用的字符识别的方法， 并进行比较，然后提出了多个神经网络进行识别的方法。 ( 7 ) 第8 章简要介绍了本系统的软件实现过程，并对本文的工作进行了总 结，并指出了不足和需要进一步改进的地方。 武汉理工大学硕士学位论文 第2 章车牌图像预处理 从摄像机获得的图像由于受到自然环境的影响，往往质量较差，给后面的定 位和分割工作带来困难，因此需要对初始图像进行必要的预处理，提高图像质 量。 在图像处理中，空域是指象素组成的空间。空域增强方法指直接作用于象素 的增强方法，可表示为 3 ： g ( x ，y ) = e h f ( x ，y ) 其中厂( 。) 和g ( ) 分别为增强前后的图像， 定义在每个象素( x ，) 上的，则肼是点操作 个邻域上的，则e h 为模板操作。 ( 2 1 ) 而e h 代表增强操作。如果e h 是 如果e h 是定义在象素( x ，的某 为了有效地和快速地对图像进行处理和分析，常常需要将原来定义在空间的 图像以某种形式转换到其它的空间，并利用这些空间特有的性质方便地进行一 定的加工，最后再转换回图像空间以得到所需要的效果。最常用的变换空问是 频域空间，此时的增强公式可表示为： g ( x ，y ) = t 一 e h t f x ，y 】( 2 2 ) 2 1 灰度变换技术实现 基于点操作的增强方法也叫做灰度变换。使用扶度变换的主要目的是为了提 高图像的对比度，即增强原图像各部分的反差。 假定原图像的灰度级范围为m g t , b ，为了将图像的灰度级扩展为 i 彳，引。所需的线性变换是： f ：生兰( i - a ) + 爿：型i 4 a b - b a( 2 1 1 ) b 日b 一口b a 为了突出图像中某些灰度范围，同时又不牺牲其它灰度级上的细节，可以进 行分段压扩变换，使需要的细节灰度级拉伸，增加对比度，而将不需要的灰度 细节压缩。 车牌位于车身的下部，属于低灰度级范围，而车头上部及背景中一些区域一 般较亮，属于高灰度级范围。为了突出牌照的灰度细节，抑制高灰度区域，我 们对车牌图像进行了灰度拉伸，其变换如下【4 ： 武汉理工大学硕士学位论文 g ( f ，) - - 。g ( i ，) “ 车兰 g ( f ，) 一口】+ d u 一“ 尝 g ( f ，) 一6 + 6 0 g ( i ，j ) a a g ( i ，j ) b( 2 - 1 - 2 ) b g ( i ，_ ，) c 上式中川 i b - a 卟。一6 l o t ” o 3 0 图2 c 与图2 f 分别为夜间与白天场景的符号化结果。考察符号向量s i g n 的 o 1 变化次数：若有4 次突变，且满足第一、二跳变点间隔( 第一个车灯宽度) 与第三、四跳变点间隔( 第二个车灯宽度) 相近i 以及第二、三个跳变点之间 的间隔( 车灯问的水平距离) 远大于第一、二跳变点及第三、四跳变点间隔， 则判定对应图像为夜间场景；否则，判定它为白天场景。 2 灰度跳变确定车牌候选区域 武汉理工大学硕士学位论文 灰度图像中车牌子图像处灰度变化剧烈，车牌字符与背景之间存在灰度跳变， 一般而言白天两者差值的绝对值至少在5 0 以上，而晚上则在3 0 以上。而车牌 图像中其他各处的灰度变化则相对比较平缓，虽然有个别例外情况，但若只考虑 水平方向各相邻蒙素点的灰度差时，车牌子图像处灰度变化剧烈的特征便更突出， 而其他区域狄度变化造成的影响便因此削弱。因此，可对图像在水平方向进行差 分以突出车牌的特征【2 1 ，设灰度图像为，【工，差分函数如下式所示： g ( i ，) = f 2 厂( ，j ) 一f ( i ，j + 1 ) 一( f ，j 一1 ) 【 ( 2 ) 考虑到前面所提到的灰度特征，针对的场景对灰度图进行二值化。对白天 场景而言，将g u ，j25 0 对应的灰度图中的像素点赋值为2 5 5 ，其它的像素点赋 值为0 。对晚上场景而言，将g ( f ，) 3 0 对应的狄度图中的像素点赋值为2 5 5 ， 其它的像素点赋值为o 。则得到了对应的二值化图。 接下来对二值化图进行水平扫描，水平扫描的目的是在图像水平方向找到 牌照的上下边界。具体方法如下： ( 1 ) 计算每行最大连续的白点个数p r 。其中自点与白点之间最多允许有 两个间隔，并且间隔总数不超过一定值。 ( 2 ) 从第一行起，如果4 0 础【f 】8 ( 可根据需要调整) ，记下该行为车牌 可能区域的起始行，如果连续4 行以上满足条件( 其中可以有一行不满足条件) ， 则将最后满足该条件的行记为终止行，并将该区域存储起来。找出所有满足条 件的区域。 ( 3 ) 将所有可能区域的上下边界扩大( 如上下各加5 个像素) 。然后进行 下一步的分析。 找到所有满足条件的区域后，进行垂直投影分析。垂直投影分析的目的是 找出车牌可能区域的左右边界。具体操作如下： ( 1 ) 计算区域内每列的臼点个数p b u m j 。 ( 2 ) 从第列起，如果p s u m i 3 ( 可根据需要调整) ，记下浚列为车牌 的起始列，如果连续有2 0 列以上满足条件( 其中中间可以有不满足条件的列， 但其总数不能超过一定值，如6 ) ，则将最后满足条件的列记为终止列，并将它 们存储起来。 ( 3 ) 按上述方法扫描所有的区域，找出车牌的候选区域。 3 伪车牌区域的去除 通过实验可以证明，对于前视车牌，车灯位置、汽车发动机的散热孔、档 栅、车身广告等都很容易被当作车牌检测出来，要从含有伪目标的多个区域中 找到真正的车牌位置，需要根据车牌的所处的位置信息、车牌的底色、及宽高 武汉理工大学硕士学位论文 比等信息去除伪车牌区域。 ( 1 ) 对于保留下来的候选区域，计算区域的宽，若宽小于一定值，则认为 是伪车牌，予以排除。 ( 2 ) 对于保留下来的候选区域，计算区域的宽高比，若宽高比小于1 5 或 大予6 ，则认为是伪车牌，予以排除。 ( 3 ) 通过对二值化图像的分析，发现真正车牌所在区域的自点分布较均匀， 而且车牌区域的上下边界附近的白点很少( 见图l 的c 和g ) ，不满足这一规律 的，予以排除。( 是否保留该点) ( 4 ) 通过对白天场景的分析，发现白天场景中图像下部的干扰很少。因 此我们在上述两步的基础上，对于白天场景，我们直接取最后一块侯选区域进 入下一步的分析。 ( 5 ) 对于晚上场景，根据上面找到的车灯位置，选取在车灯位置下面离 车灯最近的侯选区域并进入下一步的分析。 4 实验结果与分析 本文所采用实验数据是浙江省某机动车辆检查站采集的图像，全部图像的 分辨率都是2 2 0 3 2 0 。实验中使用的图像总数为3 9 3 幅，其中白天场景图像3 3 2 幅，夜间场景图像6 l 幅。由于本系统先将图像自动判断为白天或夜晚场景，然 后针对不同场景分别使用不同的方法进行定位，因而实验中首先考察本文提出 的图像场景自动分类算法的性能。图像场景分类的实验结果如表1 所示。实验 结果显示，本文提出的图像场景分类算法能有效地分辨白天和夜间场景；其中 白天和夜问场景判断的j 下确率分别为1 0 0 和9 6 ，7 ，而总体j 下确率达到了 9 9 4 。 类型 实验圈像数 成功分类正确率 白天3 3 23 3 21 0 0 夜晚 6 l5 9 9 6 7 共计 3 9 33 9 l9 9 4 表】图像场景分类实验结果 在夜间场景中，有2 副误判，在前面的定位方法可能由于采用白天的灰度 跳变值而无法定位出车牌，如果出现这种情况，将进行重新定位，即降低灰度 跳变值进行定位。 武汉理工大学硕士学位论文 第4 章车牌倾斜校正 由于拍摄角度和安装的问题，牌照可能有不同角度的倾斜，这会给车牌的 精确定位和字符分割带来麻烦，为此，我们需要对倾斜的车牌进行矫正。车牌 倾斜矫正有多种方法，下面介绍几种典型的方法。 4 1 重心法 重心法通过求二值图像的每一列像素的重心点，再利用最小二乘法将所有 重心连成一条直线，此直线的倾角就是牌照的倾角，算法如下： ( 1 ) 设目标像素值为1 ，背景像素值为0 ，则一列像素点由若干交替出现 的连续1 和连续o 组成，其中连续l 即为目标像素段。将每一个目标像素段视 为一个质点，像素段的长度作为质点的重量，像素段中点的纵坐标作为质点的 一维坐标。 ( 2 ) 计算每一列的重心： 求质点的最大坐标x 一、最小坐标z n m 如果x m “：m m ，则本列只有一个质点，爿m n 即为重心 x = m m + ( x 一x m m ) 2 、彤2o 、孵= o ( 4 1 1 ) 对每一个质点坐标，和重量彬 如， ，则 = 盯+ 彬( x ，一x ) ，x ，2 x 质点无须考虑， 如l 彬一彬l 小于一预设阈值，则算法终止，爿为所求重心，否则： 。= 当彤 孵 重复( 2 ) 。 ( 3 ) 利用最小二乘法把每列的重心连成一条直线，此宜线的斜率即反映了 牌照的倾斜度。 本算法受噪声的干扰比较严重，而且对于有些字符，每一列的重心并不反 映字符纵坐标的中点，容易造成每列的重心上下跳跃，很难连成一条直线a 另 外，本算法只有在车牌的上下边框比较完整时才有明显效果。 4 2 形心法 不管车牌的图像倾斜角度如何变化，其形心是相对不变的，可以用图像的 武汉理上大学硕士学位论文 几何矩求得图形的形心坐标，几何矩的具体定义为：( 对二值化图像) 一1 一l m o = x 。y 。f ( x ，y ) ( 4 - 2 1 ) x = 0y = o 其中m 和n 分别为图像的宽度和高度。车牌的形心坐标( 氓，r o ) 可以由几 何矩求出： 忙等；碥= 急( 4 - 2 - 2 ) 求得形心坐标后，将车牌的坐标原点移动到该处，由于车牌具商平移不变 性，设x 。是目标各像素横坐标位置，y ，是纵坐标位置，取，2 h ，y 。r ，设| v 为 目标所含的总像素数，即黑像素的总数，则x 的均值和协方差矩阵估计为： 力。= 专喜b ；。，= 专姜巴p ，州一肪，心，7 ( 4 - 2 - 3 ) 出于已经对图像做了平移处理，所以肪，= o ，则有 e = 专涮，】 ( 4 2 4 ) 求出0 ，的特征值和特征向量：蛾= k ，e 1 2 i 改= k ：e ：j 取= 慨：】，做变换y = c r x ，即： 盼e l ：2 ：列x i ( 4 - 2 - 5 ) 经上述变换，两个坐标分量互不相关，目标主轴沿y 方向，旋转角度为 目：喀一丫鱼1 l p l l 则新的坐标为( x ，y ) ， 【z 。= x c o s 0 + y s i n 目 l y = - x s i n o + y c o s 0 ( 4 2 6 ) ( 4 - 2 7 ) 形心法对图像质量要求较高，抗干扰性差。我们采用的是下面的h o u g h 变换。 4 3h o u g h 变换法 一一 堕堡墨王奎堂堡主堂焦鲨苎 h o u g h 变换是种能够在图像中检测出形状曲线的技术，它对局部的曲线缺 失和噪声干扰不敏感，广泛应用于目标检测领域。下面介绍h o u g h 变换。 在原始图像空间( z ，y ) ，直线方程为： y = 埘+ v( 4 。3 1 ) 这里“为斜率，而对于直线上的一个点p z 2 l x t ，_ y j 来说，它在变换空间 ( “，”j 中应该满足方程式： ”2 x “+ y ， ( 4 3 2 ) 也就是说，图像空间中的一个点l z t ，y ，) 对于变换空间( “，v ) 中的一条直线； 而变换空间中的一个点对应于图像空间中的一条直线，该直线的斜率为“0 ，截 距为“。直线y2 “o 。+ ”o 上所有点在变换空间中对应的直线都通过同一个点 l “o ，”0 ，如图4 - 3 1 所示。 t ：竺， 图4 - 3 一i 直线的h o u g h 变换 对于任意方向和任意位鼍直线的检测，为了避免垂直直线的斜率无限大的 问题，往往采用极坐标作为变换空间，其极坐标方程可以写成； ，3x c o s o + y s i n o ( 4 3 3 ) 参数p 和0 可以唯一确定一条直线，户表示原点到直线的距离，0 是该直线 的法线与工轴的夹角。对于( x ， 空间中任意一点( _ ，”j 采用极坐标作为变换空 间，其变换方程为： p2 誓c o s 0 + y , s i n 0 ( 4 3 。4 ) 这表明原图像中的一点( x ，yr ) 对应于( p ，占) 空间中的一条正弦曲线，其初始 角度和幅值随x i ，只的值而变。若将 空间中在同一条直线上的一个点序列 变到( p ，p ) 空间，则所有正弦曲线都经过一点( 岛，岛) ，p o 为直线到原点的距离， 为法线与x 轴的夹角。 将( 岛6 ) 空间量化为许多小格，每小格是一个累加器，对每一个点，y 一， 武汉理工大学硕士学位论文 将目的量化值逐一代入p 2x l 。0 8 f + 儿s i n 0 ，计算出对应的p ，所得结果落在某 个小格内，便使小格的累加器加1 。当完成全部幅，mj 变换后，对所有的累加器 的值进行检验，峰值的小格对应于参数空间【p , o j 的共线点，其【p ，即是图像空 间的直线拟合