（信号与信息处理专业论文）车牌识别技术研究.pdf

车牌识别技术研究 捅要 智能交通系统已成为当前交通管理发展的重要方向，而车牌识别系统 ( l p r ) 作为智能交通系统的一部分，其广泛应用有助于我国交通管理自动化 进程。本文对l p r 的三个部分( 车牌定位、字符分割和字符识别) 分别进行了 研究，主要工作包括以下几个方面： 1 鉴于模板匹配的定位算法存在的局限性，本文采用闭运算结合投影的方 法对车牌进行定位，该算法首先利用闭运算和背景减法对图像进行预处理，然 后由水平和垂直投影的方法选择出车牌的候选区域，并根据车牌的颜色特征排 除车牌伪区域，确定车牌的正确位置。该算法利用了车牌灰度图像和彩色图像 的特点，具有较好的适应性。 2 通过对目标增强算法的改进，本文提出一种基于目标增强的二值化方法。 在闭运算与背景减法的预处理基础之上使用该二值化方法，能够较好的削弱车 牌上下边框等干扰噪声，从而有效提高车牌字符的分割效率。 3 针对字符传统的二值化分割过程中只进行一次二值化变换的弊端，本文 提出两次二值化增强的分割算法。该算法对原车牌图像先后进行两次二值化变 换，并结合两幅二值化图像的特点处理字符的粘连与断裂问题，取得了较好的 分割效果。 4 鉴于汉字笔画多且分割后笔画缺损和粘连普遍的现象，本文采用点对点 匹配的方法对汉字进行识别；根据字母和数字笔画少且细化后能保留大部分笔 画信息的特点，本文采用特征匹配的方法逐级进行识别。 关键词：智能交通车牌识别车牌定位字符分割字符识别 r e s e a r c ho ft h et e c h n o l o g yo fl i c e n s ep l a t er e c o g n i t i o n a b s t r a c t t h ei n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ( i t s ) h a sb e c o m ea ni m p o r t a n td i r e c t i o n f o rt h ed e v e l o p m e n to ft r a f f i c m a n a g e m e n t t h el i c e n s ep l a t er e c o g n i t i o n ( l p r ) s y s t e mp l a y sa ni m p o r t a n tr o l ea sap a r to ft h ei t s ，i t sw i d ea p p l i c a t i o nw i l lh e l p o u rt r a f f i cm a n a g e m e n tt h ep r o c e s so f a u t o m a t i o n i nt h i sd i s s e r t a t i o n ，t h et h r e e p a r t s ( 1 i c e n s ep r a t el o c a t i o n ，c h a r a c t e r - s e g m e n t a t i o na n dc h a r a c t e rr e c o g n i t i o n ) o f t h el p rs y s t e mw e r es t u d i e d t h em a i nt a s ki n c l u d e st h ef o l l o w i n g ： 1 i nv i e wo ft h el i m i t a t i o no ft h e t e m p l a t e m a t c h i n ga l g o r i t h m ，t h i s d i s s e r t a t i o nf i n i s h e dt h ep l a t ep o s i t i o n i n gc o m b i n i n gt h ec l o s i n go p e r a t i o nw i t ht h e p r o j e c t i o n ，w h a tp r e p r o c e s s e dt h ei m a g ef i r s tu s i n gc l o s i n go p e r a t i o na n dt h e b a c k g r o u n ds u b t r a c t i o n ，a n dt h e nt h ep r o j e c t i o na l g o r i t h mu s e dt os e l e c tc a n d i d a t e r e g i o n i n a c c o r d a n c ew i t ht h ec o l o rc h a r a c t e r i s t i c so ft h e l i c e n s ep l a t e ，t h e a l g o r i t h md e t e r m i n e dt h ec o r r e c tr e g i o no u tt h eo ft h ep s e u d or e g i o n t h e p o s i t i o n i n ga l g o r i t h mc a nm a k ef u l lu s eo ft h e g r a y s c a l ea n dc o l o ri m a g e c h a r a c t e r i s t i c s ，w i t hg o o da d a p t a b i l i t y 2 t h i sd i s s e r t a t i o np r e s e n t e da nb i n a r ym e t h o do nt h eo b j e c t i v e e n h a n c e d t h r o u g ht h ei m p r o v e m e n to fo b j e c t i v ee n h a n c e m e n ta l g o r i t h m 。c o m b i n i n gc l o s i n g o p e r a t i o nw i t ht h eb a c k g r o u n ds u b t r a c t i o n ，t h ea l g o r i t h mc a nr e d u c en o i s es u c ha s l i c e n s ep l a t ef l a m e ，s oa st oe f f e c t i v e l yi m p r o v et h ee f f i c i e n c yo f t h es e g m e n t a t i o n 3 t h i sd i s s e r t a t i o np r e s e n t e dc h a r a c t e r s e g m e n t a t i o no fl i c e n s ep l a t eb a s e d o n t h ee n h a n c e m e n to ft w o - t i m eb i n a r i z a t i o n ，i nv i e wo ft h e s h o r t c o m i n g so fo n l v o n e - t i m eb i n a r i z a t i o nt r a n s f o r m a t i o ni nt r a d i t i o n a lc h a r a c t e rs e g m e n t a t i o n t h e a l g o r i t h mh a st w i c eb i n a r i z a t i o nt r a n s f o r m a t i o n o no nt h eo r i g i n a ll i c e n s ep l a t e i m a g e c o m b i n i n gw i t ht h ef e a t u r eo fb i n a r yi m a g e st op r o c e s st h ea d h e s i o na n d f r a c t u r e ，t h i sa l g o r i t h ma c h i e v e dg o o dr e s u l t s 4 t h i sd i s s e r t a t i o n r e c o g n i z e sc h i n e s ec h a r a c t e r si n s i m p l em a t c h i n g m e t h o d ，b e c a u s eo ft h ed e n s es t r o k e sa n dt h ed e f e c ta n dt h ea d h e s i o na f t e rt h e s e g m e n t a t i o n ，a n dr e c o g n i z e sl e t t e r sa n dn u m b e r si nf e a t u r e - m a t c h i n ga c c o r d i n gt o t h es i m p l es t r o k e sa n dt h ei n f o r m a t i o nc a l lb em o s tr e t a i n e da f t e rr e f i n e m e n t k e y w o r d s ：i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ；l i c e n s ep l a t el o c a t i o n ；c h a r a c t e r s e g m e n t a t i o n ；c h a r a c t e rr e c o g n i t i o n 插图清单 图2 1 模板匹配流程8 图2 2 原彩色图。8 图2 3 灰度图8 图2 4 灰度拉伸9 图2 5 边缘检测1 1 图2 6 水平投影12 图2 7 定位结果l4 图2 8 投影法流程图1 4 图2 9 闭运算1 5 图2 1 0 背景减法1 6 图2 1 1 闭运算1 6 图2 12 水平投影1 6 图2 13 候选区域16 图2 1 4 垂直投影1 7 图2 1 5 伪车牌区域1 7 图2 1 6 区域确定1 8 图3 13 x 3 变换函数滤波模板。2 0 图3 2p o s 胍算法子块合成过程2 0 图3 。3 二值化变换2 4 图3 4 分割流程2 5 图3 5 反色变换2 5 图3 6 倾斜度校正2 8 图3 7 最终分割2 9 图3 8 预处理3 0 图3 9 二值化变换。3 0 图3 1 0 倾斜度校正3l 图3 1 1 最终分割3 2 图3 12 分割结果对比3 3 图3 1 3 预处理结果对比一3 5 图3 1 4 倾斜度校正3 6 图3 15 二值化增强3 7 图3 16 最终分割38 图3 1 7 分割结果对比4 0 图4 1 邻近插值4 2 图4 2 大小归一化4 3 图4 38 邻域像素4 3 图4 4 字符细化4 4 图4 5 特征选择4 7 图4 6 识别结果：4 8 表格清单 表2 1 四种颜色的h s l 分布范围( _ - 表示不予考虑) 1 3 表4 1 车牌识别数据4 8 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特另l l j n 以标志和致谢的地方外，论文中不包含其它人已经发表或撰写过的研究成果， 也不包含为获得金筵工些太堂 或其它教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。 学位敝作者签字、阮签字嗍加年似咖 学位论文版权使用授权书 本学位论文作者完全了解金世王些太堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金胆王些盍 堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者躲t l 移 导师虢 签字日期：加l 勺年够月z 泸 学位论文作者毕业后去向： 工作单位： 通讯地址： 卉炭廨乡 l 签字日期：j o o 年铲月穆日 电话： 邮编： 致谢 值此学位论文完成之际，谨向那些曾教导我的师长、鼓励我的前辈、帮助 我的同学和朋友、默默支持我的亲人，表达我最诚挚的谢意! 两年半的研究生学习使我的科研水平和工作能力得到了快速增长，这一切 得益于尊师齐美彬教授在我学习、科研等多方面给予的悉心指导和亲切的关怀。 齐老师一丝不苟的治学态度、敏锐的学术洞察力、严谨而又不乏灵活性的工作 作风、独特的教导方法以及丰富的实践经验给我留下了深刻的印象，将使我在 学习和工作中受益终生。在此，谨向齐老师致以崇高的敬意和衷心的感谢! 感谢蒋建国教授在我学习过程中给予的悉心指导和关怀! 蒋老师在学习上 对我们严格要求，他的专业精神将永远激励着我! 同时还要感谢实验室的夏娜 副教授、吴从中副教授、李小红副教授、张国富老师，感谢他们对我的关心和 帮助。 感谢我们实验室同学：感谢常传文、包先雨、尹翔、郝世杰等师兄在学习 过程中的指引和帮助；感谢张锐、孙洪艳、王倩、刘扬、张祺、李化雷、童卫 勇、宣曼、郭艳蓉、施志萍、张乐、张前进、卢晓红、李相涛、常红等师兄师 姐对我帮助，在我遇到不懂问题时的耐心教导，和她们讨论我受益匪浅，谢谢 他们给我的建议。还要感谢曹二喜、宣浩、杨立彬、鲜柯、岳雷飞、李敦、张 腾飞、徐普君、钱浩伟、李本斋、杨爱丽、邢世义、林芬华、唐媚、张文菊、 吕荣等实验室所有同学，在学习和生活中给我的帮助和支持，我们在生活上情 同手足，在学习上互相帮助，共同营造了良好的实验室气氛。还要感谢陈家银、 安红新、许郴等师弟师妹给我生活和学习上给予的帮助。衷心地谢谢你们! 最后，我要将这份感激之情献给我的家庭，感谢他们在我求学期间给予的 精神和物质上的深切关怀和大力支持，他们多年来的关心、鼓励和无私的爱， 始终是我克服困难的强大动力，向他们表示深深的谢意和衷心的祝福! 作者刘亮 2 0 10 年3 月 第一章绪论 1 1 课题背景 随着我国经济的快速发展，国内各项车辆控制设施建设日益增多，对交通 控制和安全管理的要求也日益提高，智能交通系统( i n t e l l i g e n c et r a f f i cs y s t e m ) 己成为当前交通管理的目标和方向i 。车辆牌照的自动识别是计算机视觉与模 式识别技术在智能交通领域结合应用的重要研究课题之一，是实现交通管理智 能化的重要环节，是智能交通系统的核心。它在高速公路、城市道路、收费站 和小区管理等项目管理中占有极其重要的重要地位。车牌识别系统( l i c e n s e p l a t er e c o g n i t i o n ，简称l p r ) 具有广泛的应用范围和前景1 2 】，具体概括如下： ( 1 ) 实现自动预收费功能 适用于预交费的情况，可对经过车辆自动扣款收费，一方砸能实现不停车 收费，解决卡口车流量瓶颈问题：另一方面又能杜绝人与现金的接触，解决与 现金有关的种种问题。 ( 2 ) 自动确认车辆及入口 主要针对高速公路中途互换入口卡的车辆，通过l p r 系统，入口处可以很 容易地通知各个出口将驶入车辆的识别结果，而出口处的系统也能够很容易地 判定该辆车来自哪个入口，从而杜绝了中途互换入口卡的车辆的作弊行为，防 止收款流失。 ( 3 ) 小区停车场收费管理系统 在入口处安装l p r 系统，利用其能够自动识别车牌而不需停车的特点，在 车辆经过卡e l 的一瞬间，便能得到识别结果，并通过通信网络系统将识别出的 车辆信息及入e l 信息及时传送到各个出e l ，既不需要卡1 2 1 值班人员发放通行证 件，又可保证车辆信息准确无误地送至出口。 ( 4 ) 车辆身份的后台集中识别 在道路交通监测部门，每天都有大量的违规车辆( 如抢道、超速、闯红灯、 越线等) 的图片汇集，如果采用人工输入方式识别车牌，工作量非常大，容易导 致疲劳误判。而采用l p r 系统能自动地对大量的车牌进行有效地识别处理，从 而大量减少人力，减轻工作强度，可大幅度提高处理速度和处理效率。 ( 5 ) 车辆自动检测报警 针对被纳入“黑名单”的车辆，包括冲关或肇事逃逸的车辆、被公安部门通 缉或挂失的车辆或者欠交费的车辆等等。只要将车牌资料输入应用系统中，系 统便会自动处于检测状态，能够2 4 d x 时不停地对所有经过车辆自动进行识别， 一旦发现“黑名单”的车辆经过，可立刻给出报警信号。通常用于停车场入口、 交通监控卡口以及路桥收费卡口等。 ( 6 ) 车辆的自动放行 这主要是针对“绿灯车辆，比如特种车辆( 如警车、军车) 、预交费车辆( 如 办理月、年缴费卡) 以及其它授权免费通行的车辆。由于系统处于自动检测状态， 一旦发现该类车辆经过，便给出自动放行的信号。通常用于路桥收费卡口专用 车道、停车场的收费口以及单位对进出车辆的监控等。 ( 7 ) 数据自动统计及模糊查询 主要用于路桥卡口、停车场的内部管理和交通公安部门的监控管理。通过 联网，出入卡口的车辆数据实时在线，随时可用于统计流量以及模糊查询，找 到某一辆车现在的具体位置。 1 2 国内外车牌识别研究现状 国外的研究人员很早就己经开始对车牌自动识别进行研究，但由于季节变 化、外界环境光线变化、光路中的灰尘以及车牌自身可能比较模糊等条件的限 制，使得l p r 系统是一个有解但一直都不能得到很好解决的问题。 国外现有的一些车牌识别系统产品主要有：以色列h i t e c h 公司的s e e c a r s y s t e m 系列产品，德国西门子公司的a r t e m 7 s 系统，新加坡o p t a s i a 公司的 v l p r s 产品等：中国香港a s i av i s i o nt e c h n o l o g y 公司也推出v e c o n 产品。 h i - t e c h 公司的s e e c a rs y s t e m 有多种的变形产品来分别适应某一个国家的车 牌，可以对中国大陆的车牌进行识别，具有很高的应用价值，缺点是它不能识 别车牌中的汉字，而v l p r s 和v e c o n 产品主要适合于新加坡和香港的车牌。 国内做得较好的产品主要是中科院自动化研究所汉王公司的“汉王眼”，除 此之外国内的亚洲视觉科技有限公司、深圳市吉通电子有限公司、中国信息产 业部下属的中智交通电子系统有限公司等也都有自己的产品。许多的高校也都 对车牌识别技术有研究，比如清华大学人工智能国家重点实验室、上海交通大 学的计算机科学与工程系等。 1 2 1 车牌定位算法研究 车牌的定位方法按照图像基础可分为基于二值化图像的车牌定位方法、基 于灰度图像的车牌定位方法、基于车牌颜色的定位方法，实际应用中往往是不 同色彩图像的结合应用。目前常用的方法主要有自适应滤波预处理算法1 3 j 、基 于遗传算法的定位方法1 4 j 、基于小波变换的定位方法【5 1 以及基于形态学的定位 方法和基于神经网络的定位方法等等。 国外现有比较好的牌照定位方法主要有c h a r lc o e t z e e 提出的基于n i b l a c k 的二值化算法及自适应边界搜索算法的定位方法1 6 j ，j b u l a s c r u z 等人曾提出基 于扫描行的车牌提取方法r 7 1 ，这两种算法能够充分利用二值化图像的特点，但 是车牌识别系统受许多客观条件的影响，比如天气、背景、车牌磨损等影响， 整个车牌的二值化效果很难得到保证；j b a r r o s 等提出的基于水平线搜寻的定 位方法【8 1 ，该算法指出扫描行经过车牌区域会有规律的起伏，考虑到实时性的 2 要求及车牌颜色的多变性，在二维图像上找类字符区域及用彩色信息具有较大 的局限性；文献【9 】提出的在水平条状区域找类字符状区域，当水平方向连续出 现3 - 4 个类字符时，则说明此区域可能为牌照区域，并继续在其两边搜索类字 符区域，当类字符区域达到一定数量时，则可判定此区域为车牌区域。但是这 种方法往往会受车辆体上其他干扰字符的影响， 9 0 年代以来，由于交通现代化发展的需要，我国也开始对车牌定位进行深 入研究，并取得了一定成效。国内比较好的定位算法有基于特征的车辆牌照定 位算法i l o 】，基于字符串的车辆牌照分割方法】，这些算法都是基于车牌的特征 来研究车牌的定位，因而具有一定的针对性和局限性；基于局部阈值二值化与 自适应形态滤波算法【1 2 1 对于文字区域水平且其周围干扰区域较少的情况下定 位比较准确，但二值化所得结果中各种尺寸的干扰区域基本都保留了下来，对 于倾斜度的正确估计也有较大偏差，不能满足复杂稽查应用。另外，文献【1 3 】 通过对彩色汽车图像牌照定位方法进行研究，提出了彩色边缘检测算子 c o l o r p r e w i t t 和彩色边缘检测与区域生长相结合的牌照定位算法，提高了基于彩 色图像定位的准确率，具有较高的参考价值。 1 2 2 车牌字符分割算法研究 车牌字符的分割算法往往都是根据车牌字符的特征而进行的，按照图像基 础可以分为三种：基于彩色图像的字符分割算法、基于灰度图像的车牌字符分 割算法以及基于二值化图像的分割算法。基于彩色图像的分割【1 4 , 1 5 】，由于过多 的依赖于车牌颜色信息，使得这种分割方法对昏暗或者雨雾等环境下颜色分辨 能力较弱时的字符分割适应性较差；基于灰度图像的分割【1 6 , 1 7 】，虽然能充分利 用车牌的灰度信息，但是由于其对比度不强，容易造成误分割，特别是当字符 “l ”，“7 ”，“l ”与所相邻字符之间的灰度级与字符的灰度级相近时，利用垂直投 影很难实现较为满意的分割；二值化分割i l8 】是对比度最为明显的分割，但是这 种算法对二值化的依赖性较大。实际分割过程往往是基于图像组合基础上进行 的。用于车牌字符分割的方法主要有以下几种：基于车牌字符先验知识的方法、 基于垂直投影的方法、基于h o u g h 变换的方法、基于聚类分析的方法等等， 国内外对车牌字符分割算法的研究都很多。 y a n g 等人提出基于拉普拉斯变换和区域增长算法以及车牌的先验知识研 究了字符分割方法( 1 9 1 ，该算法对车牌上存在铆钉和边框等噪声情况均取得了较 好的分割效果，然而对于车速、灯光等所造成的图像中字符轮廓模糊不清的情 况，该算法不能给予有效的解决。文献 2 0 ，2 1 】单纯使用投影的方法对车牌字符 进行分割，该方法虽然具有一定的适应性，但是，车牌字符在外界复杂环境中 所造成的字符粘连给单纯投影的方法提出了难题。 国内对车牌字符分割研究较多的是基于灰度图像的分割算法，比如文献1 1 6 】 提出基于h o u g h 变换和先验知识的车牌字符分割算法，该算法采用目标增强 的算法增强车牌字符，抑制背景噪声，取得较好的分割效果，但是该算法对光 照不均的问题不能得到很好的解决。文献 1 4 ，1 5 1 采用车牌的颜色特征对字符进 行分割，也取得较好的效果，但是由于颜色特征在复杂的环境中，比如雨雾天 气中往往会失去效应，造成误分割。 车牌字符的分割依然是车牌识别系统的一个重点研究对象，如何应付复杂 的环境从而提高分割效率，依然是一个难题。 1 2 3 车牌字符识别算法研究 车牌字符识别算法即是对依附在车牌上的车牌文字进行的识别，能否正确 识别不光是单纯的文字识别技术的问题，还要考虑车牌区域的影响。由于摄像 机的性能、拍摄时的倾斜角度、光照条件、车牌的光洁度以及车辆运动等因素 所产生的影响使牌照中的字符可能会出现比较严重的模糊、歪斜、缺损或污迹 干扰，这些都给字符识别带来了难度。 字符识别按照方法可以分为以下几种方法：模板匹配法、统计决策法、句 法结构法以及人工神经元网络法等等。 ( 1 ) 模板匹配法 模板匹配法又分为点对点的模板匹配法、特征点匹配法、外围轮廓匹配法、 穿线法以及基于h a u s d o r f f 足巨离的模板匹配算法等等。 点对点的模板匹配法一般不进行粗分类，而将待识别字符与模板中的字符 点对点地进行匹配识别，一般选择海明距离作为决策手段。该算法计算快速， 实现简单，但对字符的噪声、变形以及光照的影响容易敏感。 特征点匹配法选取了能够区分各字符的若干个特征点，进而取值得到各个 字符的编码，从而能够较好地区分特征值相近的字符。但是该方法只适用于二 值化图像，受二值化质量影响很大。 外围轮廓匹配法采用外围轮廓描述数组，记录字符边框上各点到达框内字 符的最短距离作为特征数据。识别时将待识别字符的这一数组与预先得到的模 板的外围轮廓描述数组相比较，两者差别由欧氏距离衡量。 穿线法士属于字符识别方法中的模板匹配一类，但它涉及了字符拓扑结构 方面的信息，其基本思想是用一组或几组与水平成0 0 、3 0 0 、4 5 0 或6 0 0 的平行线 穿过字符，提取字符与水平线的交点信息作为识别根据。 基于h a u s d o r f f l z 巨离的模板匹配算法选取字符图像的边缘点作为特征点，记 录这些点所在位置的同时，还要记录每一个点8 邻域的情况，因此每个边缘点有 9 个特征值，采用基于h a u s d o r f l 眍离进行模板匹配。 ( 2 ) 统计决策法 这类识别技术的理论已经比较完善，方法也有很多，通常也很有效，现己 4 形成了一个完整的体系。在字符识别中，每个字符的特征不是一维的，而是一 个m 维的特征向量x ；字典的每类标准模板也不一定是一个，也可能是批：在 判别输入文字属于哪一类时，也不是把它的特征向量与字典内标准特征向量逐 一进行比较，完全相同时才能分类识别，而是根据某种判别准则( 尺度) ，当两 者相似达到一定程度而且彼此又能区分时就可以进行分类识别。 ( 3 ) 句法结构法 句法模式识别又称为结构模式识别。在许多情况下，对于较复杂的对象仅 用一些数值特征已不能较充分地对其进行描述，这时可采用句法结构识别技术。 句法机构识别技术将对象分解为若干个基本单元，即基元，用这些基元以及它 们的结构关系可描述对象。基元以及它们的结构关系可用一个字符串或一个图 来表示，然后运用形式语言理论句法分析，根据其是否符合某类的文法而决定 其类别。 ( 4 ) 人工神经网络法 人工神经元网络是由大量简单的基本单元相互联接而成的非线性动态系 统。每个神经元的结构和功能相对都比较简单，但由其组成的系统却可能非常 复杂，它具有人脑的某些特性，能用于联想、决策和识别。神经元同时具有非 线性映射的能力，它们之间是通过权系数相连结的。这种大规模并行结构具有 很高的计算速度，完全不同于传统的机器。 模式识别往往会存在噪声干扰或输入模式的部分损失，丽人工神经元网络 却将信息分布存储于连结的权系数中，使网络具有很高的容错性和鲁棒性。且 人工神经元网络的自组织、自适应学习功能，很大程度上放松了传统识别方法 所需的约束条件，使其对某些识别问题显示出了极大的优越性。因此人们不断 地深入探讨人工神经元网络用于模式识别的潜力。 常用的神经网络有b p 神经网络、h o p f i e d 网络和k o h o n e n 网络等，其优点是 对于字符的变形及各种噪声不敏感，缺点是不易区分特征值相近的字符( 如0 ， 8 ，b ；o ，d ，q 等) ，因此神经网络法常用于初级分类。 另外，葛宝臻【2 2 】等提出的光电混合联合变换相关方法是利用联合变换相关 器( j t c ) 根据输出面上相关峰的位置确定目标图像和参考图像，虽然速度较 慢，离实时处理还有一段距离，但给了我们新的启示。 也有人针对字符的断裂、倾斜、变形和形状相似等问题，提出基于隐马可 夫( h m m ) 的识别方法 2 3 , 2 4 j 。 1 3 本文的主要工作及论文组织安排 1 3 1 本文主要工作 本文的工作主要是完成整个车牌识别系统，主要分为以下三个部分：车牌 定位、车牌字符分割、车牌字符识别【2 5 1 。 5 ( 1 ) 车牌定位 车牌定位是根据牌照图像的特征并结合车牌尺寸的先验知识在汽车图像 中找到牌照所在的位置，然后分割出车牌的边框，得到精确的车牌图像。 ( 2 ) 车牌字符分割 字符分割是根据车牌字符大小、字体以及排列间隔的规律，从定位到的车 牌图像中分离出单个字符的过程。 ( 3 ) 字符识别 字符的识别即是在对定位到的车牌经过一系列处理后，分割出车牌字符， 然后分析字符的特点，逐一进行识别的过程。 1 3 2 论文组织 第一章对车牌的识别系统进行概述性的介绍，并介绍了车牌识别系统的发 展状况。 第二章介绍车牌的定位系统，针对车牌的定位系统，本文在前人研究方法 的基础上分别采用模板匹配和形态学结合水平垂直投影两种方法进行了定位尝 试，完成系统仿真实验。 第三章介绍字符分割系统，本文采用三种方法分别实现对字符的分割。即 垂直投影结合先验知识的二值化分割方法、闭运算结合背景减法的二值化分割 方法以及两次二值化增强的分割方法。由于垂直投影结合先验知识的二值化分 割方法具有较大的局限性，本文提出了闭运算结合背景减法的二值化分割方法 和两次二值化增强的分割方法。通过比较分割方法的效果，阐述了本文提出的 两种方法的优越性。 第四章介绍字符的识别系统，针对中国车牌的特点，本文对汉字识别采用 点对点的模板匹配的方法进行识别；对于字母和数字，本文先对字符进行细化， 然后提取特征，采用特征匹配的方法进行识别。 第五章对本论文的工作做了总结和展望。 6 第二章车牌定位 车牌定位是字符分割和字符识别的基础，把车牌区域从所采集到的整幅图 像中提取出来，是本章讨论的重点。 2 1 车牌特征 中国车牌的特征主要包括以下几点： ( 1 ) 车牌颜色组合特征：黄底黑字、蓝底白字、黑底自字、自底黑字。其 中大型民用汽车所用的是黄底黑字牌照：小型民用车用的是蓝底自字牌照：使、 领事馆外籍汽车所用的是黑底白字牌照；汽车补用牌照所用的是白底黑字牌照。 另外军队或者武警专用汽车的自底红字和黑字牌照：试车和临时牌照是白底红 字。 ( 2 ) 车牌的颜色特征：车牌的前景与背景之间具有明显颜色跳变特征。 ( 3 ) 车牌字符笔画特征：以竖直方向笔画为主。 ( 4 ) 车牌的几何特征：车牌的宽与高之间的比值在一定范围内。 ( 5 ) 车牌区域内的边缘灰度直方图统计特征：车牌的前景与背景灰度值具 有明显且分离的两个分布中心。 ( 6 ) 车牌区域的灰度分布特征：经过车牌区域的水平直线上的灰度呈现连 续的峰、谷、峰分布。 ( 7 ) 车牌区域呈水平或垂直投影特征：车牌区域水平投影呈现一个突出的 波峰；垂直投影呈现连续的峰、谷、蜂分布。 ( 8 ) 频谱特征：图像行或列的d f t 变换包含了车牌的位置信息。 车牌定位属于图像分割的范畴，一般来说，车牌定位是根据车牌的某一个 或者几个特征设计定位算法，都具有一定的适应性和弊端，并不存在一种普遍 适用的最优方法。基于二值化图像的定位方法受二值化影响较大，一般不单独 使用；基于彩色图像的定位方法【1 6 郴，2 6 l 由于车牌的颜色信息在雨雾等恶劣环境 中损失较多，所以常与其他方法结合使用；基于灰度图像的定位方法 2 7 , 2 8 1 由于 图像保留了更多的车牌信息，从而能够利用数学形态学【2 9 1 及各种变换( 如小波 变换) 使车牌信息更多地突出，单独使用就能取得较好的效果，所以研究较多。 下面介绍两种本文所做的定位方法。 2 2 模板匹配定位法 在车牌识别系统中，模板匹配算法主要用于字符的识别。把模板匹配的概 念应用到车牌定位中，是一种模糊匹配，即模板不是某一个具体的车牌，而是 经过一系列预处理后的所有车牌子图像所具有的独一无二的统计特征，即该区 域边缘丰富，并且在竖直方向上连通。这部分是整个车牌定位算法的核心。整 7 个模板匹配算法的步骤如图2l 所示 输入图像 例2l 模板匹配流程 输出图像 22 1 预处理 预处理主要包括：色彩转换、灰度拉伸和边缘检测。 ( 1 1 色彩转换 即是将车牌的彩色图像( 图2 2 ) 转化为获度图像，原始车牌图像一般为2 4 何真彩色圄：瓤度图亮度值被量化为2 5 6 级，灰度值从0 ( 黑色) n 2 5 5 ( 白色) ， 亮度从。到2 5 5 逐数增强。转化公式如下： h = j o2 9 9 + g , j o5 8 7 + 4 。o1 1 4 ( 2i ) 其中，o g 。，分别是彩色图像中位于第j 行第，列的像素的红、绿、 蓝三个分量，h ，是该像素在灰度图中的灰度值。色彩转换后如图2 ，3 所示。 圈22 原彩色图幽23 扶跛幽 ( 2 ) 灰度拉伸 由于车辆图像在拍摄时受各种环境条件的限制和干扰，使得图像的灰度变 化范围较窄车牌区域的前景和背景对比度下降，影响定位准确率。采用灰度 拉伸的方法对图像进行预盘 理，能够拉伸灰度变化范围增强图像的对比度， 丰富灰度层次，突出感兴趣的放度区间，抑制不感兴趣的灰度范围。 设原图像f ( i ，j ) 灰度值范围为【以卅，扶度拉伸后的图像g ( j ，) 的灰度值范围 为【o ，2 5 5 】，g ( f ，) 和f ( i ，) 之间的变换关系为： g ( i ，j ) = 本文取x = 2 0 后如图24 所示。 0，0 s f ( i ，j ) 2 0 0 ) & & ( b 2 0 0 ) ，即只要 1 3 ( r 2 0 0 ) ( g 2 0 0 ) s t 也( b 2 0 0 ) ，就可判定为白色；黑色的另一个判断条件为 ( r q 0 ) ( g 3 0 ) & ( b q o ) 。 颜色鉴定的步骤如下： ( 1 ) 统计出占整个车牌候选区域比例最大的颜色种类，以该种颜色作为候 选区域背景主体色彩，如果主体色彩不足蓝、黄、白或者黑四种颜色中的一种， 则认为该区域为伪车牌区域，否则，进行( 2 ) 操作。 ( 2 ) 选取车牌候选区域中间2 0 行，设定阐值m ，z ，统计每行中连续 主体色彩点的数目，如果大于，则说明当前行不符合车牌区域的要求如果 不符合车牌区域的要求的行数大干闽值z ，则认为该区域为伪车牌区域，否则， 进行( 3 ) 操作。 ( 3 ) 统计整个车牌区域的跳交情况，设定闽值m ，t 统计每一行 的颜色跳变总数吖，如果m m m ：则说明当莳行符合车牌医域的要求，如 果符合车牌区域的要求的行数大于阈值，则认为该候选区域为车牌区域，古 则，认为该区域为伪车牌区域。 最终确定的车牌图像如图27 所示： 国27 定位结果 2 3 闭运算结合投影定位法 本文以闭运算结合水平垂直投影来完成车牌的定位主要过程如图28 所 示： 输入图像刊蓁h i p 障h ! h i h i h 蓁h i 卜输出图像 图28 投影法流程图 2 3l 预处理 这里的预处理主要包括：色彩转换、灰度拉伸、闭运算”、背景减法以及 背景减法之后再次进行的闭运算。 对于灰度图像，膨胀和腐蚀运算定义如下：设( 耳( x ) ) 是定义在f 上的图 像，x e d 呈e ”，结构元b k ( e ”) ( 芷( ) 表示紧致集类) 结构元b 的膨胀和腐蚀变换运算分别定义为： ( ，o b ) ( j ) = m a x f ( y ) ：y 耳nd ) ( ， b ) ( z ) = m i n ，o ) ：y 最d l 那么图像( x ，( x ) ) 关于 r 26 1 开运算和闭运算分别定义如下： ；：嚣翟b ) o b 亿， ，b 2 矿o 、7 一般情况f ，采集到的汽车图片中车牌大小都在定的范围之内原始图片 巾每个字符的宽度基本都在1 6 到1 9 个像素之间，宁符中的横划一般都会小于 2 0 个像索故我们选择ix 2 l 的水平结构元素。通过对灰度图像进行水平结构 元素的闭运算后，车牌字符周围的灰度值代替了字符的跃度值，即车牌背景区 域取代了字符区域，故在后面的图像背景减法运算中能较好的凸显出车牌字符。 本文的结构元形式固定为o ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 , 0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 ，0 , 0 ，0 1 ，在膨胀运算 中，以该结构元作为一个滑动窗口在原灰度图像上滑动，统计当前窗口内各点 像素的值，以最大值作为与当前窗口中心点对应的图像的点的新值：在膨胀运 算结果的基础之上，进行腐蚀运算，即以该结构元作为一个滑动窗口在膨胀敷 度图像上滑动，统计当前窗口内各点像素的值，以虽小值作为与当前窗口中心 点对应的图像的点的新值，完成腐蚀运算。考虑到车牌在图像边缘出现的可能 性较小，因此，左右边缘部分不做处理，直接设置为黑色。闭运算结果如图29 所示。 黟乏1 卜 二一 l二：塑鳖j 图29 闭运算 背景减法通过削弱背景从而将前景目标从图像中提取出来，常用于运动目 标的检测【3 2 1 ：经过闭运算后的图像中，没有了车牌字符，但其他部分信息却基 本保留下来，字符区域已经被车牌背景区域所代替，因此用原灰色图像减去水 平闭运算图能够削弱背景，突出字符区域，如图21 0 所示。此时再次使用闭 运算，便能够将字符区域变成一个矩形区域使字符区域完全突显出来，如图 21 】所示。由图可知，背景减法具有检测边缘的效果。 图21 2 水平投影凹21 3 候选区域 经过闭运算，车牌字符区域已经成为一个连通的区域，垂直投影也会有一 个波峰出现，虽然没有水平投影的波峰明显，但是也能作为确认车牌区域的一 种手段。这里的垂直投影并不是从整幅图像- 和考虑的，而是在水平投影所得候 选区域内进行垂直投影。对垂直投影图，从丘到右搜索整幅图像，找到一个最 大投影值井从最大投影值处向右搜索当搜索到一个垂直投影值小于最大投 影值的5 0 时确定为该候选区域的右边缘，同理可找到左边缘。如果右边缘 和左边缘之间的距离小于闽值时，放弃浚区域，在该区域之外重新进行搜索， 一一 一器_广l 从而筛选出具体的车牌候选区域，并由车牌颜色的先验知识对候选嚣域进行鉴 定，从而最终确定真t f 的车牌区域。如图21 4 所示为车牌候选区域的垂直投影 ( 由于垂直投影是在水平候选区域内进行的，投影值相对较小，图21 4 为经 过放大后的垂直投影图) 。 j - l ( a 2 ) l ( 心) 圈21 4 垂直投影 23 3 精确定位 如图215 所示为两个车牌的候选区域，由色彩鉴定的方法可捧除图215 ( a 1 ) 和图2l5 ( a 2 ) 两个伪车牌区域，选择出圈