（模式识别与智能系统专业论文）汽车牌照识别方法研究及实现.pdf

摘要 论文题目：汽车牌照识别方法研究及实现 学科专业：模式识别与智能系统 研究生：庄严 指导教师；马炫副教授 摘要 签名：莨至 耸名：红 车辆牌照自动识别是计算枫视觉与模式识别技术在智能交通领域的重要应用，是实现 交通管理的重要环节之一。它在高速公路、小区安全管理和停车场收费等项目中占有非常 重要的地位。本文通过对输入的汽车图像进行预处理，运用车牌定位、字符分割、字符识 别的方法提取车牌上的字符串。其目的是识别出车牌上的字符，以方便车辆资料的管理及 其安全保障。 车牌定位是车辆牌照自动识别系统中基础环节。本文通过对1 0 0 多幅汽车图片进行观 察，得出将图像进行灰度化、仅提取图像的纵向边缘可突出车牌部分，同时可以消除外界 环境的干扰，最后得到精确的车牌图像。字符分割的难点在于噪声、字符粘连和断裂对分 割的影响，本文充分利用车牌的先验知识和特征，结合全局阂值和局部阈值的优点，对车 牌图像进行二值化。运用h o u g h 变换进行倾斜校正，再对字符进行切分。字符识别足整 个车牌识别过程中最重要的一环，识别的关键在于特征的提取与分类器的选择。本文先对 字符大小进行归一化，提取字符特征时充分考虑字符的结构特征，利用主成分分析法( p c a ) 降维，对字符进行识别则采用最近邻法。由于该算法实现了特征降维，消除了冗余，所以 识别效果理想且实时性较好。 由实验得出，本文算法能较准确地对牌照定位、分割并进行识别，系统的牲能良好。 多种预处理与识别技术提高了系统识别的能力，对车辆牌照自动识别在实际中的应用有一 定的参考和借鉴价值。 关键字：牌照定位字符分割字符识别主成分分析 t i t l e ： m a j o r ： t h es t u d ya n di m p l e m e n to ft h el i c e n s ep l a t er e c o g n i t i o n p a t t e r nr e c o g n i t i o na n di n t e l l i g e n ts y s t e m n a m e ：y a nz h u a n g s u p e r v i s o r ：a s s o c i a t e p r o f x u a nm a a b s t r a c t s i g n a t u r e ：也割丛 s i g n a t u r e ：丛盟必越， v e h i c l el i c e n s ep a t t e r nr e c o g n i t i o np l a t ea u t o m a t i cr e c o g n i t i o ni st h ei m p o r t a n ta p p l i c a t i o n o fc o m p u t e rv i s i o na n di nt h ei n t e l l i g e n tt r a n s p o r t a t i o nd o m a i n ，a n di so n e o ft h ei m p o r t a n t p a r t si nt r a n s p o r t a t i o nm a n a g e m e n t i tp l a y sr o l e si n t h ep r o je c tm a n a g e m e n to fe x p r e s s w a y ， c o m m u n i t vs a f ea n dp a r k 。t h i sp a p e ri st o d e a lw i t ht h ei n p u ti m a g e s ，e x p l o i tl i c e n s ep l a t e l o c a t i o n c h a r a c t e rs e g m e n t a t i o n ，a n dc h a r a c t e rr e c o g n i t i o n t oe x t r a c tt h ec h a r a c t e rs t n n g s jh e p u r p o s ei st or e c o g n i z e t h ec h a r a c t e r sf o ri n f o r m a t i o nm a n a g e m e n ta n d s a f eg u a r a n t e e p l a t e1 0 c a t i o ni sb a s a ls t e po ft h es y s t e m ，o b s e r v i n gm o r e t h a n1 0 0v e h i c l ep i c t u r e s ， w ec a n g e tt h ea c c u r a t el i c e n s ep l a t ea r e av i ar e d u c i n gt h en o i s eb yg r a y i n ga n do n l ye x t r a c t i n g t h e v e r t i c a l e d g e t h e d i f f i c u l t i e si nt h e c h a r a c t e rs e g m e n t a t i o na r et h en o i s e ，c h a r a c t e r c o n g l u t i n a t i o na n dr u p t u r e t h i sp a p e rm a k e s f u l lu s eo ft h ep r i o rk n o w l e d g eo ft h el i c e n s e p l a t e ，c o m b i n i n go v e r a l lt h r e s h o l dv a l u ea n dp a r t i a lt h r e s h o l d v a l u ef o rt h eb i n a r y u t i l i z i n gt h e h o u 吐a l g o r i t h m t oc o r r e c tt h es l a n tp l a t e ，a n dt h e ns e g m e n t i n gc h a r a c t e r c h a r a c t e rr e c o g n l t l o n t a k e sa ni m p o r t a n tp a r to ft h es y s t e m t h ek e yt e c h n i q u ei s t h em a t c h i n go ff e a t u r ea n d c l a s s i f i e r t h e r e f o r e ，t h ep a p e rp u t sf o r w a r da na l g o r i t h mt h a tm a k e st h ec h a r a c t e r i nt h es a m e s i z e a n di tl i n k st h ep e a a n dn e a r e s tn e i g h b o ra l g o r i t h mt or e c o g n i z et h ec h a r a c t e r ：b e c a u s eo f t h ed e s c e n dd i m e n s i o na n de l i m i n a t er e d u n d a n c y , i th a sp e r f e c tp e r f o r m a n c e 缸ar e s u i t ，i tp r o v e st h a t t h i sr e c o g n i t i o ns y s t e mc a nb er e l a t i v e l ya c c u r a t et ol o c a t el i c e n s e p l a t ea n dr e c o g n i z ec h a r a c t e r s ， a n dt h ep e r f o r m a n c eo ft h es y s t e m i s g o o d i ts h o w s p r e t r e a t m e n t sa n dr e c o g n i t i o nt e c h n i q u e s c a ni m p r o v et h ea b i l i t yo fr e c o g n i t i o n ，s ot h e a l g o r i t h mm e n t i o n e di nt h ea r t i c l eh a sac e r t a i nr e f e r e n c ev a l u ef o r t h ea c t u a la p p l i c a t l o no 士 v e h i c l e1 i c e n s ep l a t es y s t e m k e y w o r d s ：l i c e n s ep l a t el o c a t i o n ，c h a r a c t e rs e g m e n t a t i o n ，c h a r a c t e rr e c o g n i t i o n ，p c a 2 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明；本人所呈交的学位论文是我 个人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢 的地方外，论文中不包含其他人的研究成果巳与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并己致谢。 本论文及其相关资料若有不实之处，由本人承担一切相关责任 论文作者签名：杰壬孵( 每月谚日 学位论文使用授权声明 本人j 匿芏。，_ 在导师的指导下创作完成毕业论文：本人已通过论文的答辩， 并已经在西安理工大学申请博士硕士学位。：本人作为学位论文著作权拥有者。同意 授权西安理工大学拥有学位论文的部分使用权，即：1 ) 已获学位的研究生按学校规定 提交印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生 上交的学位论文，可以将学位论文的全部或部分内容编入有关数据库进行检索；2 ) 为 教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部捋 理。 。( 保密的学位论文在解密后，适用本授权说明) 论文作者签名：丘壬：导师签名：丝墨； 一 孵年；月谚日 。厶 绪论 1 绪论 1 1 车辆牌照识别系统的发展 1 1 1 车辆牌照识别系统的背景及意义 随着高速公路的发展和汽车的普及，交通运输问题日益严重，道路上车辆拥挤，交通 事故频发，交通环境恶化，能源紧张，环境污染不断加重。针对此问题，人们运用先进的 科学技术，相继研制开发了各种交通道路监视，管理系统，车辆控制系统及公告交通系统。 车辆牌照识另o ( l i c e n s ep l a t er e c o g n i t i o n ，以下简称l p r ) 技术是车辆检测系统中的一个重 要环节，它在交通监视和控制中占有很重要的地位，有着多种应用。例如自动收费系统， 不停车缴费，失窃车辆的查询，停车场车辆管理，特殊部门车辆的出入控制，同时，车辆 牌照的识别方法还可以应用到其他检测和识别领域。所以汽车牌照的识别问题已成为现代 交通工程领域中研究的重点和热点问题之一。 车辆牌照自动识别系统引入了数字摄像技术和计算机管理技术。采用先进的图像处理， 模式识别和人工智能技术，通过对图像的采集和处理，获得更多信息，从而达到更高的智 能化管理程度。车辆牌照自动识别系统可以安装在与公路收费站，停车场，十字路口等交 通关卡处，其研究的意义在于【1 】： 1 ) 交通豁控。利用车辆牌照自动识别系统的摄像设备，可以直接监视相应路段的交通 状况，获得车辆的密度，队长，排队规模等交通信息，防范和观察交通事故。同时，它还 可以测量交通流控制指标参量。如某一段公路的总流入量和流出量，车型和车流组成，日 车流量，高峰时间段，车辆密度等。为交通诱导系统提供必要的交通流信息。 2 ) 高速公路上的事故自动测报。由于该系统能监视道路情况和测量交通流量指标，能 及时发现超速，堵车，排队，事故等交通异常。 3 ) 养路费缴纳，安全检查，运营管理实现不停车检查。根据识别出来的车牌号码从数 据库中调出该车的档案材料，可发现没有及时缴纳养路费的车辆。另外，该系统还可以发 现没有车牌的车辆，若同车型监测器连用，可迅速发现所挂车牌与车型不符的车辆。 4 ) 车辆定位。由于能自动识别车牌号码，因而极易发现被盗车辆。以及定位出车辆在 道路上的行驶位置。这对防范，发现和追踪设计车辆的犯罪，保护重要车辆的安全有重大 作用，从而对城市治安和交通安全有重要的保障作用。 1 1 2 车辆牌照自动识别系统的发展与现状 随着l p r 技术的发展，国内外都有大量关于车牌识别方面的研究的报道。国外这方 1 西安理工大学硕士学位论文 面的研究工作开展的比较早。其中有代表性的工作有如下几个方面。 r m u l l o f l 2 等开发了一种既可以用于集装箱识别，又可用于车牌识别的系统，该系统 主要是利用文字纹理在车辆图像中的共性进行定位与识别，车牌识别与集装箱识别共用一 套硬件系统。 y u n t a oc u i 3 提出了一种车牌识别系统，在车牌定位以后，利用马尔科夫场对车牌特 征进行提取和二值化，其重点工作是放在二值化上，最后对其样本的识别达到了较高的识 别率。 e u n r y u n g 等利用图像中的颜色分量，对车辆牌照进行定位识别，它在8 0 幅图像的 样本集中，使用了三种方法： 以h o u g h 变换为基础的边缘检测定位识别； 以灰度值变换为基础的识别算法； 以h l s 彩色模式为基础的车牌识别系统，识别率分别达到8 1 2 5 、8 5 、9 1 2 5 。 r p a r i s i h l 利用d s p 和神经网络技术开发出了一套车牌识别系统，他在字符识别中使 用了一种非传统的d f t 技术，据报道效果不错。 y o u n gs u n gs o h 踞1 开发出一套实时车牌识别系统，据报道该系统的车牌定位正确率 达到9 9 2 。 日本在车牌图像的获取的方面作了大量的研究，并为系统产业化作了大量的工作。其 中t h a n o n g s a k 1 开发的一套车牌识别系统全天识别率为8 4 2 。l u i s 开发的系统全天识 别率达到9 0 以上，天气不好的情况下达到7 0 ，他的系统应用环境为公路收费站。 p a o l o 等开发出一套针对意大利车牌的车牌识别系统识别率达到9 l 。 同时，l p r 系统发展迅速，出现了一些较为实用的产品口1 。以色列的h i t e c h 公司， 新加坡的o p t a s i a 公司，香港的a s i av i s i o nt e c h n o l o g y 公司分别研制了名为s e e c a rs y s t e m ， v l p r s ，v b c o n 的l p r 系统。这三种产品所能识别的汽车图像均为单车牌的灰度图像， 即每幅灰度图像只含一个车牌，并未涉及多车牌的识别问题，v l p r s ，v b c o n 的l p r 系统 分别适合于对新加坡格式和香港格式的车牌进行识别，h i t e c h 公司则研制出多种s e e c a r s y s t e m ，每种s e e c a rs y s t e m 适合某一国家的车牌识别，其中s e e c a rc h i n e s e 型l p r 系 统可以对中国格式的车牌进行识别，但不能识别车牌中的汉字。 国内也有大量的学者从事这方面的研究，中国科学院自动化所的刘智勇等发表文章旧1 ， 他们在一个样本数为3 1 8 0 的样本集中，车牌定位准确率为9 9 4 2 ，切分准确率为 9 4 5 2 ，从当时来看这是一个非常高的指标，他们这套系统后来和汉王公司的车牌识别系 统有很大的关系。 北航的胡爱明等西1 也利用模板匹配技术开发了一种车牌识别系统，其识别正确率据报 道为9 7 以上，应用环境为收费站。 华南理工大学的骆雪超，刘桂雄等口”1 提出了一种基于车牌特征信息的二值化的方法， 该系统对效果较好的车牌的识别率达到9 6 。 2 绪论 浙江大学的张引【1 1 】对车牌识别系统中的二值化算法进行了深入的研究，并且发表了多 篇文章。 ， 华侨大学的黄志斌【12 】对张引等的算法又进行了改进，主要是速度上的改进。 上海交大叶芗芸【1 3 1 也对车牌识别系统中的二值化算法提出了不同意见。浙江大学的章 东平【1 4 】等对车牌识别系统中的车辆牌照的字符的切分算法进行了深入的研究，并提出了 几个经验系数。刘庆祥【1 5 j 等为了方便后续的算法，专门研究了如何将彩色的车牌图像转 换成灰度图像。韩智广【1 6 】等专门对车牌的倾斜度的校正问题进行了研究。黄志斌，陈锻 生【1 7 】将基于串行分类器的字符识别应用于车牌识别系统中，对车牌识别系统中的分类器 进行了详细的研究。 另外还有大量的学者对车牌识别系统进行了研究，并应用了大量算法，例如小波变换 等。国内还有许多学者都在进行这方面的研究，并且取得了大量的成果。 在l p r 系统产品的性能指标中，识别率和识别速度很难同时提高，其原因既包括图像 处理技术不够成熟，又受到摄像设备，计算机性能的限制。由于这些产品还存在一些不足， 因而l p r 技术的研究还有许多工作要做。诸如进一步提高现有算法的速度和标准，对于 车牌彩色信息的利用有待深入研究。同时，对一幅图中多个车牌识别问题值得研究。 1 1 3 我国车辆牌照识别的特殊性 虽然国外汽车牌照识别系统研究工作已有了一定的进展，但并不尽合我国国情。这主 要因为以下五个方面的原因口1 ：( 1 ) 我国标准汽车牌照由汉字，英文字母和阿拉伯数字组 成，汉字的识别与字母和数字的识别有很大的不同，从而增加了识别的难度；( 2 ) 国外许 多汽车牌照的底色和字符颜色通常只有对比较强的两种颜色，而我国仅车牌底色就有蓝、 黄、黑、白四种颜色，字符颜色也有黑、白、红等若干颜色；( 3 ) 其他国家的汽车牌照格 式只有一种，而我国根据不同的车辆，车型，用途，规定了多种牌照格式( 例如分为军车， 警车，普通车等) ；( 4 ) 我国车牌的规范悬挂位置不统一；( 5 ) 由于环境，道路或人为因素 造成汽车牌照污染严重，这种情况下发达国家不允许上路，而我国允许上路行驶。 1 2 课题的主要研究内容 车辆牌照识别系统( l p r ) 适用性很广，可应用于很多背景中，例如智能交通领域和 停车场管理等，方便车辆资料管理及安全保障。课题所研究的主要目的在于改进现有的算 法，在对车牌的定位、分割、识别过程中，提高算法的准确性，时效性和鲁棒性。无论车 辆牌照识别系统用于什么课题背景，其输入都是包含完整车牌的车辆图像。输出都是以文 本的形式表示的识别出的车牌号，输入和输出的中间过程都是运用图像处理和模式识别等 理论和技术来实现对原始图像有目的的处理。 3 西安理工大学硕士学位论文 1 2 1 课题的任务 本课题主要采用数字图像处理和模式识别方面的算法，对输入的汽车图像进行预处 理，提取车牌上的字符串，并对这些字符串图像进行识别处理。以文本的形式表示出来， 便于车辆资料的管理且易于和数据库相连。 本文从以下几个方面对l p r 进行研究： 1 ) 对包含车辆牌照的数字图像进行处理，采用一种基于检测边缘的方法进行车牌定位， 该算法能在背景较复杂的图像环境下有效。 2 ) 对定位后的车牌图像再次处理，如灰度拉升，二值化，矫正倾斜等。为后期字符分割 作好准备。 3 ) 对处理后的车牌图像进行字符分割。分割算法可以在车牌图像有一定污染的情况下仍 可较准确的分割出字符。 4 ) 字符的识别问题。通过对单个字符的特征提取，利用p c a 降维，用最近邻法做决策。 1 2 2 样本车牌的获得及实验条件 硬件条件： c p u 赛扬2 0 g h z ；内存：2 5 6 m c a n o n 数码相机像素3 0 0 万 软件支持： w i n d o w sx p ： v i s u a lc + + 6 0 ： m a tl a b7 0 ： 拍摄条件： 相机距车辆：l m - - - - 0 3 m ； 相机距地面高度：0 8 m 0 2 m ； 相机水平放置车辆前方拍摄，光线较充足。 车牌条件： 污染不严重，人眼可观测，车牌弯折角不大。 1 2 3l p r 整体系统的组成 一个完整的l p r 系统包括主要包括一下两部分： 1 图像采集 图像采集系统包括数码照相机或数码摄像机，照明设备( 在自然光较暗时提供辅助摄 4 绪论 像光源) 等组成。数码相机拍摄图像，然后传送到p c 机中待处理。 2 p c 机处理 p c 机上运行系统核心的数据处理软件，在w i n d o w s 平台上运行。牌照的定位，分割， 识别均由其完成。 3 系统流程图： 1 2 4 论文结构 读入图像 ，1 l 灰度化 上 土字符切分 纵向边缘柃测 上 上 字符特征提取 去噪处理 上 土 p c a 降维 初次窄位 上 上 最近邻决策识别 精确定位 上 灰席扣伸 j 二信4 - l 磊= ：三_ 趔写， k 反色 否 上 倾斜校正 l 图1 1 系统流程图 f i g u r e l 1f l o wc h a r to ft h es y s t e m 本文第一章是绪论，简单介绍了了车辆牌照识别系统的背景意义和发展现状，第二， 三，四章分别介绍了车牌定位，字符分割和字符识别三个部分，对其中所用的数字图像处 理知识和模式识别的原理给出解释。对比目前所提出的研究方法和实验结果，指出这些方 法的长处与不足，并着重介绍本文所使用的算法及实验结果。第五章介绍算法应用于系统 5 西安理工大学硕士学位论文 的整体效果。第六章总结全文，并对算法结构和系统中需要改进的方面提出展望。 6 车牌定位 2 车牌定位 2 1 车牌概述 车牌是安装在机动车辆上的带有字符的固定金属框。根据中华人民共和国机动车辆登 记办法( 草稿) ( 2 0 0 0 年3 月3 1 日) 第三十四条【机动车牌号的安装】，机动车前号牌安 装在车辆前端的中间或偏右，后号牌安装车辆后端的中间或偏左，无任何变形和遮盖，横 向水平，纵向基本垂直与地面并不得倒置，固定封装n 8 1 。 我国车牌主要分黄底黑字、蓝底白字、黑底白字、白底红字四种，其灰度图像则为白 底黑字和黑底白字两种。标准的车辆牌照( 军车，警车，教练车，领事馆车除外) 上水平 排列着7 个字符，字符集大约包含：各省、直辖市、自治区的名称。即：京、津、冀、蒙、 辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、 陕、甘、青、宁、新、渝，共3 1 个汉字。军用车汉字：甲、乙、丙、己、庚、辛、壬、 寅、辰、未、申、戍、午，共1 3 个汉字。使馆汽车汉字：使。领事馆汽车汉字：领。临 时汽车汉字：临时。教练车牌照的尾字：学。实验车尾字：试。警车牌照的最后一个字符： 警，大约5 0 个汉字；英文大写字母卜z ，其中i 和0 避丽不用，以避免与数字1 和0 混淆。即2 4 个字母和0 - 9 共十个阿拉伯数字。字符总长度为4 0 9 m m ，其中单个字符统一 宽度为4 5 m m ，高9 0 m m 。第二，三字符间隔为3 4 r a m ( 中间小圆点为l o m m 宽，与第二、三 字符间的间隔为1 2 e r a ) ，其余各字符间问隔为1 2 m m 。本文充分利用了以上所述的车牌先验 知识，这些知识在车牌定位及后续处理等步骤中起到了重要的作用。 2 2 图象分割 车牌定位算法是图像分割技术在车牌图像中的实际应用【1 9 j 。图像分割就是把图像中 具有特殊涵义的不同区域区分开，这些区域是互不相交的，每一个区域都满足特定区域的 一致性。图像分割是图像处理与机器视觉的基本问题之一。其实质是把图像分成各具特色 的区域并提取出感兴趣目标的技术和过程。这里的特性可以是图像的灰度、颜色、纹理等。 预先定义的目标可以对应单个区域，也可以对应多个区域。在对图像的研究和应用中，往 往仅对图像中的某些部分干感兴趣，为了辨识和分析，需要将他们分离提取出来。在此基 础一k ：- - j 能对目标进一步利用。图像分割技术是由图像处理层进入到图像分析层的关键步 骤，一方面，它是目标表达的基础，对特征测量有重要的影响；另一方面，因为图像分割 及其基于分割的目标表达，特征提取和参数测量等将原始图像转化为更为抽象和紧凑的形 7 西安理工大学硕士学位论文 式，使得更高层的图像分析和理解成为可能。 按照通用的分割定义，分割出的区域需同时满足均匀性和连通性的条件。其中均匀性 是指该区域中的所有像素点都满足基于灰度、纹理、颜色等特征的某种相似性准则，而连 通性是指在该区域内任意两点存在相互连通的路径。 设f 表示一幅中所有像素的集合，p ( ) 是某个均匀性的假设，分割就是把f 划分成 若干子集( s 1 ，s 2 ，s o ，其中各子集构成一个空间连通区域，且满足以下条件： u s , = f 且s n s ，；g ，f j ” p ( ) 满足p ( s ) = t r u e ，v i p ( s ；n s ，) = f a l s e ，若s i 与s j 在空间相邻 完全符合上述定义的分割计算十分复杂，目前大部分研究都是针对某一类型图像或者某一 具体应用的分割，至今，仍然没有一种通用的图像分割算法。 2 3 牌照的定位方法简介 牌照区域的定位是整个l p r 系统的中影响系统性能的重要因素之一。定位的好坏往往 直接决定着后续处理的准确性。牌照定位的主要工作是在p c 机接收到一幅包含有车辆信 息的图像时，能够快速准确的找到车牌的悬挂位置，并且将其分离出来，以供后续处理。 从图像分割的角度来看，就是从一幅随机的图像中找出一块具有某种特征的区域。即车牌 区域。这种特征也是牌照本身区别于图像其他部分的特征。 由于汽车图像处于背景复杂且光照不均的自然场景，因而给车牌定位带来很大困难。 目前人们基于车牌的不同特征提出了许多定位算法，可以分为两大类别口伽乜u ：一种是基于 彩色图像的定位，该方法在彩色图像中处理，主要利用车牌的彩色信息来定位。但目前该 算法的针对性较强，通常只能对一种颜色的车牌定位有效。同时，由于彩色图像所包含的 信息较多，处理起来也比较复杂并且对污染较为敏感。另一种是基于灰度图像的定位，该 方法使用得较为广泛，它主要利用了以下车牌的特征：1 车牌区域内的边缘灰度直方图统 计特征。车牌区域内的边缘灰度直方图具有两个明显且分离的分布中心。2 车牌的几何特 征，即车牌的高宽比在定的范围内。3 车牌区域的灰度分布特征。穿过车牌水平直线其 灰度呈现连续的峰、谷分布。4 车牌水平或垂直投影。 考虑到汽车图像背景复杂，往往使用一种特征分割车牌效果较差，故本文基于车牌的 灰度图像，综合利用车牌的多个特征，先对图像进行边缘提取，再根据灰度变化规律。进 行新的尝试，通过大量实验，找出更快更有效的定位方法。 8 车牌定拄 24 牌照定位预处理 2 41 图像的灰度化 采集到的汽车图像样本，大都是通过摄像机、数码相机等设备拍摄获取的，凶而处理 前的图像都是彩色图像。彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且 在处理上也会降低系统的执行速度。另外，由于在采集图像时的光照不同，同时车牌的新 旧程度不同，车牌的颜色会产生严重偏离。因此，首先需要将彩色图转换为灰度国像【1 8 】。 r o b 彩色模型足根据三原色成像原理来实现对自然界中的色彩描述的。这一原理认 为自然界中所以的颜色都可以由红、绿、蓝( r 、g 、b ) 三原色组合而成。如果三种基 色的灰度分别用一个字节( 8 b i t ) 表示，则三原色之间不同的灰度组合可以形成不同的颜 色。我们利用这三种颜色的特点，根据亮度方程将图像转换为灰度图：其转化公式为； y = 0 2 9 9 x r + 0 5 8 7 g + 0 1 1 4 b ( 2 】、 其中r 、g 、b 分别为输入彩色图像的红、绿、蓝的三色分量，y 是该像素在灰度图 l 生21 采集到的车辆幽像 f i g u r e 21 t l a ec o l o r f u lv e h i c l ei m a g e 2 4 2 图像的边缘检测 罔22 及崖化后的删像 f i g u r c 22 t h eg r a yv e h i c l ei m a g e 图像的边缘是图像的最基本特征。所1 目边缘是指其周围像素灰度有阶跃变化或屋顶 变化的那些像素的集合。边缘广泛存在于物体与背景之间、物体与物体之间、基元与基元 之间。因此，它是图像分割所依赖的重要特征。 物体的边缘足有灰度的不连续性所反映的。经典的边缘提取方法是考察图像的每个 像素在某个邻域内灰度的变化。利用边缘临近一阶或二阶方向导数变化规律，用简单的方 法测出边缘。这种方法称为边缘检测局部算子。如果一个像素落在图像中某一个物体的边 界上，那么它的邻域将成为一个灰度级的变化带。对这种变化最有用的两个特征是灰度的 9 西安理工大学硕士学位论文 变化率和方向，它们分别以梯度向量的幅度和方向来表示。 边缘检测算子检查每个像素的邻域并对灰度变化率进行量化，也包括方向的确定。大 多数使用基于方向导数掩模求卷积的方法。下面介绍几种常用的边缘检测算子【2 3 】。 1 ) r o b e r t s 边缘检测算予 r o b e r t s 边缘检测算子是一种利用局部差分算子寻找边缘的算子。它由下式给出： g ，y ) = l 厂( x ，y ) 一厂0 + 1 ，y + 1 ) i + i 厂( x + 1 ，y ) 一厂 ，y + 1 ) i ( 2 2 ) 其中，o ，y ) 为原图中坐标值为石，y 的灰度值。由于r o b e r t 算子通常会在图像边缘附近的 区域内产生较宽的响应，故采用上述算子检测的边缘图像常需做细化处理，边缘定位的精 度不是很高。 2 ) s o b e l 算子微分 交叉微分算子可以获得景物细节的轮廓，因为其左右模板小，所以相对计算量也小。 但由于模板的尺寸是偶数，所以待处理像素不能放在模板的中心位置，这样处理的结果就 会有半个像素的错位。s o b e l 微分算子是一种奇数大小( 3 木3 ) 模板下的全方向微分算子。 s o b e l 微分算子定义如下： e l 一【f ( x + 1 ，y + 1 ) 一厂o - 1 , y 一1 ) 】+ 2 f + 1 ，y ) 一厂o 一1 ，y ) 】 + 【， + l y + 1 ) 一厂 - 1 , y - 1 ) 】 d r 一【f ( x 一1 , y + 1 ) 一f ( x 一1 , y 一1 ) 】+ 2 f ( x ，y + 1 ) 一厂0 ，y 一1 ) 】 + 【， + 1 ，少+ 1 ) 一厂 + 1 ，y - 1 ) 】 v f = 眄 ( 2 3 ) 如果用图像处理的模板来表示，则有： 色。 亨享；】b y 一101 2o2 1o1 ( 2 4 ) p r i w i t t 微分算子的思路与s o b e l 微分算子的思路相似，是在一个奇数大小的模板中定 义其微分运算。 p r i w i t t 微分算子定义如下： 1 0 车牌定位 f e l = 【厂 + l y 一1 ) 一厂 - 1 , y 一1 ) 】+ 【，o + 1 y ) 一，扛一1 ，y ) 】 i+ 【厂 + ly + 1 ) 一f - 1 , y + 1 ) 】 1o y = 【f o - 1 , y + 1 ) 一厂 - 1 , y 一1 ) 】+ 【fx ，y + 1 ) 一，0 ，y 一1 ) 】 l+ 【厂( x + l y + 1 ) 一f ( x + l y 一1 ) 】 ，_ ：- v f 一联+ d ； ( 2 5 ) 如果用图像处理的模板来表示，则有： 皿= 一111 o00 111 d y = 一101 101 1o1 ( 2 6 ) 4 ) l a p l a c i a n 微分算子 二阶微分比一阶微分对图像的细节更加敏感，尤其对斜坡渐变的细节敏感。最简单的 各项同性微分算子是拉普拉斯微分算子，一个二维图像的拉普拉斯算子定义为： 吖= 睾+ 等 亿7 ， 0 2 f ( x ，y ) 矾0 ，y ) 玑 + 1 ，y ) _-_-。一=。_。_。一 缸2缸以 = 厂( x ，y ) 一厂 一1 ，y ) 】- f ( x + ly ) 一， ，y ) 】 0 2 f ( x ，y ) 叽0 ，y ) 够 ，y + 1 ) a y a ya y ， = 【厂o ，y ) 一厂 ，y 一1 ) 】一【厂0 ，y + 1 ) 一厂 ，y ) 】 将式2 9 带入式2 8 得： v 2 厂= 4 厂o ，y ) 一厂 一1 ，y ) 一厂 + 1 ，y ) 一厂 ，y 一1 ) 一厂( x ，y + 1 ) 写成图像处理运算模板的形式为： 三= o一1o 一141 o一1o ( 2 8 ) ( 2 9 ) ( 2 1 1 ) 下图( a ) ( b ) ( c ) ( d ) 为分别使用r o b e r t s 算子、s o b e l 算子、p r i w i t t 算子和l a p l a c i a n 算子检测得图像的边缘。 西安理工大学硕士学住论文 ( c ) ( d ) 图23 灰度图像的地绿检测 h g u 傩2 3e d g ed e l e c t i o no f l h e g r a y i m a g e 由于车牌在车辆图像中位置不确定，外界光线不均匀及车牌噪声等因素的存在，我们 将车牌的边缘作为车牌区域与其它区域不易混淆的属性。斟为边缘的最大特性就是其不变 件。 本文采用了p r i w i t t 算子。这是因为首先它是一阶微分算予，相比较二阶微分算于， 其计算简单且对噪声的敏感度低。和s o b c l 算子相比较，其运算更加简单目效果几乎相同。 由式25 ，对图像做卷积运算，其中d 和d 分别影响其垂直边缘和水平边缘。边缘蝴 值的确定属于二值化图像技术，但考虑到边缘信息较非边缘部分灰度差异较大，边缘渊值 的确定可简单的设定为r 叫m a x ( )其中p 为边缘检测图中各像素的灰度值。 4 由此得到的t 即为判定边缘的闽值。对大于闽值丁的点，置为2 5 5 ，反之，置为0 。 得到边缘检测后的图像。 2 43 纵向边缘检测 此时若直接刘边缘榆测的图像做投影，由圈23 ( c ) 发现，车辆图像的边缘检测后同时 含有垂直边缘和水平边缘。过多的信息使得很难从圈中发现明显的灰度变化特征。不利于 车牌定位 车牌区域的提取。我们考虑只对图像做一个方向上的边缘检测。通过埘大量车辆图像观察 后发现，车辆头部水平边缘较之垂直边缘更加丰富，而车头车牌区域的干扰多是一些水平 边缘的信息。如图所示 ( a ) ( b ) 圈24 车头信息 f i g u r e 24 i n f o r m a t i o no f t h ev e h i c l e sh e a d h 时我们发现，车牌下方的垂直边缘信息较少，更多的是水平边缘。而车牌本身由于 多是一些字符信息，其垂直边缘大大多于水平边缘。图像纵向边缘检测方法可以利用 p r i w i t t 算予的d 来获得，更简单的方法，可以直接利用差分算子，用图像后一列减去前 一列的灰度值即可获得。同理，图像的横向边缘检测方法i j 以利用p r i w i t t 算子的d 。米获 得，也可以直接利用差分算子，用图像下一行减去上一行的灰度值获得。下图( a ) 是车辆 图像纵向的边缘检测图，( b ) 是车辆图像横向的边缘检测图的对比图： ( b ) 目25 罔像的纵横向边缘检测圈 f i g u r e 25h o r i z o n t a la n dv e r t i c a le d g ed e l c c t i o no fi h ei m a g e 西安理工大学硕士学位论支 由图可咀看出仅检测图像的垂直边缘，不仅可以有效的减少图像的噪声，而且可以 突出车牌部分。提高了准确性的同时还使得定位所需时日j 大大减少，提高定位效率。故本 文采用只检测垂直边缘的办法。 2 44 图像去噪处理 观察提取纵向边缘后的图像，由于车辆所处背景环境复杂、车体表面、地面一些纹路， 阴影积水等会带来本不期望的边缘信息。所以需要去除噪声。由于这些噪声大都属于椒 盐噪声，而图像本身又是二值图像，可以采用下述方法去噪： 对待处理的当前像素选择个模板。由下是对图像的纵向投影，得到的图像应 大多数是小竖线故设计一个( 1 ，1 1 ) 的模板，遍历图像，若模板中目标点多于两个则 认为是同标点，否则，说明该像素点是背景点中的噪声点，令浚点为黑点。 ( a )( b ) 图26 图像的去噪处理 f i g u r e 26n o i s ee l i m i n a t i o no f t h e i m a g e 图25 中( a ) 是去噪前的罔像t ( b ) 足去噪厉的图像，实验表明，该抑制噪声的算法 非常简单，计算速度快，椒盐噪声点被抑制的几率较人，效果较好。 25 车牌定位 通过前而的边缘提取闽值分割，已经将图像中的很多细节滤除。但山于图像中车 牌位置悬挂不一，污染程度也各不相同。同时，车牌边框、铆钉的存在均给接f 来的 字符分割及识别带来斟难，故本文将车牌定位分为两个步骤。初次定位寻找大体位置 = 次定能矫正何胃、去除边框等干扰。 车牌定位的主体思想，是通过对顺处州后的冈像投影处理，分别统h 图像在水平 乖直方向上边缘点的数日。由于车牌上存在汉字字母等字符信息，故较之其他区域边 缘丰富。刈以设簧适当的阂值，在垂直和水平两方向e 扫描，记录满足闻值的位置， 通过比对，即可得到牟牌的区域。 车牌定位 2 5 1 车牌投影 对预处理后的图像，考虑到一般情况，车牌的位置均位于车辆的下部，我们可以 截去图像的上部，只对图像下方三分之二进行处理。这样，即能减少处理的时间，又 可有效地避免图像上半部分带来的干扰。 假设图像厂为所幸，z 大小，图像的行投影及列投影公式如下犯4 l ： 巳。 第f 行的投影为：盯一f l o ) = ：x ( i ，) ( 2 1 2 ) 第歹列的投影为：盯一y ( j ) 2 荟z ( t ) ( 2 1 3 ) 图2 7 图像的垂直水平投影 f i g u r e 2 7t h ev e r t i c a la n dh o r i z o n t a lp r o j e c t i o no ft h ei m a g e 纵向投影实际上就是向x 轴投影，把第_ 列的所有行向量相加。横向投影实际上就 是向y 轴投影，把第i 行的所有列向量相加。 2 5 2 车牌上下边界初定位 由于是对图像纵向边缘进行的提取，所以对非车牌区域横向的边缘得到很好的抑 制。再考虑到车牌字符之间本身存在间隔，且车牌上部由于车灯等存在的大量边缘， 首先定位左右边界相对困难。故我们可以利用水平投影先定位车牌的上下边界。由于 车牌处于图像下方，所以采取由下向上的扫面方式求得图像的水平投影。将投影结果 保存在一个一维数组日中。为了减少由于车辆自身污染等带来的干扰。首先对水平投 影图做一个滤波。滤波方法如下： 遍历投影数组h ，找出最大值m 。 以t h = m 牢0 3 为阈值，将数组h 中小于劢的值置0 ，大于砌的值置1 。 西安理工大学硕士学位论文 图2 8 滤波后的水平投影图 f i g u r e 2 8t h eh o r i z o n t a lp r o j e c t i o na f t e rf i l t e r i n g 滤波可去除相当一部分非车牌区域的边缘信息。之所以选择较为宽松的阈值，是 为了防止将车牌信息滤除。而因此造成截取到的非车牌区域，可以在二次定位中消除。 由于车牌区域的边缘丰富，在水平投影中，车牌区域一般是扫描到的第一个高峰。 但是由于地砖纹路，车胎花纹及积水等因素的存在，其边缘有可能会形成第一个高峰， 从而造成判断上的失误。因此必须想办法去除车牌下方的干扰。我们认为，一般情况 下，由地面纹路、积水、车胎花纹等造硪的边缘信息其宽度不会大于车牌本身边缘。 可采用下述方法对投影图像处理： 自左向右进行一次累加运算，目的是得到每个候选区域的宽度。从的第二项开 始此操作直至h 的最后一个元素进行累加操作。累加的规则为： 若h ( j 一1 ) o ，贝0 累力口s u m ( j ) ；h ( j 一1 ) + n ( j ) ； 若h ( j 一1 ) = 0 ，贝0 累力口值s u m ( j ) = 0 ； 累加后结果如图所示： 图2 9 纵向边缘宽度累加效果图 f i g u r e 2 9s u m m a t i o no ft h eh o r i z o n t a le d g e 上图事实上是对边缘宽度的一个累加，将图像自右向左搜索，此时连续黑色区域 的最右边的高度为边缘区域的宽度。由于车灯等的影响，车牌区域未必是宽度最大。 一般说来，车头部车牌的位置均在车灯的下方。故滤去较细小边缘后，最下方连续黑 16 车牌定位 色区域的最右边的高度为车牌高度，其位置电就是车牌的下缘。由下边缘减去车牌的 高度，就得到了上边缘的位置。由于只是初次定位，为避免车牌信息丢失，在找到上 下边缘后，一般会分别放宽几个像素大小。 图21 0 车牌上下边界定位效