（电路与系统专业论文）提高汽车牌照识别率的关键技术研究[电路与系统专业优秀论文].pdf

上海大学硕士学位论文；提高汽车牌照识别率的关键技术研究第1 页 提高汽车牌照识别率的关键技术研究 摘要 汽车牌照识，j i j ( c a rl i c e n s ep l a t er e c o g n i t i o n ，c l p r ) 是智能交通系统实现的 关键技术，在自动收费、车流监控、电子警察等方面有着广泛的应用。牌照识别 的核心技术在近年有了飞速的发展，但在提高识别正确率及系统稳定性方面仍然 是一个研究热点。车牌定位是整个识别模块实现的前提，其定位正确率将大大影 响整个系统的最终识别性能。其次，字符切分是后续字符识别的前提，其分割正 确率也会影响识别结果。最后，识别方法则是识别的核心。这几个步骤前后关联， 每一步的性能将影响到最终产品的识别性能。所以，我们把车牌定位、字符切分、 字符识别视为提高汽车牌照识别率的关键技术。本论文针对车辆牌照识别系统的 难点，结合具体应用，在理论和方法上对提高汽车牌照识别率的关键技术进行深 入探索。 论文主要内容包括以下几点： 在车牌定位方面，提出了两种可行的车牌定位方法。方法一，针对基于垂直 边缘提取和投影分析的定位方法的不足之处，提出了基于投影方法，确定具有车 牌特征的候选区域，并在候选区域的基础上，作最佳匹配，以实现车牌区域的确 定。实验结果表明，新算法能满足实时要求，定位正确率比原来的方法提高2 3 。 方法二，提出适合车牌定位的结构元素，运用数学形态学确定车牌区域。该方法 显示了较好的应用前景。 在车牌字符切分方面，结合车牌字符的先验知识和基于投影分析的方法，设 计了较为合理和系统的字符切分算法。实验结果表明，该算法的性能比原来使用 的算法有所提高。在特殊牌照处理方面，研究了警车牌照的判断和识别方法。该 方法结合警车牌照结构的先验知识，提出了基于识别的判断方法。 在车牌字符识别方面，提出使用独立分量分析应用到字符识别的方法。该方 法将字符标准模板库，分解为彼此统计独立的基图象，并得到一组独立基的投影 系数。在此基础上，组合欧氏距离和马氏距离实现字符分类。实验结果表明，该 方法有较好的实用性。 关键词：汽车牌照识别，车牌定位，字符切分，字符识别，独立分量分析 圭童查兰璧圭兰堡篁塞；堡耋垒圭壁曼望型圣墼耋矍垒童至圣篁至至 s t u d y o n k e yt e c h n i q u e t oi m p r o v e r e c o g n i t i o n r a t e f o rc a rl i c e n s ep l a t e a b s t r a c t c a rl i c e n s e p l a t er e c o g n i t i o n ( c l p r ) i sa c r u c i a l t e c h n i q u ei ni n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m i tc a l l b ew i d e l ya p p l i e dt os u c ha r e a sa se l e c t r o n i ct o l l c o l l e c t i o n ，t r a f f i cm a n a g e m e n ta n de l e c t r o n i cp o l i c e t h ec o t et e c h n i q u eo fc l p r h a sb e e nd e v e l o p e dq m c l c l yi nr e c e n ty e a r s ，h o w e v e r , r e c o g n i t i o nr a t ea n ds y s t e m s t a b i l i z a t i o na r ei m p o r t a n tr e s e a r c hg o a l s l i c e n s ep l a t el o c a t i o ni st h e p r e c o n d i t i o no f t h ew h o l er e c o g n i t i o nm o d u l ew h o s ec o r r e c tl o c a t i o nr a t eg r e a t l ya f f e c t st h es y s t e m p e r f o r m a n c e c h a r a c t e rs e g m e n t a t i o n i st h ep r e c o n d i t i o no f c h a m e t e r r e c o g n i t i o na n d c h a r a c t e rr e c o g n i t i o ni st h ec o r eo ft h e s y s t e m t h e s et h r e ep r o c e s s i n gs t e p sa r e r e l a t e dt oe a c ho t h e ra n da f f e c tt h ef i n a lp e r f o r m a n c er e s p e c t i v e l y s ot h e ya r e t r e a t e da st h ek e yt e c h n i q u et oi m p r o v er e c o g n i t i o nr a t ef o rc l p r a i m e da tt h e d i f f i c u l t yi nc l p r a n db a s e do np r a c t i c a la p p l i c a t i o n ，t h i st h e s i ss t u d i e sd e e p l yi n t h e o r ya n d m e t h o d t h em a i nw o r ko f t h et h e s i si sd e s c r i b e da sf o l l o w ： i nl i c e n s ep l a t el o c a t i o n ，t w op r a c t i c a lm e t h o di sg i v e n ，o n em e t h o dm a k e ss o m e i m p r o v e m e n ta n df i n d ss e v e r a lc a n d i d a t el i c e n s ep l a t ea r e a sb a s e do nv e r t i c a le d g e e x t r a c t i o na n d p r o j e c t i o na n a l y s i s o p t i m a lm a t c h i n gi sd o n eo nc a n d i d a t ea l e a s ，a n d f i n a lp l a t ea r e ac a nb ed e t e r m i n e d e x p e r i m e n tr e s u l t ss h o wt h a tt h el o c a t i n gr a t ei s 2 3 h i g h e rt h a nt h ep r e v i o u sm e t h o dw h i l em e e t i n gt h er e a lt i m es p e e dl i m i t a n o t h e rm e t h o di sb a s e do nm a t h e m a t i c a lm o r p h o l o g yas t r u c t u r ee l e m e n t a p p l i e d t o l i c e n s ep l a t el o c a t i o ni sp u tf o r w a r d t h i sm e t h o ds h o w sap r o m i s i n ga p p l i c a t i o n p r o s p e c t i nc h a r a c t e rs e g m e n t a t i o n ，ar e a s o n a b l ea n d s y s t e m a t i cs e g m e n t a t i o na l g o r i t h mi s d e s i g n e d b a s e do n p r i o rk n o w l e d g e o fl i c e n s e p l a t e a n d p r o j e c t i o na n a l y s i s e x p e r i m e n tr e s u l t ss h o w t h a tt h i sa l g o r i t h mi ss o m eb e t t e rt h a nt h ep r e v i o u so n ei n s p e c i a ll i c e n s ep l a t e p o l i c el i c e n s ep l a t er e c o g n i t i o ni s s t u d i e d ，am e t l l o db a s e do n r e c o g n i t i o n a n ds t r u c t u r eo f p o l i c el i c e n s ep l a t ei sp u tf o r w a r d 工nc h a r a c t e rr e c o g n i t i o n ，i n d e p e n d e n tc o m p o n e n t a n a l y s i s i s a p p l i e d t h e m e t h o dd e c o m p o s e sc h a r a c t e rt e m p l a t e si n t os t a t i s t i c a li n d e p e n d e n tb a s ei m a g e s ，a n d 上海大学硕士学位论文：提高汽车牌照识剐率的关键技术研究第m 页 a g r o u po fp r o j e c t i o n c o e f f i c i e n t so nt h e i n d e p e n d e n tb a s e s i sa l s oc a l c u l a t e d c h a r a c t e re l a s s i f i c a t i o ni sr e a l i z e db yc o m b i n i n ge u c l i dd i s t a n c ea n dm a h a l a n o b i s d i s t a , n c eb a s e do nt h ep r o j e c t i o nc o e f f i c i e n t s e x p e r i m e n tr e s u l t ss h o wt h a tt h e m e t h o ds h o w s p r a c t i c a lp e r f o r m a n c e k e y w o r d s ：c a r l i c e n s ep l a t er e c o g n i t i o n ，l i c e n s ep l a t el o c a t i o n ， c h a r a c t e rs e g m e n t a t i o n ，c h a r a c t e rr e c o g n i t i o n ，i n d e p e n d e n tc o m p o n e n t a n a l y s i s 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第1 页 第1 章绪论 1 1引言 近年来随着我国汽车数量的剧增，城市交通状况日益受到人们的重视。如何 有效地进行交通管理，越来越成为我国政府和有关部f 所关注的焦点。针对此问 题，人们运用先进的科学技术，相继研制开发了各种交通道路监视、管理系统， 这些系统一般都包括车辆监测装置，通过这些装置对过往车辆实时监测，提取有 关交通数据，以达到监控、管理和指挥交通的目的。汽车牌照识别系统正是在这 一背景下出现的。 1 2 汽车牌照识别系统的研究现状 1 2 1 智能交通的发展情况 智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) 是在较完善的道路基础上，将 先进的计算机技术、信息技术、控制技术和人工智能技术等有效地综合运用于交 通运输、服务控制和车辆制造，把车辆、道路和出行者紧密结合起来，形成一种 定时、准确、安全、高效的综合运输系统“。智能交通系统使交通基础设施能发 挥最大的效能，从而获得巨大的社会经济效益。 国外智能交通系统发展迅猛。如日本的道路车辆通讯系统( r a c s ) 【2 ，欧 洲的d r i v e 计划，美国的”综合地面运输效率方案”( i s t e a ) 。近期内，我国的智 能交通系统将在以下几个重点开展工作3 】： 1 1 制定我国i t s 发展标准： 2 1 改造和完善城市的交通管理系统； 3 ) 发展公共交通系统； 4 1 汽车安全和事故预防系统： 5 1 快速货运系统； 6 ) 监控、通信收费； 7 1 交通信息服务。 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究 第2 页 汽车牌照识别技术作为智能交通中的关键技术，可以在智能车辆管理和智能 道路管理领域发挥重要作用。 在智能车辆管理方面：对机动车建立信息数据库。通过汽车牌照号就能查出 该车的相关信息。一个典型的应用案例是不停车自动收费，即当车辆通过收费站 时，能自动地完成移动车辆与收费站之间所有信息的传递，完成车辆的收费、登 记及建档的过程。 在智能道路管理方面：通过汽车牌照自动识别技术就能在道路上自动检测未 交罚款的车辆，现场进行处罚，并有效地解决了对外地车在本地闯红灯无法处罚 的难题。此外能做到全天候2 4 小时随时检查，减轻了工作强度，提高了工作效 率。 1 2 2 汽车牌照识别系统组成 汽车牌照识别系统通常由以下单元组成( 见图1 - 1 ) ： 1 1 摄像头：拍摄车头( 或车尾) 的图象 2 ) 照明：一个受控灯，用于照亮汽车牌照，以便实现白天和黑夜的连续工 作。通常情况下照明使用的是红外线，这对于驾驶员是看不见的。 3 1 捕捉卡：摄像头与计算机之间的接口，以便软件读取图象信息。 4 ) 计算机：通常是一台运行w i n d o w s 或l i n u x 的个人计算机。汽车牌照识 别软件在该计算机上运行，控制整个系统，读取图象，分析和识别牌照， 并与其他应用程序和系统交互。 5 1 软件：应用程序和识别模块。通常识别模块是以d l l ( 动态链接库) 的 方式提供的。 6 1 硬件；各种输入输出板卡，用以与诸如控制卡和网卡等连接。 7 ) 数据库：数据被记录在本地数据库或传送到网络。数据包括识别结果， 也可以包括车辆或驾驶员的图片文件 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第3 页 图1 1 汽车牌照识别系统的典型配置 f i g u r ei - lt y p i c a lc o n f i g u r a t i o no f ac l p rs y s t e m 汽车牌照识别模块是整个系统的核心。通常，模块识别流程如下图1 - 2 所示。 首先从图象中分割出车牌区域，经二值化后对车牌区域的字符作切分，最后完成 字符的识别。 幽1 - 2 识别流程 f i g u r e1 - 2r e c o g n i t i o nf l o wc h a r t 1 2 3 汽车牌照识别技术的研究情况 国内外的学者专家关于汽车牌照识别技术发表了大量的论文和文献”- - 9 1 。目 前，西方发达国家的汽车牌照识别系统已经进入较为实用化的发展阶段。全世界 已经有许多公司推出了实用化的产品f l o l 。 近年来国内在车牌识别领域也有了较大的发展。许多高校和科研机构都在进 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第4 页 行这方面的研究。如上海交通大学、西安交通大学、同济大学和浙江大学等。此 外许多国内的公司也推出了一些产品。我国在汽车牌照实用化产品方面的研究已 经取得初步成效，但在最终识别率这个性能指标上，多数产品与西方发达国家仍 存在差距。当然，我国汽车牌照识别系统相比国外汽车牌照识别系统而言研制难 度更大。主要原因如下： ( 1 1 我国标准汽车牌照是由汉字、英文字母和阿拉伯数字组成，汉字的识别 与字母和数字的识别有很大的不同，根据实际情况，目前所摄入的图象中汉字解 析度还不高，增加了识别难度。 ( 2 ) 我国汽车牌照仅底色就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、 红、自等若于种颜色，因此采用基于颜色的信息来确定车牌区域难度较大。 ( 3 ) 我国根据不同车辆、车型、用途，规定了多种牌照格式( 例如分为军车、 警车、普通车等) ，因此不能使用单一的标准来验证车牌区域字符。 因此，要提高产品实用化程度，就应该在识别模块的各个关键的环节上投入 更广泛、更深入的研究。正如图1 2 中识别流程所示，可以把识别模块从技术上 分为若干步骤。其中车牌定位是整个识别模块实现的前提，其定位正确率将大大 影响整个系统的最终识别性能。其次，字符切分是后续字符识别的前提，其分割 正确率也会影响识别结果。最后，识别方法则是识别的核心。这几个处理步骤前 后关联，在识别模块中的地位举足轻重。如果暂不考虑识别模块中其他步骤的处 理性能，那么最终识别率将是定位正确率、字符分割正确率和字符识另率这三个 指标的乘积。因此，每一步的性能将影响到最终产品的识别性能。 所以，我们把车牌定位、字符切分、字符识别视为提高汽车牌照识别率的关 键技术。基于上述原因，本论文将重点研究提高汽车牌照识别率的这几个关键技 术。 1 3 论文内容及安排 本论文针对实际开发并已经应用于沪宁高速公路收费处的车牌识别系统进 行了分析，重点探讨实现汽车牌照识别系统中的几个关键算法技术的改进和研 究。论文一共分为五章，具体内容结构的安排如下： 第一章是绪论，本章介绍了国内外智能交通的发展状况，总结了国内外近年 来汽车牌照识别技术研究和发展情况，并阐述了汽车牌照识别系统的组成及运 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第5 页 行。 第二章是车牌定位的研究。主要研究了两种可行的车牌定位方法。其中，方 法一是针对基于垂直边缘提取和投影分析的定位方法的不足之处，提出了基于投 影方法确定具有车牌特征的候选区域，并对每个候选区域作二值化、平移校正和 归一化的处理，在此基础上，以数字字符为搜索对象，对每个候选区域作最佳匹 配，以实现车牌区域的确定。实验结果表明，新算法在运算速度满足实时条件的 情况下，定位正确率比原来的方法提高2 3 ，可较为有效地排除某些非字符区 域的垂直纹理的干扰。方法二，提出适合车牌定位的结构元素，使用形态学的方 法确定车牌区域。其基本思想为，使用形态学的基本运算，使二值边缘图象中的 车牌区域闭合。然后作连通域分析，以每个连通域的外接矩形框为主要判断特征， 确定车牌区域。该方法显示了较好的应用前景。 第三章是车牌字符切分方法。结合车牌字符的先验知识和基于投影分析的方 法，设计了较为合理和系统的字符切分算法。实验结果表明，该算法性能比原来 使用的算法有所提高。此外，在特殊牌照处理方面，研究了警车牌照的判断和识 别方法。该方法结合警车牌照结构的先验知识，提出了基于识别的判断方法。 第四章是应用独立分量分析的字符识别方法。首先，给出了独立分量分析的 基本模型、目标函数和优化算法。随后提出了使用独立分量分析的字符识别算法。 该方法使用负熵作为目标函数，以定点法为优化算法，将字符标准模板库，分解 为彼此统计独立的基图象，并得到一组独立基的投影系数。在此基础上，组合欧 氏距离和马氏距离实现字符分类。实验结果表明，该方法有较好的实用性。 第五章是对全文做出总结，并对今后的研究工作作了展望。 上海大学硕士学位论文：提高汽车牌照识别军的关键控术研究第6 页 第2 章车牌定位 2 1引言 汽车牌照定位历来是车牌识别系统中的难点问题。车牌定位实质是图象分割。 图象分割是为了进一步实现对图象的理解，然而分割应是在理解的基础上得以实 现，因此这是一个因果相嵌的关系。早期车牌识别是直接在输入图象数据中搜索 类字符区域来实现，但该方法计算量大，无法满足实时性的要求。目前车牌定位 的方法多种多样，归纳起来主要有以下几种： 1 ) 边缘检测法。 如使用h o u g h 变换1 ，其依据是汽车牌照是个矩形边框，通过检测图象中的 矩形边框来实现定位，但h o u g h 变换计算量相当大，而且通常汽车牌照边框并 不明显。 郑南宁8 1 等人提出的方法是首先检测汽车缓冲器的位置，由缓冲器的位置来 确定牌照可能存在的区域，其依据是通常车辆缓冲器在车轮上方，由于光照影响， 以缓冲器为界，上下图象的灰度特性不一致，反映在图象灰度特性的水平投影中 有变化的边沿。文献 1 2 】也是基于这种方法。而文献【1 3 】中介绍了一种垂直边缘 匹配的方法。 2 1 投影法 投影的方法对于文字版面分析十分有效，许多字符识别分析中都用到了投影 分析，文献【1 4 】对此作了详细的分析。投影法同样可以用在目标检测中，如用于 车牌定位。文献【1 5 】中介绍的横向积分投影可以分割出包含数字的窄条图象，虽 然该方法是用于货车车号识别，但该方法同样适用于车牌定位。 在汽车牌照定位中，投影法通常和其他检测方法结合使用。如结合边缘检测 的方法，主要利用牌照区域有边缘相对集中和规则的纹理特征协l ，辅以投影方法， 根据一定的约束条件来实现定位。而文献 1 7 】中使用一种线形滤波器来增强水平 方向的规则纹理，然后利用投影法实现定位。 投影法的优点是定位速度快，计算量小，定位比较准确。 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第7 页 3 1 灰度特征法 研究表明车牌区域相对图象其他区域，其灰度特性具有明显的波峰波谷特征。 利用这种特性可以检测出汽车牌照区域。j b a r r o s o 等人f 4 提出在图象中搜索具有 某些预定义特性的水平扫描线，这些特性包括扫描线经过的灰度极大极小值的数 目、间距、幅度等。由这些满足条件的水平扫描线可以确定车牌区域。而文献 1 8 】 中使用的扫描行离差数据的分析也正是利用了灰度特征，其最终分析结果由神经 网络实现。文献 1 6 1 中所描述的基于二值化和投影法的定位方法，则是在汽车图 象经自适应二值化后，利用牌照区域跳变间距在一定间距内变化和跳变次数大于 等于8 且相对连续变化的特征实现定位，其实质也是利用了牌照区域灰度的波峰 波谷特征。 4 1 变换法 汽车牌照区域的灰度特征起伏频度很高，容易想到利用检测高频域是否存在 显著的分量来确定车牌位置。但有研究人员指出，有车牌的扫描行在高频域无明 显的分量1 引。于是又有人提出一种基于小波分析和数学形态学的分割方法。 该方法通过小波多尺度分解提取出纹理清晰，具有不同空间分辨率、不同方向的 边缘子图象，然后用数学形态学的方法对小波分解后的细节图象进行一系列的运 算，以消除无用信息和噪声，实现车牌定位。但该方法比较依赖结构元素的尺寸 与形状。 5 ) 局部闽值以及连通标记 该方法并不直接对车牌作定位，而是直接在图象中确定出候选字符区域【2 0 1 。 对整幅输入图象作局部二值化，每个象素的阈值由相邻小区阈值作线性内插得 到，以避免分割出来的字符边缘不光滑。然后作连通标记，保留符合字符宽高比 等特性的连通区域，最后作识别。该方法的优点在于可以适用于车牌规格不统一 的场合，但由于要对整幅图象作局部二值化，因此计算量比较大。 还有其他车牌定位方法，如使用神经网络方法，把图象中每一个象素所提取 的特征输入神经网络进行学习，计算量很大。如使用基于彩色图的神经网络的车 牌分割方法1 2 2 1 ，计算量同样很大。 本章将根据实际情况( 所有待处理的图象来源于沪宁高速公路收费处，由距 离收费处约5 米的摄象机拍摄得到，图象大小为2 8 8 3 8 4 ，包含了含有车牌的汽 车正面照片) ，提出两种可行的车牌定位方法。 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究 第8 页 2 2 改进的边缘投影分析( ，e 以) 的定位方法 所谓边缘投影分析( 点嘲，e d g ep r o j e c t i o n a n a l y s i s ) 2 引，就是从含有车牌的输入 图象中提取垂直边缘，利用车牌的垂直纹理特征，对图象的垂直边缘作分析，进 而定位我们感兴趣的车牌区域。e p a 的优点是算法简单、速度快。然而，e p a 算 法在作投影分析时依赖于统计经验参数，而这些参数恰恰来自于汽车牌照识别系 统安装的场景布置，所以e p a 算法应用范围的灵活性受到制约。此外，如果场 景中除了汽车牌照区域外，其他地方也存在较多垂直纹理区域，尽管e p a 算法 已经作了相应处理，但仍易定位出错。 为了进一步改进e p a 的定位正确率，我们提出了i e p a 定位算法。该算法在 e p a 的基础上，定位出若干候选区域，提出最佳匹配，最终判定出正确的车牌区 域。 2 。2 1 输入图象预处理 图象预处理的目的是得到输入图象的二值化的边缘图象信息，以便对边缘信 息作分析。输入图象为2 8 8 x 3 8 4 的彩色图象( r g b 图象) ，将其转为灰度图象。 灰度信号： y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b ( 2 1 ) 2 2 1 1 垂直边缘提取 边缘是指图象局部亮度变化最显著的部分。边缘主要g - 在于目标与目标、目 标与背景、区域与区域之间，是图象分割、纹理特征提取和形状特征提取等图象 分析的重要基础。图象分析和理解的第一步常常是边缘检测。 汽车牌照中的字符就存在着大量的垂直边缘。因此，我们需要使用边缘检测 算法来提取这种边缘。人们已经发展了许多边缘检测器，这里我们将结合汽车牌 照定位的实际问题，讨论采用s o b e l 算子提取汽车图象的垂直边缘。s o b e l 模板 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第9 页 假设汽车灰度图象为c a r g r a y ( i d ) ( 见图2 - 1 ) ，边缘图象为c a r g r a y s o b e f ( i d ) ， ( i = o ，l ，2 8 7 产o 1 3 8 3 ) ，则由s o b e l 模板： c a r g r a y s o b e l ( “产( c a r g r a y ( i - 1 ，_ ，十1 ) + c a r g r a y ( i ，_ ，+ 1 ) + c a r g r a y ( i + 1 ，+ 1 ) 一 c a r g r a y ( t 一1 ，一1 ) 一c a r g r a y ( i ，产1 ) 一c a r g r a y ( i + 1 ，产1 ) ) 9 0( 2 2 ) 边缘提取结果见图2 - 2 。 图2 - 1 输入的汽车灰度图象 f i g u r e2 - 1t h ei n p u tg r a y s c a l ec a ri m a g e 2 2 1 。2 边缘图象二值化 图2 - 2s o b d 算子提取的边缘图象 f i g u r e2 - 2e a s ei m & g eb ys o b e lo p e r a t o r 二值化闽值t h r e s h o l d = 口e d g e m a ，其中经验参数口= o 1 0 ，e d g e m a 为图象 c a r g r a y s o b e l 最大灰度值。设汽车边缘二值图象为b c a r g r a y s o b e l ，于是二值化 判决公式如下： b c a r g r a y s o b e f f “p 1 ，当b c a r g r a y s o b e l ( i ，) t h r e s h o m b c a r g r a y s o b e f f i 4 ) = o ，当b c a r g r a y s o b e l ( i ，) t h r e s h o m ( 2 3 ) 二值化结果见图2 - 3 。 图2 - 3 二值他的边缘图象 图2 - 4 二值化的边缘图象的水平投影 f i g u r e2 - 3t h eb i n a r ye d g ei m a g e f i g u r e2 - 4h o r i z o n t a lp r o j e c t i o no f b i n a r ye d g ei m a g e 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第l o 页 2 2 2 车牌候选区域的确定 2 2 2 1 e p a 的水平投影分析方法介绍及缺点 对二值边缘图象b c a r g r a y s o b e l 作水平投影： 3 8 3 h p ( 0 = b c a r g r a y s o b e l ( i )其中，i = o 1 。2 8 7( 2 4 ) 图2 - 4 为二值化边缘图象的水平投影。由该投影图可见，车牌位置所在的水 平位置存在明显的波峰，且该波峰的宽度近似车牌高度。据此，e p a 对水平投影 作搜索分析，从水平投影中寻找到唯一一个满足特定条件的波峰作为车牌所在的 水平区域吲。该特定条件如下： 1 ) 波峰具有明显的上升沿和下降沿 2 ) 波峰的宽度在一定的范围内变化 3 ) 如果存在多个波峰，则取位置偏下的波峰 对于大多数输入汽车图象，e 跗能正确地定位车牌所在的水平位置。但对某 些存在干扰的图象，特别是场景中存在明显垂直边缘干扰时，e p a 的水平定位将 出现错误。如图2 - 3 的边缘图象，e p a 的水平投影存在三个较明显的波峰，而 e 剖定位结果如图2 5 中白色矩形框区域。 图2 - 5 存在垂直纹理干扰的e p a 水平定位结果 f i g u r e2 - 5h o r i z o n t a ll o c a t i n gr e s u l tb ye p a 由此可见，水平定位算法必须对干扰信号有较强的处理验正能力。 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第1 1 页 2 2 2 2 改进的边缘投影分析( ，e i p l a ) 方法 i e p a 主要针对上述分析而提出，在e p a 的基础上，搜索出所有可能满足车 牌高度的波峰，即水平定位出若干水平区域作为候选车牌区域，然后由后续匹配 算法作出正确的车牌区域判决。 i e p a 的水平投影分析是一种基于投影峰值、谷值的定位分析方法。具体算法 归纳如下： 1 ) 对二值化的边缘图象b c a r g r a y s o b e l 作水平投影： h e ( i ) = b c a r g r a y s o b e l ( i ，) ( 2 5 ) 其峙】，i = o 1 ，l i n e0 o 并且d 矾f 】 = o ，则第i 列对应一个峰值点 若d 研扛1 】 - - o ，则第i 列对应一个谷值点 3 ) 提取最大点、最小点 设p l 、p 2 为峰值点、谷值点对应行，则最大点、最小点对应为满足下列 条件的集合。 a b s ( h p p 1 - h p p 2 ) 4 0 或 w i n d o w h e i g h t 8 ) ，则认为此波峰不是与牌照相对应的波峰，继续搜 索其他波峰。 m 由上下边界定出牌照的中心高度： 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究 第1 3 页 c e n t e r n = ( u p n + d o w n n ) 2 ( 2 9 ) 则牌照的上边界为： u p n = c e n t e r n 一w i n d o w h e i g h t 2 ( 2 1 0 ) 下边界为： d o w n n = u p n + w i n d o w h e i g h t ( 2 11 ) 经过水平投影分析，i e p a 判断出2 个有效的波峰，如图2 - 6 中所示的 w a v e 1 年iw a v e 2 。因此，车牌所在的水平位置，就在这2 个波峰所对应的 位置中。 2 2 2 3 垂直投影分析 上述水平投影分析仅定位了可能的车牌的上下边界位置。此外，还需要定位 车牌的左右边界。算法的思想就是在上述水平投影搜索到的每个波峰对应的行位 置作垂直投影分析。归纳如下： 1 ) 设有效波峰e w a v e n q r = o ，1 ，c n l a t n 1 ，其中c h u m 为有效波峰数目) ，对应 上下边界为妒即】和d o w n n ，对应每个有效波峰e 胁w 嗍水平区域( 如 图2 - 7 所示) 内的垂直投影为： a b 州n l v p j ，n 】= - 芝 b c a r g r a y s o b e 【f 】【力 ( 2 1 2 ) j - u p n 其中产o ，1 2 i m a g e w i d t h 1 ，n 表示对应有效波峰e 胁w 【”】的水平区域 阡【，n 曲线l m2 - 8 。由图可见，牌照区域的卯阢川取值大而密集，于 是可根据这一特征检测车牌的左右边界。 图2 - 7 ( a ) 对应图2 - 6 中肋w 1 】的水平区域 f i g u r e2 - 7 ( a ) h o r i z o n t a la r e ao fw a v e 1 】 图2 - 7 ( b ) 对应图2 - 6 中，f a w 【2 】的水平区域 f i g u r e2 - 7 ( b ) h o r i z o n t a la r e ao fw a v e 2 】 图2 - 8 ( a ) 对应图2 - 7 a 的阳9 阢h 】和阳唱阢n 】曲线 f i g u r e2 - 8 ( a ) 即【，h a n d 0 9 s , n r e l a t i v et of i g u r e2 - 7 ( a ) 图2 - s ( b ) 对应图2 - 7 b 的v e , n 和嘶h 】曲线 f i g u r e2 - 8 ( b ) 珊，川a n dv p s l n 】r e l a t i v et of i g u r e2 - 7 ( b ) 2 ) 用一个固定长度w i n d o w w i d t h ( 本文取w i n d o w w i d t h = 8 8 ) 的滑窗沿着投影 v p o , n 水平方向移动，统计窗口中所有阡【，州的总和v p s i , n ，当v p s , n 】 最大时，就认为是对应可能的牌照出现的位置。 w l n d o w w l d t h - i v p s o ，刀】= 吼，h 】 ( 2 1 3 ) j = o v p s j ，n 】= v p s j - l ，n 】+ v e j + w i n d o w w i d t h 一1 】一p 研，一1 】 卢l 一2 , i m a g e w m t h w i n d o w w i d t h - 1 ( 2 1 4 ) 3 ) 求出v e s o , n 分布曲线的峰值阳品d 以 傩一m2 吲。删臻臻。蝴一。 珊【，”】) ( 2 1 5 ) 于品。【川相对应的可能不止一个点，而是一个区域，因此认为该区域的 中点为可能的牌照区域的左边界l e f t n 。图2 - 8 中标出了对应的峰值的位 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究 第1 5 页 置。 4 ) 可能的牌照区域的右边界，瑶咖【粒】- l e f l n + w i n d o w w i d t h 由u p n 、d o w n n 、t e f t n 、r i g h t n ，就可在汽车图象c a r g r a y ( i j ) 6 0 定位 出c h a i n 个候选车牌区域。如图2 - 9 所示的两个候选区域。 图2 - 9 候选车牌 f i g u r e2 - 9c a n d i d a t el i c e n s ep l a t e 2 2 3 候选区域的最佳匹配 为了有效地从上述候选区域中鉴别包含汽车牌照所在位置，必须对各个候选 区域作判定。设候选区域灰度图象为： c a r ( i j ) ，= 0 1 w i n d o w h e i g h t d - 爿3 1 w i n d o w w i d t h ，其中w i n d o w h e i g h t = 2 4 ， w i n d o w w i d t h = 8 8 为便于后续处理，我们采用双线性插值法将该图象c a r ( i j ) 放大一倍，设放大 图象为c a r 2 ( i j ) ，i = o ，1 ，h e i g h t j - - o 1 w i d t h ，其中月e 辔h f 一2 w i n d o w h e i g h t ， 降7 搠= - 2 w i n d o w w i d t h 。 2 2 3 1 候选区域二值化 车牌经过二值化后可以得到字符与背景分离的图象。车牌二值化的方法可分 为全局阅值法和局部阅值法。通常，汽车牌照二值化根据图象的灰度特性使用动 态闽值，将图象中的目标字符灰度设为1 ，背景设为0 。全局阈值方法根据图像 的直方图或灰度的空间分布确定一个阂值，并根据此阈值实现灰度图像到二值化 图像的转化。典型的全局闽值方法包括最大熵法，o t s u t 2 5 】方法等。全局闽值方法 优点在于算法简单，仅需一次计算阈值。对于目标和背景分离明显，直方图呈双 峰分布的文本图像，全局阈值方法可得到很好的效果。 局部闽值法则在邻域内根据邻域灰度特征选取适当的闽值。图象中每个象素 点的二值化闽值各不相同。非均匀光照条件等情况虽然影响整体图像的灰度分 布，却不影响局部的图像性质，这使局部法较全局法有更广泛的应用。其中典型 的局部法有b e m s e n 算法。此时邻域的规定及邻域计算模板的选取都是决定算法 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第1 6 页 速度和效果的重要因素。局部比较法也存在缺点和问题，如抗噪声能力较差、实 现速度慢、不能保证字符笔划连通性、以及容易出现伪影现象瞄6 1 。对于汽车牌照， 特别是受到污染的牌照，局部阈值法也很难得到满意的结果。 在文献【2 7 】中，作者根据汽车牌照的先验知识，在牌照区域精确定位的基础 上，以一定的字符象素所占比例来分割牌照区域中的字符，并将此方法与b e r s e n 、 o t s u 方法作比较，取得了较好的效果。 候选区域的二值化，可以利用车牌的先验知识，这里将采用p - t i l e l 2 8 1 方法， 该方法运算速度快，能正确判断车牌字符的黑自类型。文献 2 3 】中有详细介绍。 该二值化方法归纳如下： 1 ) 对放大图象c a r 2 ( i j ) 作4 邻域平滑处理。模板为： 三4 嘲1 i l 2 ) 判断字符的黑自类型。我国的车牌主要存在黑底白字、白底黑字两种类 型，为了统一把车牌二值化为黑底白字的二值图象，必须能够作出判断。 文献 2 3 】中通过牌照区域的子区域提取和直方图分析能有效地判定字符 的黑自类型。 3 ) p - t i l e 二值化 字符占空比为p e r c e n t ( 实际中该经验参数取0 3 3 ) ，二值化阈值为肪，该 值可通过下式决定： 鼻= p e r c e n t 如果为黑底白字 只= 1 - p e r c e n t 如果为白底黑字 ( 2 1 6 ) 由此二值化过程如下： 删“) = 骺猢狲酬潲二值图象( 2 1 7 ) 图2 - 9 所示的候选车牌区域经过放大、二值化后的结果如图2 1 0 所示。 譬l l n b i i d f 鼍 图2 - 1 0p t i l e二值化结果 f i g u r e 2 - 1 0 b i n a r t z a t i o n r e s u l t u s i n g p - t i l e m e t h o d 上海大学硕士学位论文：提高汽车牌照识别率的关键技术研究第1 7 页 2 2 3 2 候选区域平移校正 通常在摄象机拍摄的图象中车牌稍有倾斜，有必要做平移校正，以找到基准 位置，方便后续匹配处理。在我们的系统中，摄像机安装在距离收费窗口约5 米 左右的路边，从摄下的汽车图象来看，牌照在顺时针方向倾斜了2 。3 。通过平 移校正可使绝大多数车牌基本保持水平。即在水平方向上每隔一定的距离 i n t e r v a l ，就向上平移一个象素( 本文根据实际情况取间隔i n t e r v a l = 8 ) 。 平移校正后的图象1 c a r ( i j ) 大小为( h e i g h t + i n t e r v a i ) xw i d t h 。图2 - 1 1 为候选区 域经过平移校正后的结果。 图2 - 1 1 平移校正结果 f i g u r e2 - 11t m m l a t i o nr e s u l t 2 2 3 3 垂直投影确定候选区域中字符上下边界 1 ) 提取候