（通信与信息系统专业论文）车牌识别系统关键技术的研究.pdf

摘要 摘要 作为推动交通管理智能化的关键技术，及智能交通系统( i t s ) 的重要组成 部分的车牌识别系统，有着停车场智能管理、道路监控、高速路自动收费等广 泛的应用前景。国内外研究人员也已经和正在就车牌识别技术展开深入而广泛 的研究，并取得初步成效，已有一些产品投入使用，但其效果并未达到人们期 望的水平，离真正的实用要求还有一段距离。 个典型的车牌识别系统由三部分组成；车牌定位，车牌字符分割，车牌字 符识别。本文的研究重点主要集中在车牌定位及车牌字符识别这两个部分： 1 针对车牌定位问题，在深入研究今年来性能优良的分级车牌定位算法时， 发现w a n g 等人提出的分级车牌算法中的一次性扫描候选车牌提取算法在车牌 左右存在复杂竖直边缘干扰时，易出现误检和漏检。为此，本文提出了一种改 进的候选车牌提取算法，在保持实时性的基础上，改善了原候选车牌提取算法 的缺陷，从而进一步提高了整体分级车牌定位算法的性能。 2 针对车牌字符识别，本文介绍了当前三类主流的车牌字符识别算法：模板 匹配，神经网络分类器，统计分类器。并根据国内车牌字符的排列特征，采用 数字分类器、字母分类器及字母数字分类器，通过实验比较了这三类主流车牌 字符识别算法的性能。实验结果表明，基于支持向量机的字符识别算法，无论 是识别速度还是检测性能都能满足当前车牌识别系统的要求。 关键词：车牌识别系统分级车牌定位算法h a r r l i k e 特征级联a d a b o o s t 分 类器车牌字符识别模板匹配b p n n 支持向量机 a b s t r a c t ab s 丁r a c t a sak e yt e c h n o l o g yi n i m p r o v i n gt h ei n t e l l i g e n t t r a f f i cc o n t r o l ，a n da n i m p o r t a n tp a r to fi t s ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) ，l i c e n s ep l a t er e c o g n i t i o n ( l p r ) s y s t e mh a sl o t so fu s e f u la p p l i c a t i o n s ，s u c ha si n t e l l i g e n tm a n a g e m e n ti n p a r k i n gl o t s ，r o a dt r a f f i cs u r v e i l l a n c ea n da u t o m a t i cc h a r g ei nh i g h w a y d o m e s t i c a n df o r e i g ns c h o l a r sh a v ea l r e a d yh a dad e e pa n de x t e n s i v er e s e a r c hi nl p ra n d a c q u i r e ds o m ep r e l i m i n a r ya c h i e v e m e n t s s o m ee x p l o i t e dp r o d u c t sh a v eb e e np u t i n t ou s e ，b u tt h e yh a v e n tm e tt h ep e o p l e s r e q u i r e m e n ty e t t h r e ep a r t sm a k eu pat y p i c a ll p rs y s t e m ：l i c e n s ep l a t el o c a t i o n ，l i c e n s ep l a t e c h a r a c t e rs e g m e n t ，l i c e n s ep l a t ec h a r a c t e rr e c o g n i t i o n t h i sa r t i c l ef o c u s e so nl i c e n s e p l a t el o c a t i o na n dl i c e n s ep l a t ec h a r a c t e rr e c o g n i t i o n ： 1 a f t e rd e e p l yr e s e a r c h i n gt h ec a s c a d e dl i c e n s ep l a t el o c a t i o nm e t h o dr a i s e db y w a n g ，i tc a l lb ef o u n dt h a tw h e nt h e r ee x i t sc o m p l e xu p r i g h tb o r d e r l i n ea r o u n d l i c e n s ep l a t e ，f o r m a lc a s c a d e dl i c e n s ep l a t el o c a t i o nm e t h o dc a l ln o tb ea p p l i c a b l e s oa l li m p r o v e d a l g o r i t h m o fc a n d i d a t el i c e n s e p l a t e se x t r a c t i o n w a sb r o u g h t k e e p i n gt h er e a lt i m ec h a r a c t e r , n e wa l g o r i t h mi m p r o v e dt h ed e w i o nr a t i oo f f o r m a lc a s c a d e dl i c e n s ep l a t ei o c a t i o nm e t h o d 2 c o n c e r n i n gt h el i c e n s ep l a t ec h a r a c t e rr e c o g n i t i o n ，t h r e em a i nl i c e n s ep l a t e c h a r a c t e rr e c o g n i t i o nm e t h o d sw e r ec o m p r e h e n s i v e l yr e s e a r c h e d ：t e m p l a t em a t c h i n g ， n e u r a ln e t w o r ka n ds t a t i s t i c a lc l a s s i f i e r a c c o r d i n gt ot h ec h a r a c t e ra r r a yo fc h i n e s e l i c e n s ep l a t e ，n u m b e rc l a s s i f i e r , l e t t e rc l a s s i f i e ra n dn u m b e r & l e t t e rc l a s s i f i e rw e r e d e s i g n e ds p e c i f i c a l l y a f t e rc o m p r e h e n s i v e l yc o m p a r i n gt h r e el i c e n s ep l a t ec h a r a c t e r r e c o g n i t i o nm e t h o d s ，i tc a nb ef o u n dt h a tt h es v mb a s e dc h a r a c t e rr e c o g n i t i o n m e t h o dc a nf u l l ym e e tt h en e e d so fr e a l t i m ea n dd e t e c t i o nr a t eo ft h el p rs y s t e m k e yw o r d s ：l p r ，c a s c a d el i c e n s el o c a t i o nm e t h o d ，h a r r l i k ef e a t u r e ，c a s c a d e a d a b o o ac l a s s i f i e r , l i c e n s ec h a r a c t e rr e c o g n i t i o n ，t e m p l a t em a t c h i n g ， b p n n ，s v m 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名： 匦生 签字日期： 丛二兰：主一 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版允许论文被查阅和借阅，可以将学位论文编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 涵公开口保密( 年) 作者签名： 胚基 签字e 1 期： 盏鲲。五：3 ， 导师签名：盘垒政 签字日期：圭竺! f ：! ：! 第l 章概述 1 。1智能交通系统 第1 章概述 随着全球经济水平的不断提高，人们的生活水平得到不断的提升，生活节 奏也不断的加快，汽车等交通工具的普及已成为必然趋势。面随着汽车数量的 急剧增加，城市的交通管理面临着新的挑战。而针对这一问题，各国政府开始 投入人力、财力开发出了各种交通道路监控管理系统、车辆控制系统及公共交 通系统。这些将车辆和道路综合起来考虑，利用各种先进的技术解决道路交通 问题的系统，统称为智能交通系统i t s ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) 。 智能交通系统的概念是1 9 9 0 年由美国智能交通学会c i t sa m e r i c a 提出的， 当时名称为i v h sa m e r i c a ，发展至今已有近二十年了。严格意义上来讲，智能 交通系统( i t s ) ，是一种将先进的信息技术、数据通讯传输技术、电子传感技术、 电子控制技术及计算机处理技术等有效的融合起来，并运用于整个交通管理系 统而建立起来的，具有信息化、集成化智能特征的，一种在大范围内，全方位 发挥作用的实时、准确、高效的运输综合智能控制和管理系统。 车辆牌照信息作为车辆的代表性信息，它的自动采集和处理，对于交通车 辆管理、停车场管理、交警稽查等一系列智能交通系统i t s 组成部分有着十分 重要的意义。 1 2 车牌识别系统 1 2 1 车牌识别系统简介及应用 车牌识别系统l p r ( l i c e n s ep l a t er e c o g n i t i o n ) 是计算机视觉和模式识别 技术在智能交通领域的重要研究课题之一。若能用计算机实时地识别车牌就可 以在无需为车辆加载其他特殊装置的情况下实现对车辆的自动监控，从而给交 通系统的自动管理提供极大的方便，因此车牌识别系统是实现推动交通管理智 能化的关键技术之一，是智能交通系统i t s 的重要的组成部分。 目前车牌识别系统的应用可以归纳为下面几个方面： 1 ) 智能小区、智能停车场的管理的应用 分别在小区或停车场的进出口安置车牌识别系统，对进出的车辆进行自动 识别，并决定后续的操作，如是否放行、进出时间的登记以及费用的自动管理 等等。 2 ) 城市道路监控、违章管理的应用 城市交通管理中的交通路口红灯监视、车辆的限速管理、流量检测等的道 路监控、违章管理都可以借助于车牌识别系统，实现自动化的管理。而针对纳 第1 章概述 入交通管制的“黑名单 车辆，如冲关或肇事后逃逸的车辆、被公安部门通缉 的车辆、挂失的车辆、欠交费的车辆等，只要将其车牌资料输入数据库，并在 主要的交通枢纽架设车牌识别系统，全天候的对所有经过车辆自动进行识别、 比较、处理，就可以实现对交通管制车辆的自动检测报警。 3 ) 高速公路收费、监控管理的应用 高速公路上的车辆收费管理可以采用智能化控制，并辅以值班人员的简单 操作。在高速公路进口和出口处安置车牌识别系统，当机动车辆经过时，系统 自动摄取车辆图像，对图像进行处理，获取车牌号，存入数据库，作为收费用 的依据，同时配合车辆的安全管理。它不仅缓解了由于人工收费时间长而造成 的车辆滞留等问题，而且有利于去除人工管理的弊端。 1 2 2 车牌识别系统组成 最常见的车牌识别系统( 如图ll 所示) 由两部分组成： 图1 1 车牌识别系统 1 ) 由摄像机和车体感应器组成的数据采集模块： 摄像机一般采用自动对焦和自动光圈的一体化机，当光线不足时，可以自 动开启辅助光源补光照明，以保证拍摄图像的质量。车体感应器可以由传感器 ( 如感应线圈，红外线) 等硬件实现，也可以由运动检测等软件方式加以实现。 如果车牌识别软件模块可以保证良好的实时性以及较低的虚警率，则可以直接 对采集的连续视频流进行分析，而不需要添加额外的车体感应器。 2 ) 对获得的数据加以分析处理以获得车牌号信息的车牌识别软件模块。 不同的车牌识别软件模块，其处理与识别车牌的方法不尽相同，但常规的 车牌识别软件模块一般由下面四部分组成： 图像预处理：由于环境光照，天气或者摄像机的问题，采集到的车牌图 像可能过亮、过暗、有噪声或者模糊，对下一步定位不利，需要进行图像预处 2 第1 章概述 理。通常预处理方法包括直方图均衡、对比度增强、去噪、二值化等。预处理 阶段是整个车牌识别软件模块首当其冲的部分，其结果直接影响到定位及识别 的效果。 车牌定位：顾名思义，就是利用一些图像处理算法和模式识别技术从一 幅具有不确定背景的车辆数字图像中准确定位出车牌的位置，为后续的车牌字 符分割和识别处理提供准确可靠的数据源。由于车辆图像背景的不确定性和环 境的多变性，车牌定位算法成了整个车牌识别软件模块中的关键点和难点。本 文第2 章、第3 章对车牌定位算法进行了详细的阐述，并提出了一种改进的分 级车牌定位算法，在保证算法实时性的基础上，进一步提高了车牌定位检测的 检测率。 车牌字符分割：车牌字符分割就是将车牌区域分割成单个的字符区域， 以用于下一步的字符识别。车牌字符分割的准确率和质量直接影响到车牌字符 识别的准确率，采用一个稳定可靠的分割算法是必须的。由于车牌铆钉、车牌 污损以及车牌倾斜等的影响，实现较高精确度的车牌字符分割至今仍是一个难 点。 车牌字符识别：车牌的字符由有限的汉字、英文字母和数字组成，车牌 的字符识别则是对分割出来的待识别的字符进行分类从而识别它们。虽然字符 识别的算法比较成熟，但是现实中车牌的污损，中国车牌首字符的笔画繁多( 如 赣字) 和相似性( 如晋和鲁) ，及大写的英文字母与阿拉伯数字间 的相似性( 如b ，8 或0 ，d ，q 等) ，等给车牌字符识别增加了不少难度，车牌 字符识别的识别率还有待提高。 1 2 3 车牌识别系统的研究现状 车牌识别系统的难点在于车牌识别软件模块的设计，目前，国内外的研究 人员已经和正在就车牌识别软件模块的每个技术环节展开广泛而深入的研究， 提出了众多可行性算法及方案( 具体算法研究现状参见第2 、第3 、第4 章节) ， 并有一些原型系统投入使用。 目前国内外性能较好的车牌识别系统有h i t e c h 公司的s e e c a rs y s t e m ， 新加坡o p t a s i a 公司的v l p r s ，汉王公司的汉王眼，香港亚洲视觉科技有限公 司的慧光车牌号码识别系统等等。虽然这些车牌识别系统的识别率大多都比较 高，如9 5 ，甚至9 7 、9 8 ，但是大多数是在简单受限的场景下取得的，而在 实际可能的较复杂的背景环境下，车牌识别系统的识别率很难超过9 0 ，主要 是因为存在以下几个干扰因素： 1 ) 目标背景的复杂。在采集到的图像中许多类似于车牌纹理特征的长方形 背景区域的存在，容易造成干扰，引起误判。 2 ) 车牌本身的缺陷。由于车牌的污损及部分遮挡，造成字迹不清或不全。 3 ) 环境光照的影响。由于环境光照的变化，使得采集到的图像过亮或者过 暗，图像特征明显减弱。 第l 章概述 1 3 本文的主要工作与结构 为了进一步提高复杂背景条件下车牌识别系统的检测率，本文仔细研究分 析了车牌识别软件模块中车牌定位、车牌字符识别等两部分，并给出了各部分 具体的算法实现及性能分析。本篇论文分为五章，内容结构安排如下： 第l 章简要介绍了智能交通系统( i t s ) ，引出智能交通系统中的重要组成部 分车牌识别系统，并详细介绍了车牌识别系统的概念、应用场景、组成及 研究现状等等。 第2 章总结了当前车牌定位算法的发展现状，介绍了性能优良的分级车牌 定位算法及其三个组成部分：图像预处理、候选车牌提取、车牌辨识器。 第3 章详细分析一次性扫描候选车牌提取算法在车牌周围存在复杂竖直边 缘干扰时会产生漏检的缺陷，并提出了一种改进的候选车牌提取算法，在保持 原算法实时性的基础上，进一步提高了复杂背景条件下的整体分级车牌定位算 法的检测率。 第4 章详细介绍了目前主流的三类车牌字符识别算法：模板匹配、神经网 络以及统计分类器。并以国内的车牌字符作为测试集，给出了相应算法的性能 比较，并分析了各自的优缺点。 第5 章为本文的总结与展望。 第2 章车牌定位预处理 2 1引言 第2 章分级车牌定位算法 车牌定位是车牌识别软件系统中的核心环节，正确而又可靠地提取出车牌 区域，是提高整个车牌识别系统识别率的关键，且由于车辆图像背景的不确定 性和环境的多变性，车牌定位算法成了整个车牌识别软件模块中的难点。 现有的车牌定位算法错综复杂，很多车牌定位算法并不能简单地归为某一 类。而关于车牌定位算法性能的比较，则由于世界各地车牌样式的迥异，也就 缺乏统一的测试集，使得车牌定位算法的检测率以及算法的时间复杂度等的性 能对比一直缺乏统一的评价标准。这里，我们对常见的几类车牌定位算法的性 能进行介绍和比较： 1 ) 基于边缘特性的车牌定位算法。该类算法的出发点是充分利用字符竖直 边缘间临近紧密性的先验知识，通过各种方法将车牌区域融合成整体区域，从 而便于符合规定条件( 如长宽比等) 的车牌区域的提取。该类算法中典型代表 性的算法有b h o n g li a n g 等人提出的基于边缘统计特性及形态学的车牌定位算 法n 1 ，由于该类算法只利用了车牌字符紧密性、长宽比等简单特征，从而具有 较快的运行速度及较高的检测率，但是其虚警率较高，需要后续的模块如字符 分割、字符识别加以反馈来辨识伪车牌。 2 ) 基于分类器的车牌定位算法。该类算法通过提取车牌区域整体或局部具 有较强的类内相似性、类间区分性的特征作为分类器的输入，对所选取的待分 类区域加以辨识，从而定位出车牌的位置。而根据所选取的分类器的不同，相 应的车牌定位算法也各不相同，较典型的有基于神经网络分类器( b p n n ) 的车 牌定位算法堙儿越，基于支持向量机( s v m ) 的车牌定位算法，以及基于h a r r l i k e 特征集的a d a b o o s t 分类器车牌定位算法碍等等。该类车牌定位算法有较高的检 测率及较低的虚警率，但是检测性能大多依赖于所选取的训练样本，且定位时 间较长。 3 ) 基于颜色组合特性的车牌定位算法。由于在光线的干扰下，所采集到的 车牌图像中的颜色信息很容易发生变化，大部分车牌定位算法都是基于灰度图 像的。而如果在保证良好的光照条件下，则可以考虑利用车牌的颜色组合特性， 毕竟增加了一维信息，从而有利于提高车牌定位的准确性。s h y a n g l i hc h a n g 等人提出了一种基于颜色边缘特性及模糊操作的车牌定位算法蹲1 ，进一步提高 了车牌定位的检测率，但是检测性能易受环境的影响，且定位时间也相应加长。 4 ) 基于边框组成特性的车牌定位算法。国内外车牌大部分都由明显的边框， 该类算法中代表性的算法，通过利用h o u g h 变换找直线的特性，在待检测图像 中找到两两平行两两相交的直线组合，来定位车牌区域口1 。该类算法的缺点在 第2 章车牌定位预处理 于当所采集图像中的车牌的边框特性并不明显时，该算法并不能适用，且由于 依赖的特性较简单，存在边框特性的其他物体也比较多，如车灯等等，因此该 算法的虚警率会比较高。 5 ) 基于车牌边角点的车牌定位算法。车牌具有较明显的边角特性，如j a r m o i l o n e n 等埔1 提出的以车牌的四个边角点空间关系为模型，车牌边角点的多尺度 g a b o r 特征向量组( 以适用于不同检测图像中尺度变化、旋转的车牌的检测) 的纹理特征作为类间区分性特征，并选择g 删( 高斯混合模型) 作为分类器的 车牌检测定位算法。该类算法其实可以归类为基于分类器的车牌定位算法，但 是由于车牌边角特征的特殊性，这里我们单列出来区别看待。该类方法检测性 能的优缺点类似于基于分类器的车牌定位算法，检测率高，虚警率低，但是算 法的时间复杂度较大，且检测性能依赖于参与训练的样本集。 6 ) 基于车牌字符组成特性的车牌定位算法。车牌是由字符组成的，找到待 检测图像中的字符，再根据车牌字符间的空间位置等的先验知识，提取出车牌 区域。代表性的算法是由j i r im a t a s 等吲提出的，利用可加性特征( 如l 到4 阶代数矩，紧密度等) 作为神经网络( b p n n ) 或支持向量机( s v m ) 的字符分类 器的输入，通过逐渐降门限并利用u n i o n - f i n d 结构找出所有可能的字符位置， 从而提取出检测图中的车牌位置。该类算法的性能组要依赖于字符共性特征的 选择及字符分类器的设计。 7 ) 分级车牌定位算法，利用车牌区域的简单特性，快速提取出初步的候选 车牌区域，这一步要保证较高的检测率，虚警率则不予考虑。再将上步骤得到 的候选车牌通过精心设计的车牌分类器，剔除伪车牌，从而实现车牌定位。该 类经典的代表算法有w a n g n 町等人提出的基于竖直边缘紧密性特征的候选车牌提 取，并通过基于h a r r li k e 特征的a d a b o o s t 分类器对候选车牌加以辨识的分级 车牌定位算法。该类算法充分利用了候选车牌提取算法的速度优势以及分类器 算法的虚警率低的优势，从而使得整体的分级车牌定位算法具有较高的检测率 及较低的虚警率。 当前车牌定位算法中，分级车牌定位算法既具有检测率高、虚警率低的优 势，而且相比于性能同样优越的基于分类器的车牌定位算法又具有速度上的优 势。本章将详细介绍该算法的原理和性能。 2 2 分级车牌定位算法 常见的分级车牌定位算法n o 】n 的流程图如图2 1 所示：首先为了改善车牌 定位的性能，常采用一些如图像增强、去噪等的图像预处理操作，然后利用车 牌的某些简单特性提取出候选车牌区域，再对候选车牌加以辨识。如文献 4 0 中，w a n g 等人提出首先利用字符问的紧密性特征提取出候选车牌，再通过基于 h a r r l i k e 特征的级联a d a b o o s t 分类器加以辨识的分级车牌定位算法。该算法 综合了基于字符间紧密性特征提取候选车牌速度快，以及基于h a a r l i k e 特征的 6 第2 章车牌定位预处理 级联a d a b o o s t 分类器检测率高、虚警率低的优势。下面将简要地介绍分级车牌 定位算法中的图像预处理、候选车牌提取及车牌辨识器。 一一、l 图像ll 候选l 候选1 一一 输入图像卜叫预处卜- 叫车牌h 叫车牌 叫输出车牌 一一 i 理il 提取il 辨识i 一一一 2 3 图像预处理 击玲非车牌匡壤圭辣车车算 + 图2 1分级车牌定位算法 由于天气、照明、车辆位置的不同都会对采集图像的质量造成不良的影响， 比如对比度低、灰度分布不均匀、噪声干扰等等，为了改善车牌定位的性能， 通常需要首先借助辅助图像预处理操作。常用的图像预处理包括：彩色数字图 像灰度化，图像增强。 2 3 1彩色数字图像灰度化 由于在光线的干扰下，采集到的车牌区域的颜色信息很容易偏离其真实的 物理属性。为了设计鲁棒性较高的车牌定位算法，通常大部分车牌定位算法只 考虑利用图像的灰度信息，因此首先需要将采集到的彩色数字图像灰度化。 常见的彩色数字图像以r 、g 、b 三通道方式存储，通过三基色可以组合成 任意的颜色，各通道量化的取值范围为0 一2 5 5 。常见的彩色数字图像灰度化方 法有以下三种： ( 1 ) 最大值法：灰度值取鼠反口中最大的一个，即 h = m a x ( g ，g ，b ) ( 2 1 ) ( 2 ) 平均值法：灰度值取瓜厌b - - - 值和的平均值，即 h ：r + g + b( 2 2 ) 3 ( 3 ) 加权法：根据重要性或其他指标，灰度值为鼠厌占三值与相应权 值乘积的和，即 h = w r r + g + 占 ( 2 3 ) 其中w r 、w c 、分别为展厌曰的权值，由于人眼对绿色的敏感度最高， 对红色的敏感度次之，对蓝色的敏感度最低，当= o 。2 2 9 ，w g = 0 5 8 7 ， w s = 0 1 1 4 时能得到最合理的灰度图像，本文提出的改进的分级车牌定位算法 即采用加权法提取彩色数字图像的灰度信息。 2 3 2 图像增强 图像增强的首要目标是是使处理后的图像比原始图像更适用于特定的应 7 第2 章车牌定位预处理 用。车牌识别系统中往往由于光照影响、摄像机( 照相机) 曝光不足以及动态 范围太窄等原因，采集到的图像往往产生对比度不足的弊端。具体到本文所采 用的改进的分级车牌定位算法，它的输入分析对象是所采集图像在一定阈值下 的竖直边缘二值图，如果车牌区域的对比度不强，则很容易遗漏车牌区域。为 了减少车牌的漏判，需要特定的图像增强算法对原图像进行预处理。常用的图 像增强算法有两类：一类是空域增强，主要包括灰度变换、直方图均衡和邻域 平均法；另一类是频域增强法，主要有高通滤波、低通滤波和带通滤波等。 为了提高车牌区域的对比度，最好采用局部增强算法，如局部直方图均衡 算法1 。但是考虑到车牌识别系统的实时性要求，本文采用全局直方图均衡的 图像增强算法，其足以应对所采集到绝大部分图像对比度不足的弊端，将图像 的灰度动态范围进行拉伸，以突出明暗变化比较明显的车牌区域。具体直方图 均衡算法简介如下： 直方图均衡是一种把已知灰度概率分布的图像，经过变换最终演变成具有 均匀灰度概率分布的图像。考虑连续函数并让变量，代表待增强灰度图像的灰 度级，假设，被归一化到区间 0 ，1 ，直方图均衡即对应于灰度级，的转换丁( ，) ： s = t ( r ) 0 ，l ( 2 4 ) s 为灰度r 经直方图均衡转变后的图像灰度值，显然可以假设变换函数r ( r ) 应满足下列条件： ( a ) r ( r ) 在区间0 r 1 中单值且单调递增 ( b ) 当0 r 1 时，0 r ( r ) l 随机变量的一个重要的基本描述是其概率密度函数( p d f ) ，令n ( ，) 和b ( s ) 分别代表随机变量r 和s 的概率密度函数。由基本的概率理论得到一个结果：如 果b ( ，) 和t ( r ) 已知，且t - 1 ( 5 ) 也满足条件( a ) ，那么变量s 的概率密度函数只0 ) 可由如下简单公式得到： 只( s ) = 刃( r ) l 兰l ( 2 5 ) 如果灰度变换函数选用满足条件( a ) ( b ) 的如下变换函数( 2 6 ) ： s = r ( r ) = 【b ( w ) d w ( 2 6 ) 通过式( 2 5 ) ，我们可以求得经过变换后的变量s 的概率密度函数以( s ) 。由 基本的l e i b n i z 准则，我们知道关于上限的定积分的导数就是该上限的值，可 知： 軎= 了d r ( r ) = 旦【胁w ) d w d r = 肌) ( 2 7 ) 一= = 一门l w - = 仃- ，- -i ，j 山咖 乃、 把d s d ，的结果代入( 2 5 ) 式中，取概率值为正，即得到： p a s ) = p r ( r ) f 兰卢p ，( ，) f 去i = l o s l( 2 8 ) pr t r ) 可以看出，如果变换函数选用式( 2 6 ) ，则变换后的随机变量j 的概率密度 8 第2 章车牌定位预处理 函数为均匀概事密度函数。而实际中，直方图均衡即采用式( 26 ) 变换函数，它 的物理意义是使得最终得到图像的灰度值均匀分布。对于蛆常情况下数字图像 处理中的离散值，假设灰度图像中共有级灰度值，灰度级出现的概率近似 为： p ，( ) = 生k ：0 ，i ，2 ，一1 ( 29 ) h 其中h 是图像中像素个数的总和，嚏是灰度级为 的像素豹个数。式( 26 ) 中变换函数的离散形式为： = r ( ) = 1 0 n ( ( ) = 二鲁i = o ，l 小，l i ( 21 0 ) 图22 给出一些经过直方蝌均衡的教粜图，并给出了均衡前后的直= ，图。( a ) 为原图像，( b ) 为鳆图像的直方图，( c ) 为均衡后的图像( d ) 为均衡后直方图， u f 以看出经过直方图均衡。增强了原图像的对比度有利于后续步骤处理。 l l 鳖k涵蹦u 鲎j l l lo 图2 2直方图均衡 山 p 第2 章车牌定位预处理 雕 眨 灰度级为，出现的概率，定义为只= z ，则有只0 ，只= 1 。将图像中的 1 0 第2 章车牌定位预处理 各类灰度的均值： = e ( c o ) = ：；。只= w ( f ) h = e ( c i ) = 二只= l w ( f ) ( 2 1 2 ) ( 2 1 3 ) = ：。i e ( fjg ) = ：；，僻 ( 2 1 4 ) 铲o 郫l c l ) = 缸忙篙 ( 2 1 5 ) 其中u t = “( ) = e , t 。蝎，“( f ) = ：，。僻，w ( f ) = ：；。z 。 对于任意的，值，我们很容易获得下列成立的等式： w o + m = 1 ，+ h “l = 蜥 ( 2 1 6 ) 各类方差( 二阶累积矩) ： = ：。( i - u 。) 2 e ( f ic o ) = 2 ，( i - - u 。) 2 暑 ( 2 1 7 ) 砰= 乙( i - u ，) 2 p ( 引c 1 ) = 乙( i - u i ) 2 4 w , ( 2 1 8 ) 为了评估阂值的优劣，我们引入一些评价函数： 名：要，石：妥，7 7 ：李 ( 2 1 9 ) o ；a ； 。 o ； 其中矗，2 ，露分别表示类内方差、类问方差和总体方差，具体表示为： 露= 爵+ m 彳 ( 2 2 0 ) = ( - u r ) 2 + w l u i 一蜥) 2 = w o w , ( u o 一“1 ) 2 = w o u ：+ w l “卜“； ( 2 2 0 ) 露= 和一u t ) 2 e ( 2 2 1 ) 我们的目标就变成了选择一个最优的阈值t 使得，使得名，石，7 三个判决 函数最大。 因为司= 砖+ 2 的成立，所以t ，k ，7 三者间的下列关系成立： k ：兄+ 1 ，7 ：三，k ：! 一 ( 2 2 2 ) 从三个关系式我们知道旯，r ，刁单调性是一致的。而又因为露是与f 值无 关的，所以7 7 是三者当中最为简单的，这样我们就可以用类间方差露作为分类 性能高低的判决函数： 第2 章车牌定位预处w 嘲) = 鬻 ” ( f ) ，w ( ，) 的定义详见( 21 4 ) 、( 2 i5 ) ，则最佳闽值，为 一( f ) 2 e 学0 ) ( 22 8 ( 22 4 ) 图23 ( b ) 给出了经图像增强、竖直s o b e l 算子掩模卷积及0 t s u 二值化 算法- 而提取的竖直边缘点图( 下文中简称为g ) ，原图像为图23 ( a ) 中 的叫幅阁像。 图2 3 提取竖直边缘 第2 章车牌定位预处理 2 4 2一次性扫描候选车牌提取算法 车牌连线( p l a t er u n ，下文简写为r u n ) 定义为输入竖直边缘点图g 口中的车 牌区域连续象素点连线。常见的四类非车牌区域的干扰如下，挡板、车辆底座 ( 、) ，车牌铆钉( ) ，以及同样具有复杂竖直边缘的车灯( ) 等。 竖直车牌连线高于( 车牌高度) ； 水平车牌连线长于( 车牌宽度) ； 两车牌连线间的间距大于字符长度： 小于指定面积的候选区域。 w a n g 等人以抑制上述四类非车牌区域为出发点，充分利用车牌字符间紧密 性的先验知识，提出了一种一次性扫描( o n e - p a s ss c a n n i n g ) 的候选车牌提取 算法叫，输入分析对象为上一节2 4 1 中阐述的竖直边缘点图像g 口：遍历所有 可能的车牌高度岛，融合间距小于距离融合因子五( 五= w i n ，n 字符个数) 的车牌连线，归并上下行邻接的车牌连线至同一连通区域，上一行中未能得到 传继的连通区域视为到达车牌底部，并根据面积要求对该区域做出判断，从而 提取出所有可能大小的候选车牌。具体的一次性扫描算法如下： o n e p a s ss c a n n i n g 算法 输入：g 结果：候选车牌区域 f o rg d 中每一行r o wd o f i n d a l l r u n s ( ) ： f o r 每一个车牌连线r u n fd o j = f l ： k = i + l ： i fd i s t ( r u n j , r u 哟五t h e n 将尺”协和r u n j 相融合： i fl e n g t h ( r u n i ) t h e n 跳转至下一个车牌连线( r u n ) ：非车牌抑制 i fl e n g t h ( r u n 3 a n dd i s t ( r u n k ，r u n 3 t h e n 跳 转至下一个车牌连线( r u n ) ：非车牌抑制 当r u n ，与上一行中的某车牌连线相邻接时，更改相应的连通区域信息： e n d 上一行中没有得到更新的连通区域，如果该连通区域的面积大于指定的面积( 如 h p x w 4 ) ，则视为车牌候选区域：非车牌抑制 e n d 其中d i s t ( r u n i ，r 甜动表示车牌连线r u n f 末端到车牌连线r u n j 始端的距离， l e n g t h ( r “砧表示车牌连线r u n f 的长度。 f i n d a i i r u n s 0 是竖直车牌连线高度抑制模块，详细算法如下： 第2 章车牌定位预处理 f e n da 1 lr u n s 模块 数据：q 中的r o w y 结果：车牌及非车牌连线 初始化a c c w i d t h 】 f o rr o w y 中的每- - n xd o i fr o w y ( x ) 0t h e n a c c x = a c c x + l ： e l s e a c c x = 0 ： e n d i fr o w y ( x ) 0a n da c c x 耳t h e n 更新车牌连线( p l a t ef u n ) ： e l s e 更新非车牌连线( n o n p l a t ef u l l ) ：非车牌抑制 e n d e n d 文献 1 0 中给出的一次性扫描候选车牌提取算法的实验具体性能如下： 3 2 0 2 4 0 的检测图片，车牌高度尺度范围1 5 - 一4 0 ，3 7 5 6 幅含车牌图片， 检测到了3 7 1 8 幅车牌，检测率达到9 8 9 9 7 ，在p 43 0 硬件平台下，运行速 度达到4 0 f s 。 6 4 0 x 2 4 0 的检测图片，车牌高度尺度范围1 6 6 0 ，4 1 5 3 幅含车牌图片， 检测到了4 1 4 5 幅车牌，检测率达到9 9 8 0 7 ，在p 43 0 硬件平台下，运行速 度达到3 6 f s 。 2 5 车牌辨识器 当提取候选车牌后，虽然剔除了大量的非车牌区域，但仍然存在大量同样 具有竖直边缘紧密性特征的非车牌区域的干扰，如一些文字区域和车灯等的干 扰，因此仍需要添加辨识器对候选车牌加以辨识，从而实现较高检测率及较低 虚警率车牌的定位。 可以使用车牌区域简单先验知识，如长宽比，国内车牌的长宽比范围在 3 5 5 ，候选车牌长宽比在范围之内则予以保留，否则剔除。也可以采用 1 3 中所提到的连通区域面积之比、车牌区域边缘水平投影的均值区间和方差区间、 甚至车牌区域的颜色组合特征( 蓝自、黄黑) 等等。这些简单的特征可以 有效的去除大部分伪车牌候选区域，但是面对复杂的背景环境，做到较低的虚 警概率车牌定位比较困难。 基于h a a r l i k e 特征的级联a d a b o o s t 分类器m 1 在人脸检测应用中具有较好 第2 章车牌定位预处理 的性能，近年来，也有研究人员将其运用于同样具有一定结构性特征的车牌检 测中，并取得不错的性能吲n 0 。因此，本文的改进分级车牌定位算法选用基于 h a a r li k e 特征的级联a d a b o o s t 分类器作为车牌辨识器，该级联分类器的原理 将在下一章详细介绍。 第3 章改进的分数车牌定位算洁 31 引言 第3 章改进的分级车牌定位算法 w a n g 等 提出的狄性扫描候选车牌提取算法“，虽然县有榆测性能上和 运算实时性上的巨大优势，但经过细致的研究发现，仍然存在不能适用的场合。 当车牌左右存在邻近的竖直边缘干扰时( 如图31 所示图( b ) 为图( a ) 的二值 化竖直边缘点图) ，一次性扫描候选车牌提取算法将会生成错误的候选车牌区 域。因为某行中从左至右融合车牌连线? a n 的过程中，会将干扰区域和车牌区 域融台在一起，从而提取不出准确的车牌区域用于后续模块的辨识。这种情况 还是比较常见的，如车辆尾部的车灯具有比较复杂的竖直边缘，且比较靠近车 牌。 匹= 翟霞羔鼍 图3 i 左右存在夏杂呈直i 终+ 拉的车牌 为了进一步提高分级车牌定位算法的检测率本文提出了种改进的候选 车牌提取算法，该算法也是以二值化竖直边缘点图g 作为分析对象，利用车牌 字符竖直边缘问的紧密性特征提取候选车牌，而主要的区别在于求取每行中的 车牌区域连线以及处理上下行车牌连线的方式。 本章改进的分级车牌采用基于h a a r i l k e 特征的级联a d a b o o s t 分类器作为 车牌辨识器，且选择对国内9 2 式车牌具有照好区分性的h a a r l l k e 基特征。而 对于获取到的尺度不等的候选车牌，为了进一步提高算法性能也需要添加尺度 归一化的预处理步骤。改进的分级车牌定位算法包括改进的候选车牌提取算法 及车牌辨识器，具体的内容的请参见32 、33 节。 32 改进的候选车牌提取算法 改进的候选车牌提取算法也是以二值化竖直边缘点图倪作为分析对象，利 用车牌字符竖直边缘可的紧密性特征提取候选车牌。为了消除一次性扫描候选 车牌提取算法的缺陷，改进的候选车牌提取算法求取待检测图像每行中的所有 可能的车牌连线，由于得到的车牌连线众多，分析上下行车牌连线关系的时候 并不像原算法刊：样简单，需要分析所有可能的车牌连线纽台。下面在具体介绍 算法的二个核心模块的基础上，给出该算泣整体流程和仿真结粜。 321f i n da l lr u n s 模块 第3 章改进的分级车牌定位算法 车牌连线( r u n ) 的概念与文献 1 0 中一次性扫描候选车牌提取算法相同，见 2 4 2 节，定义为某行中连续竖直边缘点连线。由于车牌字符竖直边缘间的距 离是比较接近的，在给定距离融合因子五( 丑= w n ，w p 为当前搜索车牌尺度 下的车牌宽度，为车牌字符组成个数) 的情况下，可以求出图像g 中每一 行中所有可能的车牌连线( r u n ) ，且车牌连线限定在当前搜索车牌尺度下的最小 可能车牌长度z 卫w i d t h _ _ m i n 以及最大可能车牌长度卫w i d t h _ m a x 之间。这步 操作我们称之为f i n da 1lr u n s 。 f o rr u n gd o ，= i + 1 ： f o rr u n jd o ifd i s t ( r u n i ，r u n j ) 五a n dd i s t ( r u n j ，r u 劫l p w i d t h m a x t h e n 扩展j r “刀f 至r u n ；端，c o n t i n u e ( r u n j 孵l j 下一个r u n ) ： i fl e n g t h ( r u n i ) l p w i d t h r a i nt h e n 删除掉r u n i ； b r e a k ( r z f 研跳到下一个r u n ) ： e n d e n d 其中d i s t ( r u n f ，r u n j ) 表示r u n f 末端到r u n ；始端的距离，l e n g t h ( r 甜鳓表示r u n i 的长度。上述提取某行中车牌连线的算法与w a