（系统工程专业论文）复杂场景下的车牌检测算法研究及其工程实现.pdf

硕士论文复杂场景下的车牌检测算法研究及其工程实现 摘要 车牌识别系统( l p r ) 是智能交通的重要组成部分，在现代交通管理、社会治 安等方面发挥着重要作用，有着广泛的应用前景。车牌检测是车牌识别系统的关键 技术之一。随着车牌识别系统的广泛使用，过去在受控环境和简单场景下的车牌检 测算法已经不能满足当前的需要。因此，在复杂场景和成像条件情况下的车牌检测 逐渐成为当前研究的热点。 本文对复杂场景和成像条件下的车牌检测算法进行了研究，主要完成了以下工 作。 首先，本文实现并改进了一种启发式的车牌检测算法。该算法根据车牌区域垂 直边缘丰富的特点，提取图像中的垂直边缘，并通过连接边缘，获得车牌候选区域。 最后根据车牌的几何、边缘分布以及颜色等特征对候选区域进行筛选得到车牌区 域。 其次，本文实现了一种基于a d a b o o s t 机器学习算法的车牌检测算法。在该算法 中，定义了一种表征局部灰度与全局灰度比例的矩形特征，使用c s - a d a b o o s t 算法 训练了一个由8 5 个特征组成的级联分类器，并由此实现了一种车牌检测算法。以 上两种算法都在p c 平台上编程实现，并且在一个5 8 3 张图像组成的测试集上进行 了实验，给出了结果和性能分析。 此外，图像中的倾斜车牌不利于后续的字符分割等操作。针对该问题，本文实 现了一种基于“跨栏模型”和“窄孔透射模型”的倾斜车牌矫正算法，给出了实验 结果。 最后，本文将启发式车牌检测算法移植到了d s p 平台上，构建了一个车牌检测 系统，可以在c i f 格式的图像上达到l o f t s 的检测速度。文中介绍了算法在d s p 平 台上的移植和优化过程，并给出了实验结果。 关键字：车牌检测，车牌定位，机器学习，c s a d a b o o s t ，d s p a b s t r a c t 硕士论文 a b s t r a c t l i c e n s ep l a t er e c o g n i t i o n ( l p r ) s y s t e mi sa ni m p o r t a n tp a r to ft h ei n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m ( i t s ) ，a n dp l a y sa ni m p o r t a n tr o l ei nm o d e mt r a f f i cm a n a g e m e n t a n ds o c i a ls e c u r i t y l i c e n s ep l a t ed e t e c t i o ni so n eo ft h ek e yt e c h n o l o g i e si nl p r s y s t e m s w i mt h ee x t e n s i v ea p p l i c a t i o no fl p rs y s t e m s ，t h ea l g o r i t h m su s e dt ow o r k u n d e rc o n t r o l l e dc o n d i t i o n sa n ds i m p l es c e n e si su n a b l et of u l f i l lt h er e q u i r e m e n t t h e r e f o r e ，l i c e n s ep l a t ed e t e c t i o nu n d e rc o m p l e xs c e n e sa n di m a g i n gc o n d i t i o n s b e c o m i n gar e s e a r c hf o c u s i nt h i st h e s i s ，l i c e n s ep l a t ed e t e c t i o nu n d e rc o m p l e xs c e n e sa n di m a g i n gc o n d i t i o n s i si n v e s t i g a t e d ，c o n t r i b u t i o n sa r el i s t e db e l o w f i r s t ，a ni m p r o v e dh e u r i s t i cl i c e n s ep l a t ed e t e c t i o na l g o r i t h mh a sb e e nr e a l i z e d i n t h i sa l g o r i t h m ，e d g ee x t r a c t i o ni sp e r f o r m e df i r s ta c c o r d i n gt ot h ec h a r a c t e r i s t i c so f r e g i o n sc o n t a i nl i c e n s ep l a t et h a tt h e yh a v eah i g hd e n s i t yo fe d g ei n f o r m a t i o n b y c o n n e c t i n gt h ee d g e s ，s e v e r a lc a n d i d a t e sa r eg e n e r a t e d t h el i c e n s ep l a t ew a so b t a i n e db y f i l t e r i n gt h e s ec a n d i d a t e s 谢t 1 1g e o m e t r yf e a t u r e s ，e d g ed i s t r i b u t i o na n dc o l o r s e c o n d ，a l la l g o r i t h mb a s e do na d a b o o s th a sb e e ni m p l e m e n t e d ak i n d o fr e c t a n g l e f e a t u r ei ss e l e c t e d ，w h i c hi n d i c a t e st h ep e r c e n t a g eo ft h es u mo fal o c a la r e ai nt h ew h o l e r e g i o n ac a s c a d ec l a s s i f i e rw i t h8 5f e a t u r e sw a st r a i n e db yc s a d a b o o s ta l g o r i t h m ，a n d t h e nal i c e n s ep l a t ed e t e c t i o na l g o r i t h mw a si m p l e m e n t e d a ne x p e r i m e n to nat e s ts e t c o n t a i n s58 3i m a g e si sc a r r i e do u t ，t h er e s u l ta n dp e r f o r m a n c ea n a l y s i sw a sp r e s e n t e d s i n c et h es l a n to ft h el i c e n s ep l a t ew o u l da f f e c tt h ec h a r a c t e rs e g m e n t a t i o na n do t h e r s u b s e q u e n to p e r a t i o n , as l a n tc o r r e c t i o na l g o r i t h mw a si m p l e m e n t e db a s e do nt h eh u r d l e m o d e la n dt u b i f o r mi n t e r s p a c ep r o j e c t i o nm o d e l t h er e s u l to fe x p e r i m e n tw a sp r e s e n t e d f i n a l l y , al i c e n s ep l a t ed e t e c t i o ns y s t e mw a si m p l e m e n t e db yt r a n s p l a n tt h eh e u r i s t i c a l g o r i t h mt od s pp l a t f o r m t h i ss y s t e mc a np e r f o r ml i c e n s ep l a t ed e t e c t i o no nc i f i m a g e sa tt h es p e e do f10f s t h er e s u l to fe x p e r i m e n tw a sr e p o r t e d k e yw o r d ：l i c e n s ep l a t ed e t e c t i o n , l i c e n s ep l a t el o c a t i o n , m a c h i n el e a r n i n g ， c s - a d a b o o s t ，d s p 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：社 2 卯暂年7 月日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：缉率选 渺矽年7 月1 日 硕士论文复杂场景下的车牌检测算法研究及其工程实现 1 引论 1 1 研究背景 随着社会经济的快速持续发展，我国的车辆数目增长迅猛，道路交通流量激增。 交通流量的急剧增大，使得交通拥堵和交通事故成为困扰我国道路交通尤其是城市 交通的突出难题。日益严重的交通状况引起了人们的高度重视，但由于资金和空间 的限制，新建和拓宽道路等方式并不能有效的解决这些问题。近年来，随着计算机 技术、通信技术和计算机网络技术的发展，自动化的信息处理技术水平不断提高。 于是，人们把目光聚焦到了道路交通运输系统的管理和监控技术的开发上。因此， 构建高效、安全、现代化的智能化交通管理系统已成为目前交通管理系统的迫切要 求。智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m 简称i t s ) 正是在这种条件下 产生和发展起来的【l j 。 在智能交通系统中，交通信息服务系统是重要的组成部分，也是整个智能交通 系统顺利运作的关键和基础。其中交通信息的获取、采集、传输和处理，是一个关 键的问题。要解决这一问题，首先必须把车辆的身份识别出来。在实际应用中，车 牌作为汽车的标识具有唯一性。知道了车牌号，车辆的相关信息( 如车辆种类、车 主等) 便一目了然，所以汽车牌照自动识别系统作为智能交通系统的重要组成部分， 在交通、治安、管理等方面有着广泛的应用。车牌识别( l i c e n s ep l a t er e c o g n i t i o n 简称l p r ) 的快速、准确实现对于交通管理、治安处罚等工作的智能化起着非常重 要的作用。 车牌识别系统一般由车牌检测、字符分割和字符识别三部分组成，车牌检测是 最重要的一环。如果无法准确定位车牌并分割出车牌图像，字符分割和识别也就无 从谈起。目前，车牌识别系统已经做到了实用化和产品化。但是，现在大多数的车 牌识别系统工作的环境相对固定。在这种环境中获取的车牌图像中，光照条件、背 景、车牌尺寸等都比较稳定，可以达到较好的检测和识别效果。然而，能够满足这 些条件的地方是有限的，人们总是希望对工作环境的限制条件越少越好，因此在复 杂场景下的车牌检测逐渐成为研究的重点。若能较好的解决在复杂场景和复杂成像 条件下的车牌检测何题，车牌识别系统必将有比现在更好的应用前景。 1 2 车牌检测算法综述 车牌检测( l i c e n s ep l a t ed e t e c t i o n ) 或称车牌定位( l i c e n s ep l a t el o c a t i o n ) 技 术，就是在图像中寻找并确定汽车牌照位置的技术。国外对车牌检测的研究起步比 1 引论硕士论文 较早，曾经出现过的典型车牌定位方法主要有文献 2 】中提到的基于水平线搜寻的定 位方法，文献【3 中提到的基于d f t 变换的频域分析方法，文献 4 】中提到的基于 n i b l a c k 二值化算法及自适应边界搜索算法的定位方法等。j b u l a s c r u z 等人【5 】曾提 出基于扫描行的车牌提取方法。上述这些方法，在一定条件下能达到比较好的效果， 对于干扰较多，车牌图像质量较差的情况，效果并不理想。上世纪9 0 年代以来， 随着公路交通的快速发展，我国也逐渐开始对车牌定位进行深入地研究，并取得了 一定的成效。 目前的车牌检测算法多种多样。从算法使用的特征来看可以分为两大类，即灰 度特征和颜色特征。其中，灰度特征泛指一切可以从灰度图像中提取的特征，颜色 特征指使用了颜色信息提取出的特征。另外，从算法基本原理看，还可以分为基于 规则的算法和基于统计学习的算法等。 1 2 1 基于灰度图像的车牌检测算法 灰度图像数据量小，处理迅速简单，技术较成熟。因此，多数算法都是针对灰 度图像进行检测。车牌区域具有许多固有的显著特点。车牌由各种字符及数字组成， 且基本为水平排列。字符与车牌底色分界明显，在灰度值上具有较多的跳变，因而 在车牌区域内有丰富的边缘信息，纹理特征非常明显。在光照条件稳定的情况下， 车牌灰度的分布范围也相对固定。这些特点为车牌定位方法的研究提供了切实可行 的依据。对于车牌的灰度图像处理的算法中，比较常用的有以下几种： ( 1 ) 扫描线法。对图像各行进行扫描，通过车牌区域的扫描线上的灰度变化 相对于未通过车牌区域的扫描线有显著的差别。车牌区域的灰度变化快，有很多明 显的波峰和波谷，而且波峰高度和波谷深度变化较小，根据这种特点可以快速定位 车牌【6 1 。但是这种方法对于褪色、污损的车牌效果不好。 ( 2 ) 基于h o u g h 变换的算法。车牌的矩形边框具有比较明显的直线边缘，通 过边缘提取，再利用h o u g h 变换检测出车牌边框直线可以直接定位车牌【引。但是 这种方法受车牌图像倾斜的影响较大。另外，这种算法没有很好的去除非车牌直线 的方法，在有其它直线干扰时，失效的可能性大大增加。 ( 3 ) 基于数学形态学的车牌定位算法1 9 1 - 【1 3 】。数学形态学的基础是腐蚀和膨胀以 及由其组合而成的开、闭运算。传统的灰度图像中的开、闭运算具有“削峰填谷”的 功能，可以将目标区域显示出来。典型的算法如文献【9 】，通过对边缘检测的结果进 行形态学操作使车牌部分形成连通的区域，再根据先验知识进行分割。h u n g h s i a n g c h e n 等人【1 3 】使用b o t t o m - h a t 变换提取图像的纹理，并使用形态学梯度标记出纹理较丰 富的区域作为候选区，最后根据车牌几何特点以及灰度跳变的特点进行筛选并提取车 牌。他们的算法可以在3 2 0 x 2 4 0 的低分辨率图像上较好的定位车牌。 2 硕士论文 复杂场景下的车牌检测算法研究及其工程实现 ( 4 ) 基于小波分解的车牌定位算法【1 4 】【1 5 】。文献 1 4 】利用小波的特点对车牌图 像进行分析，发现小波分解后的细节分量中有能较好体现出车牌位置的信息，特别 是水平低频、垂直高频分量能提供更准确的车牌位置信息。该算法将小波分解后的 混合边缘图像运用数学形态学算子处理并进行精细定位，取得了较好的效果。 另外，还有基于角点检测的方法【阚，基于投影图像分布特征的方法【1 7 】，基于纹 理谱的方法【1 8 j 等算法。 。+ 1 2 2 基于彩色图像的车牌检测算法 与灰度图像相比，彩色图像包含的信息更多，其信息具有原始性和完整性，在 设备存储量和速度允许的情况下可以取得更好的处理效果。因此，很多研究人员认 一为彩色车牌图像比灰度图像更有利于图像分割和目标提取。车牌使用国家规定的配 色方案，有固定的颜色搭配，且车牌区域颜色种类少( 一般我国民用车牌为两种颜 色，少数特种车牌有三种颜色) ，色块面积大，比较容易与背景和景物区别。加之 现在图像采集设备性能的提高，采集到的图像色彩质量也越来越好，因此近年来很 多学者已经开始应用彩色图像处理技术进行车牌定位。对颜色信息的使用主要有两 种方式： ( 1 ) 对颜色进行聚类和分割，通过对车牌底色进行投影等操作定位车牌【1 8 】【2 3 1 。 如文献【2 1 】采用神经网络对输入彩色车牌图像进行颜色分类，并通过投影定位车牌。 文献 2 2 n 用颜色的空间距离和相似度进行颜色分割，并通过投影法根据高宽比确 定车牌候选区。这些方法直接通过颜色标定车牌的位置，对图像的质量要求较高， 对于车牌褪色、污损的情况效果不好，受环境光的影响较大。 w e n j i n gj i a 等人【2 3 】使用m e a ns h i f t 方法对彩色图像进行滤波，分割出若干个候 选区域，借助先验知识，如车牌的高宽比、边缘的密度等信息过滤非车牌区域。 ( 2 ) 利用彩色信息提取车牌区域的边缘信。g t 2 4 j 1 2 6 】，并通过形态学处理、区域 生长等方法进行定位。文献【2 5 】提出了一种彩色边缘检测算子，使用彩色边缘检测 算子检测边缘，并借助数学形态学的腐蚀和膨胀获得候选区，最后通过先验知识过 滤非车牌。李文举等人【2 6 】针对车牌褪色的情况，根据车牌颜色有固定搭配的特点， 提出了边缘颜色对的概念。通过寻找符合条件的颜色对提取车牌图像的边缘信息， 再利用形态学操作获得候选区。 1 2 3 基于规则的车牌检测算法 这一类算法的主要特点是：依靠人为的分析和先验知识，制定一系列的图像处 理程序和规则。通过对图像的处理，使得车牌区域突显出来，并通过一定的规则和 条件进行分割。这类算法比较直观，一般而言算法复杂度较小，因此也是目前使用 最广的算法。上文提到的几类算法都可以划分到这一类中。 1 引论硕士论文 1 2 4 基于统计学习的车牌检测算法 这类算法将车牌检测转化为分类问题，使用大量的车牌和非车牌图像，通过各 种统计和机器学习算法，寻找能有效区别两者的统计特征，从而达到检测和定位车 牌的目的。目前常见的基于统计学习的算法有基于神经网络的算法和基于a d a b o o s t 的算法等。 一 ( 1 ) 基于神经网络的算法。人工神经网络是对人脑某些机制的模拟，它可以 充分的逼近任意复杂的非线性关系，因此被广泛应用于模式识别、信号处理以及专 家系统等领域。通过选择适当的样本，构建适当的网络并使用学习算法对样本进行 学习，可以使网络具有较强的分类能力和一定的泛化能力。 目前常见的基于神经网络的算法，一般不直接使用神经网络进行车牌和非车牌的 分类，而是通过神经网络标记出可能是车牌的图像区域，再通过其他方法进行分割。 如文献 2 7 j ) 1 1 练了一个对车牌区域敏感的三层前馈神经网络，利用神经网络寻找可能 性高的区域，再进行分割。y i n g - n o n gc h e n 等人【2 8 1 i ) 1 1 练了一个可以检测出字符的卷积 神经网络( c n n ) ，使用这个网络在图像中检测连续字符区域可以得到候选区域。最后 通过对候选区域宽度的限制，过滤非车牌区域。 ( 2 ) 基于a d a b o o s t 的算法。a d a b o o s t 算法是一种组合学习方法，它可以将一 系列分类能力较差的弱学习算法提升为具有理想分类能力的强学习算法。一般来 说，弱学习算法是比较容易构建的，而直接构建强学习算法则有一定的难度。 a d a b o o s t 算法给出了一条由弱学习算法到强学习算法的便捷通道。 目前，多数基于a d a b o o s t 的车牌检测算法都是仿照v i o l a t 2 9 】提出的实时人脸检测算 法实现的。他提出了积分图概念以及一种矩形特征，使用级联分类器，可以在中分辨 率的图像上完成实时的人脸检测。文献 3 0 】使用了与v i o l a 的人脸检测算法类似的特 征，基于a d a b o o s t 实现了一种车牌检测算法。z h a n g 鱼孽a t a l 】使用了全局特征和局部特 征相结合的方法训练分类器。全局特征是边缘密度和方差，局部特征是与v i o l a 的特 征类似的矩形特征。首先通过全局特征过滤7 0 以上的非车牌区域，然后使用矩形特 征进一步去除非车牌，最终达到了9 3 5 的检出率。x i a o w e ix u 等人【3 2 】根据车牌字符 的位置和排列特点，提取了一种新的矩形特征，使用a d a b o o s t 算法训练了一个由2 0 0 个特征组成的分类器，达到了9 1 的检出率。d l a g n e k o v 3 3 】分析了车牌的水平差分图 像和垂直差分图像，根据其特点提出了一种新的矩形特征。这种特征也是取两块区域 的灰度差作为特征值。与v i 0 1 a 的特征不同的是，它没有给出确定的特征结构，而是 先将图像划分为若干子块，由a d a b o o s t 算法自行确定需要做差的两个部分各由哪些子 块构成。最终，该算法获得了9 5 6 的检出率。 除了以上两种方法，支持向量机( s u p p o r t v e c t o rm a c h i n e s v m ) 也是一种经常 被用于目标检测的统计学习算法。它通过某种事先选择的非线性映射将输入向量映 4 硕士论文 复杂场景下的车牌检测算法研究及其工程实现 射到一个高维特征空间，在这个空间构造最优分类超平面。支持向量机是一种针对 小样本情况的学习算法，对模型的依赖较小，与传统的神经网络相比有明显的优势。 1 3 本文主要工作及内容安排 本文主要研究在复杂场景及成像条件下的车牌检测问题，主要面临以下难题： ( 1 ) 图像背景复杂。我们的实验图像都是采集于自然场景。包括城市街道、 停车场、住宅区等。背景中存在人群、建筑、植物等纹理复杂的景物，还包括招牌、 广告牌、指示牌等与车牌非常相似的文字区域。 ( 2 ) 图像成像条件复杂。实验图像的采集环境包括白天、夜晚、雨雪天气等。 光照条件比较复杂，车牌区域的亮度变化很大，而且存在车牌被其他景物阴影覆盖 而产生的亮度不均的情况。另外，由于设备及操作的原因，如对焦不准、晃动等， 一些图像有些模糊。 ( 3 ) 车牌尺寸变化较大。我们的图像都是人为进行采集，自由度比较大。拍 摄采用了不同的数码相机、手机，有多种不同分辨率的图像。车牌与成像设备的距 离、拍摄角度、成像设备的参数都没有限制。因此，图像中的车牌尺寸变化较大， 对检测算法也是一个挑战。 根据最新的g a 3 6 2 0 0 7 标准，我国机动车悬挂的非临时车牌有以下五种不同尺 寸，如表1 3 1 。我们以最为常见的4 4 0 m m x l 4 0 m m 尺寸的车牌为主要研究对象， 暂不考虑其他种类的车牌。车牌示例见图1 3 1 表1 3 1 我国车牌尺寸分类表( 表中数据来源于g a 3 6 2 0 0 7 标准) 外廓尺寸( m r n x m m )适用车辆 4 4 0 x 2 2 0 大型汽车( 后部) ；挂车号牌； 大型汽车( 前部) ；小型汽车；使馆汽车；领馆汽车；港 4 4 0 x 1 4 0 澳入出境车；教练汽车；警用汽车 3 0 0 x 1 6 5 低速车 2 2 0 x 1 4 0 警用摩托车：各种摩托车( 后部) 2 2 0 9 5 各种摩托车( 前部) 1 引论 硕士论文 1 0 0 1 1 5 i 2 1 0 ii ii 翻 r一,4-4 1 一一”+ 陡 r1 7 56 c 甘 一 尿j 1 ， i - _ ，_ ilc 。i i ljii pi v 翌| 土j 住 粤5 i ，2 | 4 s l ，2 i 4 5 ，2 j5 日4 s 1 2 4 5 1 2 i4 5l们。 省自治1 x f 闻蕊符序号 r r 丁广一 童辖审侮称i 发髀机关代辱 图1 3 。1外廓为4 4 0 x 1 4 0 的汽车牌照( 图像来源于g a 3 6 2 0 0 7 标准) 我们在p c 平台上使用c 语言编程实现了基于规则的启发式算法和基于机器学 习算法的两种检测算法，分别对两种算法进行了实验并做了对比。最后将启发式车 牌检测算法移植到了d s p 平台，并进行了优化。所作的主要工作有： ( 1 ) 实现了一种基于规则的启发式车牌检测算法1 3 4 ，并进行了改进，在算法 中引入了图像金字塔结构。通过在多个尺度的图像上进行车牌检测，提高了算法对 图像中车牌尺寸变化的适应性。最后在测试集上测试了算法的性能。 ( 2 ) 实现了一种基于a d a b o o s t 的车牌检测算法。确定了一种表征局部图像灰 度和占整体灰度和比例的矩形特征，使用c s a d a b o o s t 算法训练了一个级联分类器， 并使用该分类器实现了车牌检测算法，测试了算法的性能。 ( 3 ) 实现了一种基于“跨栏模型和“窄孔透射模型 的倾斜车牌矫正算法【3 5 。， 算法使用图像切变进行倾斜矫正。 ( 4 ) 将启发式车牌检测算法移植到了d s p 平台，构建了一个基于d s p 平台的 车牌检测系统。 本文的主要内容安排如下：第1 章为引论，介绍车牌检测的研究意义、现状以 及本文的主要工作。第2 章介绍启发式的车牌检测算法以及算法的实现和结果分析。 第3 章介绍基于机器学习的车牌检测算法及结果分析，并对两种车牌检测算法进行 了对比。第4 章介绍倾斜车牌矫正算法的实现和实验。第5 章着重介绍启发式车牌 检测算法在d m 6 4 2 平台上的移植和优化。最后是全文的总结和展望。 6 硕士论文复杂场景下的车牌检测算法研究及其工程实现 2 启发式车牌检测算法 启发式算法是指以一定的直观基础，通过制定规则而构造的算法。一般而言， 启发式的车牌检测算法结构比较简单，算法复杂度也较小，一直是研究的热点。我 们实现并改进了一种启发式的车牌检测算法，在复杂场景下得到了较好的检测效 果。本章介绍了算法的原理和实现，并分析了在5 8 3 张图像的测试集上进行测试的 结果。 2 1 算法介绍 车牌区域由汉字、英文字母以及数字组成，因此车牌图像的边缘信息( 特别是 垂直边缘信息) 非常丰富。通过提取图像的垂直边缘，使用数学形态学等方法生成 候选区域【1 2 1 ，再通过辅助特征的判断，即可将车牌分割出来。这一类算法实现较为 简单，足以完成受控条件下的车牌检测。其主要缺陷在于，形态学操作使用的结构 元素选取与车牌的尺寸有关，对于背景复杂、车牌尺寸变化较大的图像效果不佳。 文献 3 4 】针对这些缺陷提出了一种基于分级边缘间距的检测算法。该算法使用连接 边缘点的操作代替了复杂度较高的形态学操作，并使用两级边缘连通阈值生成候选 区域，通过两级候选区域的比较和其他辅助判断条件分割出车牌。该算法与传统的 形态学方法相比，提高了检测速度以及对不同尺寸车牌的适应性。我们实现了该算 法，并进行了一些改进，去除了算法中的两级对比，引入了图像金字塔，使得算法 对复杂场景的检测效果更好。算法的流程如图2 1 1 所示。 i 输入图像l l il i il7 l 生成灰度图 7 i 儿何特，仕过德 上上 生成图像金字塔边缘图特征过滤 上上 垂直边缘检测二值图特征过滤 上上 生成连通域候选区合并 上上 i 颜色特征过滤i l i 连通域合并 f7 i 检测结果 候选区生成候选区过滤 图2 1 1 启发式车牌检测算法流程图 7 2 启发式车牌检测算法硕士论女 首先将输入图像灰度化并进行多级重采样，形成多个尺度的图像组成的图像金 字塔结构。对每一级尺度的图像使用边缘检测算子检测垂直边缘，根据边缘的密度 生成连通区域。按照一定规则剔除无效区域，并对邻近的连通区域进行合并后得到 一组候选区域的集合，最后通过一系列的过滤排除非车牌候选区，确定车牌的位置。 下面对算法各个步骤进行详细的介绍。 2 1 1 灰度图像生成 首先，使用式( 211 ) 将彩色图像转换为灰度图像。 g r a y = 0 3 r + o5 9 9 十0 1 l b ( 2 1 i ) 式( 211 ) 是按照人眼的视觉习惯制定的公式，实际上提取灰度信息不一定严 格依照该公式进行。灰度化操作有可能会影响到边缘提取的效果，例如图2i2 ( a ) 。 左侧颜色为r = 2 5 5 ，g = 0 ，b = 0 ，右侧颜色为r = 0 ，g = 1 2 9 ，b = 0 。使用式( 2l1 ) 灰度化以后，左右两块区域的灰度相同，无法提取两者的边缘。 二 ( a j ( b ) 图212 灰度化公式对边缘提取的影响 当然，这是比较极端的情况，我们对车牌中最常见的颜色组台做了考察。车牌 使用较多的黄( r = 2 5 5 ，g = 2 0 4 ，b = 0 ) 黑( r ，g ，b = 0 ) 、蓝( r ，g = - 0 ，b - 1 2 8 ) 白( r ，g ，b - 2 5 5 ) 组合在使用上式转换为灰度后，理想情况下分别具有1 9 6 和2 4 1 的灰度差( 灰度范围为0 - 2 5 5 ) ，可以较好的提取边缘。 2 1 2 图像金字塔 文献 1 2 以及其他类似算法都是在一个固定的尺度上对图像进行处理，文献 3 4 】 使用了两种边缘连通参数进行处理，对车牌尺度的变化有更好的适应性。我们实现 了文献 3 4 】的原始算法并分析了结果。我们使用的图像测试集中，车牌尺寸变化较 大，涵盖了宽度从8 7 像素到6 5 0 像素以上的各种尺寸的车牌。经过测试得出的结 论是，在车牌尺寸变化如此之大的情况下，原始文献中采用的两级边缘间距算法已 经无法胜任。我们曾经尝试寻找一种可以大概估计车牌图像尺寸的方法，但是并没 有得到好的结果。因此我们决定将其扩展为多级边缘间距算法，印引入图像金字塔 结构，在多级尺度上进行处理。实验结果表明，使用多绠尺度处理后，检测率大大 提升。而它带来的负面效应则是算法复杂度的增加和虚警数量的提高。 硕士论文 复杂场景下的车牌检测算法研究及其工程实现 常见的s o b e l 、p r e w i t t 、c o l o r p r e w i t t 等算子的结果。最后决定使用行向量【- 1 0 1 】 l 一2 o 2 1 雕 输入图像i 的像素点( f ，j ) 的颜色分量为( ，g ，6 ) 则c o l o r p r e w i t t 算子定义如下： = p 【( f 一1 ，歹一1 ) ，( f 一1 ，+ 1 ) 】+ p ，_ ，一1 ) ，( f ，- ，+ 1 ) 】+ p m + 1 ，j f 一1 ) ，g + 1 ，- ，+ 1 ) 】( 2 1 2 ) 其中e 【( f 。，。) ，( f ：，：) 】表示点瓴，石) 与点( f ：，办) 的颜色在r g b 空间中的欧氏距离，即 p 酝， ) ，( f ：，：) 】：扼i 再瓦j 了巧可 ( 2 3 ) 使用三种算子得到的边缘图像如图2 1 4 至图2 1 7 ，图像都已经过灰度归一化 处理，原始图像如图2 1 3 。 9 2 启发式车牌检i i 算法 顿论立 a ) 全圈 使用s o b e l 算子的结果 ( b ) 局部细节 硕论立 复杂场景t 的车* 检测算法研究及其i 程实现 ( a ) 全图( b ) 局部细节 图2 l7 使用行向量 - 10 1 的结果 从主观感觉上看，几种算子得到的边缘图差别不大。s o b e l 算子与p l _ e w i r 算子 的结果比较相近，边缘较为连续，对噪声不敏感，但是边缘线条较粗，会有一些伪 边缘鲫。c o l o r p r c w i t t 提取的边缘质量与p r e w i t t 相同，但是由于使用了颜色信息， 检出的边缘略有不同。在实际测试中，我们发现使用行向量 - 1 0l l 进行边缘检 测，候选区的命中率比使用其他算子稍好。 首先使用边缘检测算子与灰度图像做卷积，生成梯度图舒。使用式( 21 4 ) 计 算全局闽值，其中太括号中的部分为梯度图上的平均亮度能量，为整个图像的像 素总数。口为系数，经过实验，这里取为2 。使用式215 ) 判断边缘的峰值点， 并对矗进行二值化。 叫半) 5 ( 2 】4 ) 2 自发 车牌检目j 算法 论女 f 1 ，g r ( f ，力g v ( i ，1 ) a n dg r ( f ，) ) t 9 6 ( f ，) 2 。， 。墒。，。 ( 2 1 5 ) 通过上述操作生成的二值边缘图局部如图218 ( a ) 所示 ( a ) 文献【3 4 】方法的结 果，来去除孤立点 ( b ) 本文方法的结果。 去除了孤立点及水平短 线 圈2 1g 边缘图二值化结果( 局部) 此时边缘图中会存在一些孤立的边缘点。当这些点处于车牌区域中时并无大 碍，但如果分布于车牌周围，则可能会对车牌的定位造成影响。故引入判断条件去 除孤立点：若点g 。( f ，) = 1 ，则当其如图2 l9 所示的8 个邻域中的l 、2 、3 、6 、7 、 8 中有一个阻上的点为1 ，保留点g b ( f ，) ，否则删除 123 4 g ( i ，力 5 678 图2 19 点邻域示意图 之所以这样制定规则是考虑到车牌区域的边缘经式( 215 ) 处理后会行成纵向 的连续直线。依据以上判断条件可以去除孤立点以及水平短线。经过处理的边缘图 如图217 ( b ) 。至此，边缘检测完成，生成的边缘圈可以进行下一步操作。 论文复杂场景下的车牌检测算法研究及其i 程实现 2 1 4 车牌候选区生成 2 14 1 连通区域生成 经过边缘检测和二值化处理后的图像中车牌区域表现为一簇较为密集且分布 较平均的纵向边缘线条，为了提取出车牌区域，必须使这些线条连成较大的块状区 域。本文使用水平短线将距离小于一定闽值的边缘点连接起来。因为车牌的垂直边 缘较多，会得到许多连接线段，从而生成块状区域。这种方法相对于常用的膨胀腐 蚀算法的优点在于不需要选择结构元素，对车牌尺寸变化适应性较好，能快速的将 高密度边缘区域的特点明显的表示出来p 4 】。具体操作过程如下：设定阈值乇，对 上一步操作产生的边缘图进行逐行扫描。若一行之中两边缘点的距离小于z k ，则 将两边缘点连接起来。算法伪代码描述如下： e d g e c o n n e c t i o n ( i m g , 毛) f o ry = 0 t o h e i g h t d o f o r x = 0 t 0 w i d t h d 0 巧i m g ( x , y ) 为自像素t h e n f o r t 2 x + 1t o r a i n ( x - z , w i d t h ) d o i f i m g o , y ) 为自像素t h e n ff o r k = x + 1t o t d o i g 啦y ) 置为白色 x = k b r e a k ； ) ) 经过此步操作后的图像如图2ll o ，这里给出的图像是原图经过一次重采样后 的结果。 图2 1 1 0 边缘连接结果 可以看出，在进行边缘连接之后，车牌区域已经形成了比较完整的一块区域。 2 月式车牌捡w 算法 硕论文 但是其附近存在些干扰建筑物、汽车轮廓等部位的边缘也形成了一些狭长的区 域，可能会对定位造成影响，需要进行处理。由于这些区域的边缘密度较小，生成 的区域一般较窄，因此可以通过删除长度较小的水平短线来去除。使用以下算法可 以去除水平长度小于气的线段。算法伪代码描述如下： s h o r t l i n e d e l e t i o n ( i m g ，毛) f o ry = 0 t oh e i g h t d o l e n t h2 0 ；s t a r f = 0 ； f o r x = 0 t ow l d t h d o w h i l e ( i m g ( x ，y ) 为白像素) s t a r t = x ； 1 e n 山 ) i f l e n t h kt h e n f o r k = s t a r t t o s t a r t + l e n t h d o i m g ( k ，”置为黑 x = x + l e n t i l ； s t a n 2x ： l e n t b = 0 ： ) ) 】 经过实验，我们将7 二设置为连接阈值乇的一半，经过上述操作后效果如图 2 1 1 1 所示。 图2 11 l 删除水平短线后的结果 可以看出，噪声边缘已经被去除了很多，比较利于车牌区域的分割。 进行以上两步操作后，边缘图变为包含若干连通区域的图像。对于车牌尺寸适 硕士论文复杂场景下的车牌检测算法研究及其工程实现 当的图像，车牌区域会形成一整块连通的区域或几块较大的连通区域。 2 1 4 2 连通区域检测 连通区域检测就是获得图中每块独立且连通区域的位置、尺寸等信息的过程。 常用的连通区域检测算法有种子点填充法、链码跟踪法等。在此，我们实现了一种 基于行程编码的连通区域检测算法【3 7 l 。一 首先，对图像的每一行进行扫描。将相连的像素编为一个行程并赋予一个区域 标号，行程的信息存放在一个行程链表节点中。扫描下一行，将两行中邻接的行程 赋予相同的标号，并将具有相同区域标号的行程节点挂接在同一个区域链表中。每 当区域链表中加入了一个新行程，就更新该区域的有关信息。该算法只需要对图像 进行一次扫描，即可以标记所有的连通区域并获得每个连通区域的信息，检测效率 较高。统计的区域信息包括区域的外接矩形、区域面积以及矩形度。其中矩形度定 义如下： 。 连通区域面积 尺删= i f 磊；i 三赢 ( 2 1 6 ) 一删 外接矩形面积 ”7 依据如下规则删除一些可能是噪声的连通区域： ( 1 ) 高度h 2 0 xr c o ( 3 ) r 州 2 1 0 且g 2 1 0 且b 2 1 0 黑 【0 ，02 5 r q 0 且g q 0 且b q 0 蓝 【1 6 1 ，3 0 1 ( o2 5 ，1 ( 0 2 5 ，0 7 ) 黄 【2 0 ，6 0 1 ( 02 5 ，1 ( 0 2 5 ，1 】 灰( o 00 5 ( 02 5 07 ) 除表中颜色之外，其他均归为杂色。 统计候选区域中各种颜色的面积( 像素数) 并排序，统计时不计算灰色，按照 以下规则筛选： ( 1 ) 若杂色面积大于2 5 或杂色面积最大，则删除该候选区。 2 启发式车牌检测算法硕士论文 ( 2 ) 若最多的两种颜色面积之和小于7 0 ，则删除该候选区。 在制定颜色分类表时，蓝色和黄色通过统计可以得到较准确的范围。而黑色和 白色不存在色度指标，对环境光颜色、图像采集设备白平衡参数非常敏感，很难通 过划定饱和度和亮度的界限进行判定。另外，在黑色和白色之间，存在大量的“灰 色”部分，在车牌区域也经常出现难以分类的灰色。如果将灰色分类为杂色，将大 大增加对车牌的误判，所以我们对灰色像素做统计，但并不将其作为筛选的指标。 2 2 算法的快速实现 2 2 1 整体结构 我们在w i n d o w sx p 平台的v i s u a lc 抖6 0 环境下，编程实现了该车牌检测算 法。为了方便向d s p 平台移植，我们使用标准c 语言编写整个车牌检测程序。程 序的整体流程如图2 1 1 。 图2 2 1 程序总体流程图 为了保证程序运行的速度，对于一些需要在整个图像上进行的操作，如：灰度 化、边缘检测等，我们一概使用速度较快的指针操作完成。 硕士论文复杂场景下的车牌检测算法研究及其工程实现 在生成边缘图时，有一步去除孤立点的操作。如果为了完成这个操作而重新对 二值化后的边缘图进行一次扫描，将会增加处理的时间。因此，我们将这一操作整 合到了二值化的过程中。在二值化时，对当前的点以及它对应的六个邻域点进行判 断，若同时满足式( 2 1 5 ) 以及判断条件则保留，否则直接删除。这样做避免了对 图像的重复扫描，节省了时间。 2 2 2 连通区域检测模块 在整个算法中，最复杂也是最耗时的是连通域的检测算法。我们实现了基于行 程编码的连通区域检测程序。程序基于链表结构完成，当程序将图像扫描一遍后， 连通域就保存在链表节点中。我们定义了两种结构体r u n s 和r e g i o n ，分别用来 构成行程结构体和区域结构体，其定义如下： s t r u c tr u n s 行程的相关信息 r u n s * n e x t ；指向同一行的下一个行程 r u n s 幸r g n n e x t ；指向同一区域的下一个行程。 r e g i o n 宰p r g n h e a d ；指向所在区域的区域节点。 ； s t r u c tr e g i o n 区域的相关信息 r u n s 宰t a i l ；指向该区域的行程链表的尾节点 r u n s 木p r u n s ；指向该区域的行程链表 r e g i o n 木n e x t ；指向下一