（计算机应用技术专业论文）图像处理技术在车牌识别中的应用研究.pdf

图像处理技术在车牌识别中的应用研究 摘要 随着计算机技术的快速发展，基于计算机的图像处理和分析技术也获得了 飞速的进步。图像处理技术已进入了各个不同的领域，得到更加深入和广泛的 应用。但是在具体工程实践应用中，由于具体问题的不同，图像处理技术目前 尚没有统一的算法来解决实际问题，所以其运用仍存在着一定的限制。因此对 具体问题的研究和解决方案的提出仍然是一个及其具有挑战性的课题。目前， 图像处理技术的应用研究已经成为科学界的一个重要研究领域。 本文在分析图像处理技术理论的基础上，以车辆牌照为研究对象，主要研 究如何通过图像的预处理、车牌的定位、车牌字符切分和字符识别等一系列过 程，以完成汽车牌照的识别。 本文的主要工作是分析了车辆图像处理的方法，对现有的各种牌照预处理 算法和定位算法进行了深入的分析和比较，并在此基础上采用了一种根据字符 竖向纹理特征的牌照定位算法，实现了牌照的准确、快速定位；研究了车牌图 像二值化、图像的边缘检测、图像分割、图像平滑和图像增强标准化算法，对 带有倾斜的牌照采用边缘检测和h o u g h 变换相结合的方法有效的区分了不同种 类的车辆牌照，并利用投影法结合牌照先验知识给各个字符区域进行了标号； 引入字符窄区域概念，将字符区域进行分类处理，提高了分割的准确性；利用特 征匹配法，通过分析字符的结构特征或各种统计特征，来设计各种分类器，对 切割出的车牌字符进行识别。 本文使用在各种实际交通环境下拍摄的车牌图片对上述算法进行了试验， 试验结果表明本文设计的车牌处理算法一方面提高的车牌处理的正确性，另一 方面在一定程度上减少了车牌处理时间，因此更加适合应用于实际的车牌识别 系统中。 关键词：车牌自动识别系统；图象处理；车牌定位；字符分割；字符识别 r e s e a r c ho nt h ea p p l i c a t i o no fi m a g ep r o c e s s i n g t e c h n o l o g i e si nl i c e n s ep l a t er e c o g n i t i o n a b s t r a c t w i t l lt h er a p i dp r o g r e s so ft h et e c h n o l o g yo fc o m p u t e r ，i m a g ep r o c e s s i n ga n d a n a l y z i n gt e c h n o l o g yh a sg a i n e dq u i c kd e v e l o p m e n t i th a sb e e na p p l i e dt ov a r i e d f i e l d ss u c c e s s f u l l ya n db r o a d l y b u ti th a ss o m el i m i t a t i o n si ni n d u s t r i a lp r a c t i c e b e c a u s eo f n ou n i f o r mr e s o l u t i o n ，8 0w ec a ns a ym a ti ti ss t i l lag r e a tc h a l l e n g et o s o l v ep r a c t i c a lp r o b l e m sw i t l lt h ei m a g ep r o c e s s i n gt e c h n o l o g yi nt h ei n d u s t r yf i e l d n o w ，t h ea p p l i c a t i o nr e s e a r c ho fi m a g ep r o c e s s i n gb e c o m e so n eo fi m p o r t a n tf i e l d s i ns c i e n c er e s e a r c ha r e a 1 h ed i s s e r t a t i o ni n t r o d u c e dt h et h e o r yo f i m a g ep r o c e s s i n g t h em a i nw o r ko f i t i sa sf o l l o w s ： f i r s ti td i s c u s s e dh o wt oe o u s t r u c tav e h i c l ep l a t er e c o g n i t i o ns y s t e mw i t ht h e i m a g ep r o c e s s i n gt e c h n o l o g y s e c o n d l y , i ta n a l y z e d t h em e t h o d so fi m a g e p r o c e s s i n g ，c o m p a r e dd e , e p l yw i t ha l g o r i t h m so ft h ep r e t r e a t m e n to fi m a g ea n d l i c e n s ep l a t el o c a t i n gr e l a t e dt ol p r s ；p r e s e n t e dal i c e n s ep l a t el o c a t i n ga l g o r i t h m b a s e do nt h ev e r t i c a lt e x t u r ec h a r a c t e r i s t i c so fc h a r a c t e r s ，w h i c hc a l le x a c t l ya n d q u i c k l yl o c a t et h el i c e n s ep l a t e ；t h i r d l y ，i ts t u d i e dt h es t a n d a r da l g o r i t h m so fi m a g e p r o c e s s i n gs u c ha si m a g eb i n a r y z a t i o n ，e d g ed e t e c t i o n ，i m a g es e g m e n t a t i o n , i m a g e s m o o t h i n g ，a n di m a g ee n h a n c e m e n t b yc o m b i n a t i o no fe d g ed e t e c t i o nm e t h o da n d h o u g hc h a n g e s ，i te f f e c t i v e l yd i s c r i m i n a t e dd i f f e r e n tt y p ev e h i c l e sl i c e n s ep l a t e s ， i n c l i n e da n dc a l c u l a t e ds o m ep a r a m e t e r su s i n gt h ec h a r a c t e r i s t i cp r o j e c t i o nm e t h o d t h e n ，i ti n t r o d u c e dt h ec o n c e p to fc h a r a c t e rn a n - o wr e g i o na n da p p l i e dt h i sc o n c e p t t ot h ec h a r a c t e rr e g i o nc l a s s i f i e dp r o c e s s i n g ，e n h a n c e dt h ed i v i s i o na e c u r a c y ；f i n a l l y , b yu s i n gt h em e t h o do ff e a t u r em a t c h i n ga n da n a l y z i n gs t r u c t u r ef e a t u r eo rs o r t so f s t a t i s t i c sf e a t u r e ，i td e s i g n e ds e r i e sc l a s s i f i c a t i o nt or e c o g n i z et h es e g m e n tc h a r a c t e r s t 1 1 i sd i s s e r t a t i o nc a r r i e do nal o to f e x p e r i m e n t st ov a l i d a t et h ev a l i d i t yo f t h e a b o v ea l g o r i t h mu s i n gm a n yk i n d so f c a rl i c e n s ep i c t u r e s t h er e s u l t so f e x p e r i m e n t s s h o w e dt h a tt h em e t h o d sa r ev a l i d i t y t h e s em e t h o d sc a nn o to n l ye n h a n c e dc a r l i c e n s ep r o c e s s i n ga c c u r a c y ，b u ta l s oc a nr e d u c et h ec a rl i c e n s ep r o c e s st i m ei n s o m ed e g r e e t h e r e f o r e ，t h e s em e t h o d sc a nb ea p p l i e dt ot h el p r se f f e c t i v e l y k e y w o r d s ：l p r s ，i m a g ep r o c e s s i n g ，v e h i c l ep l a t el o c a t i n g ；c h a r a c t e r s e g r n e n t a t i o n ， c h a r a c t e rr e c o g n i t i o n 独创性声明 声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表本人或撰写 过的研究成果，也不包含为获得 金目i 王些盍堂 或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学位论文作者签名2 节妙午 签字日期：加矿声月，。日 学位论文版权使用授权书 本学位论文作者完全了解金罡王些盔堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金 起王些盍堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者躲婶眇首 签字日期：加d 7 年， 月，p 日 学位论文作者毕业后去向： 工作单位：山东信恳职量故车寺l 窆 通讯地址：潍墒市点风点衔弦膨当 导师签名：删 签字日期：坤月厂。日 电话： 邮编： 致谢 在研究生课程学习和撰写学位论文的过程中，本人得到了很多老师、同事 以及朋友的诸多帮助，在此向他们表示诚挚的谢意。 首先要感谢我的导师胡敏老师的悉心指导。从论文选题到收集资料、论文 成稿，都倾注了胡敏老师的心血，由衷感谢胡敏老师在百忙之中所给予的不厌 其烦的学业指导以及从言传身教中学到的为人品质和道德情操，老师广博的学 识、严谨的治学作风、诲人不倦的教育情怀和执着的敬业精神，都将成为我今 后工作和学习上的榜样，并激励我不断进取。 同时，衷心感谢山东科技大学的王立华老师在课题的研究及论文的撰写过 程中所给予的无私帮助以及山东信息职业技术学院王维利老师在实验调试过程 中的大力支持。 再次向所有提供帮助的人表示诚挚的感谢l 作者：邵玉芹 2 0 0 7 年1 0 月1 日 第一章绪论 1 1 论文的背景及意义 随着我国国民经济的迅速发展，人们对生活质量和工作效率的要求越来越 高，汽车的数量也随之迅速增加，公路交通管理的难度日益加重，为了适应这 种社会的需求，车牌自动识别系统也随之变得越来越重要【l 】【z 】。 目前用于车牌识别功能的技术方法很多，但就其识别基础而言，主要有两 种模式：一种是主要基于无接触式智能卡( 也就是无线电频率鉴别( r f i d ) ) 或基 于条码的识别，另一种方法是基于图像的汽车牌照识别口】。第一种方法是将车 辆类型的信息存储在车上单元( 比如智能卡或条码) 中长期存储，需要车辆信 息时识别该单元即可。智能卡处理方法要比实时测量简单易行，识别准确度高， 运行可靠，可以全天候作业，但它整套装置价格昂贵，硬件设备十分复杂，不 适用于异地作业；条码技术虽然具有识别速度快、准确度高、可靠性强以及成 本较低等优点，但是对于扫描器要求很高。此外，二者都需要制定出全国统一 的标准，并且无法核对车、卡( 或条码) 是否相符，也是技术上存在的缺点。 而且，两种方法也都存在易作弊的缺点，比如在高费率车辆上换装低费率的车 上单元等，这些都给车牌识别系统的推广造成了困难。第二种方法即基于图像 的车牌识别技术，与前者相比它有几个优点：首先，这种系统节省了设备及大 量资金，从而提高了经济效益；其次，由于目前图像处理技术的改进和计算机 性能的提高，所以可提高识别速度，较好地解决实时性问题；再次，它是根据 图像进行识别，所以可以通过人的参与解决系统中的识别错误，而其它方法是 难以人机交互的。目前，研究的车牌识别系统大部分是基于第二种方法，并且 随着数字图像处理技术的不断成熟，车牌识别技术( l p r ，l i c e n s ep l a t e r e c o g n i t i o n ) 已经成为智能交通系统的核心技术之一。车牌识别技术是一门综 合技术，涉及范围很广，包括图像处理、模式识别、人工智能等领域。本文主 要从车牌识别的关键技术出发，对其涉及的一些关键图像处理和分析算法进行 了深入研究。 1 2 车牌识别技术在国内外研究现状 车牌识别技术作为交通管理自动化的重要手段，其任务是分析、处理汽车 监控图像，自动识别汽牌照号，并进行相关智能化数据库管理。机动车牌照作 为机动车辆的唯一标识，在车辆标识、车辆管理中发挥着关键性的作用。越来 越多的场合需要对车号进行识别：繁华街道的路口，在无警勤人员指挥、疏导 的情况下，需要监督记录违反交通规则的机动车辆；单位、小区出入通道，居 民聚居区、大型商业区的公用停车场需要识别进出车辆的身份；高速公路收费 站需要确认通过免费车道的合法性、煤矿运销自动过磅系统。此外，公安机关 可以通过设在公路上的车牌自动识别系统实现对可疑车辆的自动识别与跟踪。 因而对l p r 牌照识别技术的研究具有重要的现实意义。 车牌识别技术自1 9 8 8 年以来，人们就对它进行了广泛的研究，目前国内外 己经有众多的算法，一些实用的l p r 技术也开始用于车流监控、出入控制、电 子收费、移动稽查等场合。早在五十年代人们就开始了印刷体字符识别的研究， 在以后的三十年中不断有一些不太成熟的软件出现。随着计算机硬件技术的飞 速提高，到了八十年代后期，字符的快速识别成为可能。九十年代初，大量的 o c r 方面的论文和系统见诸于世，s p i e ，i e e e 在这一方向也曾举行过多次会议， 大大推动了该方向的研究，所有这些研究为车牌的识别提供了理论上的指导。 目前离线的文字字符识别产品已大量问世，有代表性的国外系统和研究小组有： 美国e x p e r v i s i o n 的r t k ( r e c o g n i t i o nt o o lk i t s ) ；加拿大c o n c o r d i a 大学的 c e n p a n n i 实验室；日本东芝的t e x t r e a d e r ；国内的有武汉汉王公司和清华紫光 的o c r 产品等。但是印刷体字符识别并不能直接应用于车牌字符识别。因为印 刷体字符识别是在室内光线充足的环境下进行；而车牌字符识别则在室外复杂 的环境中进行，并且有很大的计算量。导致计算量很大因素有很多，比如在复 杂的背景和车型、变化的天气和光线、高速的车辆、大的车流量等条件下获取 的图像帧多，图像模糊，图像噪声大，加上进行汉字、字母和数字混合的中国 车牌的识别。因此车牌识别只能部分地借鉴印刷体字符识别算法，而不能完全 照搬印刷体字符识别的算法。实时性和准确性是车牌识别两大要求。实际上， 提高识别精度是以牺牲处理速度为代价的，特别是采用较高解析度的摄像机来 提高车牌识别精度时，其计算量呈非线性增长。从某种程度上来说，速度问题 是车牌自动识别的瓶颈。提高车牌自动识别的处理速度通常从以下两方面考虑： 采用高性能的计算机处理和改进算法，提高图像处理和识别的速度。 目前国外车牌识别系统已经有很多成熟的产品。以色列h i - t e c h 公司的 s e e c a rs y s t e m 系列，新加坡o p t a s i a 公司的i m p s 系列都是比较成熟的产品。 其中i m p s 产品主要适合新加坡的车牌，近年来也有一些新产品来适应不同国家 的车牌，可以识别汉字以及特殊的草体文字等。h i t e c h 公司已投入商用的产品 s e e c a r ，可以以每秒2 - 3 辆的速度进行时速达8 0 公里的汽车牌照识别“。另 外，日本、加拿大、德国、意大利、英国、韩国等国家都有适合本国车牌的识 别系统。虽然，国外的车牌识别系统的研究工作己经有很大的进展，但对我国 却不太适合，只能进行某些借鉴。这是主要因为与其他国家统一的车牌规范不 同，我国汽车牌照识别存在以下的特殊性： 1 、我国标准汽车牌照是由汉字、英文字母和阿拉伯数字组成，汉字的识别 与字母和数字的识别有很大的不同，从而增加了识别的难度。 2 2 、国外许多国家汽车牌照的底色和字符颜色通常只有对比度较强的两种颜 色，而我国汽车牌照仅底色就有蓝、黄、白、黑多种颜色，字符颜色也有黑、 红、白等若干种颜色。 3 、其他国家的汽车牌照格式( 如汽车牌照的尺寸大小，牌照上字符的排列 等) 通常只有一种，而我国则根据不同车辆、车型、用途，规定了多种牌照格式 ( 例如分为军车、警车、普通车等) 。 4 、我国汽车牌照的规范悬挂位置不唯一。 5 、车牌受到严重污染的车辆，在我国仍可上路行驶。这种情况在国外发达 国家是不多见的。 国内在9 0 年代也开始了车牌识别的研究。目前比较成熟的产品有中科院自 动化研究所汉王科技的“汉王眼”，深圳吉通电子有限公司的“车牌通”、上 海高德威智能交通系统有限公司的汽车牌照识别器等等。另外，西安交通大学 的图像处理和识别研究室、上海交通大学的计算机科学和工程系、清华大学人 工智能国家重点实验室、浙江大学的自动化系等也都在进行类似的研究。如长 沙交通学院的魏伍等旧提出了一种识别时间小于1 秒的基于模板匹配的车牌识 别系统；中国科学院自动化研究所文字识别工程中心嘲介绍了一种识别时间大 约为0 6 秒的实用车牌识别系统。然而，无论是l p r 算法还是l p r 产品虽然具 有一定的使用性和参考价值，但几乎都存在一定的局限性，比如：背景要简单， 干扰要小等等。因此都需要适应新的要求而不断完善，以适应全天候复杂背景 环境的要求。车牌识别除了上述问题以外还有以下难点： 1 、背景复杂，车体前有车灯，散热片，保险杆，还有广告文字和自制或警 告牌等。 2 、光照复杂，有白天、黑夜，晴天、阴天，逆光等情况下的光照；有雪雨 雾天气变化下的关照；还有环境光照不均匀情况：以及由于环境的影响，造成 图像亮度和对比度的下降。 3 、当车辆处于运动状态，由于摄像机灵敏度的原因，会造成图像的模糊。 还有一些车牌是部分被遮挡或车牌变形。 4 、要有很高的实时性。这要求算法要简洁，高效率。 总之，由于车牌自动识别技术具有巨大的商业价值，国外技术成熟的发达 国家都不公开该技术。加上汉字的识别难度较大，以及众多复杂的自然和人为 因素的干扰，使得国内的车牌自动识别系统成熟产品不多，目前国内的车牌识 别技术研究还主要是集中在对各种车牌定位、字符分割和识别等方面的算法进 行研究上。l p r 系统产品中还存在些不足，l p r 技术的研究还有许多工作要做。 1 3 图像处理技术简述 图像就是对客观存在的物体的一种相似性的生动模仿或描述。照片、各种 类型的绘画、电视画面等是图像的最直观的例子。然而，除了这些能被人眼观 察到的各种平面图像以外，它还包括视觉无法观察的其它物理图像和空间物体 图像。例如，温度、压力、高度等物理量的平面或空间分布，就是无法直接用 人眼进行观察的图像。此外，我们所讨论的图像还包括用数学函数和离散数据 所描述的抽象的连续或离散图像。 所谓图像处理，就是指用计算机及其他有关数字技术，对图像施加某种运 算和处理，从而达到某种预想的目的。例如，使褪色模糊了的照片重新变清晰、 从医学显微图片中提取有意义的细胞特征；等等。 图像处理的研究内容概括起来可包括如下六个方面： 图像的数字化：即研究如何把一幅连续的光学图像表示成一组数字，既不 失真又便于计算机分析处理。 图像增强：增强图像中的有用信息，削弱干扰和噪声，便于观察识别和进 一步分析与处理。增强后的图像未必和原图一致。 图像恢复：使褪化、模糊了的图像复原。复原图像要尽可能和原图像保持 一致。 图像编码：在满足一定的保真度要求下，简化图像的表示，从而大大压缩 表示图像的数据，以便于存储和传输。 图像重建：由图像投影数据重建该图像。 图像分析：对图像中的不同对象进行分割、分类、识别和描述、解释。 应该注意，对于前五个方面，输入和输出都是图像。而对于最后一方面， 输入是一幅图像，输出则是图像的描述或解释( 又称为图像理解) ，或者是对图像 的分类或结构分析又称为图像识别) 。 一个典型的图像分析和理解系统见图1 1 。在该系统中，图像的增强和恢复 图像处理 图像识别结构句法分析 图1 1 图像分析( 理解) 系统 4 可以看作前处理( 或预处理) ，其输入、输出均为图像，它是传统的图像处理内容。 分割、特征抽取、分类及结构分析可称为图像识别，其输入是图像，输出是分 类及结构分析。 而图像理解或分析则是对图像的描述和解释。三个术语的含义如图1 2 中所 示。 析 图1 2 图像处理、识别与理解的含义 1 4 车牌识别系统 1 4 1 车牌自动识别的系统组成 车牌自动识别系统用在不同的场合，相应的系统设计方案也有所不同。但通 常系统主要由三个部分组成： 1 、车辆感应系统 车辆感应系统使用红外感应线圈传感器或者内在的软件触发方式( 昼夜不 停) ，当车辆抵达收费口时，收费口的感应设备将自动发出相应的触发信号。 2 、图像捕获系统 图像捕获系统包括c c d 摄像机、照明设备( 在自然光较暗影响识别效果时， 由辅助照明装置提供摄像光源) 、图像采集卡。感应设备发出的信号触发图像采 集卡，采集卡将模拟信号转化为数字信号后送到计算机中。 3 、识别系统 系统利用多种模式识别的算法进行车辆牌照的自动识别，软件运行在p c 的 w i n 2 0 0 0 或w i n x p 操作平台上。 1 4 2 车牌识别系统的算法模块 车牌自动识别系统的算法主要包括三个模块：车牌定位模块、字符分割模块 和字符识别模块。模块之间是串行处理的，系统结构如图1 3 所示。 5 图1 3 车牌自动识别系统结构原理图 1 、车牌定位 车牌定位是根据牌照图像的特征并结合车牌尺寸的先验知识在汽车图像中 找到牌照所在的位置，然后分割出车牌的边框，得到精确的车牌图像。 2 、字符分割 字符分割是根据车牌字符大小、字体以及排列间隔的规律，在精确的车牌图 像中分离出单个字符的过程。 3 、字符识别 在我国，车牌字符包括汉字、字母和数字。标准车牌上的字符排列顺序为： 第一位是汉字、第二位是字母、第三位是字母或数字，第四位至第七位是数字。 利用这样的先验知识，能够有效提高识别算法的可靠性，如图1 4 所示。 图1 4 车牌字符识别过程图 6 1 4 3 系统的设计与应用 车牌识别系统将高速视频分析与定位感应技术相结合，以视频监控和识别技 术作支持，通过系统的智能自动操作或辅以值班人员的简单干预来实现对道路 的整个情况进行综合管理。车牌自动识别系统的设计可分为以下三个方面： l 、图像预处理：摄像机拍摄的图像通常是以b m p 格式存入计算机的，为了便 于牌照的分割和字符的识别，原始图像应具有适当的亮度和对比度，但由于摄 像部分位于户外，车辆牌照不整洁，光照条件不好，摄像头与牌照的距离或角 度不合适以及车速较快等因素的影响，图像可能模糊、歪斜或缺损，因此需要 对原始图像进行预处理。 2 、车牌识别：计算机自动处理图像信息，给出识别结果，并将识别结果存 入数据库。 3 、数据库管理：数据库管理包括关键字查询、车辆图像浏览和系统管理。 对于车牌自动识别系统主要用于车辆牌照的鉴别，因此要求系统操作简单易用， 为避免因误操作导致的堵车或误识，系统分为手动、自动两种方式，每个管理 人员都有各自的数据库管理权限。综合考虑现场条件，结合光线、车牌清洁度 等各种因素调整算法，主要在改进适合实际车牌图像的预处理算法，使其对现 场的各种变化具有一定的自适应性；提高车牌定位、字符分割中阈值选取的自 适应性；采集大量车牌样本，改进字符识别的算法，提高字符尤其是汉字的识 别率，降低拒识别率和误识别率。 1 5 本文的主要工作 本文以车牌照为研究对象，运用图像处理和模式识别技术来实现车牌照的 检测与识别，其中对车牌照的定位与分割和车牌照字符的分割与识别提取进行 了深入研究；主要研究了如何通过图像的预处理、车牌的定位、车牌字符切分 和字符识别等一系列过程完成汽车牌照的识别。本文主要工作如下： 1 、通过阅读大量的文献，对车牌自动识别技术的应用背景和研究意义、车 牌识别系统的技术难点以及车牌自动识别技术的发展和研究现状进行了系统的 阐述。 2 、对车牌识别系统设计中的系统结构划分、功能划分、性能指标以及环境 配置进行了介绍。 3 、研究了现有的各种牌照预处理算法和定位算法，介绍了有关图像预处理 的一些基本知识，并在此基础上提出了一种根据字符竖向纹理特征的牌照定位 算法，实现了牌照的准确、快速定位。 4 、研究了车牌图像的增强、几何校正、二值化以及标准化的算法，对带有 倾斜的牌照采用边缘检测和h o u g h 变换相结合的方法有效的区分了不同种类的 7 车辆牌照，并利用投影法结合牌照先验知识给各个字符区域进行了标号，引入 字符窄区域概念，将字符区域进行分类处理，提高了分割的准确性。 5 、利用特征匹配法，通过分析字符的结构特征或各种统计特征，来设计各 种分类器，对切割出的车牌字符进行识别。 最后，对本文的工作进行了总结，并对后续的研究工作进行了一些探讨。 1 6 论文的组织安排 论文共分为六章，内容安排如下： 第一章绪论 介绍了本论文的背景与意义，汽车牌照识别技术的国内外的研究现状，简 单介绍了车牌自动识别系统和图像处理技术。 第二章车牌识别相关图像处理理论和技术 介绍了对采集的汽车图像进行处理的相关理论和方法，包括图像二值化、 图像的边缘检测、图像分割、图像平滑和图像增强技术等。 第三章车牌区域定位 研究了传统的车牌定位方法，介绍了边缘检测和数学形态学的理论基础， 重点论述了本文所采用的算法。 第四章车牌字符分割 在介绍汽车牌照字符切分方法的基础上，提出了采用边缘检测和h o u g h 变 换相结合来区分不同种类车辆牌照的方法；同时引入字符窄区域概念，将字符区 域进行分类处理，提高了分割的准确性。 第五章车牌字符识别 论述了字符识别的原理以及现状，给出了特征匹配法，通过分析字符的结 构特征或各种统计特征，来设计各种分类器，把字符识别出来。 第六章结论与展望 对全文的工作重点进行了总结，对于本论文的不足，提出了改进，并对将 来可以继续发展的方向进行了展望。 8 第二章车牌识别相关的图像处理理论和技术 车牌识别技术可以应用的范围很多，如公路收费站、停车场、十字路口等 交通关卡处，使收费的管理更严密、更科学，能有效的监控车辆的收费、闯关、 欠费以及各种舞弊现象的发生。为了达到能用计算机处理图像识别的目的，首 先要将图像输入到计算机中，并要进行图像预处理操作。图像输入是将图像在 空间和时间上进行数字化，并以紧凑的形式表达出来，即通过图像编码和数据 压缩的形式表示图像。图像预处理是为了消除图像噪声干扰和强化图像特征进 行的图像操作。本章主要介绍基于车牌识别技术的图像预处理和图像解析的 一些理论。主要包括图像的二值化、图像的边缘检测、图像分割、图像平滑、 图像增强等。 2 1 图像二值化 在车牌识别技术的研究过程中，图像的二值化处理是非常关键的一步。二 值化的效果直接影响到后面的车牌定位以及字符切分和识别。因为字符的切分 和识别都是基于车牌区域的二值化结果进行的。二值化算法又称为阈值算法， 其目的就是找出一个合适的阈值，将待研究的车牌区域划分为前景和背景两部 分。二值化后的车牌要能再现原字符图像，基本不出现笔画断裂和粘连现象， 尽量不丢失原字符的特征。另外二值化算法还可以用在车牌定位过程中精确定 位车牌的上下左右边界。为此，必须对二值化算法作深入细致的研究。 2 1 1 图像二值化定义 当图像具有二值倾向时，即图像中基本上只有背景和目标图像两种颜色时， 可以确定一个阈值点c 为两颜色的分界点，对图像进行二值化处理。图像二值化 可以消除模糊，减少复杂度，使处理的图像更加突出。它对图像识别处理来说 很重要。图像二值化为减小色彩级别提供了方法，图像二值化以后，图像的灰 度级别为二个，其层次感和真实感会被破坏，根据图像识别的实际需要可以进 行图像的多值化处理。 设图像二值化后灰度值为i 。，i 。象素( x ，y ) ，原灰度值为f ( x ，y ) ，则变换 后的灰度值为： 贴= 协嬲譬 p ， 目前，常用的二值化算法主要有基于灰度的二值化和基于彩色的二值化， 其中基于灰度的二值化又包括多种算法，主要有全局动态二值化和局部自适应 二值化等；基于彩色的二值化主要有基于h s v 空间的彩色二值化。由于本文在研 9 究图像识别算法的过程中首先对图像进行了灰度化处理，所以下面介绍两种基 于灰度的二值化算法。 2 1 2 全局动态二值化 全局动态二值化从整个灰度图像的象素分布出发寻求一个最佳的门限，其 中的经典算法是o t s u 算法唧，它是在判别最小二乘法的基础上推导出来的。基 本思想是：取一个阈值t ，将图像象素按灰度大小分为大于等于t 和小于t 两类， 然后求出平均方差以( 类间方差) 和两个类各自的均方差仃：( 类内方差) ，找出 使两个方差比盯；，仃；最大的阈值，该阈值即为二值化图像的最佳阈值。这种方 法不论图像的直方图有无明显的双峰，都能得到较为满意的效果。因此这种方 法是阈值自动选择的较优算法【佃】。具体算法如下： 设给定图像具有1 ，2 ，3 ，l ，共l 级灰度，阈值设为k ，把阈值大于k 和小 于k 的象素分为两类。类1 中的象素总数为w 1 ( k ) ，平均灰度为m 1 k ) ，方差为 砰( 七) ；类2 中的象素总数为w z ( k ，平均灰度为m 2 ( k ) ，方差为刃( j ) ；所有图 像象素的平均值为m r 。类间方差盯；和类内方差盯j 分别由下两式决定： 以= 1 一m ，) 。+ c 膨2 一m ，) 2 = 似i m ：r ( 2 - 2 ) 盯：= 彤订+ 霹 ( 2 - 3 ) 算法描述如下： ( 1 ) 求出图像中的最大灰度m a x _ g r a y ； ( 2 ) 令k = 0 ； ( 3 ) 求出大于和小于k 的这两类象素总数和象素灰度平均值； ( 4 ) 计算类问方差以和类内方差一； ( 5 jk = k + l ，循环3 5 步，直到k m a xg r a y ； ( 6 ) 找到最大的值，得到相应的阈值k 。 o t s u 算法基于图像象素的灰度值分类，按照使类间方差和类内方差比值最 大的原则获得门限值，使目标占背景的类间方差最大，即找到使两个方差比 ，最大的阈值t ，这种算法有以下优点： ，o i 1 ) 算法实现简单； ( 2 ) 基于图像的整体特性而非局部特性； ( 3 ) 可推广到多阈值的分割方法； ( 4 ) 该算法适应性强。 2 1 3 局部自适应二值化 局部自适应二值化是针对灰度图像中的每一个象素逐点进行阈值计算的， 以当前点为中心选取一个适当的邻域模板，从这个模板中的象素灰度值中获得 判据，来决定对当前点是置o 还是置1 。 文献 q b l e v b b 算法是局部自适应算法的经典算法： ( 1 ) 对每一点计算闽值： 1 互( x ，力= 寺m a x f ( x + k ，y + 1 ) + m i n 厂( 工+ 七，) ，+ 1 ) ( 2 - 4 ) - w s k r w w h 一口n p- w s t s w ( 2 ) 计算另一阈值： t a x ，j ，) = m a x f ( x + k ，y + 1 ) 一m i n f ( x + k ，y + d ( 2 - 5 ) - 一w s k h s w 二密 ( 3 ) 对每点的阈值t 2 进行一次滤波处理，得到新的阈值t 4 ： t a x ，力= a v g 五o + 七，y + 1 ) ( 2 - 6 ) - w s r l w - w a t s w ( 4 ) 逐点对图像进行二值化： 若f ( x ，力 t 4 ( x , y ) 且正( 工，) ，) ( 正- m i n ) ，则6 似) ，) = 1 ； 否则 b ( x ，y ) = 0 。 2 5 5 其中，m i n 为原图最小灰度，t 1 满足h ( x ) o 1 ，用于消除个别灰 互 度特异点；h ( x ) 为灰度直方图；f ( x ，y ) 为图像在像素点瓴力处的灰度； b ( x ，y ) 为象素点( j ，y ) 的二值化结果。 2 2 图像的边缘检测 图像最基本的特征是边缘，因此图像处理中研究最多的是边缘检测。图像 的边缘点是指图像信号强度发生急剧变化的位置，它包含了图像的绝大部分信 息。边缘检测对于图像处理和计算机视觉来说是一个重要课题。一般情况下， 图像在不同的尺度下表现为不同的边缘特性。 m a r r 的视觉理论【1 2 】把边缘图像的获取看作视觉的早期阶段，亦即整个视觉 过程的起点：而通过对人类视觉系统的研究表明图像中的边缘特别重要，往往 仅凭一条粗略的边缘轮廓线就能识别出一个物体，在车牌定位过程中，可以根 据车牌本身的几何特征一一车牌是个矩形这一点对图像中的边缘轮廓进行检 测，只要检测到矩形轮廓就可以把它当作是车牌的候选区域，因此图像边缘和 轮廓特征的检测与提取方法在本文的研究过程中也显的尤为重要，有必要对其 进行深入研究。在近几十年来，对边缘检测己产生不少经典算法，如梯度算子、 s o b e l 算子、拉普拉斯算子、k r i s c h 算子等，还有基于形态学的边缘检测。尤其 是近年来迅速发展起来的小波理论为图像处理带来了新的理论和方法。 2 2 1 微分边缘算子 图像边缘检测与提取的研究一直贯穿于图像处理与分析的始终，传统的图 像边缘检测方法大多可归结为图像高频分量的增强过程，微分运算自然就成了 边缘检测与提取的主要手段。人们最早提出了一阶微分边缘算子，如r o b e r t 算 子、s o b e r 算子、p r e r v i t t 算子和k n s c h 算子等。下面介绍其中边缘检测中最常见 的微分边缘算子s o b e l 算子。 边缘检测中采用3 x 3 邻域可以避免象素之间内插点上计算梯度。图2 1 为点 ( i ，j ) 周围八邻域点的排列。 q 吒 m( j 力 屯 口 吼 a 4 图2 13 x 3 邻域模板样式 s o b e 算子是一种梯度算子，其梯度幅值表示为 m = 拉墨 其中偏导数用下式计算 s j = ( 口2 + c 口3 + 口4 ) 一( d o + c 口7 + a 6 ) s v = ( a 2 + c 口3 + 4 4 ) 一( a 0 + c 口7 + 口6 ) 其中常系数c = 2 。 ( 2 - 7 ) ( 2 8 ) ( 2 - 9 ) 和其它梯度算子一样，s x 和s y 可以分别用卷积模板计算，如图2 2 所示为 - 101 202 - 101 121 000 1- 2- 1 a ) s x 模板b ) s ，模板 图2 2s o b e r 算子的卷积模板 2 2 2 基于小波分析的边缘检测方法 小波分析是当前数学中迅速发展的新领域，它同时具有理论深刻和应用十 分广泛的重要意义。小波分析在数学领域的许多的学科、信号处理、计算机识 别、图像处理、边缘检测方面已经取得了具有科学意义和应用价值的重要成果。 1 2 小波理论为图像边缘检测提供了一个多尺度逼近。用不同尺度函数平滑信 号，且从它们的一阶导数或二阶导数中检测剧烈的变化点。一个低通滤波器的 脉冲响应应该为平滑函数【”j 。 多尺度边缘检测方法是先磨光原信号，再由磨光后信号的一阶或者二阶导 数检测出原信号的剧变点【1 z 】【1 4 1 ( 也就是边缘了) 。 设原信号为，( 工) ，口( 曲为磨光函数，满足 l o ( x ) d x = l l i m o ( j ) = 0 这里的0 ( x ) 可以取g a u s s i 甬数或者b 样条函数【”1 一 用卷积：， 烈力= e l ( t ) o ( x - t ) d t 现在分别对其求一阶导数和二阶导数，有 丢( 曲= p 叫毋 等，烈力= p ( r ) 矿 一力班 定义： 妒( 力= 芸一( 力 d x = 熹烈 由式2 1 2 和式2 - 1 3 得 亡矿( 工m = o 芝( x ) d x = 0 所以( 曲、v n ( x 1 是小波。 ( 2 - 1 0 ) ( 2 1 1 ) 为了磨光原始信号，运 ( 2 1 2 ) ( 2 1 3 ) ( 2 1 4 ) ( 2 1 5 ) ( 2 1 6 ) ( 2 - 1 7 ) 记： 只( 力= 三烈形) ( 2 - 1 8 ) 则 ( 曲= s 拿d 一晓( j ) = y t ( 夕)(2-19)xs 7o 旷( 工) = s 2 导“x ) = 旷( 形) ( 2 - 2 0 ) 那么i ( x ) 关于小波1 l r ( x ) 和v ( x ) 在尺度s 和位置x 上的规范小波变换定义为： 1 3 形，( x ) = ，+ 虬u ) = ，t 。警) = s 杀( ，* 只) ( x )“ 哪加帆。珈f 等一2 熹蹦x ) ( 2 - 2 1 ) ( 2 2 2 ) 这样只要求出w s i x ) 的局部极值或者w s ”l i x ) 的零交叉点就可以求出边 缘点。 算法流程如图2 3 所示( 其中t ，r 为两个不同的阈值) 。 图2 3 小波边缘检测流程图 2 2 3 基于形态学的边缘检测 随着数学形态学理论的不断完善与发展，数学形态学在图像边缘检测中得 到了广泛的研究与应用。与上述图像边缘检测相比，形态学在图像边缘检测中 有独特的优势，它在边缘检测这一问题上取得了较好的效果。形态学方法进行 图像边缘检测算法简单同时能较好地保持图像地细节特征，较好地解决边缘检 测精度与抗噪声性能的协调问题。 在图像边缘检测处理中有多种梯度，其边缘检测的基本原理都基于下面的 考虑，如果在图像中某一点处的梯度值大，则表示在该点处图像的明暗变化迅 速，从而有可能有边缘通过。通常这些梯度以数字差分的形式给出。由此在形 态学图像处理中也提出了几种形态梯度。根据形态学膨胀、腐蚀、开、闭运算 的定义及扩张性，提出膨胀型、腐蚀型、膨胀腐蚀型、开运算型、闭运算型和 开闭运算型。这些形态边缘检测算子是一种非线性的差分算子，实质上也是传 统线性差分算子的定意义上的推广。这些梯度算子在实际应用中取得了一定 的效果，膨胀型检测图像中的外边缘；腐蚀型检测图像中的内边缘：膨胀腐蚀 型检测图像中骑跨在实际欧氏边界上的边缘【1 6 j 。这三种梯度算子对噪声影响较 1 4 敏感，抗噪性能较差。开运算型检测图像中的波峰；闭运算检测图像中的波谷； 开闭运算检测图像中的波峰和波谷。这三种形态梯度抗噪性能比前三种要好， 但存在偏移现象”“。 针对以上不同的特点，可以构造不同的形态边缘检测运算形式，同时考虑 到形态运算的全方位特性及多结构元多尺度分析的特性，从而构造出优良的形 态学边缘检测算法，如广义形态边缘检测算法、多尺度自适应加权形态边缘检 测算法【1 8 】【1 9 】交替滤波的全方位形态边缘检测算法等【2 0 1 。 2 2 4 边缘检测算法比较 边缘检测的基本问题是检测精度与抗噪性能间的矛盾，由于图像边缘和噪 声均为频率中的高频分量，简单的微分运算会增加图像中的噪声，因此在微分 运算之前应采取适当的平滑滤波以减少高频分量中的噪声。因此人们多采用改 进后的微分算子检测图像中的边缘。 小波变换应用在图像处理的边缘检测中的研究表明在高分辨率下，细节较 多，边缘较粗；在较低分辨率下，细节被平滑捧，能得到效果较好的图像边缘， 可以较清晰地分辨出图像轮廓特征。特别是小波变换的多分辨率分析，能为检 测出的边缘提供由粗到细的不同尺度的结果，可以方便地根据需要选取适当的 精度。小波具有良好的时频局部性，很利于检测图像边缘，但是如果分辨率太 低，则有可能连边缘细节信息也被平滑掉，反而得不到边缘。因此为了更好地 对边缘进行提取，必须选择合适的小波基。 由于形态学在图像处理中所固有的优势，它在边缘检测这一问题上取得了 较好的效果。用形态学方法进行图像边