（通信与信息系统专业论文）汽车牌照识别技术的研究.pdf

摘要 汽车牌照识别系统( u c e n s ep l a t er e c o 聃i t i o n ，l p r ) 在交通管理、治安检查 中有着广阔的应用前景。本文论述了l p r 系统的设计以及其核心部分车牌字符识 别算法。l p r 包括字符切分和字符识别两部分，本系统用字符串车牌相似度的方 法完成字符切分；用小波分解与支持向量机来识别车牌字符。在车牌识别算法中 的字符识别环节，本文提出了决策树的支持向量机字符分类识别算法；经过大量 实验可知，本文论述的车牌识别算法有不错的效果。 关键词：车牌识别，支持向量机，字符识别 a b s t r a c t c a rl i c e n s ep l a t er e c 0 朗i t i o n ( l p r ) s y s t e mh a sab m a da p p l i c a t i o nt ot h e t r a n s p o n a t i o nm 柚a g e m e n ta n dt h ep u b l i cs e c i l r i t ys u p e n ，i s i o n i nt h i sp a p e r ，ac o m p l e t e l p rs y s t e mi sa d d f c s s e di l l d u d i n gt h ea l g o r i t h mo nt h el i c c n s e p l a t ec h a r a c t e r r e g n i t i o n t h ep l a t er e c o g n i t i o a l g o r i t l l i i li n d u d e sc h a m d e rs e g m e n t a t i o na n d c h a r a c t e rr e c o g n i t i o n t h i ss y s t e mc o m p l c t e dc h a r a c t e rs e g m e n t a t i o np a nu s i n gt h e s 蛳l a r i t yb e t w e e n ac h a r a c t e r s t r i n g 髓dl i c c n s ep l a t c a 1 9 0 r i t l l l n ， a i l dm a d e c o r r e s p o n d i l i gi m p m v e m e n t ，a n dc o m p l e t e d c h a m c t e rt e c o g n i t i o nw i t hw a v e l e t t r a n s f o m a t i o na n ds u p p o r tv e c t o rm a c h i e e s p e e i a l i yi nt h ec h a r a c t e rr e c o g n i t i o no f l i c e n s ep l a t ea 1 9 0 r i t i l m ，t h f sp a p e ri n t m d u c e dd e c i s i o n t r e eb a s e ds v mm e t h o da i m i n g a t1 i c e n s ep l a t ec h a r a c t e r st oi m p m v et h er e c o 伊i t i o na c c u r a c ya n ds h o r t e nt r a i n i n gt i m e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et l l a tu s i n g t h i sm e t h o dt or e c o g n i s et h e1 i c e n s ep l a t e c h 耵a c t e r sc a ng e tah i 曲r c c o g i l i t i o na c r a c ya n ds p c e d k e y w o r d s ： l i c e n s ep l a t er e c o g i l i t i o n ，s u p p o r tv e c t o rm a c h i n e ，c h a r a c t e rr e c o g n i t i o n 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外， 论文中不包含其它人已经发表或撰写过的研究成果：也不包含为获得西安电 子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的 同志所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：2 茎垂盎 、 日期：2 垡：星= 圭芝 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本 人保证毕业离校后，发表论文或使用论文工作成果时署名单位1 j 然为西安电 子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校 可以公布论文的全部或部分内容，可以允许采用影印、缩印、或其它复制手 段保存论文。( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在年解密后适用本授权书。 本人签名：主叁生 日期： 2 z f 一、_ 2 一j c 导师签名：声筠9 艘日期：釜堑坐一一 第一章绪论 第一章绪论 随羞现代数字图象处理学的发展以及在对计算机视觉深入的研究中，人们越 来越希望能够用计算机代替人进行智能控制，智能操作，进而实现系统自动化， 减少人工参与。图象处理学及计算机视觉的一个研究目的是使计算机能够通过平 面图象处理识别出其中感兴趣的景物信息，如物体的形状，位置信息，并根据这 些信息，做出判断以及引发相应的操作，达到人工智能控制的目的。在某些场合 里，这种应用可以减小投资，方便推广应用，如模拟射击训练系统；有些场合可 以提供有用信息，如多媒体检索、指纹识别；有些场合可以提高工作效率，如流 水线上产品质量检测；还有些场合可以完成枯燥而持续的工作，如本文介绍的车 牌识别系统。这些应用都使得系统向智能化方向发展，它们同时也促进了图象处 理学科向更深入的图象理解方向发展。 1 1 智能交通系统的应用背景 随着高速公路的发展和汽车的普及，交通运输问题日益严重，道路上车辆拥 挤，交通事故频发，交通环境恶化，能源紧张，环境污染不断加重。在这种背景 下，智能交通系统应运而生。把车辆和道路综合起来考虑，运用各种高新技术， 系统地解决道路交通问题，由此产生了新的研究和应用领域一一智能交通系统 ( i n t e l l i g e n tt r a 璐州a t i 吼s y s t e m ) 。智能交通系统( i t s ) 产生于2 0 世纪6 0 年代 末，初始阶段的研究是在各国政府的大力支持下开展的，大量研究机构和高校合 作研究了多个原型系统和大量的解决方案。浚阶段的主要成就是深入地分析了1 t s 问题，进行了大量的可行性研究。进入2 0 世纪9 0 年代以后，美国、日本、欧洲、 韩国、新加坡等国家对i t s 的研究给予了高度的重视，投入了大量的人力和物力。 目前，r r s 正处于第二阶段，其特点是方法逐渐成熟和新技术日益可行。 i t s 是2 1 世纪世界道路交通的发展趋势，它是集建筑、电子、通信、计算机、 人工智能、机器视觉、运筹管理学等多学科和技术的大型综合化系统工程。智能 交通系统的发展对社会生活、国民经济、城市建设将产生积极而深远的影响，因 而世界先进技术国家纷纷重视研究和开发这种智能化系统。 随着我国城市化发展进程的加快和机动车保有量的增加，交通需求与供给之 间的矛盾变的越来越突出。虽然不断扩建的道路设施能够满足短期交通的需求， 但在资源、环境矛盾日益突出的今天，道路设施的增长势必受到多方面的约束， 很难有效、根本地解决不断出现的交通问题。在这种背景下中国智能交通系统应 运而生。 汽车牌照识别技术的研究 我国从9 0 年代初引入n s 的概念至今，通过中国交通科技界和工程界的多年 努力，在中国高等级公路建设的带动下，i t s 的开发与应用方面取得了相当的进步。 国家层面，智能交通系统发展规划的编制确定了我国兀 s 发展的总体战略。 为了进一步推动中国r r s 核心技术的研究和产业化进程，“十五”期间，国家科技 部结合中国城市的特点，指定十个城市为玎s 示范城，着手在r r s 的褶关领域开 始研究与开发，力争从发展模式、运作机制、核心产品等方面有所突破，并能在 全国推广实行。 地方层面，全国各大中城市在接受了r r s 概念以后，纷纷把发展n 1 s 作为解 决或缓解城市拥堵，建设可持续发展的交通系统的途径。如北京交管局早在2 0 0 1 年就提出投资5 4 亿元在2 0 0 4 年使北京市智能交通达到国际先进水平的目标，广 州也投巨资建设城市综合交通管理系统。上海各层各级在r r s 领域也开展了大量 的工作，如上海市政局建设的内环智能交通诱导系统、黄浦区的智能停车诱导系 统、外环线的交通监控系统等等。 1 2 车牌识别系统的发展与现状 车辆自动识别( a u t o m a t i cv e h i c l ei d e n t i f i c a t i o n ，a v i ) 技术是指通过识别车辆 所具有的车牌、条形码或i c 卡( 带射频) 等特征来自动识别车辆的技术，它在现 代交通监控及管理中发挥着越来越大的作用。车辆自动识别技术在智能交通系统 中占有重要的地位。而且车辆自动识别技术可应用于车辆自动收费，无人停车管 理，发现可疑车辆报警等方面，这无疑节省了人力、资金，同时提高了交通管理 的效率。 车辆自动识别主要有三种主要技术：i r 卡谈别按术条形码识别技术、计算 机视觉的车牌识别技术。基于计算机视觉的车牌识别技术相对于其他两种a v i 技术条形码识别和1 c 卡( 带射频) 识别，有三大优点：首先，在目前情况下， 车牌识别技术并不需要在汽车上安装专门的条形码或射频识别标志；其次，车牌 识别技术是基于视频技术的识别系统，可进行图象回放、检索；最后车牌识别技 术是基于计算机视觉的，很方便维护和升级。显然，车牌识别技术具有广阔的应 用前景。 汽车牌照是全世界唯一对车辆身份识别的标记，尽管牌照的字符、颜色、格 式内容和制作材料会多种多样，但汽车牌照仍是全球范围内最为精确和特定的识 别标记。根据国际交通技术有关统计，全世界范围内除中国以外，已经有7 8 家公 司在生产车牌识别产品。 车牌识别技术( u c e n s ep l a t er e c o 印i t i o n ，l p r ) 是车辆自动识别技术的重要 组成部分，它主要是利用不同车辆具有不同牌照的思想来识别和统计车辆。它是 第一章绪论 以图象处理、模式识别等技术为基础的智能识别技术，它利用每个汽车都有唯 一的车牌号码，通过摄像机所拍摄的车辆图象( 包含着车牌图象) 进行车牌号码 的识别。在不影响汽车状态的情况下，计算机自动完成车牌的识别，从而可降低 交通管理工作复杂度。车牌识别系统应用的领域为： 1 、高速公路收费管理系统在收费入、出口分别完成车牌号码识别和车牌匹配 工作，当车辆经过出口时，系统识别车牌并调出车辆的入口资料，自动计算出应 缴纳的金额，起到了防止内部人员作弊的作用。此项功能针对纳入“黑名单”的 车辆，如：冲关后或肇事后逃逸的车辆，被公安部门通缉或挂失的车辆、欠交费 的车辆等。只要将其车牌资料输入系统中，系统就会处于自动检测状态，2 4 小时 不停地对所有经过车辆自动进行识别，比较，处理，一旦发现上述车辆经过，立 刻给出控制信号驱动报警装黉和拦截装置，进入报警拦截状态，也可向1 1 0 控制 中心传送报警信号，达到车辆自动稽查的目的。通常用于交通监控卡口，路桥收 费卡口、停车场入口等。除了作为社会治安的一个环节为社会服务外，还可直接 为企业服务，产生经济效益。其效益表现为处以罚款或补交费用。 车辆的自动放行，如特种车辆( 军车、警车) ，预交费车辆( 如已办理月、年缴 费卡的车辆1 以及其他授权免费通行的车辆。系统处于自动检测状态的过程与上述 情况相同。所不同的是，一旦发现该类车辆经过，给出的控制信号不是驱动拦截 装置，而是驱动放行装置，此时系统会自动开启道闸，达到车辆不停车过卡和减 少工作人员劳动强度、严化内部管理的目的。通常用于路桥收费卡口专用车道， 停车场的收费口以及大型单位出入口。其作用是可以解决车流高峰期的堵塞问题 和减少运作费用，维护业主利益。 2 、高速公路超速自动化监管系统的应用，以车牌识别技术为核心技术，辅助 其他高科技手段，建立高速公路超速无人值守的自动监测、自动布控系统是解决 高速公路上因超速造成交通事故的有效手段。 3 、公路布控采用车牌识别技术，实现对重点车辆的自动识别，快速报警处理。 不仅可以有效防止机动车辆被盗，而且为公安、监察机关对犯罪嫌疑人所驾驶的 车辆自动监控、跟踪提供了高科技手段。 4 、能对已保存的图像文件进行集中识别处理，大大减少劳动强度，大幅度提 高处理速度和效率。这一功能通常用于电子警察系统、道路监控系统。 5 、防套牌车辆自动跟踪：利用车辆信息网上的实时信息，以同一车牌出现 时的方位、距离，时间等参数，快速计算处理，自动查出该车牌是否属于套牌车。 同样也可利用网上信息查悉指定车辆的行踪。 6 、自动扣费，电子钱包缴费全国通用：自动扣款收费，一方面能实现不停车 收费，解决卡口车流瓶颈问题；另方面又能杜绝人与现金的接触，解决与现金 有关的种种问题。该系统与其他相关的系统的有机结合可方便应用干各类封闭式 4 汽车牌照识别技术的研究 和开放式路桥卡口自动收费系统，根据联网规模的不同，适用于l c 卡、金路卡、 虚拟储值卡以及金融卡等各种自动扣费方式，可从路段扩展到区域、地区、跨地 区以至全国路网。 智能交通系统( i t s ) 在我国尚属起步阶段，车牌识别技术在i t s 系统中占有重 要位置。车牌识别技术的推广普及，必将对加强高速公路，城市道路管理，减少 交通事故。车辆被盗案件的发生，保障社会稳定等方面产生重大而深远的影响。 运用图象处理技术解决汽车牌照识别的研究国内外都有，最早出现予8 0 年代， 这个阶段的研究并没有形成完整的系统体系，而是就车牌识别中的某一个具体问 题进行讨论，并且通常是采用简单的图象处理技术来解决。识别过程是使用工业 电视摄像机( h l d u s 仃yt vc a m c m ) 拍下汽车的正前方图象，然后交给计算机进行 简单处理，并且最终仍需要人工干预。例如在1 9 8 9 年，我国郑南宁。1 等就介绍了 一种行驶车辆牌照自动识别系统，他针对行驶车辆牌照识别的卖时性、抗干扰能 力等特殊要求，以及运动图象模糊和图象背景复杂等问题，在研究系统的过程中 提出了解决这些问题的方法： 根据图象纹理结构确定牌照的正确位置。 利用投影直方图、类重迭模糊处理和动态规划技术进行汉字省名识别。 利用数字的拓扑特性和投影全匹配方法识别牌照字符。 进入9 0 年代，由于计算机视觉技术( c o m p u t e fv i s i o nt e d l n i q u c ) 的发展， 以及c p u 速度的提高，开始出现汽车牌照识别的系统化研究。近几年以来，计算 机及其相关技术发达的一些国家开始探讨用人工神经网络、遗传算法和小波分析 解决车牌的自动识别问题。同时开始研究车牌识别的实时性要求，使得车牌识别 系统进入实用化阶段。 因为目前国际上没有统一的标准测试库，以及各国汽车牌照格式不同，所以 各国的l p r 系统无法像指纹识别系统那样可以定期参加竞赛比出优劣。在国内虽 然研究耻r 的高校、研究所和公司众多，简样因为没有标准测试库的原因，无法 对各个l p r 系统进行比较。不过就各单位发表的论文以及宣传来看，不包括汉字 的车牌识别率基本可以满足汽车防盗，稽查和追踪车辆违规、违法行为的需要。 但目前国内的u r 系统普遍存在如下问题： 汉字识别率低：由于二值化后的汉字会发生严重变形，汉字的识别率远低 于字符识别率。 车牌识别率受天气影响大：比如在比较暗的环境中，由于二值化后车牌图 象会有较大的变形，车牌识别率会降低很大。 车牌识别率受摄像机视角影响大：比如摄像机从右上方进行拍摄，车牌图 象会发生倾斜，并且车牌字符的高宽比会与实际比例相差较大，这些都会 降低车牌识别率，甚至无法识别。 第一章绪论5 1 3 本文研究的主要内容 本文主要研究了基于视频检测的车牌识别系统以及其核心的字符识别部分。 基于视频监测的u r 系统是指通过架设在道路上的摄像机将视频信号传输到工业 控制计算机，计算机中的软件对视频图象中的车辆牌照进行识别的智能系统。其 算法分为字符切分和字符识别，其中的核心是字符识别算法，基于小波分解与径 向基神经网络的字符识别能够取得较好的识别效果。然而，根据v a p n i k 的统计学 习理论【1 1 ，本文提出了性能更好的新算法，即基于决策树的支持向量机识别方法。 详细研究与工作内容如下所示： 研究了车牌识别系统的构架 介绍了一种基于小波分解的字符识别算法 论述了支持向量机的理论知识 提出了基于决策树的支持向量机的字符识别算法 实现了新的 r 系统 故本文各章节的内容安排如下： 第二章主要内容是论述车牌识别系统中前几个模块的算法。讲解了车牌识别 软件中的车牌定位、字符切分部分改进方法。 第三章主要内容是论述车牌识另q 系统中字符识别算法。字符识趴算法分为特 征提取、特征选择和分类判别三个部分。 第四章主要内容是支持向量机原理的探讨。支持向量机是统计学习理论应用 于模式识别的很好的工具。 第五章主要内容为论述基于决策树的支持向量机算法。作为一种字符识别中 新的分类方法。基于决策树支持向量机算法具有比以往神经网络更好的分类性 能。 汽车牌照识别技术的研究 第二章车牌识别系统的结构 基于视频检测的车牌识别系统的作用是通过软硬件设旅的结合，从一幅图像 中自动提取车牌图像，自动分割字符，进而对字符进行识别，它运用模式识别， 人工智能技术，对采集到的汽车图像进行的方法，能够实时准确地自动识别出车 牌的数字、字母及汉字字符，并以计算机可直接运行的数据形式给出识别结果， 使得车辆的电脑化监控和管理成为现实，车牌识别系统是n s 的一个重要组成部 分，它的成功开发将大大加速h s 的进程。采用计算机视觉技术识别车牌的流程 通常都包括车辆图像采集，车牌定位，字符切分，光学字符识别，输出识别结果5 个步骤。其中，车牌定位、字符切分，字符识别算法是车牌识别的三个核心技术。 本章重点讲述前两个技术。 2 1 车牌定位技术 车牌识别的最终目的是识别车牌图象所包含的文字，在字符识别以前的所有 处理和算法都是为这一目的服务的。由于在后续的备种处理中，往往要根据图象 的整体特性进行分析，做出判断，因而缩小待分析图象的大小，育助于排除非车 牌区域图象信息的干扰。同时，图象大小的减小，可以使后续处理的耗时降低， 从而提高l p r 系统的性能。车牌的定位就是利用车牌本身特性的先验知识，在车 辆图象中确定一个包围车牌区域的尽量小的子图像。 2 1 1 颜色和纹理相结合的车牌定位技术 图2 1 一幅典型的含车牌图像 第二章车牌识别系统的结构7 由图2 1 ，我们总结出汽车牌照本身有用的特征： 1 、纹理特征：车牌区域的纹理特征较周围的图象不同； 2 、颜色特征：我们所关心的车牌的颜色为三种：蓝底白字、黄底黑字、黑底 自字，车牌底色与字符颜色均有很大的反差： 3 、形状特征：尽管车牌有轻微变形，但是车牌的高宽比例近似于一个常量。 大部分车牌定位算法都充分利用了纹理特征和形状特征，对灰度图象二值化 后通过形态学的分析来确定车牌在图象中的区域，这类算法有很好的稳定性和可 靠性，但是分析所需耗时比较长，伪区域较多。特征2 提供了更多的彩色视觉信 息，而且颜色的种类少，便于分类和计算。因此，本文提出一种颜色辅助的纹理 特征车牌定位算法，首先从彩色图象中快速提取边缘，然后结合形态学进行纹理 和形状分析。 如果在灰度图象中提取边缘，除了得到我们想要的车牌区域边缘外，同时也会 得到图象中许多其他物体的轮廓边缘，这影响了对车牌区域确认的效率。根据特 征2 ，可以在图象中只提取蓝白、黑自、黑黄这三种颜色边缘，从而使以后的处理 时间大大缩短。将这三种颜色边缘组成集合，= p ，w ) ，( d ，叻，( d ，) ，) 。考虑到车牌区 域包含丰富的纵向纹理，定义车牌边缘模板为：孔o ，1 1 来分析图像柬纵向的纹理 边缘，首先“把r g b 彩色图象转换成h s i 格式， 。、为图象第i ，行第j 列像素豁色 度；然后，应用模板分析该位置相邻像素是否为车牌边缘： 图2 2 车牌彩色边缘分析 ( 2 1 ) 图2 2 给出蓝底自字的车牌图象经过彩色边缘摸板的分析结果。可见在图象 质量适中的情况下，这种方法可以很好的凸现出车牌区域的边缘，同时屏蔽其他 非车牌区域边缘。得到这些边缘之后，结合卢朝阳教授的纹理和形状分析方法计 算出准确的车牌区域，算法流程为：彩色边缘分析、边缘二值化、边缘腐蚀、密 ， ， 螭 垤 m 肿 皿 以 三- 啦 舢 l o ，、【 - p 如 m 汽车牌照识别技术的研究 度分析、形状分析。 总而言之，在车牌定位技术中纹理和形状特征起着主要的作用，颜色特征起 辅助作用，颜色特征的使用，可以明显提高车牌定位的效率和准确率。1 。 2 1 2h o u g h 变换对车牌倾斜的应用 车牌定位后获得的车牌图象中会存在车牌的两种倾斜，如图2 3 所示。 图2 3 ( a ) 平丽倾斜车牌图象( b ) 透视倾斜车牌图象 图2 3 ( a ) 中的倾斜是由于路面不平或者摄像机的镜头的缘故使得车牌图象在 一个平面中的歪斜；( b ) 则是摄像机镜头没有与其车牌照对正而出现的透视倾斜， 常出现予高速路口收费站在路边的摄像头近距离拍摄汽车的情况。对于以上两种 倾斜我们均通过h o u g h 变换算法使其恢复成正常的图象。 h o u g h 变换是从平面坐标空间到参数空间的变换。3 。直线y 一臌+ 6 可以用极坐 标的形式表示成：r 工c o s 一+ y s i i l 疗，其中( ，口) 定义了从原点到线上最近点的向 量。考虑一个以参数r 和一定义的二维空间，z ，y 平面的任意一条直线对应于该空 间的个点，h o u g h 变换就是将茗，y 平面的任意一条直线映射为r ，日空间的一个点。 对于x ，y 平面的一点n “，只) ，过该点的直线可有很多，每一条都对应了r ，疗空 间中的一点，这些点满足以如，鹑) 为常量的等式。在参数空间中与五y 空间中所有 这些直线对应的点的轨迹是一条正弦曲线，而为y 平面上的任一点对应了，曰空间 的一条正弦曲线。 如果有一条位于参数，氏决定的直线，则直线上的每一点对应了，p 空间的一 条正弦曲线，所有这些曲线交于点梳，) ，因为它符合这条直线的参数。为了找出 这些点所构成的直线，我们将h o u g h 变换的算法实现如下： ( 1 ) 在，疗适当的区间内建立一个离散的参数空间； ( 2 ) 建立一个累加器爿( r ，口) ，并置累加器各元素为o ； ( 3 ) 扫描图像中的每一个目标像素点化y ) ，对每一个离散取值疗计算 r = x c o s 口+ vs i n 口，并在相应累加器元素，嗄( ，p ) 上加1 ； ( 4 ) 在累加器爿( ，8 ) 中搜索峰值爿( ，岛) 则，吃就是图像中直线的参数。 从上面的分析可以看出，如果车牌图像中存在直线，那么在累加器爿( ，口) 中 第二章车牌识别系统的结构 9 必有相应的一个单元为局部最大，其参数r ，幺对应于该直线的参数。车牌边框在 车牌图像中表现为直线特性，并且上下边框应为图像中的最长直线段。因此在车 牌倾斜角检测中就是利用车牌的边框的为最长直线段的特性，通过h o u 曲来搜索 累加器峰值4 ( ，眦；，8 一) ，则8 。就描述了车牌的倾斜角度。 对于图2 3 ( a ) ，在正常情况下获得车牌图象倾斜角度不会超过卜1 0 。，1 0 0 1 ；对 于图2 3 ( b ) 的情况，一般透视倾斜角度范围是【一3 0 。，0 。】。我们将纠偏的精度设定 为【- o 1 。，0 1 。】，图2 4 即为对图2 3 的倾斜矫正结果。 图2 4 ( a ) 平面倾斜的矫正结果( b ) 透视倾斜的矫正结果 2 2 字符切分算法 字符切分算法将会在车牌图象中将字符图象分割出来。字符切分没有成熟的 理论来指导所以字符切分是车牌识别算法中较难实现的部分。相比于车牌定位 只需要绘出车牌在车辆图象中的大概位置，字符切分却需要精确的分割出字符图 象，所以字符切分的难度大于车牌定位，它是车牌识别算法中关键的部分之一。 字符切分最有效也最常用的方法是：投影切分“0 3 与搜索连通区域切分”1 。投影 切分通过纵向投影得到的峰谷特征切分，因为局部峰谷的存在可能造成的“过切 分”，使得得到的区域个数不少于字符个数。而搜索连通区域切分则会因为字符间 的粘连、字符与边框的粘连，使得得到的连通区域个数不多于字符个数。 文献 7 l 利用车牌字符的局部和整体特征，提出了“切分尺度”一一字符串车 牌相似度的定义( 图2 4 ) 并针对这种切分思路的特点，在估计出字符高度的基 础上，遍历各种可能存在的切分，计算字符串的车牌相似度。最终找到车牌相似 度最大的那种情况，完成字符切分。 图2 4 车牌图象和理想车牌模型对照；b l o c k 的高宽 比为2 ，0 ，b l o c k 、g a p 和k e y g a p 的宽度比为4 5 ：j 2 ：3 j 。 汽车牌照识别技术的研究 记实际车牌图象中k e y g a p 左侧第一个r e g i o n 的左边界到右侧第五个r e g i o n 的右边界的距离为l 这6 个r e g i o n 的左右边界横坐标可以构成一个维数为1 2 的 向量s = ( s ，0 ，s 1 s 1 。) 。在理想的车牌中，假设r e 舀o n 的宽度为k 牛l ( k 为比例系 数) ，那么由字符特征可知g a p 的宽度为( l 6 k l ) ，7 ，k e y g a p 的宽度为 3 ( l 6 妒l a ，7 。这6 个r e 百o n 的左右边界点的横坐标也可构成一个维数为1 2 的“车 牌模板向量”t = ( t o ，t l ，t 1 1 ) 。为了简化表达与计算，将t 乘以饥。，得到t o - 0 ， t 1 = 7 k - t 2 i _ ( 2 + i ) - ( 1 2 - i ) k ，t 2 i + l = ( 2 + i ) ( 5 i ) k ，i = 1 ，2 ，3 ，4 ，5 。同样将s 乘以7 l ，得到 s = ( s o ，s l ，s 1 1 ) 。两向量的距离为 1 1 v - ( t i s i ) 2 - a 4 k 2 + b 囊+ c ， l 5 具中a 4 9 + 孓( ( 1 2 一i ) 2 + ( 5 一i ) 2 ) 镯 s b 一一1 电+ 2 ( 0 2 一i ) + ( s 2 i 一2 一i ) + ( 5 一i ) + ( s 2 i “一2 一i ) ) ， 何 5 c t + ( ( s 2 i 一2 一i ) 2 + ( s 2 i “一2 一i ) 2 ) 。 1 = i 当k = - b 2 a 时，v 最小为一c _ b 2 2 a 。令v 一1 v 二。由v 的构造过程可 以看到，实际车牌中的r e g i o n 串列应向量s ，该向量在最小均方误差意义下逼近 一个最佳车牌模板向量t ，它俩之间距离的倒数就是该r e g i o n 串的车牌相似度， 即相应的字符串的车牌相似度。在理想的情况下，v = + o o 。如果各个r e g i o n 的宽 度差异较大或者各个g a p 的宽度差异较大，则v 较小。如果r e g i o n 的排列与理想 车牌字符的排列差异越大，则v 越小。所以v 可以很好地描述该r e g i o n 串相应的 字彳亨串与理想车牌之间的相似程度。在车牌相似度定义的基础上提出的字符切分 算法能够有效的切分字符。经过大量实际路况条件下的测试，证明有很好的效果。 由于目前的车牌中有部分车牌被金属边框包裹，使得字符切分错误率增大。 虽然在水平切分环节引入了“反色水平投影切分”，但依然有一小部分这种类型的 车牌不能得到正确的切分。 2 3 小结 本章阐述了车牌识别系统的结构并介绍了车牌定位和字符切分算法。在前人 的努力研究基础上，将车牌识别系统中车牌定位、字符切分两个部分分别作了相 应的改进。在车牌定位增加了对颜色信息的使用，从而有效提高车牌定位的速度 和正确率；并用h o u g h 变换算法解决了车牌图象中倾斜的问题；对于字符切分中 引用了 7 中的车牌字符串相似度的概念，在去除粘连的难题，本文也提出新的方 法。使系统的功能加以完善。 汽车牌照识别技术的研究 1 1 第三章汽车牌照字符识别算法的研究 在车牌识别系统中最终的指标是字符的识别率，所以本章阐述的字符识别内 容是整个系统关键的部分，本环节中将采用模式识别技术将字符切分环节分割出 来的字符一一识别出来，最后以文本的形式输出识别结果。本章主要讨论车牌中 英文字母和阿拉伯数字的识别问题。 3 1 车牌字符识别的特点 汽车牌照上的字符识别明显不同于一般的o c r 光学字符识别，它的特点可以 归纳为以下几种”。： 字符集小：车牌上出现的汉字字符只包括全国各省、市、直辖市和部队、 武警、公安的简称，再加上2 6 个英文字母以及l o 个数宇，字符类别不超 过1 0 0 类。与其他的o c r 系统相比。只是其中的很小的一部分。 字符点阵分辨率低：由于是在一幅汽车图象中分割出牌照，受摄像机分辨 率的限制，每个字符所占的象素就比较少，大约只有1 3 2 5 个象素， 而且受字符倾斜等因素的影响，分辨率更小。这样的分辨率对于英文字母 和数字字符相对还比较容易处理，但对于汉字来说，则导致汉字特征信息 丢失太多，并造成笔划的粘连，给识别带来困难。 受环境影响大：通常的o c r 系统的工作环境一般在室内，光照条件较好 且稳定。而车牌识别系统需要在室外全天候工作，光照条件经常变化，并 且受大气状况的影响，各种干扰也不可预测，导致实际取到的牌照的图象 由于光照发、触发位置不同，字符的大小、粗细、位鳖及倾斜度都不一样。 另外，牌照的清晰度、清洁度、新旧底色及光照背景等因素，可能会造成 采集到的图象干扰严重，如字符模糊、畸变甚至断线等，因而要求所采用 的识别方法具有很强的抗于扰性和环境适应性。 实时性要求高：鉴于牌照自动识别系统的应用场合是智能交通管理，它要 求能对驶过的车辆进行及时地采集图象、处理图象、牌照识别和自动数据 库登录等一系列操作，实时性的要求高于其它o c r 系统。 而且，图象质量对于车牌识别系统的性能具有最直接的决定性的影响，因此， 系统中摄像头的选取，快门和光圈等参数的调节和辅助照明设施的安装至关重要。 第三章汽车牌照字符识别算法的研究 3 2 字符识别算法介绍 字符识别的对象是切分完毕的只包含单个字符的图象，目标是确定字符图象 并将结果以文本的形式输出。整个算法可以分为特征提取、特征选择和分类判别 三个部分。本节将特征的提取和选择结合在一起讨论。 3 2 1 特征的提取和选择 对于单个的字符图象，我们将其大小归一化为3 0 1 5 个象素。此时的图象可以 被看作是3 0 1 5 维特征的待分类数据。不仅4 5 0 维的特征过于庞大，而且每一维的 特征也不尽能起到有效区分字符的作用。所以我们必须在经过图象预处理后，提 取图象的特征，这是得至i 高性能识别系统的关键。对于提取出来的特征，要保证 类内聚类性和类间可分性，同时避免维数冗余性。对现有数据进行适当的变换， 得到最稳定的、最能够区分彼此的特征空间，这就是所谓的特征提取。模式识别 中特征提取的方法有很多种，k l 变换、小波矩、z e r n i k e 矩等等。 还有结合车牌字符特点，加入对笔画特征、投影特征的利用。 现在先讨论小波矩变换的方法。小波变换提供了一种字符图象的多分辨率分 析，它不同于传统的短时傅立叶变换，它可以分析图象在时域和频域的局部特性， 因此小波变换特别适合于提取图象局部的细节特征。小波变换在模式识别中已经 得到了成功的应用。将小波理论应用于车牌字符特征提取，提出了一种直接从灰 度图象提取车牌汉字特征的方法该方法避免了由于二值化过程而造成的字符信 息丢失，提取的特征能够有效地反映车牌汉字的局部和全局特征。 在模式识别中，矩特征是一种比较有效的特征描述方法，其具有旋转、平移、 大小不变性，但是，计算量大和高阶矩受噪声影响较大一直困扰着矩特征的应用。 小波矩揭示了图象在多分辨分解中不变性特征的本质，解决了小波不变量及矩的 多尺度表示问题。 设， ，_ ) ，) 代表灰度图象，其对应的极坐标式为，( ，一) ，则对于一个矩不变量， 可以采用下式表示： 一矿厂( ，睁) 占，( r ) e 伊删口 ( 3 一l j 其中，。表示第触阶矩，g ，( r ) 是一个r 的函数，用于控制不同的矩表示量，可 以证明e 。的模具有旋转不变性，令 & ( ，) er ，( ，口弦舻d 日 ( 3 2 ) 则有 一p ，p 烛，( r ) r 办 ( 3 4 ) 令为g 。( r ) 小波基函数“ 汽车牌照识别技术的研究1 3 岫，。扣( 譬) ( 3 5 ) 则可以得到小波矩，为了简化计算，在这里，母小波采用三次b 样条的高斯 逼近形式： 卅蒜一c 硼驰唧( _ 躲) 6 ， 其中，n 为b 样条的阶次矗为调制系数，以为离差量，若使 n = 3 ，卢一o 。6 9 7 0 6 6 ，0 一o 4 0 9 1 7 7 ，一o 5 6 1 1 4 5 ，则该函数可以达到很好的逼近效 果，其逼近误差小于3 。 当 p _ 0 ， 肌= o ，1 ，2 ，3 l 口0 5 咒0 5 ”月毒0 ，1 ，2 ”一1 把母小波写成妒。( r ) = 2 2 妒( 扩r 一0 5 n ) ， 则小波矩不变量为 0 ，卅。卜j 崦( r 冲，。，( r ) 砌 m o ，1 ，2 ，3 ，以- d ，1 ，2 1 ，目zo 1 ，2 ，3 。便可以得到1 3 6 维小波矩特征向量j 对于提取出来的特征，要进行特征选择。特征选择是指在学习训练过程中， 对特征分量进行测试。从而在识别过程中，只提取那些最能反映类别属性的特征 分量来作为特征输入分类器进行识别。特别是在实时性非常强的车牌识别系统中， 减少要提取的特征维数，可以减少系统运行的时间，提高系统运行的效率，因此， 对于提取出来的1 3 6 维小波矩需要进行特征选择。 若采用三次样条小波在平面直角坐标系中水波分解牵a ，( x ) 电：( 多) ，a = 秒， t n 2 m ，构成了p ( r 2 ) 的完备正交基。考虑到图象的高与宽不同，本文在纵向令 m = 0 1 ，2 ，3 ，在横向令m = o ，】，2 ；在纵向与横向令n 一一1 ，0 1 ，2 “。从而得到2 9 9 维的特征向量。 z e m i k e 矩是定义在极坐标下的正交不变矩，具体定义如下： m 。；舻( r ，o ) 醢( r ，e ) r d r d o ， 喁 g 。( r ，e ) 一曼兰r 。( r ) e 1 p ( j m o ) ， r n m ( r ) - 恤拶”( 母( n 螂r ：s ( 。 掣_ s ) p 掣- s ) ) r 。( r ) 一( 一1 ) 3 ( n s ) 。3 ( s 仁；= 一s ) 仁。产一s ) f ) ， 其中n 为非负整数，m 为整数并且m 的绝对值不大于n ；e 积分域为 o ，n ，r 的积 分域为【0 ，1 】。z e m i k e 矩为正交矩，其积分核函数列是单位圆内的完备正交基。由 1 4 第三章汽车牌照字符识别算法的研究 于m 。的相角对识别的贡献小，一般取m 。的绝对值作为特征。 特征分量选择，就是判断每一维特征分量的优劣一个识别系统，判断特征分 量好坏的最终决定因素是该维分量对总体识别性能的影响有多大。穷举特征不同 维的组合找到最优的组用于分类是最优的选择方法，但实际上不可行。常用的次 优选择方法即局部最优选择方法如下： 单独最优特征组合 计算每一维的优劣并排序，取最优的前n 维用于分类。 顺序前进法 把特征的维分成两个集，集a 中的维是已经被选择用于分类的维，集b 中的 维是尚未被选择的维。该方法从集b 挑选一个，使其与集a 中的所有维组合成的 特征的分类性能优于，集b 中其他的任一维与集a 的所有维组合成的特征，并把 该维从集b 从选出放到集a 中。重复这种选择，知道特征的维数符合要求，或者 特征的分类能力符合要求。 如果采用该维分量能够得到更好的识别率，则认为该维分量优于其他维特征 分量。基于该思想，提出一种简单有效的特征选择方法。该方法以识别率为最优 性能评价标准，对于不同的特征维数输入，统计其对于训练集合的识别率。根据 识别率的好坏来确定系统所需的输人特衍。本文采用单独最优特征组合方法选择 特征，以及最小距离分类，逐次增加特征个数考察特征提取方法的分类能力，得 到以下性能曲线： 0g 0 8 o 7 褂0 6 磊 go 5 嚣 h0 1 03 小波分解、z e r n i k e 矩与小波矩对训练样本的分类性能比较曲线 ，7 ：i 。：j ，- 一一一一。 。 fl ， j j l l 。 f l ，一一。 1 1z l3 14 l5 l6 17 l8 l9 l 样本个数 = 二! ! ! ! ! ! ! 堑= 二! ：茎鸡= 二! ! 垫坌塑 图3 1 小波分解、z e r n i k e 矩与小波矩分类性能比较 汽车牌照识别技术的研究 1 5 小波分解的性能优于z e m i k e 矩，z e m i k e 矩优于小波矩。在训练样本集上， 小波分解取到7 4 维时，其分类正确率就达到了1 0 0 。在训练样本集上z e m i k e 矩的分类性能接近小波分解，但在测试样本集上其分类性能与小波分解有较为明 显的差距。 3 2 2 分类判别 最优的分类应该使分类的错误率最小，即符合贝叶斯分类的准则： x j ，着p ( 口i i x ) - m a x ( p ( 可j i x ) ) 其中i ，j 为类别索引。 我们现在介绍本文用到的径向基神经瞬络和支持向量机两种方法。 径向基神经网是三层的前向网络，其网络结构如下图所示： 输入层隐层输出层 图3 2 径向基神经网络机构图 输入层的节点数等于特征向量的维数l ，每个节点的值等于特征向量相应维的值。 隐层节点的个数m 由所有特征决定，隐层的激活函数为径向基函数，则隐层每个 节点的值是径向基函数的值。输出节点的个数n 为待识别模式的类别数，输出层 的激活函数为线性加权和函数，则输出层每个节点的值为隐层节点值的线性加权 和。输入层每个节点到隐层每个节点的系数均为1 ，对于每个隐层节点径向基函数 的输入是所有输入层节点值构成的l 维向量x 。令隐层径向基函数为高斯函数 e x p 0 i x x 。n a 。) ，那么隐层节点的输出值为e x p ( 1 l x x 。n o 。) ，其中m l 2 ，m ， x 。、a 。分别为隐层中第m 个节点的高斯函数的均值向量和方差( 标量) 。隐层节 点到输出层的系数为w 。，表示第m 个隐层节点到第n 个输出层节点的系数。令 1 6 第三章汽车牌照字符识别算法的研究 隐层节点的激活函数为w 。k ( x x 。) ，其中k ( x x 。) ；e x p 硎x x 。扩o ) 为 雨 第m 个隐层节点的径向基函数。径向基神经网络的学习过程就是调整隐层节点的 个数、隐层节点径向基函数的参数与隐层到输出层的系数，使网络逼近一个我们 期望的输入到输出的映射。 从网络的结构我们可以看到，隐层与输出层是线性关系，对隐层节点值构成 的向量调整线性系数使输出符合分类要求的过程就是线性分类的过程。所以如果 要径向基网络能够对线性不可分的特征进行分类必然要求输入层空间到隐层空间 的映射可将线性不可分的输入特征向量映射成线性可分的隐层向量。c 0 v e r 定理。” 告诉我们，当隐层节点数足够多时，隐层向量的线性可分的可能大大加大。实际 上，如果让每一个输入向量生成一个隐层节点、令径向基高斯函数的均值向量为 输入向量，并且令方差足够小，隐层向量一定是线性可分的。文献f 2 0 】从高维逼近 问题出发，并根据多数情况下这种逼近为不适定的( 即由逼近得到的殃射不稳定， 易受学习样本噪声和数量影响) ，提出利用正则化方法来解决不适定问题，从而提 出了正则化网络，为了减少计算量并考虑到可行性进而提出了径向基网络。文献【2 1 1 讨论了径向基网络的逼近问题：径向基网络可以以任意精度逼近非线性映射。文 献f 2 2 1 论述了径向基网络分类逼近贝叶斯分类。种种讨论验证了径向基网络是逼近 与分类强有力的工具。 网络的训i 练一般分成两步，首先由自动聚类方法确定隐层节点个数与径向基 函数的参数，自动聚类方法一般采用c 均值“”或者最大最小聚类法。然后由解线 性最小二乘的方法来确定隐层到输出层的线性权。 此外，支持向量机的分类也是个很好的方法。支持向量机( s v m 瞧源于统计学 习理论，它研究如何构造学习机，实现模式分类问题。s v m 使用结构风险最小化 f s t r u c t u r a lr i s km i n i m i z a t i o n ，s r m 准则) 原理构造决策超平面，使每一类数据之间 的分类间隔( m a r g i n ) 最大。 c o v c r