（计算机应用技术专业论文）基于图像处理的车牌照识别系统的研究.pdf

摘要 车牌识别( l p r ) 系统是以汽车牌照为特定目标的专用计算机视觉系统，是计 算机视觉和模式识别技术在智能交通领域应用的重要研究课题之一。它不但可以广 泛地应用于交通流量检测，而且还可以应用于交通控制与诱导，机场、港口、小区 的车辆管理，不停车自动收费，闯红灯等违章车辆监控以及车辆安全防盗等领域： 因此，具有广阔的应用前景。本论文就是在这种情况下，研究基于图像处理的汽车 牌识别系统。本论文研究的主要内容和创新点包括： 在车牌图像定位和提取方面，在初步定位时，本文提出了一种新的基于统计比 较的水平垂直搜索法对初定位的结果进行搜索，搜索之后再用h o u g h 变换检测 出搜索的结果，最后再结合先验知识提取出车牌。 在车牌预处理阶段，本文首先提出新的去除噪声( 去杂点法) 的方法，然后又 提出了新的基于投影比较的垂直校正和旋转校正方法，分别对其在垂直方向上 和向外方向上进行了校正，最后应用新的水平旋转方法在水平方向上对车牌进 行校正。 在车牌字符切分过程中，本论文提出了新的粗切割方法，对车牌上的字符进行 切割，然后再把各个字符上的多余的空间去掉。 在车牌字符识别方面，本论文利用了1 3 特征提取的方法，对切割下来的字符 进行特征提取，然后再利用所提取的特征值对神经网络进行训练，最后利用这 个训练结果对其它车牌上的字符进行识别。 按照本文所采取的步骤，根据上面所提出的方法对采集来的车辆图像进行试验， 得到了良好的效果。 关键词车牌识别( l p r ) ，去杂点法，水平垂直搜索，投影比较法，1 3 特征提取方法 a b s t r a c t n el i c e n s ep l a t er e c o g n i t i o n ( l p r ) s y s t e mi st h ev i s u a ls y s t e mw h o s eg o a li st h e l i c e n s ep l a t e ，a n di ti so n eo f t h er e s e a r c hs u b j e c t si nw h i c ht h et e c h n o l o g yo f c o m p u t e rv i s i o n a n dp a t t e mr e c o g n i t i o ni sa p p l i e d i tn o to n l yc a nw i d e l yb ea p p l i e dt r 8 伍cf l u xd e t e c t , b u ta l s o b ea p p l i e dt ot r a f f i cc o n t r o la n dl e a d i tc a na l s ob ea p p l i e dt os o m ef i e l d sw h e r et h ev e h i c l e b r e a k st h el a w s ，s u c ha sa i r p o r t ，s e a p o r t ，c o m m u n i t i e s v e h i c l em a n a g e ，n oh a l t e dv e h i c l e sf e e ， a n dv e h i c l e ss a f e s oi th a sw i d e l ya p p l i e di nt h ef u t u r e b a s i n go nt h ec u r r e n tt h i n g ，t h et h e s i s w i l le x p o u n dt h ec o u r s et h a ts e a r c h e sa n dd e a i sw i t hi m a g eo f t h el i c e n s ep l a t e 羽1 ef o l l o w i n g i st h em a i na n di n n o v a t i n gc o n t e n to f t h et h e s i s ： a t 恤l i c e n s ep l a t ei m a g el o c a t i o na n dp i c k u p w h e nw ea c c u r a t e l yl o c a t et h el i c e n s e p l a t e ，f i r s t l y , w eh a v ea p p l i e dan e wh o r i z o n t a l - v e r t i c a lm e t h o d 廿l a tb a s e so ns t a t i s t i c s s e a r c ht h ee a r l y r e s u l t ，t h e nw ea g a i nu s e dt h e h o u g ht r a n s f o r mt od e t e c tt h e r e s u l t f i n a l l y , w eg a i n e dt h el i c e n s ep l a t e d u r i n gt h ep r e t r e a t m e n tp h a s e a tf i r s t t h et h e s i sb r i n g sf o r w a r dan e ws o c a l l e d r e m o v e s c a t t e r n o i s e ，t h e nb r i n g sf o r w a r dan e wp r o j e c tc o m p a r em e t h o d ，a n du s e si tt o r e v i s et h el i c e n s ep l a t eo nv e r t i c a la n de x t r o r s ed i r e c t i o n f i n a l l y , w eu s et h en e w h o r i z o n t a lw a yt or e v i s et h el i c e n s ep l a t eo nt h eh o r i z o n t a ld i r e c t i o n o nt h ec o u r s eo fi n c i s i n gt h el i c e n s ep l a t ec h a r a c t e r 1 1 1 et h e s i s ，f i r s t l y , b r i n g sf o r w a r d c o a r s e l yi n c i s i n gt h el i c e n s ep l a t ec h a r a c t e r t h e nc u r i n gt h el a r g e rr o o mt h a nt h e l i c e n s ep l a t ec h a r a c t e rs h o u l dl i ei n o nt h ec o u r s eo f r e c o g n i z i n gt h el i c e n s ep l a t ec h a r a c t e r f i r s t l y , t h et h e s i sb r i n g sf o r w a r d t ou s i n gt h em e t h o do f13 - c h a r a c t e rp i c k u pt op i c ku pc h a r a c t e ro ft h el i c e n s ep l a t e c h a r a c t e r t h e nw eu s e dt h er e s u l tt ot r a i nt h eb a c k p r o p a g a t i o nn e t w o r k f i n a l l y , w e u s e dt h et r a i n e dr e s u l tt or e c o g n i z et h ec h a r a c t e ra n dd e c i d e dt h er e s u l t a c c o r d i n gt ot h es t e pt h a tt h et h e s i sh a st a k e n ，a n dt h ew a y st h a tw eh a v et a k e nb r o u g h t b e f o r ew ew r i t et h i s t h ee x p e r i m e n ts h o w st h er e s u l ti se f f e c t i v e k e y w o r d s ：l i c e n s ep l a t er e c o g n i t i o n ( l p r ) ，r e m o v e s c a t t e r n o i s em e t h o d ，h o r i z o n t a l v e r t i c a l s e a r c hm e t h o d ，p r o j e c tc o m p a r a b l em e t h o d ，13 - c h a r a c t e rp i c k u p 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究 成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得丞洼王些太堂或其他教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 学位论文作者签名：多套天夕垒签字日期：气名? j ；17 n 学位论文版权使用授权书 本学位论文作者完全了解丞洼王些太堂有关保留、使用学位论文的规定。特授 权云洼王些盍堂可以将学位论文的全部或部分内容编入有关数据厍进行检索，并采 用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部 门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：巷形 签字日期：1 口伊辱j 月1 5 日 导师签名： 牙乏x 签字日期：。2 一年，月夕日 学位论文的主要创新点 在车牌定位提取方面，本文应用了基于统计比较的方法来寻找跳变 点( 灰度值变化比较大的点) ，并根据这个跳变点对车牌进行搜索。 在车牌预处理阶段，本文首先提出了利用去杂点的办法去除车牌上 的噪声，然后又提出了新的基于投影比较的垂直校正和旋转校正方 法，分别对其在垂直方向上和向外方向上进行了校正，最后应用水平 旋转方法在水平方向上对车牌进行校正。 在车牌字符切割过程中，本论文提出了新的逐字切割的方法，对车牌 上的字符进行切割。 第一章绪论 1 1 应用背景和研究意义 第一章绪论 随着经济的发展，汽车等交通工具将越来越多地进入普通百姓的家庭：因此 将有越来越多的车辆行驶于公路之上。结果使得原有的人工车辆公路管理方式和 收费方式将越来越不能适应这种新形式发展的需要。这是因为原有的人工车辆公 路管理方式和收费方式不仅占用大量的人力、物力、财力；而且效率低下，容易 产生错误，造成高速公路交通资源的极大浪费。因此，在某种程度上可以说这种 原有的人工车辆公路管理方式和收费方式已经阻碍了我国交通运输业的发展。 幸运的是近二十年来图像处理、模式识别、人工智能等计算机技术取得了飞 速发展，因而使得通过由电脑控制机器实现自动的、实时的、高效的和准确的交 通智能管理方式已经成为可能。它不但可以代替人工管理方式和收费方式，独立 完成一系列的流水线作业，解决由于人工管理方式和收费方式所带来的缺陷，并 节省劳动代价，而且还具有以下极大的优越性和可靠性： 一在人眼观察车牌较为清晰的情况下，系统的正确识别率不低于9 0 。 系统的识别速度能够达到每幅图小于0 5 秒。这样就不需要车辆停顿。 系统能够检测出车辆在行驶过程中车速低于7 0 公里d 时的车辆的车牌。 这样也不需要车辆停顿。 汽车牌照识别系统在图像处理算法方面以及识别车牌速度和精度方面都有许多亟 待提高的地方，具有较大的发展空间。本课题的目的就是研究基于图像处理的车 牌识别系统，并在此基础上实现相应的车辆牌照识别系统。 1 2 国内外研究现状 随着汽车工业和交通运输业的发展，实现对公路交通进行现代化的管理已经 成为一个热门的研究课题。为了解决公路交通方面所要求达到的自动性、实时性、 高效性和准确性等方面问题：在国际上，从上个世纪5 0 年代开始研究人员就开始 研制各种各样的实时汽车牌照识别系统。但在国内，对实时汽车牌照识别系统方 面的研究还处于起步阶段，最主要还在试验室研究。因而值得我们开展这项研究 工作。下面将主要对国内的一些研究成果作简单的介绍。 第一章绪论 1 2 1 东方车辆牌照识别系统 虽然国内对实时车牌识别系统方面的研究还处于起步阶段；而且与国际上先进 国家相比还有很大的差距。但就在近二十年还是取得了定的研究成果。例如， 由丹东东方测控技术有限公司研制的东方车辆牌照识别系统就是一个很好的例 子。该系统运用人工智能，模糊识别等方法从车辆图像中提取牌照图像，实时识 别为文字和数字号码，存入数据库，节约存储空间、查找方便、真正实现了车辆 的文档化管理。适用于高速公路收费、交通违章管理、汽车路道自动化管理、停 车场智能化管理、企业门禁管理等。具有减少人为的干预，车辆通过速度快、记 录准确、节省人力的优点。下面是它的一些特点和技术方面的话题。 系统的特点是： 性能稳定，可靠。 识别速度快，准确度高，识别率稳定，可达9 5 一1 0 0 。 自动纠正车牌的整体倾斜。 识别范围宽，能识别警车、军车、消防车等国内各种汽车牌照。 系统的技术指标包括： 识别范围：国内各种汽车( 包括军车、警车、消防、各厂矿用车等) 牌照。 识别率：牌照清晰规整的条件下识别准确率为9 9 以上。 识别时间：平均时间为1 秒。最大时间为3 秒。 主机工作温度： 一1 0 + 5 0 。 系统的硬件平台主要包括： 红外探测器：检测车辆，控制摄像机抓拍图像。 摄像头：实时对汽车进行拍摄。 图像采集卡：将模拟视频信号转化成数字视频信号。 系统的软件平台主要包括： 图像预处理：对动态采集的图像进行滤波，边界强化等处理以克服图像的 干扰，提高识别率。 车牌的定位：自动找出动态采集的汽车图像车牌位置。 一字符分割：在车牌的图像上，自动提取单个字符的图像。 字符识别： 针对每个字符的图像识别出字符文字。 系统的原理为： 根据对车辆牌照的图像特点，系统进行图像预处理、车牌定位、字符切 割等步骤，将取得的字符与系统标准字模相比较运算，进行文字识别、数字 号码识别，最终得到完整的牌照识别结果，其中识别部分是系统的核心，采 用了神经网络、模糊识别等许多高级图像处理方法，准确度为国内领先水平。 第一章绪论 图卜1 是该车辆牌照识别系统的工作流程。详情参见： b 主圭乜；壁塑! ! 旦! 里璺! 璺曼璺b 垒旦巳i 旦乜圣墨垒：垒点投土 图卜1 汽车牌照识别系统的工作流程 1 2 2 杭州友通科技有限公司汽车牌照自动识别系统 该汽车牌照自动识别系统是智能交通系统的重要组成部分，是高科技的公路 交通监控管理系统。它在传统的交通监控技术的基础上，引入了数字摄像技术和 计算机信息管理技术，采用先进的图像处理、模式识别和人工智能技术，通过对 车辆图像的采集和处理，获得车辆的数字化信息，再引入先进的网络数据库技术， 从而达到更高的智能化管理水平。 该系统是我国自行研究和开发出来的智能交通管理系统之一，它运用“不同 车辆不同牌照”的思想概念来能识别和统计车辆，涉及图像的捕捉、处理、理解 和记录等技术。具有以下优点： 1 、直接利用每一辆合法车辆都配有汽车牌照的特点，不需要在汽车上额外安 装条形码或无线电发送装置，从而避免了部分设备对现有的车辆系统进行大幅度 的改造的弊病。 2 、自动实时采集、识别、记录经过汽车牌照的字符及颜色、车型。包括o 一9 十 个阿拉数字，a - z 二十六个大写英文字母及相关汉字：京、滓。晋、冀、蒙。辽、 吉、黑、沪、苏、浙、皖、闽、赣、鲁、鄂、湘、粤、桂、琼、川、贵、云、藏、 陕、甘、青、宁、新、渝、甲、乙、丙、丁、戊、己、庚、辛、壬、癸、子、丑、 第一章绪论 寅、卯、辰、己、午、未、申、酉、戌、亥、警、学、特、使、领、试、港、澳、 消、电、边、金、林、通等，并且可识别黑、白、黄、蓝车牌颜色。 3 、系统识别率高，白天识别率9 5 以上，晚上9 0 以上。 4 、识别时间短，小于1 秒。 5 、独有的识别训练功能，可适应不用的应用环境，提高识别效果。 6 、测量车速，测速范围达5 - 1 8 0 k m h 。 7 、具有缓存结构，车辆捕获率达1 0 0 。 8 、自动保存所捕获的车辆图像。所保存的图像为全彩色图，分辨率为7 6 8 5 7 6 像素，压缩格式j p e g 。 9 、性能稳定，2 4 小时不间断工作真正实现了可无人监守。 汽车牌照识别系统可以解决通缉车辆、套牌车辆的自动稽查闯题，可以解决 路桥卡口、停车场交通堵塞问题，可以解决路桥卡臼、停车场应收款流失的问题。 该系统具有友好的软件接口，与其他系统连接非常方便，可以很容易地用于交 警稽查系统、路桥卡口收费点、停车场等需要车辆身份进行运作的系统，无论是 现有系统还是待开发系统。 ， 该车牌识别系统是由以下三个子系统所组成： 1 、公路卡口智能监控系统 实时记录各个交通要道、城市出入口的车辆信息、过往时间，计算交通流量 等交通信息，并可及时发现路口有无行车事故，以便管理部门及时疏导交通，完 成交通部门的车辆信息联网，解决数据统计自动化的问题，并可模糊查询存储的 车辆牌照信息及时有效的查询出肇事逃逸和超速的车辆。 2 、车库管理系统( 停车场出入口智能识别系统) 实时记录出入车库的车辆信息，保存出入库的车辆图片，及时查到具体车辆 是从哪个口出入的，对于提高车库安全有显著效果。 3 、高速公路收费系统 实时记录进入高速公路的车辆信息，当车辆出公路时，可及时查到车辆是从 哪个入口进来的，并可将车牌图片和缴费卡实时对应起来，对于合理收费及杜绝 逃费有显著效果。 详情耋 见：b ! ! q ；z z ! ! ：d f ! ! ：! ! b 8 n 2 i b e ；：垒i 2 。 1 3 本课题研究的主要内容和创新之处 1 3 1 本课题研究的主要内容 系统的组成及原理 第一章绪论 车牌图像定位提取算法分析 车牌图像预处理算法设计和分析 车牌字符切分算法分析 车牌字符的识别算法分析 结论与展望 1 3 2 主要创新点 在车牌定位提取方面，本文应用了基于统计比较的方法来寻找跳变点( 灰度值 变化比较大的点) ，并根据这个跳变点对车牌进行搜索。 在车牌预处理阶段，本文首先提出了利用去杂点的办法去除车牌上的噪声，然 后又提出了新的基于投影比较的垂直校正和旋转校正方法，分别对其在垂直方 向上和向外方向上进行了校正，最后应用水平旋转方法在水平方向上对车牌进 行校正。 在车牌字符切割过程中，本论文提出了新的逐字切割的方法，对车 牌上的字符进行切割。 第二章系统的组成及原理 2 1 系统简介 第二章系统的组成及原理 汽车牌照识别系统是在交通监控的基础上，引入了数字摄像技术和计算机信 息管理技术，采用先进的图像处理、模式识别和人工智能技术、卫星网络通信技 术，通过对图像的采集和处理，获得更多的信息，从而达到更高的智能化管理程 度。而且汽车牌照自动识别系统本身是一个全数字化的智能系统，在它上面只要 做不多的扩充，就可以衍生出一些其他功能。车牌自动识别系统可广泛安装于公 路收费点、停车场、十字路口等交通关卡处，使收费的管理更严密、更科学，能 有效地监控车辆的收费、闯关、欠费以及各种舞弊现象的发生，具有广阔的应用 前景【”。 2 2 系统基本技术要求 一般来说，汽车牌照识别系统有来自于各个方面的技术要求和法律要求；例 如，有来自于客户的技术要求，有来自于汽车驾驶员方面的技术要求，有来自于 政府部门的技术要求和法律要求。当然最主要的还是来自于客户方的技术要求。 下面是客户方所提出的基于卫星通信的牌照自动识别监控系统的基本技术要求： 1 系统要能够检测出车辆在行驶过程中车速低于7 0 公里小时的车辆的牌照。 2 牌照识别速度要能够达到每幅图小于0 3 秒。 3 系统的前端要能够连续正常运行8 天不会死机。 4 系统的服务器要能够连续正常运行一个月不会死机。 5 系统与车辆数据库连接，通过查询得到识别的车辆的信息，由此决定收费的金 额以及是否要报警。 6 系统要能够对人眼观察牌照较为清晰的图像，系统的识别正确率要求不低于 9 5 。 7 系统查询车辆数据库的时间要小于0 2 秒。 8 系统要能够在1 0 分钟以内，把闯关车辆的数据以及图片通过卫星传递到各个 收费点。 第二章系统的组成及原理 2 3 系统基本工作原理 汽车牌照识别系统的基本工作原理如下图2 一l 所示。 图2 - 1 系统基本工作原理 由图2 1 所示当有汽车通过时，车辆检测装置( 这里是指地感线圈) 受到触 发，启动图像采集设备获取车辆的正面或反面图像，并将图像传至计算机，由车 牌定位模块提取车牌，字符分割模块对车牌上的字符进行切分，最后由字符识别 模块进行字符识别并将识别结果送至监控中心或收费处等应用场合。 2 4 系统硬件组成 通常情况下，汽车车牌识别系统的硬件主要包括高性能的计算机、高分辨率 的c c d 镜头或c m o s 镜头、卫星通信设备、高放大率的放大镜、检测装置、c c d 自 动亮度控制器、视频采集卡、以及数据交换器( d t u ) 。 2 5 系统软件组成 系统的软件主要就是指那些控制系统正常运行的，并对采集到的数据进行处 理的软件的总称。它正常包括图像采集和收费模块、图像处理和识别模块、数据 通信模块三个部分组成，而这三个模块之间的关系是相互深透、相互作用。总的 第二章系统的组成及原理 来说，收费模块包括着图像处理和识别模块和数据通信模块所组成。它们的关系 如图2 2 所示。 图2 2三个模块的关系图 由图2 2 可以看出图像处理和识别模块是收费模块的一个子集，而通信模块是 伴随收费模块从头到尾。也就是说，只要收费模块一开始工作它的各个子模块之 间就开始进行信息传递，这样数据信息流动模块也就开始运行。 2 5 1 收费模块 收费模块的主要功能就是对到来的汽车的图像进行抓拍，并对抓拍的图像进 行识别，再用识别的结果来与已建好的汽车数据库中的相关表进行对比，最后根 据比较的结果对车辆的违章情况和收费情况分别进行处理。它的流程图如下图2 - 3 所示。 由图2 3 可以看出，收费模块的工作流程是：当汽车通过时，车辆检测装置 ( 这里指地感线圈) 受到触发，启动图像采集设备获取车辆的正面或反面图像， 并将图像传至计算机，由车牌定位模块提取车牌，字符分割模块对车牌上的字符 进行切分，最后由字符识别模块进行字符识别并将识别结果送至监控中心或收费 处等应用场合由用户进行最后的确定。 2 5 2 图像处理和识别模块 图像处理和字符识别模块是整个系统的核心模块，它的主要功能就是对抓拍到 的汽车图像进行处理，并对处理的结果进行识别，最后将识别的结果传递给下一 个工作单元。其流程图大致如下图2 4 所示： 由图2 4 可以看出，图像处理和字符识别模块主要是由车辆图像预处理模块、 车牌图像定位提取模块、车牌图像预处理模块、车牌图像二值化模块、车牌字符 切分模块、车牌字符识别模块等六个子模块所组成。其中汽车图像预处理模块它 的主要功能就是对由图像采集卡所传过来的图像进行预处理，去掉图像的噪音； 这样将更有利于汽车车牌图像定位和提取。 第二章系统的组成及原理 图2 - 3收费模块流程图 - 9 - 第二章系统的组成及原理 图2 - 4图像处理和识别模块流程图 汽车车牌图像定位和提取模块的主要功能就是从已经抓拍到的汽车图像中利用一 定的算法提取出汽车牌图像，以供下一步使用。车牌图像预处理模块的主要功能 就是对切割下来的车牌图像进行预处理，这样可以去掉车牌图像中的车牌图像的。 车牌二值化模块的主要功能就是利用一定的算法对得到的汽车车牌图像进行二值 化操作。车牌字符切分模块的主要功能就是利用一定的算法将汽车车牌中的所有 单个字符切分出来，以供下一步使用。车牌字符识别模块的主要功能就是利用神 经网络技术识别出汽车车牌图像所包含的字符。由于图像处理和识别模块是整个 系统软件组成的核心部分，因此在这里只是简单地阐明一下；从第三章开始将给 出它的详细内容。 2 6 数据通信模块 2 6 1 数据通信的流程 所谓数据通信就是指各个子模块之间的信息传递或信息通信。在汽车牌照识 别系统的整个工作过程中，数据流程总的来说是由收费点流到收费站，再由各个 收费站流到龉控中心。图2 5 是整个系统的数据通信流程图。 由图2 5 可以看出，当有车辆来的时候，触动检测装置便发出控制信息来控制 图像采集装置来抓拍车辆的图像，并将抓拍车辆的图像处理和判断，最后将处理 和判断的结果送到收费站的服务器上。特殊的数据如，闯关记录、欠费记录等通 过卫星或拨号连接由各个收费站传送到监控中心的服务器上。收费点将过往车辆 第二章系统的组成及原理 图2 - 5系统数据通信流程图 第二章系统的组成及原理 的有关信息和图片通过局域网传到当地监控中心的服务器上。特殊的数据如，闯 关记录、欠费记录等通过卫星或拨号连接由各个当地监控中心传送到总监控中心 的服务器上。 2 6 2 分布式网络数据库技术 在该汽车牌照识别系统中，数据库管理系统( d b m s ) 的实现是整个网络系统 ( i t m n s ) 正常与否的关键，是数据存储核心及数据查询的信息源。本系统的网络 拓扑结构可分为收费点、收费站、监控中心三个层次。因此，相应的数据库系统 也可以分为三个层次，它们分别是收费层数据库系统、收费站层数据库系统、监 控中心层数据库系统。其中，收费层数据库系统负责本机监控站的车辆信息数据 采集工作，将负责收集闯关车辆信息和欠费车辆信息等；收费站层数据库系统是 当地站点的数据存储中心，它的主要任务就是将其中所采集的车辆信息进行汇总 和分析，并及时上传至监控中心数据库系统；监控中心层数据库系统是本系统的 信息存储中心，是各地收费站违章车辆信息的汇总和转发中心。 在本系统中监控中心和收费站的服务器端操作系统采用w i n d o w sx p 。而收费 点的采用w i n d o w s2 0 0 0 。整个智能交通监控网络系统( i t m n s ) 的数据库管理系 统使用m i c r o s o f ts q ls e r v e r2 0 0 0e n t e r p r i s ee d i t i o n 。 2 6 3 用户功能模块的划分原则 一对于系统中少量的、不定时的数据更新操作，本系统将采用基于w e b 技术 的数据库查询实现对数据的实时操作。采用该技术的优点是能在任何时 候，在任何站点对车辆的数据库进行查询、浏览等操作。且对系统查询、 更新功能的实现改变只需在服务器端进行，大大减少了对各站点应用软件 的维护工作量。当各站点对违章车辆( 欠费车辆或闯关车辆等) 进行处理 后，在当地的处理站点即能够以浏览器方式登录到监控信息中心w e b 服务 器，输入用户名及密码，通过验证后根据相应的操作权限对已处理违章车 辆进行记录更新或查询浏览。 一般用户可以以普通用户登录至信息中心网站服务器( w e bs e r v e r ) ，对 监控中心车辆的信息进行相应动态查询，获得所需信息。 一由于本分布式网络系统的顶层的监控中心车辆信息库是整个监控中心车 辆基本信息的中心库；因此，在这里采用了增量更新的方式来更新该数据 库，即只对数据库中需更新的部分记录进行更新。 本章小结 第二章系统的组成及原理 本章主要阐述了系统的基本技术要求、系统基本工作原理、系统硬件组成。 重点说明了系统软件组成，它包括收费模块、图像处理和识别模块、数据通信模 块。图像处理和识别模块是由车辆图像预处理模块、车牌图像定位提取模块、车 牌图像预处理模块、车牌图像二值化模块、车牌字符切分模块、车牌字符识别模 块等六个子模块所组成。最后，简单地介绍本系统所要采用的数据库系统。 第三章 车牌图像定位提取算法 3 1引言 第三章车牌图像定位提取算法 前文第二章曾经说过，在整个系统中图像处理是它的核心部分；而图像处理和 识别模块是由车辆图像预处理模块、车牌图像定位提取模块、车牌图像预处理模 块、车牌图像二值化模块、车牌字符切分模块、车牌字符识别模块等六个子模块 所组成。在这六个模块中车辆图像预处理模块处理的结果是以后各个步骤的前提， 这一步工作的完成为以后的进一步处理打下了坚实的基础：但是它不是整个车牌 图像处理的核心。整个车牌图像的核心应该是车牌图像定位和提取模块、车牌图 像预处理模块、车牌图像字符切分模块和车牌图像字符识别模块。本文将利用第 三章、第四章、第五章和第六章来地对这四个模块的算法进行详细的分析和说明。 3 2 车牌图像定位提取研究现状 由于车牌图像定位和提取对整个智能识别系统的成功与否起着非常关键性的 作用；因此国内外的研究人员在研究车牌智能识别系统这一领域时，很早就开始 对其进行了深入的研究。目前在研究车牌图像定位与提取方面主要有两种技术。 第一种技术就是原始的黑白二值化基于灰度级的图像处理技术。当然这种方法出 现的根源是因为在计算机发展的早期，由于受到了计算机硬件，如内存、c p l i 的速 度方面的限制而不得不采取的图像处理技术”1 。这种技术的主要局限性就是误识 率比较高，而且无法提供车牌颜色等方面的信息。第二种技术是彩色图像处理技 术。这种技术的基本思想就是车牌颜色( 包括文字的颜色和车牌的背景颜色) 是 车牌的重要特征；不同种类的车辆的车牌有不同的颜色模式。近年来，随着计算 机技术的发展和硬件价格的大幅度地下降，有很多学者在车牌的处理方面应用了 后一种彩色图像处理技术。这种技术又可以分为四种方法：( 1 ) 利用彩色边缘技 术和区域生长相结合的方法来共同定位和提取车牌”1 ；( 2 ) 首先利用神经网络技 术对图像进行颜色分割，然后计算车牌底色的水平和垂直投影值，屉后根据车牌 的宽高比相定位和提取车牌9 1 ；( 3 ) 利用颜色空间距离和相似度进行车牌的底色 的颜色分割，再利用投影法根据车牌的宽高比确定候选车牌区域，最后对候选车 牌区域韵灰度图像进行纹理分割来定位和提取车牌”1 。( 4 ) 基于边缘颜色对来对 车牌图像进行提取和定位l i v - i z 。虽然，这些方法都有自己的优点；但是它们也或 多或少存在着一定的缺点。 多或少存在着一定的缺点。 第三章车牌图像定位提取算法 3 3 图像预处理 3 3 1 图像的格式转换 由于b m p 格式的图像是以像素的形式记录图像的，它的每一个像素点( p i x e l ) 都是由红( r ) 、绿( g ) 、蓝( b ) 三元色复合而成；而每元颜色的值又是由一个八 位的字节来表示。利用普通的彩色采集镜头，所采集到的图像的宽度一般为2 5 6 或 5 1 2 像素点的位图文件格式，即彩色的b m p 图像文件。b m p 图像文件是由文件头、调 色板数据和图像数据三部分所组成的。其中文件头有固定的5 4 个字节来表示，它 包含两种数据结构：b i t 凇i 删脚嬲拜口彤7 嬲p 瑚唰醐凸勰。前者表示文件的 大小、类型和打印格式；后者包含了文件的尺寸方面的信息。它们的具体定义形 式分别如下： 聊p 出， s t r u c tt a g b i t m a p f i l e h e a d e r w o r d b j t y p e ， d w o r d b f s i z e ； w o r d b f r e s e r v e d l ； w o r d b r e s e r v e d 2 ； d w o r d b f o f f b i t sj 、b i 麟p f i l e l s a d e r ； 其长度固定为1 4 个字节。第一个数据成员b f s i z e 固定为o x 4 2 4 d ( a s c i i 码“b m ”) ， 用来标识本文件为b m p 位图文件。数据成员b j s i z e 记录了此位图文件的实际长度。 6 掰a 占盯即甜和6 掰缸盯阳d 2 为保留字，通常为0 ，一般不予考虑。最后的b f o f f s # s 为位图陈列相对于文件头的偏移距离。 t y p e d e f s t r u c tt a g b l t m a p f i l e h e a d e r d w o r db i t s i z e ： l o n gb i w i d t hj l o n g b i h e i g h tj w o r d b i p l a n e s ， w o r d b i b i t c o u n t ， d w o r d b i c o m p r e s s i o nj d w o r db i s i z ei ma g ei l o n g b i x p e l s p e r m e t e r ， l o n g b i y p e l s p e r m e t e rj d w o r d b i c l r u s e d ， d w o r d b i c l r i m p o r t a n t ， 15 第三章车牌图像定位提取算法 b i t 姒p i n f o 王l e a d e r ： 其中，成员b i t s i z e 为该结构长度，固定为4 0 个字节。b i w i d t h 和b i h e i g h t 分别保 存了b m p 图像的宽度和高度。b i p l a n e s 描述了目标设备的位面个数，必须为1 。 b i b i t c o u n t 记录了图像的深度，可选值为1 ( 单色位图) 、4 ( 1 6 色位图) 、8 ( 2 5 6 色位图) 、1 6 ( 1 6 位增强色位图) 、2 4 ( 2 4 位真彩色位图) 和3 2 ( 3 2 位真彩色位图) 。 b i c o m p r e s s i o n 指定了图像的压缩格式，有效值分别为b i r g b 、b i b l e 8 、b i b l e 4 、 b i b i t f i e l d s 年 i b _ j p e g 等，一般情况下为b i r g b 不压缩模式。b i s i z e i m a g e 为位 图陈列的大小。b i x p e l s p e r m e t e r 和b i y p e l s p e r m e t e r 指定了目标设备的分辨率。 b i c l r u s e d 指定了图像中实际用到的颜色数，如果为0 ，则使用的颜色与位深度指 定的相一致。最后的成员b i c l r i m p o rr a n t 如果非0 ，则指定了图像中相对重要颜色 数。由于试验时所采集到的图像都是r g b 格式的；为了后期计算机处理的方便，因 此，首先必须按照上述的要求把它们转化成b m p 格式的图像文件。图3 一l 是采集到 的r g b 格式的图像文件，图3 2 是转化后的b m p 格式的图像文件。从图中可以看到图 像已经发生了很大的损失，因此这种转化又称有损转化。 图3 1r g b 格式的图像文件 图3 2 b l d p 格式的图像文件 3 3 2 彩色图像到灰度图像的转换 灰度图( g r a y s c a l e ) 是指只包含亮度信息，不包含色彩信息的图像，例如平 时看到的亮度由暗到明连续变化的黑白照片。要表示灰度图，就需要把亮度值量 化，通常分成0 2 5 5 共2 5 6 个级别，0 表示最暗( 全黑) ，2 5 5 表示最亮( 全白) 。 由于2 5 6 级灰度比较简单，若是彩色图像，其颜色种类较多，不利于图像处理， 因此一般都是将彩色图像转换为灰度图进行处理。其转化式可为式( 3 1 ) 。图3 3 是图3 - 2 的灰度图。 灰度值= 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b ( 3 - 1 ) 第三章车牌图像定位提取算法 图3 3车辆图像灰度图图3 4图3 3 的反色图 3 3 。3 图像反色 图像反色就是指把它原来的颜色转化成它相反的颜色。它的目的就是突出那些 在原图像中不能突出的部分，或者是使原图像中突出的部分变的不突出。它的基 本转化式为式( 3 2 ) 。图3 4 是图3 - 3 的反色图。 结果= 2 5 5 一原图中图像颜色灰度值( 3 2 ) 3 4 车牌图像定位算法 3 4 1 车牌区域的检测 所谓车牌区域的检测就是根据车牌所具有的特点或特征对其进行辨别。因此， 就车牌区域检测的实质来说，它本身就应该是一个模式识别的闯题；按照模式识 别的一般性原理，车牌区域图像的这些特点或特征属性应该具有固有的且与车牌 图像其它区域不发生混淆的属性，并且所使用的属性在各种条件下的图像应该也 且有稳定性。当然，在这种情况下，我们首先想到的应该是车牌区域图像所具有 的颜色信息方案，此次我们想到的是利用车牌的矩形边缘特征。但经过我们的观 察分析实际中的车辆，我们发现第一种方案使用颜色信息仍有许多实践无法控制 而造成检测性能不稳定的因素。一方面，车牌底色的颜色多种多样，而且就同一 种颜色它们的暗淡差距太大：另一方面，环境、以及车辆本身所具有的颜色也多 种多样，而且有时候与车牌的底色很近，这样我们有时候不能成功地区别它们。 第二种方案利用车牌的矩形边缘特征，通过在图像中检测水平和垂直方向的直线 段，近而寻找这些线段有可组成的矩形，利用这些矩形的比例和位置特征来定位 车牌的区域。但通过对实际车牌的观察我们也发现了许多车牌有不同程度的倾斜 和变形等不正常的现象。因此，这一种方案也行不通。但通过我们的仔细分析， 我们会发现在所有的条件下车牌图像所在区域最稳定可靠的信息是它具有丰富的 边缘，因此我们设计的算法是以对边缘信息的分析为基础的。 第三章车牌图像定位提取算法 边缘是图像最基本的特征，这里的边缘就是指与周围灰度强度的反差变化的 那些像素的集合。人对场景中亮度或者其它性质变化较快的部位比较敏感，一般 当人观察场景时总是注意到其中不同物体的相交处，并可以很快得出每个物体各 自的轮廓。因此从某种意义上说，图像中大部分信息都集中在区域的边缘上，它 是图像分割所依赖的最重要的特征。数字图像的边缘检测是图像分割、目标区域 的识别、区域形状提取等图像分析领域十分重要的基础，是图像识别中提取图像 特征的一个重要属性，图像理解和分析的第一步往往就是边缘检测，目前它已成 为机器视觉研究领域最活跃的课题之一，在工程应用中占有十贫重要的地位。物 体的边缘是以图像的局部特征不连续的形式出现的，也就是指图像局部亮度变化 显著的部分，例如灰度值的突变、颜色的突变等；同时物体的边缘也是不同区域 的分界处。基于车牌边缘所围区域的特点即车牌区域与非车牌区域间灰度特征的 不连续性，我们来对车牌图像进行切割。 3 4 2 车牌区域的初步定位( 一阶双向差分运算) 车牌定位流程如图3 - 5 所示： 图3 5 车牌定位流程图 如果我们能够在水平、垂直两个方向上的边缘中检测到属于车牌边框的边缘， 那么就可以对车牌区域进行初步的定位，基于这个想法，我们首先要在车辆图像 上进行水平和垂直方向上的边缘检测。考虑到系统的实时性要求和所检测直线的 方向性，我们采用一阶双向差分加法运算来检测图像中的水平和垂直直线。做法 如下：先对原始图像f ( i ，j ) ( 车辆图像的大小为w * h 的矩阵) 作一阶水平差分运算， 得到： g 。( f ，j ) = ，( f ，j ) 一f ( i ，+ 1 ) ( 3 3 ) 其中i = o ，1 ，2 ，矽一1 ；j = 0 , 1 2 ，h 一2 用以检测水平直线；然后再对原始图像 f ( i ，) 作一阶垂直差分运算，得到： 9 2 ( f ，) = lf ( i ，) 一f ( i + l ，) i ( 3 4 ) 其中i = 0 , 1 2 ，w 一2 ；，= 0 , 1 ，2 ，h l 用以检测垂直直线；接着对g 。、9 2 做加法， g ( f ，j ) = g l ( f ，j ) + ( f ，) ( 3 - 5 ) 其中i = 0 ，1 ，2 ，一2 ；，= 0 ，l 2 。h 一2 。 到这里为止我们得到了原始图像的一阶双向差分加法图g ( i ) 。图3 6 显示了处理 1 8 第三章 车牌图像定位提取算法 的结果。 图3 6水平垂直差分后的像图图3 - 7图3 6 的图像进行水平搜索的结果 3 4 3 车牌区域的细定位( 一种新的基于统计的水平垂直搜索) 图像的水平垂直搜索是车牌区域的细定位的关键一步，它的基本思想如下所 示( 这里以行水平搜索为例) 。设n 为连续的跳交点数( 所谓的跳变点就是指图像 中灰度值不同的点) ，c 为最小允许每行跳变点数，t 为最大允许跳变点间距，s 。、 e 。为某一段跳变点的起始和终止坐标，r 。为每行的跳变点数，l 为当前行。设“l = i ”。 对第l 行扫描，“w h i l e ( d o t ( l ，k ) l - 跳变点) k + + ；”，如果“d o t ( l ，k ) = = 跳变点”， 则“s l = k ，e 。= k ，k + + ”，找到可能的行起始点。 对第l 行继续扫描，如果“d o t ( l ，k ) = = 跳变点”，并且跳变点间距小于t ，则“e l = k ，r l + + ”：如果跳变点间距大于t 并且“r l c ”，则“l + + ”。 如果到了行尾则“h + ”，回到步骤执行。 当然，在这里首先进行跳变点的寻找，我们寻找跳变点的原则是