（控制科学与工程专业论文）数字图像处理技术在汽车牌照识别系统中的应用.pdf

摘要 摘要 近年来，汽车牌照自动识别技术在智能交通系统中有着越来越广泛的应用， 但由于该系统中技术难点较多，汽车牌照的准确定位、环境光的影响、汉字字 符的识别等诸多因素影响着识别的效果，给该系统的普及带来了一定的障碍， 需要科研人员对系统不断完善。 一个完整的汽车牌照识别系统工作流程一般由三部分组成：图像输入、汽 车牌照定位、字符识别。本文主要讨论软件部分的工作，包括牌照定位与字符 识别。围绕以上任务，本文对视频中运动物体的检测算法、汽车牌照的准确定 位方法、字符的特征值提取算法、人工神经网络识别法等作了深入的研究与探 讨。主要研究工作包括： 运动检测中提出一种基于最长静止分段中点法的改进算法提取视频背景， 以最大类间方差法求取最佳分割阀值，效果良好；并采用了直线拦阻算法直接 寻找汽车牌照：以上方法的综合使用，可以较准确地判断出视频当前帧中有无 车辆经过。 在汽车牌照定位中，以彩色边缘颜色对法并辅以车牌结构特征、纹理特征 等，较准确地提取出了汽车牌照位置。 在字符特征提取时，以多种算法提取字符特征，达到了区别性好、数量少 的基本要求。 最后，在字符识别时以基于l e v e n b e r g m a r q u a r d t 算法的b p 神经网络识别 字符。实践证明，这种改进b p 算法可以有效地提高识别率，并能减少陷入局部 极小点的情况。 本系统在实现过程中，一方面采用了来自各种学术文献上的较为优秀的成 熟算法；另一方面，在某些模块采用了性能更好的新算法，并对某些新理论的 应用作了一定的尝试。系统的稳定性一直是本文重视的一个问题。 将来，进一步的工作包括以下几个方面：尝试运动物体检测的新算法，以 更准确的检测出运动车辆：对基于l e v e n b e r g m a r q u a r d t 算法的b p 神经网络做 出进一步的改进，提高系统的整体识别率；尽量克服光照不均对分割率和识别 率带来的影响：优化程序算法，提高系统的实时性能。 摘要 关键词：运动检测，汽车牌照定位，字符特征提取，基于l e v e n b e r g m a r q u a r d t 算法的b p 神经网络 i l a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，v e h i c l el i c e n s ep l a t er e c o g n i t i o ns y s t e mh a daw i d ea p p l i c a t i o n i ni n t e l l i g e n tt r a f f i cs y s t e m b u tb e c a u s et h e r ew e r em a n yd i f f i c u l t i e si ni t ，s u c ha s l i c e n s ep l a t ep o s i t i o n ，t h ei n f l u e n c eo fs u n sr a ya n dt h er e c o g n i t i o no fc h i n e s e c h a r a c t e r s ，i ti sh a r df o rt h es y s t e mt ob ep o p u l a r i z e d s c i e n t i f i cr e s e a r c hm u s tb e c a r r i e do u tt op e r f e c tt h es y s t e m i m a g ei n p u t ，l i c e n s ep l a t ep o s i t i o n a n dc h a r a c t e r sr e c o g n i t i o nc o n s t i t u t ea n i n t e g r a t e dv e h i c l el i c e n s ep l a t er e c o g n i t i o ns y s t e m t h i s d i s s e r t a t i o nm a i n l yd i s c u s s e d t h ep a r to fs o f t w a r e ，l i c e n s ep l a t ep o s i t i o na n dc h a r a c t e r sr e c o g n i t i o ni n c l u d e d t h i s d i s s e r t a t i o nh a dad e e pr e s e a r c hi n t om a n ya l g o r i t h m s ，s u c ha sm o v i n go b j e c t s d e t e c t i o n ，v e h i c l el i c e n s ep l a t ep o s i t i o n ，c h a r a c t e rg e t t i n g a n dn e u r a ln e t w o r k s r e c o g n i t i o n i nm o v i n go b j e c t sd e t e c t i o nm o d u l e ，t h i sd i s s e r t a t i o nu s e dt h em i d p o i n to ft h e l o n g e s ts t a t i o n a r ys e g m e n tt og e tt h ef r a m es e q u e n c e sb a c k g r o u n d ，a n du s e dt h e b i g g e s ts q u a r ed i f f e r e n c eb e t w e e n c l a s s e st og e tt h eb e s ts e g m e n tt h r e s h o l d i nv e h i c l el i c e n s ep l a t ep o s i t i o nm o d u l e ，t h i sd i s s e r t a t i o nu s e dt h em u l t i c o l o r v e r g ec o l o rc o u p l e s ，v e i n sc h a r a c t e r sa n d f r a m e w o r kc h a r a c t e r st oa c h i e v et h e g o a l s i nc h a r a c t e r s g e t t i n gm o d u l e ，t h i s d i s s e r t a t i o nu s e ds e v e r a lw a y s w i t ht h e s e c h a r a c t e r s ，t h er e c o g n i t i o ne f f e c t sw e r es a t i s f y i n g i nn e u r a ln e t w o r km o d u l e ，t h i sd i s s e r t a t i o nh a da ni m p r o v e m e n to nb pn e t w o r k a n dt h et o t a lc h a r a c t e r sr e c o g n i t i o ne f f i c i e n c yw a s h i g h e rt h a nb e f o r e i nr e a l i z a t i o nc o u r s eo ft h e s y s t e m ，m a n yg o o da l g o r i t h m s f r o ms c i e n t i f i c c o m p o s i t i o n sa n da c a d e m i cm a g a z i n e s w e r e a p p l i e di nt h i sd i s s e r t a t i o n w h a t sm o r e ， s o m en e wt h e o r i e sw e r et r i e da n dm a n y i m p r o v e m e n t sa b o u tt h e mh a v eb e e nc a r d e d o u t w e p a ym u c h a t t e n t i o no n s y s t e ms t a b i l i z a t i o n i nt h ef o l l o w i n gd a y s ，w ew i l lc o n t i n u ed e b u g g i n g p r o g r a ma n do p t i m i z i n gt h e a l g o r i t h m s a b e t t e rs y s t e mi sa l w a y so u r g o a l s 1 u a b s t r a c t k e yw o r d s ：m o v i n go b j e c t sd e t e c t i o n ，v e h i c l e l i c e n s e p l a t ep o s i t i o n ，c h a r a c t e r s g e t t i n g ，n e u r a ln e t w o r k b a s e do n l e v e n b e r g - m a r q u a r d ta l g o r i t h m s 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本：学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：王星 如。拜；月；几 经指导教师同意，奉学位论文属于保密，在年解密后适用 本授权书。 舯狮虢文怦学位论文作一血 抄降j 月j 日细癖7 月；日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：王埕 “哼年；月 第1 章引言 1 1 概述 第1 章引言 现代社会已进入信息时代，随着计算机技术、通信技术和计算机网络技术 的发展，自动化的信息处理能力和水平不断提高，并在人们社会活动和生活的 各个领域得到广泛应用。作为现代社会的主要交通工具之一的汽车，在人们的 生产、生活的各个领域得到大量使用。对它的信息自动采集和管理对于交通车 辆管理、园区车辆管理、停车场管理等方面有十分重要的意义，成为信息处理 技术的一项重要课题。同时，我国高速公路建设飞速发展，对高速公路的运营 管理也提出了更高的要求。通常，高速公路收费、监管都引入了计算机系统， 实现了信息化。这种信息化的前提同样是对汽车牌照信息的采集与识别。 汽车牌照自动识别系统是以汽车牌照为特定目标的专用计算机视觉系统， 是计算机视觉和模式识别技术在智能交通领域应用的重要研究课题之一，它可 广泛应用在海关关口、高速公路入口、收费停车场入口等场所，用于交通流量 检测，交通控制与诱导；机场、港口、小区的车辆管理，不停车自动收费，收 费停车场的无人自动化管理；高速公路的收费自动化、提高效率，使在入口的 等待时间减少，从而提高服务质量和减小交通阻塞；闯红灯等违章车辆的监控， 帮助海关人员查处漏税、减小税收损失以及车辆安全防盗、连网安全检查，防 止事故发生等领域，具有广阔的应用前景。 我国机动车使用的牌照主要是根据公安部一九九二年颁布的中华人民共 和国机动车号牌标准( g a 3 6 9 2 ) 制作的。此外部队、武警等部门的汽车牌照也 有自己的标准，但是无论哪种汽车牌照都由下列基本元素组成： l 、汉字( 牌照中包括的汉字大约6 0 个) 2 、英文字母( a _ z ) 3 、数字( 0 - 9 ) 4 、颜色( 蓝、黄、白、黑、红) 车辆牌照自动识别的优点： 1 、高速：能将高速行驶的汽车牌照号码在较快的时间内识别出来，并将车 第1 章引言 牌号数据实时传送至车辆管理中心。 2 、智能补光：自动开启逆光补偿模式，调节光线强弱，达到最佳抓拍效 果。 3 、元素识别齐全，识别率较高：在车牌无污染情况下，对汉字、字母、 数字的每个元素识别率都很高。 4 、全天候工作：利用摄像机的日夜模式，无论在白天还是在黑夜都能保 持较高的识别率。同时，使牌照识别免受气候、环境、灯光等因素的影响。 5 、避免了人工识别的繁琐，大大减轻了工作人员的工作量。 车牌识别需解决的主要技术难点有： 1 、算法难点：汽车牌照区域定位、变形校正、旋转校正、污损修复、字 符切分、字符识别。 2 、成像环节难点：环境光影响( 太阳定向反射、镜面反射) 、车辆高速运 动中成像。 3 、系统运行环节中难点：全天候连续工作、系统无故障时间。 1 2 汽车牌照识别系统的组成及原理 1 ) 系统组成： 汽车牌照自动识别系统一般由车体感应器、彩色摄像机、辅助光源，图像 采集预处理器、主控电脑和识别系统软件组成。 本文中的汽车牌照自动识别系统由彩色摄像机、图像采集卡、个人电脑和 识别系统软件组成。 2 ) 系统原理： 本系统的原理框图如下所示，主要工作流程是：当车辆通过关卡，经过车 体位置传感器的敏感区域时，传感器发送一个信号给图像采集控制部分。采集 控制部分首先由控制采集卡采集一幅汽车图像送至图像预处理模块，然后再由 预处理模块对输入图像进行处理后送入电脑。电脑内的软件模块从输入图像中 找到牌照的位置，对牌照作字符切分，得到各个字符的点阵数据。字符识别模 块从点阵数据中提取字符特征，作为人工神经网络的输入量，由神经网络的输 出给出识别结果。应用系统调用这个结果组建数据库后，就r 叮以根据具体需要 编制各种不同类型的管理程序，从而达到管理的目的。 第1 章引言 在本文中，由于没有车体位置传感器，因此，车辆经过关卡时发出信号这 一步骤完全由图像处理技术来代替；即由视频图像的运动检测完成车体位置感 应器的功能。 图1 1 汽车牌照自动识别系统原理框图 1 3 汽车牌照识别技术的应用与现状 1 3 1 高速公路收费、监控管理的应用 车辆的自动放行：此项功能针对如特种车辆( 如军车、警车) 、预交费车辆 ( 如办理月、年缴费卡) 以及其他授权免费通行的车辆。系统处于自动检测状 态，一旦发现该类车辆经过，给出的控制信号不是驱动拦截装置，而是驱动放 行装置。系统此时会自动开启道闸，达到车辆不停车过卡和减少工作人员、严 化内部管理的目的。通常用于高速公路卡口专用车道。其作用是可以解决车流 高峰期的堵塞问题和减少运作费用。 自动检测出超速车辆：此项功能适用于在高速公路上，由于车辆的超速而 进行监控。通过在路上拍摄到超速的车辆，传到指挥中心进行实时车牌照的识 别，以使交管部门做出相应的处罚。 1 3 2 城市道路监控、违章管理方面的应用 车辆的自动检测报警：此项功能针对纳入”黑名单”的车辆，如冲关后或肇 事后逃逸的车辆、被公安部门通缉或挂失的车辆、欠交费的车辆等。只要将其 车牌资料输入数据库，系统就会处于自动检测状态，2 4 小时不停地对所有经过 车辆自动进行识别、比较、处理；尤其可以使用于城市机动车辆的档案管理工 第1 章引言 作、特殊的交通管理工作。同时该系统还可以与l t o 指挥中心相连，完成e e 一1 1 0 的监控报警工作。 车辆身份的后台集中识别：在道路交通监测部门，每天有大量的违规车辆 ( 如闯红灯、超速、抢道等) 图片汇集；现在的人工识别车牌及输入方式，工 作量很大，易引致疲劳误判。采用车牌识别系统能自动地进行识别处理，可大 量减少人力、减轻工作强度，大幅度提高处理速度和效率。通常用于电子警察 系统、道路监控系统。 套牌车辆自动稽查、指定车辆自动跟踪：此项功能利用车辆信息网上的实 时信息，以同一车牌出现时的方位、距离、时间等参数，快速计算处理，自动 查出该车牌是否有套牌车。同样也可利用网上信息查悉指定车辆的行踪。 车牌照自动过滤系统：此系统是针对道路交通路口电子监控中，由于触发 设备或摄像机的客观原因，从而产生大量错拍、误拍的图像，为后续的违章处 理带来相当不便的情况，根据车牌清晰度、红灯、过线等标志，对图像进行不 同的过滤处理。以保证后续的处理工作顺利完成，加大加强处罚的准确度。 1 3 3 智能小区、智能停车场管理的应用 车牌自动识别技术作为车辆识别的先进技术手段，在智能园区中可用于以 下几个方面： 车辆出、入园识别：圆区的业主入住时，将自己的汽车进行登记，其车牌 信息将记录在计算机数据库中。在园区大门处，设有车牌自动识别系统，对进 出车辆自动识别，并根据数据库中的车牌数据判断是否是园区内的车辆，对园 区内的车辆放行并自动记录其出入园时间，以便出现车辆被盗等情况时查询； 对园区外车辆，将要求其登记后方可进入。 停车场管理：在园区停车场出、入口处，设有车牌自动识别系统，对进出 停车场的车辆自动识别，并根据数据库中的车牌数据判断是否是已买( 或租) 车位的车辆，对已买( 或租) 的车辆放行，并自动汜录其出入停车场时间，以 便出现车辆被盗等情况时查询，对进入停车场的已买( 或租) 车位的车辆自动 将其车位处的挡车器打开，以便车辆停放：对其它车辆，将自动记录其出入停 车场的时间，以便计时收费，对进入停车场的其它车辆自动分配停车位并将其 车位处的挡车器打丌，以便车辆停放。目前随着识别率的提高和经济成本的降 4 第1 章引言 低，车牌自动识别系统已大量应用在智能园区。 目前，国外汽车牌照自动识别系统应用比较广泛而且成功的是英国伦敦的 牌照自动识别和新加坡的不减速电子收费技术。 伦敦实行的是通过摄像系统完成的牌照识别系统。这种系统技术简单，设 备成本低，但后台处理工作量大，对于少部分不能自动识别的车牌，还需要人 工识别。 新加坡实施的电子收费技术，则是在车辆上安装枚记录了车辆相关信息 的防拆卸电子标签，收费区域的所有入口均安装电予标签读写设备。读写设备 读取进入车辆的电子信息，将信息上传至结算中心。对于那些没有电子标签的 车辆或电子标签不合法的车辆，这套系统通过拍摄并保存车辆图像，加以事后 追缴和罚款。 1 4 汽车牌照识别系统在国内外的研究现状 目前国内外汽车牌照自动识别技术主要采用软件方式及软硬结合方式两种 技术方案。 所谓软件方式，就是通过识别软件对普通的车辆图像进行牌照识别，它的 最大优点就是成本低，通用性好。 所谓软硬结合方式，就是首先通过专用的图像抓拍设备获取一幅适合于计 算机识别汽车牌照的高质量图像，然后用软件、硬件结合的方式对所获取的专 用图像进行牌照识别，它的最大优点就是识别率高，能够全天候工作。 从视觉基本原理分析，要想看清一幅图像必须具备三个条件： 1 图像本身必须清晰： 2 眼睛视力必须好； 3 必须要有适当的光线。 同样，要想提高汽车牌照识别系统的识别率，也必须从以上三方面着手。 软硬结合的汽车牌照识别技术方案，就是根据视觉的基本原理确定的，是一个 集成像、光源、识别三位一体的完整的方案；而软件方式在某种程度上可以理 解为仅仅是软硬结合方式三个部分中的一部分。虽然软件方式也能完成汽车牌 照识别的功能，但识别率受成像质量、环境光线影响，无法达到软硬结合方式 的高度；它成本低、通用性好的特点却是软硬结合方式所不能达到的。下表是 5 第1 章引言 两种方案的技术特性比较 表1 1 两种汽车牌照识别方案的比较 技术特性软件方式软硬结合方式 产品组成计算机软件1 抓拍单元( 摄像设备) 摄像设备2 辅助光源( 闪光灯) 3 识别处理单元( 工控 机，d s p 硬件平台) 工作条件要借助计算机和摄像设独立工作，不受其它设备 备，不能独立工作的影响，工作界面清楚 工作环境不能适应各种环境、气可以适应各种环境、气 候。在太阳光直射、汽车候，实现全天候工作 远光灯直射等情况下不 能正常工作 成像质量成像质量取决于摄像设自有专用抓拍单元，成像 备的性能质量高 辅助光源不含辅助光源自有特制闪光灯，功耗低 产品成本低较高 运行成本运行中的调试、维护成本1 功耗低( 5 0 w ) ，用电 低，但要影响收费系统的量少； 正常工作2 独立工作，运行中的 调试、维护不影响收 费系统的正常工作 1 5 本文的工作 本文介绍了汽车牌照识别系统的原理和模块组成、两种识别方案，并对它 们的优缺点作了比较。 本文研究了视频图像中的运动检测技术、汽车牌照定位技术、字符分割技 术、字符特征提取技术、神经网络识别技术以及它们常用的算法，并对其中的 一些算法作了改进。这些算法主要有：运动检测中用来求取最佳分割阀值的最 6 第1 章引言 大类间方差法，汽车牌照定位中的彩色边缘颜色对法，车牌位置倾斜时的校正 算法，字符分割算法，字符图像h i l d i t c h 细化算法，字符特征提取算法，基于 l e v e n b e r g m a r q u a r d t 算法的神经网络识别法等。 在本文中，首先由视频捕获模块捕获视频图像，对其进行运动检测和图像 形态学运算并结合直线拦阻算法以确定有车辆经过关卡；如果有车辆经过，将 视频当前帧图像传入汽车牌照定位模块。 在汽车牌照定位模块中，运用彩色边缘颜色对法找出汽车牌照位置，并将 汽车牌照图像传入字符分割模块。 由分割算法对车牌中的每个字符进行准确的分割，随后对字符图像进行归 一化和细化操作；并以多种方法提取每个字符的特征向量，传入神经网络识别 模块。 构建基于l e v e n b e r g m a r q u a r d t 算法的b p 神经网络，将字符特征向量作为 输入值，以神经网络的输出给出识别结果。 概言之，本文给出了汽车牌照识别系统的完整流程，并较好地完成了汽车 牌照的识别过程，为人们提供了一种可行并可靠的技术方案。 第2 章视频图像的运动检测 第2 章视频图像的运动检测 2 1 视频图像捕获 2 1 1v f w 技术简介 v i d e of o rw i n d o w s 库函数是w i n d o w s 环境下实现实时视频捕获的视频服务 库。含有m c i a v i 、d r a w d i b 、a v i f i l e 和a v i c a p 等组件。视频数据的实时 采集是通过a v i c a p 3 2 d u 创建a v i c a p 窗1 ：3 类，由该类中的消息、宏函数、结构 以及回调函数来完成。v f w 的视频采集功能主要捕获视频流至a v i 文件，捕获 视频流至缓存、本地预览、捕获单帧预览等。v 】f w 提供的回调函数允许应用程 序精确控制视频流的捕获、错误检测、监控状态的变化和在捕获两帧数据的空 隙和捕获新帧时对实时数据进行处理。 w 主要有6 个模块组成： a v i c 觚m l ：处理视频捕获，为a v i 文件输入输出和视频、音频设备驱动程 序提供一个编程接口。 m s v i d e o d l l ：用d r a w d i b 函数处理屏幕上的视频操作。 m c i a v i d u ：包含对a v i 的m c i 命令的解释器。 a v i f i l e d l l ：支持由标准多媒体f o 函数提供的更高的命令来访问a v i 文 件。 i c m ：压缩管理器，管理用于视频压缩解压的编解码器。 a c m ：音频压缩管理器，管理用于波形音频压缩，解压的编解码器。 本文使用了a v i c a p 窗口类来开发视频捕获程序。a v i c a p 类支持实时视频 流捕获和单帧捕获，并提供对视频源的控制。通常使用的m c i 控件虽然也提供 了数字视频服务，并为视频叠加提供了o v e r l a y 命令集等，但这些命令主要是基 于文件的操作，还不能满足实时地从视频缓存中提取数据的要求。对于使用不 具有视频叠加能力的捕获卡的p c 机来说，用m c i 提供的命令集是无法捕获视 频流的。而a v i c a p 窗口类在捕获视频方面具有一定的优势，它能直接访问视 频缓冲区，而不需要生成中间文件，因而实时性很强，效率也很高。另外，它 还可将数字视频捕获到一个文件中。 8 第2 章视频图像的运动检测 2 1 2 视频图像捕获过程 实现视频捕获流程图如下： 创建视频捕获窗 i l 沣册系统回调函数 l 获取视频捕获窗参数设置 l 与视颇德藤设备捧接 l 捕获图像到缓存中并进行处理 j 终止视频捕获、断开连接 图2 1 视频捕获流程图 首先，必须用a v i c a p 窗口类创建一个与视频硬件相连的捕获窗，所有的视 频操作及其他设置都是以它为基础。 第二步，设置必要的系统回调函数，如流捕获、帧捕获，它们的注册是通 过相应的宏完成的。 第三步，实现视频帧到缓存的捕获需要应用回调函数。回调函数可以使用 宏函数c a p s e t c a l l b a c k o n f r a m e ( h w n d ，f p p r o c ) 来注册。启动了视频捕获后，在每 一帧的结束立刻产生回调动作，究竟是哪一个回调函数响应，是由登记设置在 宏函数中的f p p r o c 参数来决定。这里可以定义f r a m e c a l l b a c k p r o c 回调函数，该 函数将视频数据存入预先分配好的缓冲区。 第四步，捕获激活。 9 第2 章视频图像的运动检测 第五步，关闭视频捕获窗。 2 2 对运动物体的检测 视频图像中对运动物体的检测一般可以分为两个步骤。第一，背景的获取 第二，运动目标提取。 2 2 1 最长静止分段中点法 背景的准确获取是运动检测的前提和关键。显然，背景并不是一成不变的， 拍摄角度的变化、天气和光照的影响甚至是在原先的背景中放入了一个静止的 物体，都会对运动检测产生不小的影响。因此我们必须尽量实时地更新背景， 以最大程度地减小识别运动物体时的误差。 视频序列帧间具有较强的相关性，仅仅利用单帧的信息作为背景容易产生 错误，目前主流方法联合多帧信息进行数学统计，挑选出合适的象素点以计算 背景。 如果我们定义视频帧序列为f ( x ，y i ) ，其中x ，y 代表象素点的坐标，i 代表 帧的序号0 = 1 ，2 n ) ，n 为序列总帧数，函数f ( x ，y ，i ) 表示某帧中象素( x ，y ) 的灰 度值。那么相邻帧之间的帧差为： m 。，_ ) ，i ) 一m d , i f d d 。 丁t l l ，d ；i f ，y ，f + 1 ) 一盹y ，f ) i ( 2 1 ) 阀值t 被用来滤除噪声，但如果设置过大会影响图像原有信息。对象素点 ( x ，y ) 而言，若以时间为横坐标轴( 帧的增加即意味着时间的增加) ，函数m ( x ，v i ) 为纵坐标轴，可以绘制出该象素点随时间的变化曲线。再根据m ( x ，y j ) 是否大 于o ，对该曲线分段，将为o 部分以集合 s j ( x ，y ) ，1 j m 表示。在象素点( x ，y ) 对应的集合 s j ( x ，y ) 中，挑选最长的为o 分段并记录该分段巾点的对应帧号。 晟后，以该帧号在源视频帧序列中查找，并以其相应的点的信息来填充背景中 ( x ，y ) 象素点。这一过程可以用下述函数来表示： m i d 0 ，y ) = ( s t a r t o ，y ) 十e n d ，y ) ) 2 ，、 b 蛔扛，y ) = f ( x ，y ，m i d ( x ，y ) ) 、 1 0 第2 章视频图像的运动检测 上式中，m i d ( x ，y ) 是表示集合 s j ( x ，y ) ) 中最长分段中点的对应帧号，s t a r t ( x ， y ) 表示最长分段的起点帧号，e n d ( x ，y ) 为最长分段的终点帧号。b k g ( x ，y ) 表示背 景中( x ，y ) 象素点的灰度值a 2 2 2 视频背景的更新 为了在计算视频背景时获得更好的效果，除了必须利用当前帧的信息外， 本文还引入了前继帧的概念，它表示视频图像中当前帧的前一帧信息。即若以 l + 。表示当前帧的信息，那么t 表示前继帧。并假设我们已经有了一个预先定义 的只包含静止物体的视频背景b 。该算法的目的是为了在视频帧序列有明显的变 化时，检测出运动物体所在的区域。为此，算法定义正为相邻两帧+ 。和之间 的差异，瓦为前继帧和背景b 之间的差异，( x ，y ) 为某象素。即： 酏加 z 嬲“力卜 协。) 驰小 ：戮2 坷力卜屯 亿a ) 上式中，和气是分割阀值。它们都是自适应阀值，以最大类间方差法求取。 这样，运动帧差图像m 。和更新的背景图像b 分别按下列公式计算： 吣朋一佬，裂呱力卜1 僻5 ) 啪，= ：翟黧乜。川旬 e ， 可以看出，m 。仅在z 、瓦都为非0 值时才为非0 值。在实际中，不可能获 得真正只含静止物体的视频背景图像。因此，从视频中含有一个或更多的运动 物体的帧序列中恢复视频背景是不可避免的任务。 本文在程序实现时，并没有在l 帆o ，y ) ，一瓦o ，y ) | = 1 时立即执行 b ，y ) = j 。 ，y ) ，而是先统计这种情况发生的次数，如果计数到9 ( 根据经验 值选取) ，再执行b y ) = ，y ) 。这样可以保证获得的视频背景更加稳定，减 少噪声的影响。 第2 章视频图像的运动检删 2 2 3 最佳分割阀值的求取( 最大类间方差法) 最大类问方差法是一种被广泛应用的图像分割阀值求解算法，其求解过程 大致如下： 记f ( i ，j ) 为点( i ，j ) 处图像象素的灰度值，整幅图像的灰度级为m ，假设f ( i ，j ) 取值为【0 ，m 1 】。记p ( k ) 是灰度值为k 的频率，则有： 础) - 高，。狂 - 7 其中m 、n 分别为图像每行和每列的象素数。假设用灰度值t 为阀值分割出 的目标与背景分别为： f ( i ，j ) t ) 和 f ( i ，j ) - 丁时，该象素被认为是一个边缘点。 该算法认为，d 。的分布近似为高斯分布。设皿的均值为u ，标准方差为0 ， 则按下式近似计算t ： t = “+ 3 a( 3 - 5 ) 在本文中，选择s = 1 ，即3 3 的窗口，b 角增幅为4 5 度。 第3 章汽车牌照定位 3 3 神经网络判色并根据边缘颜色对分割车牌图像 对车牌图像中的每一边缘点求取边缘颜色对c o c p ，如果c d c p 比0 c p ， 则保留此边缘点。 需要说明的是，本文在运动检测模块中首先将彩色视频图像转变为灰度图 像，是为了利用象素的灰度变化信息完成对运动目标的提取；在汽车牌照定位 模块则需要彩色视频图像，以应用彩色边缘颜色对算法。因此，在程序实现中， 应开辟两个缓冲区，分别存放彩色图像和灰度图像。 算法实现时，先在线性窗口内边缘点的一侧搜索具有底色或者字符颜色的 象素，若找不到，说明它不是车牌边缘点，在边缘图像中删除它；否则，在另 一侧搜索具有和此颜色配对的颜色象素，若找不到，说明它也不是车牌边缘点， 在边缘图像中删除它；若可以找到，说明它可能是车牌边缘图像。 在确定目标的颜色特征时，可以使用固定阀值的方法；也可以使用人工神 经网络进行颜色学习从而构造颜色向量集的方法，在不同的光照条件下，可以 对目标物体进行多次学习，最后构造出物体表面颜色的r g b 向量集。将待识别 边缘图像中的象素r g b 向量和该向量集相匹配，即可获得需求的边缘图像。这 样，可以有效的避免r g b 模型的高分散性和高相关性所带来的阀值分割问题； 既保证了视觉系统的实时性，又增加了r g b 模型中进行颜色目标识别的鲁棒性。 3 4 利用车牌结构特征和纹理特征分割车牌 3 4 1 车牌结构特征 车牌具有明显的结构特征和纹理特征，车辆前部的车牌宽高比为3 1 4 ，考 虑到拍摄角度及倾斜等原因，宽高比可取为1 5 3 5 ，一般由7 个字符组成，字 符水平排列，字符区域水平方向颜色变化概率大。应用边缘颜色对之后，非车 牌区域的边缘大都不具有车牌的结构特征。对于原车牌图像，利用形态学中的 闭运算后可以得到具有上述特征的一幅包含若干连通域的图像。 去除不符合宽高比要求的连通域，此时若只有一个符合要求的连通域，即 可确定车牌区域：否则，根据连通域的填充度确定真实车牌位置。 连通域的填充度定义如下：设连通域面积为s 1 ，连通域中象素水平坐标的 第3 章汽车牌照定位 最大值和最小值分别为x 。和x 。，垂直坐标的最大值和最小值分别为y m 。和 y m 它们所围成的面积为： s ；( 】，m 。一匕i n ) ( x 一一x 。i n ) ( 3 - 6 ) 则定义填充度为： f s 1 s ( 3 - 7 ) 一般说来，车牌区域填充度f 较大，非车牌区域f 值较小。根据经验值选 取合适的阀值可以去除非车牌区域，若此时只有一个连通域，则认为它就是车 牌区域；如仍有两个以上连通域，则根据车牌的纹理特征来确定真实车牌位置。 3 4 2 根据车牌纹理特征确定车牌区域 纹理一般认为是灰度在空间以一定的变化形式而产生的图案，纹理图像反 映了图像本身的属性。因此，利用纹理特征可以将图像中的不同目标区别开来。 通过观察和分析不同物体的图像，可以抽取出构成纹理特征的两个要素： 1 ) 纹理基元：纹理基元是一种或多种图像基元的组合。最小的纹理基元即为象 素。 2 ) 纹理基元的排列组合：基元排列的疏密、周期性、方向性等的不同，能使图 像的外观有很大的差异。反映在图像上就是纹理的粗细、走向等特征。 在本文中，针对灰度图像，采用了如下的算法辅助判断车牌的位置，作为 对彩色边缘颜色对法的有益补充。首先令m 为图像中的车牌以象素数表示的高 度，n 为以象素数表示的宽度；对图像进行运动目标检测后，在运动目标上从上 到下每隔【m 2 】行象素画一道水平方向的线段，长度可取为【4 n 5 】象素，起始象 素横坐标为，纵坐标为y 。；求取线段上相邻象素的灰度差如下： d ( z ，y ) - f ( x + 1 ，) ，) 一，o ，y ) ，x os x s x o + 【4 月5 卜2 ( 3 - 8 ) 并对线段上相邻象素的灰度差求取累加效果： x o + 4 n s 一2 t o t a l d y ；o ( x ，_ ) ，) ，( y = y 。+ 1 ，y o + 【， 4 】一1 ，y 。+ m 2 一1 ， j 。x f l y o + 【3 m 4 卜1 ，y o + 川一2 ，) ( 3 9 ) 在每一个位置- ( x o ，y 。) 都可以画出5 条水平线段，求出这5 条水平线段的 2 1 第3 章汽车牌照定位 t o t a l d y 之和，有： t o t a l d = t o t a l d y 图3 3 利用车牌纹理特征定位车牌算法示意图 ( 3 1 0 ) 将象素( x o ，y o ) 在提取出的车辆运动目标上移动，当加f d 取得最大值时 ( 这里还可以利用而细q 在五个不同位置的差异作为定位手段) ，则认为由四个 g t 素( x o ，y o ) ，( + n 一1 ，y o ) ，( ，y o + m - 1 ) ，( + n 一1 ，y 。+ m 1 ) 围成的矩形区域就是车 牌所在的位置。 图3 4 汽车牌照定位示意图 实验证明，在对含有汽车牌照的5 0 0 幅汽车图片执行上述牌照定位算法时 准确定位4 8 1 幅，识别率达到9 6 2 。 第4 章字符分割与特征提取 第4 章字符分割与特征提取 4 1 牌照图像预处理 汽车牌照自动识别系统的程序实现可以分为视频图像处理和神经网络识别 两大模块。在汽车牌照定位完成后，必须对字符图像进行图像预处理，目的是 把每个字符图像归一化为容易识别的图像，以方便把每个字符的特征提取出来。 这些技术包括：图像的灰度化、二值化、图像的调整、图像的平滑、离散噪声 点的去除、字符的切分、图像的缩放、字符的细化、图像的求梯度等图像处理 技术。 为了便于车牌的识别与分割，摄像机摄下的原始图像应具有一定的亮度和 对比度。但拍摄时的光照条件、牌照的整洁程度、摄像机的焦距和角度、镜头 的光学畸变以及车速的不稳定等因素都会不同程度地使汽车图像模糊、缺损或 歪斜，从而使车牌字符边界模糊、细节不清、笔划断开、粗细不均。这将 给车牌区域分割与字符识别带来困难，所以识别之前有必要对原始图像进行预 处理。这一般包括：消除模糊、图像去躁、图像增强、水平校正。 另外，为了加快算法的执行速度以及执行后续算法，有必要将视频采集后 的真彩图像转交为灰度图像。 整个图像的处理流程如下： 图像输入r _ - 1 运动检测 去离散噪声r 2 5 减小k k s 。1 8 增加k ( 4 6 ) 【其它 不变 该方法通过自动调节迭代系数以获得。个准确的车牌二值化图像，具有较 强的自适应能力。实验证明，它计算出的阀值非常准确。 2 5 第4 章字符分割与特征提取 4 1 4 去离散噪声 图像可能在扫描或传输过程中夹带了噪声，去噪声是图像处理中必不可少 的手段。去离散噪声通常采用滤波的方法，比如中值滤波、均值滤波等。但这 样的算法不适用在处理字符这样目标狭长的图像中，因为在滤波的过程中很可 能会损失掉字符本身的象素。 本文利用如下的方法来去除离散噪声，该方法来源于图像形态学。具体算 法如下： 1 ) 扫描整个图像，当发现一个黑点的时候，就考察和该黑色点直接或间接相连 的黑色点个数有多少。本文取了3 3 的模板，即考虑与黑色象素点相邻的 周围的8 个象素。 2 ) 如果大于一定的值，本文中取为5 ，就认为该点不是离散点，否则就是离散 点，把它去掉。 3 ) 以相同的方法继续扫描其它黑色象素点。 4 1 5 倾斜度调整 因为摄像机的角度、车辆的运动等因素，提取出来的车牌图像可能存在倾 斜，所以必须对它进行调整，使得字符都处于同一水平位置，这样既有利于字 符的分割也可以提高字符识别的准确率。关于检钡4 图像中直线倾斜角度的问题， h o u g h 变换是种比较成熟的算法，但是该算法较复杂且耗时较多。 在本文中，调整算法主要是根据图像上左右两边的黑色象素的平均高度来 的。一般来说，众多字符组成的图像，其左右两边字符象素的高度应该处于同 一水平位置，如果两边字符象素的平均位置有比较大的起落，那就说明图像存 在倾斜，需要进行调整。具体来说，要分别计算图像左半边和右半边的象素的 平均高度，然后求出斜率，根据斜率来纠正图像。如果新图象中的象素映射到 旧图像时超出了旧图像的范围，就把新图像中该象素置为白色( 扶度为2 5 5 ) 。 倾斜度调整算法实际来源于图像的旋转，其理论基础如下： 设点( x o ，y 0 ) 经过旋转。度后坐标变成( x l ，y 1 1 。 在旋转前： 2 6 第4 章字符分割与特征提取 。o 。r c o s 。( 4 7 ) 【y o 昌，s i n c t f n 2 r c o s ( o ：一8 ) lr 0 0 8 a 8 8 + 7 8 试4 8 1 n 日。x o 8 8 + y 0 8 m 日( 4 - 8 ) 斟忙瓣 件9 ) 【x l l i ocl , 1 4 【i ：0 1 ：1 1 j = o ：一；口三】p 。，。， 。【i j ；1 i ：ps 孑i n 。s 0 口；i 三ji 】 i ： p n 蚶+ ) ，1 8 妯0 8 扎心“8 ( 4 - 1 1 ， i y o = - x l s i n 0 + y l c o s 0 + c s i n 0 一d c o s 0 + b 第4 章字符分割与特征提取 j y ( x o ，y o ) 奈y 1 1 。 n 4 2 牌照图像预处理 4 2 1 字符分割 图4 2 图像旋转示意图( 同坐标系) 图4 3 车牌图像的倾斜角度校正 系统读入的图像一般会含有多个数字，识别的时候只能根据每个字符的特 征来进行识别，因此必须进行字符分割的工作。也就是将m - - 值化后的车牌图像 中的字符独立地分割出来。通常的字符切割采用垂直投影法或计算车牌字符的 平均宽度。 首先求出车牌图像在水平轴的投影。在投影函数中，把小于某一确定阀值t 的区段中点作为最可能的分界点，计算出可能的单字符宽度：然后根据车牌固 定的长度和字符数目对分割结果进行分析。如果分割得到的字符数目与汽车牌 第4 章字符分割与特征提取 照的字符数目不相符，则说明字符可能会有粘连或是字符断裂或是该字符是一 个含有左右结构的字符。对于汉字、英文字母和数字必须区别对待，在首次分 割结果中“单字符”宽度若大于计算得到的单字宽度，则认为存在字符粘连情 况，需要对其进行二次分割；原则是在其中点附近寻找最小的投影值，把它作 为新的分割点：在分割中若存在“单字符”宽度小于计算所得的单字宽度，则 从头至尾合并分割结果，直到得到的字符宽度和数量符合计算结果为止。 除了投影法之外，本文中还结合了如下算法，它主要也是来源于车牌的纹 理特征。这种算法需要字符图像的噪声很小，因而去离散噪声的效果将直接影 响对字符分割的正确与否。将这两种方法结合起来分割字符可以取得良好的效 果： 第一步，先自上而下对图像逐行扫描直至遇到第一个黑色的象素点。记录 下来，然后再由下向上对图像逐行扫描直至找到第一个黑色象素，这样就可以 大致确定图像的高度范围。 第二步，在这个高度范围之内，自左向右逐列扫描，遇到第一个黑色象素 时，认