（模式识别与智能系统专业论文）多神经网络在车牌字符识别中的应用.pdf

东南大学硕士学位论文 摘要 车牌自动识别作为智能运输系统( i t s ) 的重要组成部分，是一个值得深入 研究的课题。 本论文在对车牌自动识别的其它处理过程作了简单介绍之后，重点研究了使 用多神经网络对车牌字符进行识别这一领域。多神经网络进行车牌字符识别包括 了字符特征提取和多神经网络识别器两个部分。 在字符特征提取部分，本文充分利用结构特征对字符结构敏感、区分相似字 符能力较强的特点和统计特征鲁棒性强的特点，从中选择了几种性能稳定且能够 互补的字符结构和统计特征，将其结合起来以构造多神经网络识别器。 本文在车牌字符的识别阶段采用了b p 神经网络。首先，针对传统b p 神经 网络收敛速度慢且容易陷入局部极小点等缺陷进行了改进，实验证明改进后的网 络在收敛速度和精度方面都有所提高；然后，本文利用多神经网络集成技术，将 基于不同字符特征的神经网络识别器结合起来，分别对串联结构、基于表决器的 并联结构和基于模糊运算的并联结构等多神经网络识别器进行了实验，仿真结果 证明集成的神经网络较单一的神经网络在识别性能上有了较大提高。 最后文章概要介绍了车牌字符识别的硬件实现方法，并提出了将来继续深入 研究车牌字符识别的几个方向。 关键字：车牌自动识别 字符预处理 字符特征多神经网络集成 b p 算法 并联结构 东南大学硕士学士论文 a b s t r a c t t h ea u t o m a t i cl i c e n s e - p l a t er e c o g n i t i o ns y s t e mi so n eo ft h em o s ti m p o r t a n tp a r t s o f i t s ( i n t e l l i g e n tt r a n s p o r ts y s t e m ) ，a n d i ta l s oi sa na t t r a c t i v es u b j e c t t h i sp a p e rf i r s t l yi n t r o d u c e ss o m eo t h e ri n s p e c t so ft h el i c e n s e - p l a t er e c o g n i t i o n i n b r i e f , a n dt h e n i t p a y s m u c hm o r ea t t e n t i o nt ot h e l i c e n s e p l a t e c h a r a c t e r s r e c o g n i t i o nw i t hm u l t i p l en e u r a ln e t w o r k s t h el i c e n s e p l a t ec h a r a c t e r sr e c o g n i t i o n w i t hm u l t i p l en e u r a ln e t w o r k si n c l u d et w om a i np a r t s ：t h ef e a t u r ee x t r a c t i o no f c h a r a c t e ra n dt h ec o n s t r u c t i o no f m u l t i p l en e u r a ln e t w o r k s i nt h es t a g eo fc h a r a c t e r s f e a t u r ee x t r a c t i o n ，t h ep a p e rf u l l yu s e st h es t r u c t u r a l i n f o r m a t i o na n dt h es t a t i s t i c a li n f o t i n a t i o n t h e ya l lh a v es o m ea d v a n t a g e si ns o m e i n s p e c t s t h es t r u c t u r a l i n f u r m a t i o no f c h a r a c t e r si ss e n s i t i v et ot h ef r a m e w o r ka n di s g o o da td i s t i n g u i s h i n gt h es i m i l a rc h a r a c t e r s t h es t a t i s t i c a li n f o r m a t i o no fc h a r a c t e r s h a st h e a b i l i t y o f r o b u s t n e s s b y e x p e r i m e n t i n g ，s e v e r a l k i n d so fs t r u c t u r a l i n f o r m a t i o na n ds t a t i s t i c a li n f o m ：l a t i o nt h a ta r es t e a d ya n dc a nb es u p p l e m e n t e df o r e a c ho t h e ra r ec h o s e n a f t e ru s i n ga l lt h e s ec h a r a c t e rf e a t u r e sa s i n p u t s ，t h ep a p e r c o n s t r u c t st h em u l t i p l en e u r a lu e t w o r k s r e c o g n i t i o ns y s t e m t h i sa r t i c l eu s e st h eb pn e u r a ln e t w o r kt o d i s t i n g u i s ht h ec h a r a c t e r s ，f i r s t l y , i t i m p r o v e st h en e u r a ln e t w o r ka n dt h ee x p e r i m e n td a t u mp r o v e st h a tt h ei m p r o v e m e n t i sg o o da tt h ec o n v e r g e n ts p e e da n d p r e c i s i o n s e c o n d l y , t h i sp a p e rb a s e st h ec h a r a c t e r r e c o g n i t i o ns y s t e mo ns e v e r a ln e u r a ln e t w o r k st h a tu s ed i f i e r e n tc h a r a c t e rf e a t u r e s t h e s y s t e m si n c l u d et h es e r i a ln e u r a ln e t w o r k s ，t h ep a r a l l e ln e u r a ln e t w o r k sb a s e do n j u d g i n gl o g i c a n dt h e p a r a l l e l n e u r a ln e t w o r k sb a s e do n f u z z yo p e r a t i o n t h e e x p e r i m e n ts h o w s t h a tt h ei n t e g r a t i o no f m u l t i p l en e u r a ln e t w o r k si sb e t t e rt h a ns i n g l e n e u r a ln e t w o r ki nc h a r a c t e r r e c o g n i t i o n f i n a l l y , t h i sa r t i c l ei n t r o d u c e st h eh a r d w a r ed e s i g nf o rt h el i c e n s e p l a t ec h a r a c t e r r e c o g n i t i o n i ta l s op u tf o r w a r ds o m ei m p r o v e m e n tf o r t h ef u t u r er e s e a r c h k e yw o r d s ：a u t o m a t i cl i c e n s e p l a t er e c o g n i t i o nc h a r a c t e r p r e d i s p o s a l b p a l g o r i t h mc h a r a c t e rf e a t u r e i n t e g r a t i o no f m u l t i p l en e u r a ln e t w o r k s p a r a l l e ln e u r a ln e t w o r k s i i 东南大学硕士学士论文 学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：i 坠日期：立! 毖f 关于学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阔，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 签名： ：8 婆导师签名： 巡 第一章绪论 第一章绪论 1 1 智能交通系统( it s ) 及车辆牌照自动识别简介“ 随着国民经济的快速发展，各种机动车辆不断增加，导致道路交通流量不断增大，交通 事故、交通堵塞等问题日益严重，我们正面临着路网通行能力不能满足交通量增长需求以及 交通运输安全等问题。为了解决这些问题，国外发达国家相继推出了适应未来运输需求的智 能交通系统，将发展智能交通系统作为今后交通建设的一个重要发展方向。我国近年来也开 始了这方面的研究和开发。 i t s 是i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m 的缩写，将在2 1 世纪引领世界道路交通管理体 系的模式和发展潮流。它是当代电子技术、计算机技术、通信技术、信息技术和控制技术的 综合运用。智能交通系统通过对有关交通信息的实时采集、传输、处理，借助各种先进的技 术和设备对交通信息进行协调处理，使人、车和路密切配合，达到和谐地统一，不但可以有 效保证道路通行能力和安全，而且可以使交通设施得以充分利用，实现交通运输的集约式发 展。智能交通系统的智能化体现在以下三个方面： ( i ) 车辆依靠自身的智能在道路上安全自由行驶，在陌生的地方不至于迷失方向。 ( 2 ) 道路依靠自身的智能将交通流量调整至最佳状态，缩短行车时间，减少阻塞。 ( 3 ) 交通控制管理中心依靠系统的智能对道路和车辆的状态进行实时监控，及时处理 事故，保障道路畅通。 目前，政府、产业机构和科学研究单位就i t s 的研究领域十分广泛，侧重点也各不相同， 车辆牌照自动识别系统就是智能交通系统在车辆检测方面的具体表现。它在交通监视和控制 中占有很重要的地位，有着多种应用，例如自动收费系统、不停车缴费、失窃车辆的查寻、 停车场车辆管理、特殊部门车辆的出入控制等等。同时，汽车牌照识别的方法还可应用到其 他检测和识别领域。所以汽车牌照的识别问题已成为现代交通工程领域研究的重点和热点问 题之一。 车辆牌照自动识别系统可安装于公路收费站、停车场、十字路口等交通关卡处。这些地 方交通流量很大，人工干预处理较为困难，使用车辆牌照自动识别系统不仅大大提高了交通 流量，同时也节省了大量的监管人力。汽车牌照自动识别系统的用途包括： ( 1 ) 交通监控 利用车牌识别系统的摄像设备，可以直接监视相应路段的交通状况，获得车辆密度、队 长、排队规模等交通信息，防范和观察监测交通事故。它还可以同雷达测速器或其他的检测 器配台使用，以检测超速的车辆。当发现车辆超速时，摄像机获取该车的图像，并得到该车 的牌照号码，然后发给该车超速的警告信号。若系统与动态称重仪结台，可实时记录超重车 东南大学硕士学位论文 辆的信息。 ( 2 ) 交通流量控制指标参数的测量 为达到交通流量控制的目标，一些交通流量指标的测量相当重要。该系统能够测量和统 计很多交通流量指标参数，如总的服务流量，总的行程时间，总的流入量和流出量，车型， 车流组成，每日车流量，小时分钟车流量，车流高峰时间段，平均车速，车辆密度等，从 而为交通诱导系统提供必要的交通流量信息。 ( 3 ) 高速公路收费管理 高速公路逃费现象一直是高速公路管理急待解决的问题，尽管现在流行的入口发卡的收 费管理办法可以减少一些逃费现象，但仍有一部分在路中换卡逃费的现象发生。利用车牌识 别技术可完全杜绝逃费，并可与车辆管理部门合作实现追逃工作。 ( 4 ) 车辆定位 由于能自动识别车牌号码，因而极易发现被盗车辆，以及定位出车辆在道路上的行驶位 置。这对防范、发现和追踪涉及车辆的犯罪，保护重要车辆( 例如运钞车) 的安全有重大作 用，从而对城市治安及交通安全有重要的保障作用。 ( 5 ) 对养路费交纳、安全检查、运营管理实行不停车检查 根据识别出的车牌号码从数据库中调出该车档案材料，可发现没有及时交纳养路费的车 辆。另外，该系统还可发现无车牌的车辆。系统若与车型检测器联用，可迅速发现所挂车牌 与车型不符的车辆。 1 2 车牌自动识别系统涉及的技术及方法 本文研究的车牌自动识别系统是基于图像的处理系统，它由c c d 摄像机、图像采集卡 及计算机处理系统组成，通过c c d 摄取车辆图像，经a d 转换后再输给计算机系统进行 图像的预处理和识别，识别的内容主要是车牌号码，并将识别后的车牌存入系统数据库中供 后续收费管理之用。本系统主要包括以下几个模块【2 】： 图1 1 车牌自动识别系统模块图 图像采集。当行驶车辆通过预设的检测点时，位置传感器( 射频微波e g t ) 立即向主 机发出触发信号，主机控制c c d 摄像机自动摄取车辆正面的图像，被摄取的图像经过图像 输入接1 3 预处理、帧存和a d 转换，就可以进行车牌自动识别的工作。 图像预处理。通过c c d 摄像机获得的车辆信息以位图格式存放在计算机中。由于光照 条件的不稳定变化，摄像头与车牌之间角度和距离不合适以及车辆通过摄像头时速度过快 2 第一章绪论 等因素，都将引起车牌图像质量的严重下降包括图像模糊和缺损等现象。通过图像预处理 技术，比如根据图像退化模型解模糊，根据噪声模型有效去除噪声等等，可以有效增强图像 中有利于车牌识别的特征部分，以便更好的提取车牌。 车牌定位。该技术是车牌自动识别技术中比较核心的部分。国内传统的车牌定位方法包 括：( 1 ) 基于彩色图像中车牌色彩信息的定位；( 2 ) 基于闽值分割的方法：( 3 ) 基于字符笔 划的方法；( 4 ) 基于多分辨率的方法；( 5 ) 基于灰度聚类的方法：( 6 ) 基于统计直方图的方 法。近年来随着技术的发展，基于一阶双向差分和h o u g h 变换，遗传算法，神经网络，形态 学和分形等技术在用于车牌定位时都取得了较好的效果。 字符预处理。经过定位的车牌在进行单个字符识别之前，要对带有随机干扰和噪声的整 版灰度字符信号进行预处理。预处理的目的是提取单个车牌字符，去除所提取车牌字符中笔 划的噪声点( 可作为高频噪声处理) ，消除一些由于阈值分割等造成的假连接处。然后按照 所选择的字符特征将字符细化( 求骨架) 。预处理一般包括二值化，行、字切分，平滑， 去噪声，规范化和细化等。 字符识别。经过预处理后的车牌字符集是由汉字字符集、英文字符集和阿拉伯数字字符 集所组成的。目前常用的基于图像处理方法的有：( 1 ) 模板匹配。它实现简单，当字符较规 整时对字符图像的缺损和污迹干扰适应力强且识别率相当高，但对字符的旋转、缩放、变形 容忍度低。( 2 ) 根据字符图像的统计特征匹配。该方法通过计算字符图像的全部或部分的期 望与方差进行字符识别，虽然对字符的旋转、缩放、变形具有一定容忍度，但是总体识别率 较低。( 3 ) 基于字符图像的变换进行匹配。通过将字符与标准模板分别进行f o r r i e r 或h o u f f 变换后进行比对，虽然对字符的旋转、缩放、变形具有较高容忍度，但对字符的短小细节分 辨率不够( 例如“o ”和“q ”难以区分) 。( 4 ) 对字符结构进行分析的识别方法。近年来， 研究人员广泛采用了人工神经网络、模糊理论和隐形m a r k o v ( h m m ) 等方法用于字符识别。 其中，人工神经网络以其抗噪性，容错、自适应和自学习能力强。融若干预处理和识别方法 于一体，识别速度快等特点而受到人们的重视，在车牌识别领域得到了广泛的应用。 1 3 本文主要研究工作 本论文是江苏省自然科学基金项目“i t s 中车牌自动识别方法的研究”内容的一部分。 作为i t s 重要组成部分之一的车牌自动识别是一个较新的研究课题。本论文的主要任务是根 据定位好的在自然场景下的车牌图像，通过预处理、特征提取以及多神经网络识别器，实现 对车牌字符的高效与精确识别。 论文的主要内容安排如下： ( 1 ) 第一章绪论。 ( 2 ) 第二章车辆牌照的定位。介绍了几种有效的车牌定位方法，包括基_ 了_ 对图像进行 一阶双向差分和h o u g h 变换的定位方法，基于遗传算法的定位方法等等。 ( 3 ) 第三章车牌字符预处理。介绍了一些预处理的主要技术，包括模糊字符图像的复 原，字符的二值化，字符行、列分割，字符的规范化与细化。 ( 4 ) 第四章神经网络及其在车牌字符识别中的应用。重点是研究将反向传播皿p ) 神经 网络及其改进算法应用于字符识别。 ( 5 ) 第五章车牌字符识别中的多神经网络识别器研究。通过将多种字符特征相互结 合，以及使用多神经网络集成技术，有效提高了车牌字符的识别精度。 ( 6 ) 第六章车牌字符识别系统的硬件实现。概要介绍了车牌字符识别中神经网络及系 统的硬件实现。 ( 7 ) 第七章对本论文所作的工作进行了一些总结，同时提出了将来继续研究的方向。 4 第二章车辆牌照的定位 第二章车辆牌照的定位 车牌定位作为车牌自动识别中的重要环节，直接关系到系统识别的速度和精度。典型的 车牌定位方法包括：j b a r r o s o 提出的基于水平线搜寻的定位“；r p a r i s i 等提出的基于d f t 变换的频域分析方法【1 ”。另外，灰度域值、区域生长、边缘检测、频域和空间分割等方法 也在传统的定位技术中得到大量的应用。然而，由于车牌背景的复杂性和车牌特征的多样性， 天气、背景、车牌磨损和图像倾斜等干扰因素都会对定位效果产生影响，上述这些方法并不 能应用于所有场合。本文在车牌自动识别系统中分别采用了基于一阶双向差分和h o u g h 变换 的改进车牌定位方法，以及基于遗传算法的车牌定位方法在对大量车牌图像的仿真实验中 取得了较理想的效果。 2 1 基于一阶双向差分和h o u g h 变换的车牌定位嘲 这种方法的思路是先对原始图像进行一阶双向差分加法运算，再利用h o u g h 变换对处 理后的图像进行车牌的精确定位。 2 1 1 一阶双向差分加法运算 由于车牌区域是一个近似的矩形，通过检测车牌边框在水平和垂直两个方向上的边缘， 就可以对车牌进行初步定位。本文就是采用一阶双向差分加法运算来检测图像中的水平和垂 直线。具体作法就是先对原始图像f ( i j ) ( 图像大小为n x n ) 作阶水平差分和一阶垂直差 分运算，并对两个运算的结果作加法得到一阶双向差分加法图9 0 d ) ： g ( i ，歹) ：i f 0 ，) 一f ( i ，j + 1 ) i + 1 f ( i ，_ ，) 一f ( i + 1 ，) 1( o u n 1 )( 2 1 ) 在后面的一阶双向差分加法图中我们会看到，该方法在强化检测水平和垂直直线方面具有相 当好的效果，并且此方法相对于其他纹理算法，其速度优势是显而易见的，从而为系统的实 时定位创造了条件。 2 12h o u g h 变换 我们通过h o u g h 变换来从一阶双向差分加法运算得到的直线中找出构成车牌边框的直 线。h o u g h 变换是h o u g h 在1 9 6 2 年提出的种形状匹配技术，他通过运用两个坐标系之间 的变换来检测平面内的直线和有规律的曲线，这种变换具有使变换空间的边缘组凝聚形成峰 点的特性。 h o u g h 变换是对图像进行某种形式的坐标变换，它将原始图像空间中给定形状的曲线或 5 东南大学硕士学位论文 直线变换成h o u g h 空间中的一个点，从而将原始图像空间中给定曲线或直线的检测问题变 成寻找变换空间的峰点问题。对于任意方向直线的检测，为了避免垂直直线的无限大斜率问 题，常采用极坐标( p ，e ) 作为变换空间，直线的极坐标方程为：p - - x c o s 0 + y s i n 0 ，在这里( p ，o ) 定义了一个从原点到直线上最近点的向量，该向量与该直线垂直，p 为向量的长度，0 为向量 与x 轴正向的夹角。对于( x ，y ) 平面空间任意一点( 确y ，) ，它的h o u g h 变换可表示为： p = x ，c o s o + yjs i n ( 2 2 ) 这说明原图像空间上一点( x i ，y ) 对应于( p ，o ) 空间中的一条正弦曲线。若将( x ，y ) 平面空间同一 条直线上的点序列都变换到( p ，e ) 空间，则变换后所有正弦曲线都经过同一峰点( p o ，e o ) ，p o 表 示原点到该直线的距离，o o 表示该直线的法线与x 轴的夹角。 图2 一i h o u g h 变换示意图 前面一阶双向差分加法运算图像中的水平直线和强化的车牌字符边缘在( p ，o ) 空闻中的 峰点可以用来进行车牌的精确定位。由上面的讨论可知，车牌边框的水平边和垂直边在 h o u g h 变换后分别在0 = 0 。和0 = 9 0 。处产生峰点，利用车牌宽高比值n 可以消除( p ，o ) 空间中 非车牌边框峰点所造成的干扰，过程如下： ( 1 ) 对一阶双向差分加法运算后的图像g ( i j ) 作h o u g h 变换得到h ( p ，o ) 。对于车牌图像 我们只重视水平和垂直方向上的线段，因而。的量化值只需要在o 。和9 0 。附近取值代入式( 21 ) 运算就可以了。 ( 2 ) 在h ( p ，e ) 上搜索峰点。先在0 = 9 0 。处从上往下和从下往上分g 搜索与最大峰点最 接近的峰点作为车牌垂直边框对应点，记为( p 1 ，0 ) 和( p 2 ，0 ) ，并记下它们之间的距离i p l p 2 及平均灰度值h - 。然后再在0 = 0 。处搜索灰度值约为n h 、的峰点，若这样的峰点多于2 个， 则挑选距离为旧一p 2 l 巾q 的点为水平方向的候选点。 根据选出的h o u g h 域峰点在原图像空间得到对应的直线后，就可以最终定位出车牌区 域。下面是一系列处理的效果图，可见在一般情况下此定位方法的速度和精度都是较另人满 意的。但是此方法也有局限性，对于车牌倾斜度很大，或者纵向直线干扰很大的情况往往效 果就会有所折扣。这是由于h o u g h 变换会产生多个0 = 9 0 。处的峰点从而造成选择错误，导 致接个定位过程的失败。因此应综合使用多种方法进行定位，扩大定位方法的适用范围。 6 。，。! ，! ，。，。，二耋三耋。耋童些墼墼墼耋竖，。，。，。，一 图2 2 原始图像图2 3 一阶双向差分效果图 图2 - - 4h o u g h 变换图图2 - - 4h o u g h 变换筛选后 图2 5 最终车牌定位图 2 2 基于遗传算法( g a ) 的车牌定位 近年来蓬勃发展的遗传算法( g a - - g e n e t i ca l g o r i t h m s ) 是生命科学与工程科学相互交 叉与渗透的成果，其本质是一种求解问题的高效并行全局搜索方法。遗传算法和其他搜索方 法相比，其优越性体现在以下几个方面：首先，遗传算法在搜索过程中不易陷入局部最优 即使在所定义的适应度函数非连续、不规则和伴有噪声的情况下也能以极大的概率找到全局 东南大学硕士学位论文 最优解：其次，由于遗传算法固有的并行性，它非常适于大规模并行分布处理；此外，遗传 算法易于和别的技术( 如模糊推理和混沌行为) 相结合，形成性能更加优越的问题求解方法。 在车牌定位这个具体问题上，实质就是在图像空间上搜索最符合车牌特征的区域pj ，也 就是在图像空间上搜索车牌特征值最大的区域。遗传算法用于车牌定位的关键是构造理想的 适应度函数，使适应度函数能够表征车牌区域特征。车牌特征的表现很多，在灰度图像上最 明显的就是车牌区域灰度值起伏变化频繁且高低灰度值差异较大。本文在寻找车牌特征时， 首先在灰度图像上确定一个矩形区域( i j ，w h ) ，其中( i j ) 是矩形左上角坐标，w 是矩形宽度，h 是矩形高度，将i ，j w 和h 的二进制编码连接起来作为遗传算法的个体。然后在该矩形区 域内对每一行进行灰度起伏次数和波峰波谷灰度值的统计，接着计算矩形区域内灰度起伏次 数的密度d ，以及波峰均值和波谷均值的灰度差g 。d 和g 越大，该区域属于车牌区域的 可能性就越大。在实际应用中，也需要考虑w 和h 的比值，如果在合理的范围，则函数值 不变：否则需乘以一个小于1 的系数t ，所以适应度函数为： f ( i , j , w , h ) ： k d + g詈( i - 8 ，3 2 ) k 是一个较大的常数( 2 3 ) l t ( k d + g ) 其他 其中k 用以加强d 在适应度函数中的作用。下面是用于搜索车牌区域的遗传算法【”： ( i ) 初始化群体随机产生个体数目1 0 0 ，个体用二迸制编码，适应度函数用式f 2 4 1 。 ( 2 ) 采用比例选择的选择算子，使适应度高的个体有更大的机会传给下一代；采用变 化的交叉概率和变异概率，初始时使用的值较大，接近收敛时采用较小的值。 ( 3 ) 为减小收敛时间。增加收敛到全局最优解的可能，对前后两代的部分个体进行比 较。设前一代适应度函数值最高的那部分个体为m ，其适应度均值为f m ；后一代适应度函 数值最低的那部分个体为n ，其适应度均值为f n ，如果f m f n ，则将m 代替n ，否则不变。 从而防止群体的退化，有效减少收敛时间。 ( 4 ) 如果同一代中出现相同个体，则保留一个，其他剔除。停止迭代的条件是：迭代 达到设定的最大次数，或者前后两代的平均适应度函数值相差无几。 8 第二章车辆牌照的定位 ( c ) ( d ) 图2 6 几种车型的遗传算法定位效果图 上面就是用遗传算法对车牌定位的效果图。其中( a ) 、( c ) 是原始图像，( b ) 、( d ) 是定位后图像， 可见其定位效果是比较好的，即使是质量较差的图像也能够进行较为精确的定位。 通过用遗传算法对车牌进行定位的研究，我们可以知道其优点是方法简单，只需要定 位群体和适应度函数，算法将自动搜索到车牌区域，而且这种方法受图像质量变化的影响小。 然而遗传算法也有其缺陷，就是需要定义较为明确的车牌特征，否则适应度函数难以构造。 另外，算法对每一幅图像都需要重新搜索，耗时长，且容易受初始化群体质量的影响。 2 3 其他车牌定位方法简介 传统的定位技术在复杂背景、图像变形和噪声污损严重的情况下都无法有效识别车牌。 为此，一些学者们从一些数学工具着手，利用数学形态学、小波分析等方法对传统定位方法 进行了改进。 数学形态学的基础是腐蚀和膨胀以及由此产生的开、闭运算。上海交通大学的晏建华、 赵正校提出了属性开运算的车牌区域定位算法【6 】。通过对灰度图像采用属性开运算，削去满 足特定属性的峰部，确定出目标以及少量非目标区域，然后计算出图像的倾斜角及目标区域 所在范围。这种算法考虑了车牌的倾斜角度，能够有效确定文字区域。华南理工大学的戴青 云和广东工业大学的余英林提出了基于小波与形态学的车牌图像分割方法【”。这种方法通 过小波多尺度分解提取出纹理清晰，具有不同分辨率、不同方向的边缘子图像，其水平方向 低频、垂直方向高频的这一分量，主要代表车牌的目标区域，然后用数学形态学方法对小波 分解后的细节图像进行一系列的形态运算，进一步消除无用信息和噪音，以找准车牌位置。 这种方法定位效果好，分割精度高，适于对有噪音的车牌图像进行分割定位。 通过上面对车牌定位几种方法的讨论，我们认为单一的方法难以满足所有的情况，难以 达到完全令人满意的效果。未来研究的重点方向应是综合使用多种定位方法，再统一决策进 行判断和定位。 9 第三章车辆字符预处理 第三章车牌字符预处理 31 模糊字符图像的复原 本节所讨论的模糊图像是指由于静止的c c d 摄像机和运动车辆之间的相对运动而产生 的运动模糊图像。设原始图像为f i x , y ) ，点扩展函数( p s f ) 为h ( x ，y ) ，加性噪声为n ( x ，y ) ， 则对于线性移不变运动模糊，模糊图像g ( x ，y ) 为原始图像和点扩展函数的卷积： g ( x ，y ) = l i f ( x s ，y t ) h ( s ，t ) d s d t + n ( x ，_ y ) ( 3 1 ) 如何将运动模糊图像恢复为清晰图像是图像恢复中的重要问题。对于点扩展函数h ( x ，y ) 已知的运动模糊问题，可以有多种方法进行恢复。在频率域内可以采用逆滤波、维纳滤波以 及最小二乘方滤波【1 2 1 等技术进行图像恢复。这些方法有一个共同的理论基础，就是将h ( x ，y ) 的傅立叶变换h ( u ，v ) 当作一个滤波函数，原始图像的傅立叶变换f ( u ，v ) 乘以此滤波函数后可 得模糊图像的傅立叶变换g ( u ，v ) ，即g ( u ，v ) = f ( u ，v ) h ( u ，v ) 。因此由f ( u ，v ) = g ( u ，v ) h ( u ，v ) 求得待复原图像的傅立叶变换，再进行傅立叶反变换，即可得到复原图像。 但是在实际使用逆滤波方法进行图像恢复时，如果在( u ，v ) 平面上有一些点或区域的 h ( u ，v ) = o ，即出现了零点，就会导致不定解。若考虑噪声，则估计图像的傅立叶变换中会出 现n ( u ，v ) h ( u ，v ) 部分，如果h ( u ，v ) 为零或者变得非常小，则n ( u ，v ) h ( u ，v ) 项对复原的结果将 起主导作用。此外在大多数的实际问题中，h ( u ，v ) 离开原点衰减得很快，而噪声项一般多在 高频范围，其衰减速度较慢。因此。为了避免h ( u ，v ) 的值太小，复原只好局限在离原点不太 远的有限区域进行。 维纳滤波对噪声放大有自动抑制作用，在多数实际情况下都可得到满意的效果。但是在 信噪比很低的情况下，恢复结果还不能令人满意 9 1 。 最小二乘方滤波是一种约束恢复，除了要求了解关于降质模型的传递函数情况外，还需 知道噪声的统计特性以及噪声与图像相关情况。因而在许多实际问题中难以应用。 在本系统中对于匀速运动这一理想情况下的模糊图像采用了一种基于最大熵原理的快 速恢复算法p j ，得到了较好的效果。 3 2 车牌字符的二值化与切分 3 2 1 车牌图像的二值化 经过定位后的车牌图像为包含车牌字符与背景的2 5 6 灰度级的黑白图像。而在系统后续 0 部分的字符识别中，都是对黑白二值图像的操作，因而必须对车牌灰度图像进行二值化。车 牌图像二值化的基本要求就是把图像中的字符和背景两个区域分开，字符部分为1 ，背景部 分为0 ，从而尽可能忠实地再现字符信息而减少背景和噪声的干扰。常用的几种二值化方法 是：整体闽值二值化、局部闽值二值化和动态阈值二值化。 由像素( i j ) 的灰度值g ( i j ) 和像素周围点局部灰度特性来确定像素( 功) 的阈值叫局部阈值 法，该方法只在识别干扰和磨损较严重的字符使全局法根难正确进行二值化时才采用。 当阀值选择不仅取决于该像素以及其周围各像素的灰度值，而且还和该像素坐标位置有 关，叫动态阈值选择。它可以处理低质量甚至单峰直方图图像。由于车牌字符和其背景的区 分比较明显，而且该方法计算时间长，因此在车牌识别中很少使用。 最常用的整体阈值二值化是由灰度直方图确定整体阅值。灰度直方图是灰度值的函数， 描述图像中具有该灰度值的像素的个数，其横坐标表示像素的灰度级别，纵坐标是该灰度出 现的频率( 像素的个数) 。车牌图像的直方图一般有两个峰值，一个峰值对应字符部分，另 一个峰值对应背景部分。阂值应取在两个蜂值的波谷处，波谷愈深陡，二值化效果愈好。 3 2 2 车牌字符的切分 目前现行的车牌包括单行和双行两种，所以车牌字符的切分包括行和字的切分。行和字 切分最常见的方法是投影法。行切分时，对车牌做水平方向上的投影，根据车牌字符本身的 高度信息，很容易就能将汉字所在行分割出来。然后，再将车牌在垂直方向上做投影，根据 车牌字符本身的宽度信息，就能将单字切分出来了。 豳德大叫、： 1 10 2 7 字符垂直投影结果 图3 1 车牌字符分割效果图 3 3 车牌字符的规范化与细化 3 3 1 车牌字符的规范化 经过行、字切分后得到的单个字符图像必须进行规范化处理，以消除由于车辆位置不定 而造成的字符在位置和大小上的变化。规范化有位置规范化、尺寸规范化和笔划粗细规范化 1 l 第三章车辆字符预处理 三种。在字符识别技术中，字符规范化是十分重要的。因为字符识别主要是基于字符的图形 结构，如果不能将字符点阵在位置、尺寸和粗细上经规范化而处理一致，字符点阵的相似性 比较就无法正确进行。 ( 1 ) 位置规范化 为了消除字符点阵位置上的偏差，将整个字符点阵图形移到规定的位置上称为位置规范 化。位置规范化的方法有两种。一种是基于重心的位置规范化，即先求出字符质心，再把质 心移到规定的位置上。另一种是基于外框的位置规范化，即先求出字符的外框，找出中心， 再把字符的中心移到规定的位置上。 ( 2 ) 尺寸规范化 不同尺寸大小的字符，规范化为同一尺寸大小的字符称为尺寸规范化。尺寸规范化的 方法也有两种。一种是将字符外接边框按比例线性放大或缩小为规定尺寸的字符；另一种是 根据坐标( i j ) 方向黑像素的分布进行尺寸规范化。 本系统采用了一种以原字符质心为规范化后字符中心的字符位置、尺寸规范化方法【2 “。 设变换前字符尺寸高、宽界线分别为a - b 和l r 。字符图像用f ( i d ) 矩阵表示( i 代表黑，0 代表白) ，则可得字符质心p 的坐标为： br，br g ，= i + 厂( f ，) f ( i ，) ( 3 2 ) ( 3 3 ) 以质心把字符分割成四块p 1 ，p 2 ，p 3 ，p 4 。设规范化后的字符以中心分割成对应的四块 h 1 ，h 2 ，盹，h 4 ，他们分别是由p i ，p 2 ，p 3 ，p 4 经放大或缩小映象而成。规范化字符的中心 点h 对应原字符的质心点p 。现以左上块p l 映象为h ，为例说明变换原理。设原字符点阵坐 标为( i j ) ，变换后点阵坐标n ( x ，y ) ，则有： f _ 三+ ，o 删 ( g ，叫咄_ 1 ) ( 每_ 1 ) ) ( 3 4 ) ，= 4 + r o u n d ( g ，一_ ) x ( y 一1 ) ( 兰鲁生一1 ) ( 3 5 ) 式中上f g ，4 ，g j , l x i l l r , 1 y - - 圭k ( 3 ) 粗细规范化 把原字符笔划根据同一种标准加粗或变细称为笔划粗细规范化。这里所谓的“变细与 下一节所论述的笔划细化不同，细化必须使笔划变成1 b i t 宽，而变细则不要求。粗细撂芦化 的方法有两类。一种是将字符点阵低通滤波，戛堡塑基皇壅笪坌壶碹塞曲担适量变弛幻一 d0， 。触 。 d八 十 。皿 。 f l g 东南大学硕士学位论文 种是将字符点阵作( 讶) 轴投影，根据投影值的分布用逻辑辅助模板确定加粗或变细。 瓣飘曩 图3 2原始图像 一一一 3 3 2 车牌字符的细化 图3 3规范化后图像 由于在车牌字符识别部分的特征提取中需要用到字符的骨架图形，因而对字符进行细化 是必须的。细化就是将二值化字符点阵逐层剥去轮廓边缘上的点，变成笔划宽度只有1b i t 的字符骨架图形。对于字符细化的基本要求如下【”1 ：要保持原有笔划的连续性，不能由于 细化造成笔划断开；要细化为单线，即笔划宽度只有1 b i t ；细化后的骨架应尽量是原来笔划 的中心线；要保持字符原有特征，既不增加也不丢失。 细化的算法很多，按细化后图形的连续性分，有4 邻连接算法、8 邻连接算法和混合连 接算法：按细化处理过程分，有串行、并行和串并行处理。在串行处理时，若判断当前处理 的像素点为可删除点，则立即删除，因而要影响到后继点的检测；并行处理方式下，对所有 边缘点检测完毕后再同时改变可删除点的值。本文采用了一种基于内点保留的二值图像并行 细化算法【“l ，与传统的基于边缘点去除的细化方法比较，该算法具有以下优点：第一，内 点的判定比边缘点简单，便于硬件实现，提高运算速度。第二，可按扫描顺序逐点计算，无 需跟踪边缘。第三，避免采用边缘点去除方法细化时出现的骨架不对称以及所获得骨架宽度 大于lb i t 等问题。 采用保留内点的方法进行二值图像细化时，何时结束才能得到所需要的骨架是一个很重 要的问题。因为如果不加限靠4 地循环下去，则有可能所有灰度值不为0 的点被全部删除，从 而得不到所需要的骨架。为解决这一问题，我们将细化算法分为两步进行。 第一步：使用5 5 邻域和8 邻域进行检验，将被细化部分宽度大于2b i t 的部分细化到 2b i t 以下。 第二步：将上步中已获得的宽度小于或等于2b i t 的骨架进行滤波，以获得最终所需要 的宽度为lb i t 的二值图像的骨架。这里采用以下非线性滤波算法。计算( i j ) 点的右下角三个 13 第三章车辆字符预处理 相邻像素之和：k = f ( i j + l 卜f ( i + 1 j ) + f ( i + l 1 ) ，如果k = 3 ( 对于二值图像) ，则表明该点是宽 度为2 b i t 的骨架上左边一点，予以保留。对于骨架右边一点，若不满足k = 3 ，则删除，这 样原来宽度为2b i t 的骨架就可以细化为宽度为1b i t 的骨架。 下面就是该方法的细化效果图： 5h 苏青 图3 4魇始图像 5h苏青 图3 5细化后骨架图像 1 4 第四章神经网络及其在车牌字符识别中的应用 第四章神经网络及其在车牌字符识别中的应用 4 1 人工神经网络简介 4 11 人工神经网络研究的发展历史“” 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ) 是人类在对大脑神经网络认识理解的基础上 人工构造的能够实现某种功能的神经网络。它是理论化的人脑神经网络的数学模型，是基于 模仿大脑神经网络结构和功能而建立的一种信息处理系统。它实际上是由大量简单元件相互 连接而成的复杂网络，兼备逻辑思维和形象思维，具有模糊处理和精确计算功能的全新系统。 从1 9 4 3 年心理学家w s m c c ul l o c h 和数学家w , p i t t s 研究并提出m p 神经元模型起到 今天，人类对神经网络的研究走过了半个世纪的历程。用人工神经网络模拟、仿真和近似生 物神经网络的探索，经历了曲折的发展道路。4 0 年代初期m c c ul l o c h 和p i t t s 用数理逻辑的 方法研究生物神经网络的创举大大开阔了人们的思路。在这之后，1 9 4 9 年d o h e b b 从心理 学的角度提出了至今仍对神经网络理论有着重要影响的h e b b 学习法则。5 0 年代末6 0 年代 初，神经网络系统已经开始作为人工智能的一条途径受到人们的重视。1 9 6 1 年e r o s e n b l a t t 提出了著名的感知机( p e r c e p l r o n ) 模型。这个模型由简单的阈值型神经元构成，初步具备 了诸如学习性、并行处理、分布存储等神经网络的一些基本特征，从而确立了从系统角度进 行人工神经网络研究的基础。1 9 6 2 年w i d r o w 提出了主要适用于自适应系统的自适应线性元 件网络( a d a l i n e ) ，神经网络的研究进入了一个高潮。 1 9 6 9 年，美国麻省理工学院著名的人工智能专家m m i n s k y 经过数年研究，以感知机为 代表，对简单神经网络的功能和局限性从数学上作了深入的剖析，他和p a p e r t 出版了影响很 大的p e r c e p t r o n 一书，指出：简单神经网络只能运用于线性问题的求解，对如x o r 这样 简单的非线性问题却无法求解。他们同时指出：能够求解非线性问题的网络，应该是具有隐 层的多层神经网络。由于他们的悲观结论，以及同时以逻辑推理为研究基础的人工智能理论 和数字计算机的辉煌成就，大大降低了人们对神经网络研究的热情，这之后近十年中，神经 网络的研究进入了一个缓慢发展的低潮期。 进入8 0 年代，特别是8 0 年代末期，神经网络的研究又进入了新的热潮。这主要有两个 原因：一方面经过十几年迅速发展起来的以逻