（通信与信息系统专业论文）车型及牌照识别的原理及算法研究.pdf

塑型查兰堡主堂堡堕苎 塑 摘要 y “8 8 5 2 体文得到河南省杰出人才创新基金的资助。 枉大力加快高速公路建设的同时，实现不停车自动收费势在必 行。车型识别及牌照识别系统是高速公路不停车收费系统的重要组 成部分。车型及车辆牌照自动识别系统是近几年发展起来的基于图 像和字符识别技术的智能化交通管理系统，是目前国内外模式识别 应用研究领域的个热点厂丫 本文对系统中图像预处理、特征提取和识别方法等环节涉及的 新算法、新技术以及系统整体设计作了一个比较全面的论述，同时 针对目前的研究现状，对一些关键的技术问题进行了深入探讨。 一、提出利用b a m 神经网络识别车型，比用前馈网络识别，学 习速度快，收敛速度快，同时克服简单几何特征识别车型时容易引 起混淆的问题。 二、利用彩色图像边缘检测算子对牌照区域进行定位，定位准 确，提高总体识别率。 三、深入探讨了字符识别的预处理方法，减少字符识别时的运 算量和难度。 四、讨论了三种特征向量的提取方法，一种是基于平移、旋转 和尺度不变性的图像变换法，一种是计算中心矩的方法，再就是强 调字符形状和结构的方向特征量提取法，实验中通过最小距离法进 行字符的分类识别，匹配时间少，识别率有所提高。 关键词：车型识另去模糊数学形态学轮廓跟踪b a m 网络 牌照识别边缘检钡图像二值化字符分割尺寸规范化细 化特征提取模版匹配字符识别、 塑丛查兰堡主堂垒堡茎 一一! ! 呈 a b s t r a c t i tw i l lb ei m p e r a t i v eu n d e rt h es i t u a t i o nt h a tw eb u i l dm o r ea n d m o r es p e e d w a y st or e a l i z et h ev e h i c l ei d e n t i f i c a t i o na n di n t e l l i g e n t m a n a g e m e n t t h e v e h i c l e s t y l e a n dt h ev e h i c l e p l a t er e c o g n i t i o n s y s t e m sa r ei m p o r t a n tp a r t s o ft h es y s t e mo fa u t o m a t i cc h a r g i n gi n s p e e d w a y t o l ls t a t i o n s b a s e do nt h e t e c h n o l o g y o fr e c o g n i z i n g i m a g e sa n dc h a r a c t e r ，t h ev e h i c l es t y l ea n dl i c e n s ep l a t er e c o g n i t i o n s y s t e m i so n eo ft h ef o c u s e dr e s e a r c h e so na p p l i c a t i o no fp a t t e r n r e c o g n i t i o n i nt h i sa r t i c l e ，s o m en e wa l g o r i t h m sa n dm e t h o d sa r ei n t r o d u c e d i ns u c h s t a g e s a s p r e p r o c e s s i n g o f i m a g e s ，c l a s s i f i c a t i o n o f c h a r a c t e r i s t i c sa n dc h a r a c t e r r e c o g n i t i o n a n dv e h i c l e s t y l e r e c o g n i t i o n f o r e x a m p l e ，f i r s t l y ，t h e b a mn e u r a ln e t w o r ki su s e dt o r e c o g n i z et h e v e h i c l es t y l e ，t h et r a i n so ft h o u g h ti s c o n c i s e ，t h e l e a r n i n gi ss i m p l e 、r a p i d ，t h em e t h o di sf e a s i b l e 。 s e c o n d l y ，c o l o re d g ed e t e c t o rc o l o r p r e w i t tisu s e dt ol o c a t et h e v e h i c l el i c e n s ep l a t ew i t hh i g hl o c a t i o nr a t i o t h i r d l y ，d e c r e a s e t h e d i f f i c u l t y o ft h ec h a r a c t e r r e c o g n i t i o n t h r o u g hs t u d y i n gt h em e t h o do f c h a r a c t e rp r e p r o c e s s i n g ； a tl a s t ，s o m ee f f e c t i v em e t h o d so ff e a t u r ee x t r a c t i o n 、s u c ha st h e o n eb a s e do ni m a g et r a n s f o r mw i t ht h ei n v a r i a n tf e a t u r e sw h i c hk e e p s t a b l ew h i l et h e p i c t u r em o v e ，r o t a t ea n dz o o mi n o ro u t ，a n dt h e o t h e rf o c u s e do nt h es h a p eo fc h a r a c t e ra n df e a t u r e so fd i r e c t i o n ， e x p e r i m e n t r e s u l ti n d i c a t e st h a tt h e m i n i m u m - - d i s t a n c e m a t c h i n g a l g o r i t h mu s e di nt h er e c o g n i t i o ns y s t e mo fc h a r a c t e ri sr e l i a b l ea n d e f f i c i e n t m e a n w h i l e ，t h ec u r r e n ts i t u a t i o no ft h er e s e a r c hp r o j e c ta n d a p r a c t i c a l c a rl i c e n s e p l a t er e c o g n i t i o ns y s t e m a r ei n t r o d u c e di n d e t a j l 郑州丈学硕士学位论文 摘要 k e y w o r d s ：r e c o g n i t i o n o ft h e v e h i c l e s t y l e ；d e b l u r r i n g ； m a t h e m a t i c a lm o r p h o l o g y ；b a mn e u r a ln e t w o r k ；i m a g eb i n a r y ； e d g e f o l l o w i n g ；r e c o g n i t i o no f v e h i c l ep l a t e ；t h i n n i n g ； c h a r a c t e rs e g m e n t a t i o n ；c h a r a c t e rr e c o g n i t i o n ；s i z en o r m a l i z a t i o n ； e d g ed e t e c t i o n ；t e m p l a t em a t c h i n g ；f e a t u r ee x t r a c t i o n ； 塑型奎兰堡圭堂堡堡茎 一一生二里! ! 堕 第一章绪 论 进入九十年代以来，我国在高等级公路等基础设施的建设上 加快了步伐，在不长的时间里各地的高速公路、一级公路如雨后 春笋般发展起来，使我国高速公路总里程已达到一万多公里，然 而，与公路建设相比，道路管理和监控以及科学收费等软件设施 却显得相对滞后。为改善这种情况，道路管理部门已着手进行智 能交通管理系统的研究和建设，研制和开发了诸如：交通信号自 适应控制系统、智能交通监控系统、g p s 车辆管理及导航系统、 不停车自动收费系统等智能化交通管理系统。其中高速公路不停 车自动收费系统是基于非接触式i c 卡，和车型及车辆牌照字符 识别技术的车辆缴费信息综合管理系统。 1 1 不停车自动收费系统的发展状况 由于高速公路运输中传统的人工收取通行费方法效率低下， 而近几年不断增大的交通流量，往往使得各式车辆在收费关卡处 滞留形成“瓶颈”，不能完全发挥出高速公路的优点，这个问题 如得不到解决，势必影响交通运输线的畅通，甚至导致直接或间 接的经济损失。不停车自动收费系统是解决这一阀题的有效方法 之一，该系统的启用将大大提高收费站各通道的处理能力，减少 车辆通过的时间。目前，类似的自动收费系统在美国和欧洲一些 发达国家已经得到使用推广，据资料表明：高速公路自动收费站 车辆的平均通过速度为每小时l5 0 0 辆，而在装有自动收币机的 收费站为每小时6 5 0 辆，人工收费则最多为每小时3 5 0 辆。随着 该系统的推广使用，收费站前的车辆堵塞和交通拥挤的情况得到 缓解，可以为过往车辆节约运营时间，这对于长途旅客运输和商 用货物运输业显得尤为重要。另据统计，启用了高速公路自动收 费系统的路口，百分之六十的车辆选择使用不停车收费通道，在 塑型奎兰堡圭兰竺丝奎三旦! 坠 车流高峰时段，使用不停车收费通道的车辆达到7 5 。8 0 。此外， 由于不停车收费系统的自动化水平高、收费迅速而便捷、管理统 一规范，对杜绝高速公路人为的“乱收费”现象也具有特别重要 的意义。 目前应用于不停车收费系统的车辆识别技术主要有：红外线 传感a vr ( a u t o m a e i cv e h i c2 ei d e n t i f i c a t j o n ) 系统、电感a v i 系统、射频微波a v i 系统和图像识别a v i 系统。其中，红外线 a v i 系统利用了装在车辆车身处的一个类似于条形码的代码标 签，车辆信息由系列宽度和颜色不同的线条来表示，当车辆经 过红外线探测器时，标签上的信息被反射到读取单元并被抽取出 来；电感a v i 系统利用电感耦合实现数据传送，安装在路边的线 圈作为天线用于感应信号，并在系统与车辆之间传送信号；射频 微波a v i 系统则利用微波通讯技术实现数据的传输；图像识别 a v i 系统将摄像机拍摄的车辆图像输入计算机进行处理，抽取出 用于识别车辆的有用信息( 如，牌照、车型等) 。非接触式i c 卡 自动收费系统是近年来发展起来的一种先进的不停车收费系统， 它是利用i c 卡技术和射频通讯技术实现对车辆的自动识别和收 费，具有可靠性高、响应速度快、收费标准统一、使用寿命长等 优点，是未来不停车收费系统的发展方向。目前，国内外有不少 公司和研究机构从事这方面的研究和开发工作，已有技术较完善 的产品投入使用，其中影响较大的是美国德克萨斯仪器公司的 t i r i s ( t e x a si n s t r u m e n t s r e c o g n i t i o n a n di d e n t i f i c a t i o n s y s t e m ) a v i 系统。该系统已在法国巴黎的公共汽车系统和意大 利罗马的地铁中得到采用。在国内，广东省佛山市的交通部门率 先采用了基于t i r i s 技术的自动收费系统，平均每小时能够处理 2 5 0 0 辆车辆的交费，从而解决了高速公路收费站拥挤堵塞的问 题。然而，t i r i s 系统的技术含量高，属国外引进的高新技术的 设备，价格昂贵、维修困难，在硬件和相关软件上没有自主版权， 而且也存在不适合我国公路现状的地方。因此，我们是在引进硬 件设备的基础上进行消化吸收，开发出自己的a v i 系统，该系统 塑型查堂堡主堂垡堡苎 一苎二兰! ! 兰 将射频i c 卡通讯技术和基于图像处理的车辆牌照识别技术和车 辆车型识别技术有机地结合为一个整体。目前，在国内实用的高 速公路收费系统中，这样较为完整地实现多项技术交叉综合运用 的还未见报道，因此，我们开发的a v i 系统具有较强的自身特点 和首创性。 本项目属于河南省杰出人才创新基金项目。 1 2高速公路不停车收费系统简介 结合了射频i c 卡通讯技术和基于图像处理的车辆牌照识别 技术和车辆车型识别技术a v i 系统的工作过程如下： 当载有电子标签的车辆经过收费车道时： 阅读器侦测到有物体移近，启动微波通信，整个系统被唤醒 而处于工作状态； 收费系统自动检测随车i c 卡中记录的牌照号码、预存款项 金额、车辆和车主的信息，同时车型识别子系统对车辆的车型、 吨位等进行实时鉴别： 阅读器根据读到的信息和车型识别的结果，计算余额，并写 回标签； 阅读器修改r a m 中的数据，将收费情况写入记录； 阅读器读不到卡，启动继电器吸合，启动牌照识别系统； 阅读器关闭微波通信； 主机定期、或阅读器r a m 满，启动串行通讯，将r a m 中数据 传送至主机； 主机定时、人工、或实时将数据传送至收费站数据库服务器； 收费站服务器客户软件，对数据进行处理和统计，形成各种 报表，通过专网和公网将报表上传至收费结算中心或路段收费中 心。 系统软件总体框图如下： 塑塑奎兰堡圭兰竺笙苎墨二里! ! 堡 阅读器应 用程序 l c o n f i l i b 1 收费站服务器通道控制机阅读器 ”串行通讯 一1 程序流程数据传送 ( 图1 ) 高速公路不停车自动收费系统是一个有机的综合性的自动 化系统，系统的各个部分密切相关，各部分的算法实现也应相互 匹配，以得到系统的整体最优化。 1 3车型及车辆牌照识别系统概述 由于车辆牌照是机动车辆唯一的管理标识符号，在交通管理 中具有不可替代的作用；而我国高速公路收费足以车辆大小作为 收费依据。所以，车型识别及牌照识别是高速公路不停车收费系 统中与射频i c 卡通讯技术同等重要的关键技术之一，是本文讨 论的中心。 1 3 1 车辆牌照识别系统 车辆牌照自动识别系统的研究和开发工作早在八十年代就 开始了，在国外这项技术已经比较成熟而且实用多年，然而在国 4 塑型奎兰堡主兰垒笙茎苎二兰! 丝 内这项技术仍处于新近开发应用的初始阶段。目前，有一些单位、 院校开展了这方面的研究开发工作，已有相关的技术报告和论文 发表。该系统是计算机图像处理- q 字符识别技术在智能化交通管 理系统中的应用，它主要由牌照图像的采集和预处理、牌照区域 匿时! 卜 囹一叫刭 ( 图2 ) 其基本工作过程如下： ( i ) 当行驶的车辆驶入收费站入口时，触发埋设在固定位置 的传感器，系统被唤醒处于工作状态；一旦连接摄像头光快门的 光电传感器被触发，设置在车辆前方、后方和侧面的c c d 同时拍 摄下车辆图像； ( 2 ) 由摄像机或c c d 摄像头拍摄的含有车辆牌照的图像通过 视频卡输入计算机进行预处理，图像预处理包括图像转换、图像 增强、滤波和图像水平校正等； ( 3 ) 由检索模块进行牌照搜索与检测，定位并分割出包含牌 照字符号码的矩形区域； ( 4 ) 对牌照字符进行二值化并分割出单个字符，经归一化后 输入字符识别予系统进行识别。 当然，车辆牌照识别系统并不仅仅是在行驶车辆在收费站拒 5 塑型查堂堕圭兰垡笙奎苎二兰：! 堕 缴闯关时才作为补救措旖启动，而是始终处于一种实时监测的工 作状态，它在不停车自动收费系统中的作用与射频i c 卡费用交 割系统的作用是同等的。此外，系统具体工作时，为了保证迅速 而有效地对行驶车辆的合法身份以及司机所持i c 卡有效性的确 认。系统应具有将牌照识别结果与i c 卡内所存的车辆牌照记录 进行比较核实的功能，以避免持有无效卡、借用或盗用他人有效 卡偷逃费用的情况发生。由于该系统推广应用之后，实行的是一 车一卡的方式，而不同大小的车辆的收费标准是不同的，因此， 除了在i c 卡内应存有关于该车车型、吨位的记录外，还对应地 开发车辆车型识别子系统。 1 3 2 车型识别系统 车型识别系统也是根据现场拍摄的图像，在经过一系列的处 理后，提取相应的特征，来自动识别车辆类型。目前，已有的识 别方法有如下几种f 2 0 ： ( 1 ) 通过识别车牌字符，在相应的数据库中寻找对应信息。 这种方法，车型的识别率完全依赖于车牌的识别状况。 ( 2 ) 人工神经网络法：将拍摄的图像由m m 缩小成n n 个 像素点，将n n 的每个像素点作为一个输入，中间单元为p ，对于 常见的车型进行编码，输出神经元为m ，选择适当的神经元作用函 数和算法，就可构成完整的神经网络。经过多次学习和训练，便可 用于车型识别。拍摄的图像中含有许多背景信息，即使进行缩小 后数据量减少，也带有很多冗余信息。 ( 3 ) 检测边缘，提取车辆几何特征，进行分类。这是最简单 最直接的方法，但现今，各种车辆在几何特征上有很大的相似性， 加大了识别难度。 本文中的识别原理如下： 6 巨咂卜一 ( 图3 ) 识别出车型后，与从射频i c 卡中所读取得内容相结合，确 保收费的准确型。 在硬件设计和相应的软件开发的阶段，尽管各部分的程序的 编制可能是分立的，实现的功能也是独立的，但最终都是要整和 在一起构成一个完整的系统( 如图l 所示) ，这也符合模块化程 序编制的风格。 7 塑! ! 茎兰堡圭兰堡堡兰 第二章 第二章图像分析与处理的基本方法 图像分析与处理的基本方法 由于车型及牌照识别系统的处理对象是从实地拍摄的含有车 辆的图像，因此系统的关键技术几乎都是基于数字图像的处理和 分析的，在设计系统时会用到些图像处理的具体方法，本章将 对其中一些基本方法予以简要介绍。 图像处理主要包括图像变换、图像增强、图像压缩、图像复 原、区域分割等方法，对于一个图像分析处理环节，其输入的是 原始图像，输出是经过处理后的图像，该图像应满足下一步图像 识别的要求。在研究图像时，首先可对获得的图像信息进行预处 理以除去噪声干扰，提高信噪比，并对图像进行几何校正、色彩 校正等处理。当图像本身质量较差、有用信息微弱、无法辨识时， 还得对其进行图像增强，图像增强的作用在于得到一幅满足一定 要求的图像，或是对图像进行变换，以满足进一步分析的需要。 为了从图像中寻找需要识别的对象，可对图像进行区域定位、分 割，区分出背景与对象物。所谓图像复原就是将已经退化了的图 像加以重建或恢复，以得到一个清晰的图像。在实际处理的时候， 由于图像的信息量非常大，输入图像文件所占据的内存空问多， 因此在图像处理、存储和传输时，还要对其进行编码压缩。由此 可见，图像处理的目的主要在于解决两个问题：一是在一幅具有 复杂背景的图像中，判断是否包含有用的信息，即是否有特定的 对象物；二是确定并且提取出这些有用的信息，以用于下面图像 识别环节。由于篇幅所限，这里只将在设计车辆牌照识别系统中， 所用到的一些图像处理的基本方法，如，图像变换、边缘检测等 方法予以简要介绍。 2 1图像变换 假定已经取得了一幅数字图像，“，我们可以定义一个变 塑型查堂堡主兰堡堕壅 笙三兰堕堡坌堕竺望塑苎! ! ! 堕 换算子t g ( i ，) = i i f ( i ，) 】 该算子将原始图像，“，转换为f “，这种变换可以是线性 的，也可以是非线性的，这个过程称为图像变换。常用的变换方 法有：f o u r i e r 变换、r a p i d 变换、k a r h u n e n l o e v e 变换等。 f ，= 0 ，1 2 肘一1 j ，v = 0 ，1 ，2 一i 但，要在微机上实现二维离散傅里叶变换，运算量大、运算时间 太长，根本无法应用于实时处理的系统中，因此有必要利用其快 抽， 速算法( f f t ) 。f f t 的思想是利用旋转因子万：= 口“的周期性 和对称性，将d f t 运算过程中的大量重复计算简化，使得运算量 大大减少。另外，对于二维的图像信号，可以先对图像，“，j ， 的每一行做一维f f t 得到n 个值，将其排列在同一行的位置，再 对由逐行变换得到的每一列做f f t 变换，最后得到全图的变换图 豫g ( i j ) 。 f o , ，y ) = f l f ( i ，纠= 曩以l ，( f ，) 】j 2 1 2r a p i d 变换 在用f f t 对图像进行变换时，f f t 的基本运算单元为蝶形计 算，其基本关系式为， 9 塑型查兰堡圭兰壁垒塞 兰三兰堕堡坌堑兰竺望堕茎! ! ! 壁 z 。p ) = x m ( p ) + 酊；爿_ 国) x 。+ 。( g ) = x 。( p ) 一峨z 。( g ) 其中，p ，q 分别为上下对偶节点的序号。 在此如果令旋转因子刃；对每一级的计算时均相同，且r 2 0 2 f 时，即盛= e - j - r = 1 ，则，f o u r i e r 变换更简化为r a p i d 变换， 它的基本运算关系式为 x 。( p ) = x 。( p ) + x 。( q ) x 。+ 。( g ) = x 。( p ) 一x ，( g ) 由于其中不再含有复数的乘法运算，因而运算速度更快，可以满 足实时处理的要求。 2 1 3 离散k a r h u n e n - l o e v e 变换 离散k a r h u n e n l o e v e 变换，简称k l 变换，是图像变换中 具有最佳性质的一种，常常作为标准来衡量其它变换性能的好 坏。它在图像压缩、图像目标旋转和分类特征的提取中都有很好 的应用，尤其是用在特征提取和特征向量的降维中。 若有一r l 维的特征向量组z = k ，x ：，x 。r ，可求得其协方差 矩阵和向量组均值为， c ，= 寺缸训7 c x k - - ， 1m 一者酗 由此求得协方差矩阵c 石的特征值 j 和特征向量矽j ，并 按照 如a 。从大到小的顺序排列后，相应的特征向量构成 塑! ! l 查兰堡主堂垡笙主 苎三童望堡坌! ! ：! 垡堡堕墨! ! ! ! 垦 k l 变换矩阵， m = 矗，办，丸】 故k l 变换可表示为 y = m 7 x 取y 的前 1 1 ( m t g ，则( i ，j ) 点为阶跃状的边缘 点，g “，称为梯度算子的边缘图像。梯度算子有如下两种近似 计算方法， g ( i ，) = j f ( i ，j ) - f ( i 一1 ，j ) l + i f ( i ，j ) - f ( i ，一1 ) l g ( i ，j ) = m a x ( i 一1 ，一1 ) 一f ( i + 1 ，j + 1 ) i ，i ( f 一1 ，+ 1 ) 一f ( i + 1 ，一1 ) i ) 塑型查兰堡主堂壁笙奎 苎三兰堕堡坌堑兰竺里堕苎! ! ! 壁 该式也被称为r o b e r t s 算子。 2 2 2s o b e l 算子 对数字图像，“，的每一个象素点，考察其邻点灰度值的加 权差，与之接近的邻点的权大。以此定义s o b e l 算子如下， s ( i j ) = t ( f ( i l ，i 1 ) + 2 f ( i i j ) + f t i l 。j + 1 ) ) 一 f l i + 1 j i j 2 f ( i + 1 j ) + f ( i + l ? j + 1 ) ) j i ) + 2 f ( i 。j i ) + f ( i + 1 j j ) ) 一f ( i 1 j + 1 ) + 2 f ( i j + 1 ) + f ( i + l ? j + 1 ) ) | 取适当的阈值ts ，若s “，j ) t s ，则( i ，j ) 点为阶跃状的边缘 点，s “，为边缘图像。 2 2 3l a p l a c i a n 算子 对阶跃状边缘，二阶导数在边缘处为零，而在边缘点的两侧 二阶导数取异号，因此，对数字图像f ( i ，矽的每个象素取其关 于横轴方向和纵轴方向的二阶差分之和，构成l a p l a c i a n 算子如 下。 l ( i j ) = f ( i + 1 j ) + f ( i 1 j ) + f i j + 1 ) + f i j 1 ) 一4 f ( i ，j ) l a p l a c i a n 算子是一个与边缘方向无关的边缘检测算子。 2 2 4l o g 算子 m a r r 和h i l d r e t h 提出的拉普拉斯边缘检测算子2 g 被誉为最 佳边缘检测器之一。该算子的特点是利用高斯滤波器对图像进行 平滑。二维高斯滤波器的相应函数为 1 x 2 + y 2 g ( z ，y ) 2 二2 z c r 2 8 2 a 2 设l ( x ，j ，) 为灰度图像函数，由线性系统中卷积和微分的可交换性， 得：2 o ( x ，j ，) + i ( x ，) ，) ) = a 2 g ( x ，y ) ) + l ( x ，y ) 塑型查兰堡主堂篁笙奎 兰三兰望堡坌塑兰竺里堕墨! ! ：- 兰 即：对图像的高斯平滑滤波与拉普拉斯微分运算可结合成一个卷 积算子如下： 2 g ( w ) ：赤( 孚叼e 等 其中，彳2 丽1 ：彳z ( 善一1 ) g 一砉g 百y 2 + 爿z ( 乓一1 ) g 丢p 吉 仃盯 = k 1 ( x ) k 2 ( y ) + k l ) k ：( x ) 引炉4 ( 事。) p 百 一 k 2 ( x ) = a e 2 a 2 用上述算子卷积图像，通过判断符号的变化所确定出零交叉 点的位置，就是边缘点。此方法又称l o g 算法 ( l a p l a c i a n o f g a u s s i a na l g o r i t h m ) ，利用2 g 的可分解性， 对图像的二维卷积可简化为两个维卷积如下： w 2 g + ，( t y ) = i ( x 一 y 一饼( k 。( f ) k ：( _ ，) + k ：( f ) 世，( - ，) 】 一一i v = 【l ( x j ，y i ) k ：o ) k ，( j ) + 【i ( x j ，y i ) k 。o ) 。( 朋 t 一酽 l = 一w 矿 = c 一_ ，y ) k ，( ，) + d 一，y ) k ：( 川 其中， c ( x 一_ ，y ) = m 一，y o k ：( f ) i _ 一旷 酽 d ( x 一，j ，) = l ( x 一，y i ) k 。( f ) 塑型查兰堡主兰篁笙兰 2 3 数学形态学 第二章图像分析与处理的基本方法 数学形态学是一门综合了多学科知识的交叉科学，涉及微分 几何、积分几何、泛函分析和随机过程等许多数学理论，是一种 应用于图像处理和模式识别领域的新的方法。 数学形态学方法比其他空域或频域图像处理和分析方法具有 一些明显的优势。如：在图像恢复处理中，基于数学形态学的形 态滤波器可借助于先验的几何特征信息：利用形态学算子有效的 滤除噪声，又可以保留图像中的原有信息；基于数学形态学的边 缘信息提取优于基于微分运算的边缘提取算法，不象微分算法对 噪声那样敏感，同时，提取的边缘也比较光滑；提取的图像骨架 也比较连续，断点少。 2 3 1 数学形态学基本概念 数学形态学理论基础艰深，但其基本概念比较简单，数学形 态学是建立在集合论基础上的代数系统，提出了一套独特的变换 和概念用于描述图像的基本特征。用数学形态学对图像进行处理， 主要是通过构造出适合图像分析要求的结构元素，对图像进行各 种形态变换，使变换后的图像突出某些有用的信息。 集合论是数学形态学的基础，所以首先对集合论的一些基本 概念作概括介绍。 l 、集合 具有某种性质的确定的有区别的事物的全体。如果某种事物 不存在，成为空集。 2 、元素 构成集合的每一个事物称之为元素。设有一幅图像x ，若点 a 在x 的区域以内，则称a 为x 的元素，记作a ex 。 3 、平移转换 设欧式空间v ，a 是v 中的一个二维集合，a 中的元素为 1 4 ( 4 ) ，= ( c l c = a + 工 。 4 、补集 集合a 的补集为a 。= 缸i 石诺a ) 。 5 、结构元素 在形态学中，结构元素是最重要最基本的概念。 设n 维欧式空间v ，结构元素b 是v 或其子空间上的一个集 合，具有一定的几何形状，- j - 以是圆、矩形、有向点等。结构元 素b 比物体要小的多，通过移动结构元素，考察图像各个部分之 间的关系。 2 3 2 形态变换 形态和、差( 又称膨胀与腐蚀) 是两种最基本的形态变换。 1 、膨胀 设a 、b 均为欧式空f q 的集合，b 为结构元素，a 被b 膨胀 的结果为以下点集： o b = xj 【( b ) x n a 】彩) ，即b 被所有x 平移后与a 至少有一个非零公共元素。 2 、腐蚀 a 被b 腐蚀的结果为以下点集： o b = x l ( b ) xn a ) ，即a 被b 腐蚀的结果为所有使b 被x 平移后包含于a 的点的集合。 膨胀、腐蚀运算的复合构成数学形态学的另两种变换：开运 算、闭运算。 3 、开运算 设a 是原始图像，b 是结构元素，集合a 被b 作开运算，记 为a o b = ( e b ) o b ，即a 被b 腐蚀后的结果再被b 膨胀。 4 、闭运算 设a 是原始图像，b 是结构元素，集合a 被b 作闭运算，记 为& b = ( o b ) e b ，即a 被b 膨胀后的结果再被b 腐蚀。 开、闭运算一般可以平滑图像的轮廓，不同的是：开运算去 塑型拦堡主堂焦堡苎 墨三兰望堡坌塑兰竺堡盟苎查! 型l 掉细的( 相对于结构元素而言) 突出，闭运算一般融合轮廓上的 小缺口，填补小洞。 5 、击中( h i t ) 击不中( m i s s ) 变换 形态学中击中击不中变换是形状检测的基本工具。设有幅图 像4 ，结构元素b ，b = ( b t ，b 2 ) ，其中b 1 是由和目标相关的口的 元素形成的集合，而曰2 是由和相应的背景相关的曰的元素集台， 口，在a 中找到一个匹配，b 2 在a 中找到个匹配。则称占击中彳， 记作b o x ,a o b = ( 9 b ) n ( a 。o b 2 ) 。 2 3 3 一些基本形态学算法 当处理二值图像肘，形态学的主要应用是提取表示和描述图 像形状的有用成份。特别是用形态学方法提取某一区域的边界线、 连接成份、骨骼、凸壳的算法是十分有效的。此外，区域填充、 细化、加粗、裁剪等处理方法也经常与上述算法相结合在预处理 和后处理中使用。 1 、边缘提取算法 设图像为a ，结构元素为b ，图像边缘为b ( a ) ，则提取边缘 的算法为：b ( a ) = a - - ( a e 8 ) ，即集合a 与a 被b 腐蚀的结果的 差为图像的边缘。 2 、细化 集合a 被结构元素的细化用a b 表示，根据击中( 或击不 中) 变换定义： a 妇= a ( a e b ) 对称细化a 的一个更有用的表达是基于结构序列 b ) = b i ， b 2 ，b n ) ，其中丑i 是b f j 的旋转。根据这个概念，定义被 个结构元素序列的细化为彳o = “( o 骂) o 岛) ) 圆e ) ，这个 过程是用局细化a ，然后用皿细化前一步细化的结果等等，直到 a 被b 。细化。整个过程重复进行到没有迸一步的变化发生为止。 6 塑型查堂堡圭兰堡垒苎 兰三兰圭型堡型墨竺旦! ! 里 第三章车型识别系统的实现 我国高速公路收费是以车辆大小作为依据，所以在高速公路 不停车收费系统中，车型识别是很重要的。车型识别主要由图像 预处理、图像分析、车型识别几部分构成。在本章中将详细论述 系统的各个环节的设计思路与算法实现。 3 1图像预处理 由摄像机采集的汽车图像可以b m p 位图图像格式存于微机， 为了便于识别，原始图像应具有适当的亮度，较大的对比度。但 由于该系统的摄像部分工作于开放的户外环境，加之自然光照条 件、车辆行驶速度等因素的影响，图像会出现模糊现象，因此需 要对原始图像进行识别前的预处理。 由于在本文中，采用差影法提取汽车轮廓，所以，图像整体 的亮度、对比度对于后续处理影响不大，所以，对图像的预处理 主要进行图像恢复，去除由于车辆行驶速度的影响所造成的模糊 现象。 图像恢复 在获取图像时，由于汽车与摄像机之间的相对运动，往往使 得图像模糊，主要是由水平方向上的均匀直线运动所造成的。 假设汽车图像( t y ) ，汽车在x 方向上作匀速直线运动，总 的位移量为a ，总运动时间为几则模糊后图像任意点的值为 g ( x ，y ) = 艺，口一i a t ，_ y 】a t ，即图像模糊模型； t = o 离散形式的图像恢复公式： f ( x ，y ) * a m g ( x m a ) ，y 卜占 ( x m a 1 ) ，y l a x ) + 乏： 【g 【( z 一 ，j ， 一烈( x 一七口一1 ) ，y a x 1 7 塑型查兰堡主兰堡垒茎兰三兰主型望型墨笙! 里堕 即使是不停车收费，也要求车辆通过收费站时限速运动，特 定的摄影仪器，曝光时间一定，很容易计算出汽车的运动位移量， 利用上述公式进行去模糊。 3 2 图像分析 图像预处理后，必须进行分析才能理解图像的内容。 3 2 1 图像检测 在车型识别中，分析的首要工作是，把汽车从所拍摄的汽车 图像中分割出来。般采用的方法有：投影法、差影法、模版匹 配法。 1 、投影法 如果图像中，物体与背景灰度差别较大，可以考虑采用投影 法检测物体。首先设定闽值，对图像进行二值化，物体为白像素， 背景为黑像素；在水平、垂直方向上作投影，确定物体在图像中 横、纵坐标。 2 、差影法 将前后两幅图像相减，得到的差作为结果图像。 3 、模版匹配法 拿已知的模板，和原图像中同样大小的一块区域去对比。最 开始时，模板的左上角点和图像的左上角点是重合的，拿模板和 原图像中同样大小的一块区域对比，然后平移到下一个像素，仍 然进行同样的操作所有的位置都对完后，差别最小的那块就 是所要找的物体。 所以，图像匹配运算有以下特点：( 1 ) 逐点比较，计算量太 大。( 2 ) 提高匹配定位精度与缩短计算时间相互矛盾。 实际上，收费系统中所摄取的图像背景复杂，汽车本身颜色 也是多种多样，很难找到某一结构特征，可以区分开背景和汽车。 同样也因为汽车颜色、形状各异，即使同种车型也无法建立统一 模版，所以，投影法与模版匹配在车型检测中不适用。 塑! ! ! 奎堂堡主兰堡笙奎星三兰主型堡型墨翌i ! ! ! 塑 考虑到实际操作中，摄影器材固定，所以所有图像背景固定 不变，利用差影法原理，比较包含汽车的图像与背景图像的色彩 值，符合设定规则的像素点置为白色，用“l ”来标记，不符合 则置为黑色，用“0 ”来标记，得到汽车轮廓二值图像。 ( 图4 ) 汽车轮廓图像 3 2 2 去噪声点 采用差影法提取出汽车的二值轮廓图形，如果汽车颜色与背 景相近，或拍摄瞬间有其他物体干扰，肯定存在一些干扰，以噪 声点为主( 如上图) ，会影响后续处理，所以要去除噪声。文中 采用数学形态学中的开运算和闭运算消除噪声点，平滑轮廓。 ( 图5 ) 进行去噪声后的汽车轮廓图像 3 2 3 轮廓跟踪 识别车型，需要提取汽车的外部轮廓特征，滤除噪声后的轮 廓图依然为2 5 0 * 1 8 8 的数值矩阵，数据量很大，在后面的神经网 塑型奎堂堡圭堂堡笙苎 笙三兰兰型塑型墨竺! ! ! ! 里 络识别中，需要的参数是轮廓曲线序列。对轮廓图形进行跟踪， 得到轮廓曲线。所以，首先要对上述二值轮廓图像进行轮廓跟踪。 轮廓跟踪的基本方法是：先根据某些严格的“探测准则”找 出目标物体轮廓上的像素，再根据这些像素的某些特征用一定的 “跟踪准则”找出目标物体上的其他像素。传统的串行跟踪算法 是；从上到下，从左到右扫描全图，找到所有有。为邻点的l ， 按定义，这些点l 一定是边界点。这种算法要对每个边界像素周 围的八个邻点进行判断，计算量较大。 二值轮廓图像轮廓提取可以采用数学形态学的方法：设图像 为a ，结构元素为b ，图像边缘为b ( a ) ，则提取边缘的算法为： b ( a ) = a 一( 0 1 3 ) ，即集合a 与a 被b 腐蚀的结果的差为图像的 边缘。 本系统中采用如下跟踪准则：按照从左到右，从下到上的顺 序搜索，找到的第一个白色点定是最左下方的边界点，以这个 边界点起始，假设已经沿顺时针方向环绕整个图像一圈找到了所 有的边界点。由于边界是连续的，所以每个边界点都可以用这个 边界点对前一个边界点所张的角度来表示。所以，从第一个边界 点开始，定义初始的搜索方向为沿左上方；如果左上方的点是白 色点，则为边界点，否则搜索方向顺时针旋转4 5 度。这样一直 到找到第个白色点为止。然后把这个白色点作为新的边界点， 在当前搜索方向的基础上逆时针旋转9 0 度，继续用同样的方法 继续搜索下一个黑点，直到返回最初的边界点为止。 ( 图6 ) 跟踪出的轮廓曲线 ：2 0 塑型奎堂堡主兰竺堡奎 3 3b a m 网络 第三章车型识别系统的实现 3 ，3 1 网络拓扑结构及工作原理 b a m 网络是一种两层的异联想、内容可寻址存储器组成的反 馈网络，使用前向和反向双向里! ! ! 辕麓含署盖乒：= 黼= 二 一相关的双极性向量对0 。，壤) ，屯h ( ! 露p 丐r ：h 乃 莩翼警龄l 1 秽嘞鄙属一缓一儿 于集合 一， 。_ 1 u + _ + u h “ 网络的拓扑结构简化图如墨! ! ! 右图所示： 工作原理： 在网络的输入端x 处输入初始模式x ( o ) ，那么x ( o ) 通过权矩阵 彬加权而后到y 端，通过y 端输出节点的转移特性 的非线性变 换，变为y 端的输出y ( o ) = ( x ( o ) 彬) ，y ( o ) 再反馈过来，经过加 权后返回到x 端输入，再经过x 端输出节点转移特性疋的非线性 变换，变为j 端输出x ( 1 ) = 正o ( o ) ) 。如此反复这个运行过程。 网络状态转移的一般方程可写为： x ( f ) = 六( 工( x ( f 1 ) ) ) y ( f ) = 工( 六( y ( f 一1 ) w 2 ) 彬) 若权矩阵缈经过充分训练，网络达到稳定，那么对于初始输入 x ( o ) ，经过有限次运行后，网络就达到稳定状态( x ( f ) ，y ( f ) ) 。若输 入x ( o ) = x 。，即离x 比其他已经存储模式更近，才认为x ( f ) = x 。 此时，网络在x 输出端重建了被干扰的模式。同时还有y ( t ) = y 1 ， 就是网络在y 输出端实现了网络的异联想。对y 端初始输入y ( o ) 也有类似的过程。 3 3 2 网络稳定性 离散、零阈值的b a m 网络，网络的连接强度矩阵满足 彬= 7 ，用来代替彬， 塑型查鲎堡圭兰焦丝苎 塑三兰兰! 坚型墨竺! ! ! 婴 其l y a p u n o y 能量函数为：f 以，) = 一砉x 砂7 一寺j ，7 r 7 ， 由于y w7 x 7 = ( x w v7 ) 7 = x w y 7 ，所以e ( x ，y ) 2 一x w y l ， 5 e = e ( x ，y ) 一e o o l d ，y “) = - ( x ) w y 7 = 一( 缸，) y ， j = 1 因为墨是双极性的，即墨 一1 ，1 ，5 x ，必须为一2 ，0 和+ 2 。如果缸，= 0 ，则没有状态变化，缸= 0 ；如果5 x ，= 一2 ， 由定义式知， o ，从而衄 0 ，从而5 e - 3 公式为： = 0 ) 7 ，p 为存储模式对个数。 k = l 训练中，采用4 0 幅分属7 种形状的汽车图像，按大、中、 小3 类进行训练， 3 3 4 车型识别 网络训练成功后，即可进行车型识别。 同样，对输入图像预处理后，提取汽车轮廓图形，跟踪得到 轮廓曲线，序列化后编码输入网络进行记忆识别，待网络进入稳 定状态，解码得出车辆类型。 3 4实验结果及讨论 利用训练成功的网络，对6 0 幅经过处理的图像进行了识别， 正确率达9 5 0 。经过编程试验表明，利用b a m 网络识别车型的 方法，设计思路简洁，学习过程快速、简单，有效可行。 由实验得知，利用b a m 网络识别车型与采用前馈网络相比有 以下几个方面的优越性： l 、学习速度快。由于b a m 网络的特殊性，学习时，挑选最 具有代表性的车型，编码后直接计算，不需要反复训练；而 即使采用改进b p 算法的前馈网络至少也需要近2 0 0 次的迭 代。 2 、收敛速度快。实际校验中，输入参数后，至多经过两 次反馈即可进入稳定状态。 3 、由于本系统设计的网络所要求的稳定点少，吸引域比 较大，存在的非要求