（通信与信息系统专业论文）车型与牌照识别系统的实现.pdf

郑州大学硕士学位论文 y 6 3 5 7 8 1 摘要 摘要 本文系河南省杰出人才创新基金资助项目。 在大力加快高速公路建设的同时，实现不停车自动收费势在必行。基于非接 触i c 卡的不停车收费系统( n os t o pe l e c t r o n i ct o l l c o l l e c t i o ns y s t e m ，简 称n s e t c s 或e t c ) 作为自动收费方式的代表，可以有效提高高速公路的通行能力 和服务水平。 车型识别及牌照识别系统是高速公路不停车收费系统的重要组成部分，是 近几年发展起来的基于图像和字符识别技术的智能化交通管理系统，是目前国 内外模式识别应用研究领域的一个热点。 本文对系统中图像预处理、特征提取和识别方法等环节涉及的新算法、新技 术以及系统整体设计作了一个比较全面的论述，同时针对目前的研究现状，对一 些关键的技术问题进行了深入探讨。 本文的研究，为整个不停车收费系统快速步入实用化阶段奠定了基础，也推 动了基于非接触i c 卡的收费方式在国内的逐步推行，不停车收费系统具有巨大 的经济效益和社会效益。 本文主要完成了以下几方面的工作： 一、提出了利用差图像法识别车型，主要是利用两幅图像的差别来提取汽车 外形轮廓，进而求取车长、车宽、车高，并以其作为系统软件划分车型的标准。 二、利用模糊模板匹配法对牌照区域进行定位，该方法依据牌照区域边缘丰 富的特点进行区域搜索，定位准确。 三、探讨了字符识别的预处理方法，采用了轮廓投影的方法来切分字符。 四、采用了线性插值法来克服由于对字符进行归一化时造成的马赛克现象。 并且针对汉字，数字和字母的笔划疏密不同，采用了两种不同的字符尺寸。 五、讨论了两种统计特征的提取方法，一种是网格特征，另外一种是交叉点 特征，实验中通过最小距离法进行字符的分类识别。 六、对将近1 0 0 个不同字符进行识别时，考虑到车牌字符的汉字，字母及数 字的排列顺序，采用了优先级的办法进行匹配识别。 七、提出了牌照识别结果和车型识别结果的融合模型，提高了车辆识别的准 确率，并完成了相关的融合算法设计。 郑州大学硕士学位论文 关键词：车型识别牌照识别字符识别轮廓跟踪图像二值化字符分割 特征提取模糊模板匹配 l l 郑州大学硕士学位论文 摘要 a b s t r a c t t h e p r o j e c ti ss u p p o r t e db yt h ei n n o v a t i o nf o u n d a t i o no fe x c e l l e n ti n t e l l e c t u a li n h e n a np r o v i n c e i tw i l lb ei m p e r a t i v eu n d e rt h es i t u a t i o nt h a tw e ：b u i l dm o r ea n dm o r e s p e e d w a y s t or e a l i z et h ev e h i c l ei d e n t i f i c a t i o na n di n t e l l i g e n tm a n a g e m e n t t h ee t c ( n o s t o p e l e c t r o n i ct o l lc o l l e c t i o ns y s t e m ) b a s e do nn o n c o n t a c ti cc a r da st h er e p r e s e n t a t i v eo f t h ea u t o m a t i ct o i lc o l l e c t i o ni m p r o v e st h et r a f f i cc a p a c i t ya n ds e r v i c el e v e le f f i c i e n t l y t h ev e h i c l e s t y l ea n dt h el i c e n s ep l a t er e c o g n i t i o ns y s t e m i st h ei m p o r t a n t p a r to f t h e s y s t e m o ft h ea u t o m a t i c c h a r g i n g i n s p e e d w a y t o l ls t a t i o n s b a s e do rt h e t e c h n o l o g yo fr e c o g n i z i n gi m a g e sa n dc h a r a c t e r s ，t h ev e h i c l es t y l ea n dl i c e n s ep l a t e r e c o g n i t i o ns y s t e m i so n eo ft h ef o c u s e dr e s e a r c h e so nt h e a p p l i c a t i o no fp a t t e r n r e c o g n i t i o nh o m e a n da b r o a d s o m en e w a l g o r i t h m sa n d m e t h o d sa r ei n t r o d u c e dc o m p r e h e n s i v e l yi ns u c hs t a g e s a si m a g e sp r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o n ，c h a r a c t e rr e c o g n i t i o na n dv e h i c l es t y l e r e c o g n i t i o n m e a n w h i l e ，s o m ek e yt e c h n o l o g i e s a r ed i s c u s s e di nd e t a i la c c o r d i n gt ot h e c u r r e n tr e s e a r c hs t a t u sq u o i t l a y sf o u n d a t i o nf o rt h ew h o l en os t o pe l e c t r o n i ct o l lc o l l e c t i o ns y s t e mt o m a r c hi n t ot h e p r a c t i c a lp e r i o d ，i t a l s op r o p e l st h e p o p u l a r i t y o ft h i s s p e c i a l t o l l c o l l e c t i o ni no u rc o u n t r y t h ee t ch a sg r e a te c o n o m i c a la n ds o c i a lp r o f i t t h et h e s i sm a i n l yf u l f i l l ss u c ha s s i g n m e n t sa sf o l l o w s ： f i r s t l y , t h em e t h o do ft w oi m a g e s s u b t r a c t i o ni s u s e dt or e c o g n i z et h ev e h i c l e s t y l e ，i tc a ns oe x t r a c tt h ec a r ss i l h o u e t t et h a tt h el e n g t h ，t h e w i d t ha n dt h eh e i g h to f t h ev e h i c l et h u sc a nb ec a l c u l a t e d ，w h i c hs p e c i f i e st h ev e h i c l es t y l e s e c o n d l y , b a s e do nt h ec h a r a c t e r i s t i c t h a tv e h i c l el i c e n s ep l a t e sh a v ep l e n t i f u l e d g ei n f o r m a t i o n ，t h em e t h o d o ff u z z yt e m p l a t em a t c h i n gi sc a r d e do u tt ol o c a t et h e v e h i c l el i c e n s ep l a t e ，w h i c hh a s h i g h l o c a t i o nr a t i o t h i r d l y , t h em e t h o d o fc h a r a c t e r sp r e p r o c e s s i n gi sd i s c u s s e di nd e t a i l t h em e t h o d o fs i l h o u e t t ep r o j e c t i o ni su s e dt os e g m e n tc h a r a c t e r s f o u r t h l y , t h em e t h o do fl i n e a ri n t e r p o l a t i o ni sa p p l i e di no r d e rt h a t t h em o s a i c p h e n o m e n o nb r o u g h to u tb ys i z en o r m a l i z a t i o ns h o u l db eo v e r c o m e ，m o r e o v e r , t w o n l 郑州大学硕士学位论文 摘要 t y p e so fc h a r a c t e rs i z ea r eu s e db e c a u s eo fc h i n e s ec h a r a c t e r s a n dl e t t e r s d i f f e r e n t s t r o k ed e n s i t y h f t h i y , i ti n t r o d u c e st w ok i n d so fs t a t i s t i c a lf e a t u r ee x t r a c t i o nm e t h o d s ，o n ei st h e g r i d d i n gf e a t u r e ，t h eo t h e ri s t h e c r o s s i n gf e a t u r e ，t h em i n i m u m d i s t a n c e - m a t c h i n g a l g o r i t h m i su s e di nt h er e c o g n i t i o ns y s t e mo fc h a r a c t e r s s i x t h l y , w h e nr e c o g n i z i n gt h ea p p r o x i m a t eo n eh u n d r e dd i f f e r e n tc h a r a c t e r s ，a h i 曲p r e m i u m o nt h e i rp r i o r i t yi sp u tc o n s i d e r i n gt h er e g u l a rc h a r a c t e ra r r a n g e m e n ti n t h ev e h i c l el i c e n s e p l a t e f i n a l l y , t h ef u s i o nm o d e l i sp u tf o r w a r d ，w h i c hc o m b i n e st h er e c o g n i t i o nr e s u l t s o ft h ev e h i c l es t y l ew i t ht h o s eo ft h el i c e n s ep l a t es y s t e m a t i c a l l ya n de n h a n c e st h e p r e c i s i o no fv e h i c l er e c o g n i t i o n ，i ta l s oa c c o m p l i s h e st h ep e r t i n e n tf u s i o na l g o r i t h m d e s i g n k e y w o r d s ：r e c o g n i t i o n o ft h ev e h i c l e s t y l e ；r e c o g n i t i o n o ft h ev e h i c l ep l a t e ； c h a r a c t e rr e c o g n i t i o n ；f i g u r et r a c k i n g ；i m a g eb i n a r i z a t i o n ；c h a r a c t e rs e g m e n t a t i o n ； f e a t u r ee x t r a c t i o n ；f u z z yt e m p l a t em a t c h i n g i v 郑州大学硕士学位论文 第1 章绪论 第1 章绪论 1 1 选题的意义与背景 近年来，伴随着经济的发展，无论国外还是国内，交通建设日益增加，随之 而来的城市交通拥堵、交通事故频发、交通环境恶化、收费制式混乱、交通管理 落后以及能源短缺等成为当前世界各国面临的共同问题，解决交通问题的传统办 法是修建或扩建道路，但是，随着人口的增长，城市人均居住面积日益减少，可 供修建道路的空间也越来越少。同时，交通系统是一个复杂的综合性系统，单独 从道路或车辆的角度来考虑，都将很难解决交通问题。在这种背景下，把车辆和 道路综合起来系统地解决交通问题的思想就油然而生，这就是智能交通系统 ( i n t e l l i g e n tt r a n s p o r ts y s t e m s ，简称i t s ) 。我国在高等级公路等基础设施的建设 上加快了步伐，然而，与公路建设相比，道路管理和监控以及科学收费等软件设 施却显得相对滞后。为改善这种情况，道路管理部门已着手进行智能交通管理系 统的研究和建设，研制和开发了诸如：交通信号自适应控制系统、智能交通监控 系统、g p s 车辆管理及导航系统、不停车自动收费系统等智能化交通管理系统。 其中高速公路不停车自动收费系统是基于非接触式i c 卡和车型及车辆牌照字符 识别技术的车辆缴费信息综合管理系统。 非接触式i c 卡自动收费系统是近年来发展起来的一种先进的不停车收费系 统，它是利用i c 卡技术和射频通讯技术实现对车辆的自动识别和收费，具有可 靠性高、响应速度快、收费标准统一、使用寿命长等优点，是未来不停车收费系 统的发展方向。 在自发引进的形势下，造成了我国不停车收费系统比较混乱的局面；同时我 国的技术水平和制造水平与发达国家有一定差距，国内还无法生产符合国际标准 的针对高速公路不停车收费的某些硬件设备，还有高昂的进口价格也限制了不停 车收费系统在实际中的普及应用。为适应我国高速公路建设快速发展的局面，需 要针对国内用户的承受能力和相关服务功能的具体情况，做认真分析，在该领域 开展广泛研究，从而确定适合我国推广应用的不停车收费系统，这也是本论文研 究的初衷。 研究开发基于非接触i c 卡的不停车收费系统，具有巨大的社会效益和经济 效益。首先，实现不停车自动收费后，收费站占地面积可大大减小，交通拥挤状 郑州大学硕士学位论文 第1 章绪论 况可大大改善，工作人员劳动强度可大大降低，也可有效地消除各种作弊现象， 此外，由于公路交通流量的承担能力得到提高，车辆耗油将相应减少，环境污染 也相应减少，其直接经济效益是巨大的。而且，由于公路交通运输能力的提高， 对我国国民经济的间接经济效益也将是巨大的。 1 1 1 不停车收费系统的发展状况 不停车收费系统( n os t o pe l e c t r o n i ct o l lc o l l e c t i o ns y s t e m ，简称n s e t c s 或 e t c ) 作为智能交通系统( r r s ) 的重要内容，是国际上正在努力开发并推广普及的一 种用于道路、大桥和隧道的电子自动收费系统。 e t c 收费系统采用多种技术手段使碍车道收费过程自动化，常用的不停车系 统利用非接触1 c 卡技术、车辆识别技术和计算机系统相联接使用。该系统建立 有关车辆的信息数据库，将通过高速公路机动车的车型、车牌号码、金额存入i c 卡中，并同时输入系统计算机中储存起来。当车辆通过收费车道入口时，车载电 子标签自动与安装在路侧或门架上的阅读器进行信息交换，中心控制计算机根据 电子标签中存储的信息识别出司机用户，系统数据库核对车卡中各数据是否合 法，同时对合法的车卡写入收费站入口编号；通过出口时，系统计算机通过分析 运算，在卡中扣除通过此路段的费用并自动放行。如果收费过程失败，根据存入 计算机中的该用户的数据信息和汽车牌照，进行事后处理。这样以来，车辆在高 速公路上行驶时，到达入口时自动提取数据，出口时自动扣费并自动放行，实现 不停车自动收费 2 1 。 采用不停车收费系统，可以使车道收费过程完全自动化，并大大提高公路的 通行能力和服务水平，有效地减轻收费站工作人员的劳动强度和改善工作环境。 并且，不停车收费使公路收费走向无纸化，无现金化管理，可以从根本上堵塞收 费票款流失的漏洞，解决公路收费中的财务管理混乱问题。 1 9 9 6 年底，首都高速公路发展公司与美国a m t e c h 公司在首都机场高速公路 进行了不停车收费试验。英国p e e k 公司在中国四川的合资公司四川现代系统 控制工程有限公司也在四川和深圳试验类似的系统。目前国际上已经基本形成了 以美国、日本和欧洲为代表的不停车收费系统【3 1 1 4 5 】。从1 9 9 6 年1 0 月我国交通 部公路科学研究所与日本丰田汽车公司就不停车收费系统举行了中日技术交流 和现场演示会以来，国内的不停车收费系统发展取得了一定进步。e t c 作为i t s 2 郑卅i 大学硕士学位论文 第1 章绪论 系统的重要组成部分，它的研究与开发工作受到了广泛的关注。三菱株式会社、 丰田株式会社是日本国内不停车收费系统研究的领先者。1 9 9 7 年春季，日本e t c 采用的是微波技术在些收费道路开始进行不停车收费的试运行，根据实验数据 的统计，收费站的通行能力提高为原来的4 倍以上。同时不停车收费已经成为欧 洲、美国回收公路投资的有效手段。 目前应用于不停车收费系统的车辆识别技术主要有：红外线传感 a v i ( a u t o m a t cv e h i c l ei d e n t i f i c a t i o n ) 系统、电感a v i 系统、射频微波a v i 系统和 图像识别a v i 系统。其中，红外线a v i 系统利用了装在车辆车身处的一个类似于 条形码的代码标签，车辆信息由一系列宽度和颜色不同的线条来表示，当车辆经 过红外线探钡4 器时，标签上的信息被反射到读取单元并被抽取出来：电感a v i 系 统利用电感耦合实现数据传送，安装在路边的线圈作为天线用于感应信号，并在 系统与车辆之问传送信号；射频微波a v i 系统则利用微波通讯技术实现数据的传 输；图像识别a v i 系统将摄像机拍摄的车辆图像输入计算机进行处理，抽取出用 于识别车辆的有用信息( 如牌照、车型等) 。国内外有不少公司和研究机构从事这 方面的研究和开发工作，已有技术较完善的产品投入使用。 1 1 2 课题来源 本文选题来源于河南省杰出人才创新基金项目：非接触智能i c 卡不停车收 费系统的开发与应用研究中的子项目，主要完成车型识别系统与牌照识别系统， 并对软件做了具体实现。 1 2 非接触智能i c 卡不停车收费系统的开发与应用系统简介 我们是在引进硬件设备f 使用的是瑞典t a g m a s t e r a b 公司的c o n f i d e n t 产 品) 的基础上进行消化吸收，开发出自己的e t c 系统，该系统将射频1 c 卡通讯 技术和基于图像处理的车辆牌照识别技术，车辆车型识别技术和信息融合技术有 机地结合为一个整体。目前，在国内使用的高速公路收费系统中，这样较为完整 地实现多项技术交叉综合运用的还未见报道，因此，我们开发的系统具有较强的 自身特点和首创性。 本系统是一种征收过往车辆通行费的装置，用于对车辆实现不停车自动收 费。系统采用了射频i c 卡技术、模式识别技术、图像处理技术、计算机网络技 术和信息融合技术。通过对车载i c 卡进行非接触射频读写和实时拍摄过往车辆 3 郑州人学硕上学位论文 第1 章绪论 正面和侧面图像，实现对车辆牌照和车型的自动识别，并通过计算机网络，将各 收费站和交通管理中心组成一个完整的公路不停车电子自动收费系统。 结合了射频i c 卡通讯技术和基于图像处理的车辆牌照识别技术，车辆车型 识别技术和信息融合技术的e t c 系统的工作过程如下： 当持有i c 卡的车辆经过e t c 收费车道时： 阅读器在4 到1 0 米的椭圆形区域内发射2 4 5 g h z 的微波，当有车辆驶入该 区域时，i c 卡将该微波反射回阅读器，阅读器以无线的方式读取随车i c 卡中记 录的牌照号码、预存款金额、标识号、车型和车主的信息，并传输到车道控制机 中，车道控制机根据接收的信息，查询数据库服务器中的相关记录，确定缴费金 额以及余额是否充足。如果余额充足，记录进入日期、时间、入口号以及所收费 用，同时启动控制电路，拍摄车辆的正面图像和侧面图像。并存储到计算机的硬 盘中，以供管理部门查询，牌照，车型一致的车辆车牌及图像信息将不作保存 车型，车牌识别子系统对车辆的车型，牌照等进行实时鉴别； 车道机根据阅读器读到的信息及车型，牌照识别的结果，进行信息融合，当 判断为合法车辆时，计算余额，修改r a m 中的数据，将收费情况写入数据库， 然后，车道控制机发出指令，令红绿灯的绿灯亮，车道控制机启动控制电路让显 示牌显示车型，余额；并且在汽车将要到达栏杆机前，控制栏杆机抬起；显示牌 中有控制电路，用于控制显示牌的显示和栏杆机的动作，控制电路以8 9 c 2 0 5 1 为 核心器件，通过自身的通讯端口接收来自车道控制机的命令，并分析执行命令， 控制外围设备的动作。 地感线圈与车辆检测器共同构成一个车辆检测系统，用于检测是否有车辆通 过。当车辆经过地感线圈时，地感线圈的电感改变，由车辆检测器输出一个命令 给栏杆机落杆。 如果是非法车辆或余额不足，车道控制机发出报警，同时抓拍图像。待人工 缴费后，由工作人员按动栏杆机手工抬杆放行； 各个收费站服务器实时运行网络同步系统，将数据与结算中心同步； 系统软件总体框图如下： 4 郑州大学硕士学位论文 第1 章绪论 收费站服务器 串行通讯 车道控制机 阅读器 。程序流程数据传送 图1 - 1 系统软件总体框图 高速公路不停车自动收费系统是一个有机的综合性的自动化系统，系统的各 个部分密切相关，各部分的算法实现也应相互匹配，以得到系统的整体最优化。 1 2 1 收费站的结构 图1 - 2收费站的结构 1 2 2 不停车收费系统的网络结构 郑州大学硕士学位论文第1 章绪论 图1 3 不停车收费系统的网络结构 1 2 3 收费站的相关设备 图l - 4 显示牌 图1 - 6栏杆机 6 图1 - 5 阅读器 图1 7i c 卡 郑州大学硕士学位论文第1 章绪论 表1 - 1 收费站的相关设备 设备名称型号功能 微机 p i i 完成收费结算，集中控制功能，其中一 台作为服务器 阅读器$ 1 5 0 0 w i s e m a r l完成车辆检测，数据采集，并把数据传 送至车道控制机 功率放大板放大阅读器输出功率 摄像机完成图像抓拍功能 视频采集卡 完成模拟图像的数字化 显示牌显示车型，收费余额 栏杆机拦截欠费和非法车辆 地感线圈检测车辆驶离，使栏杆放下 车辆检测器 检测车辆驶离 1 2 4 不停车收费系统的软件结构 图1 8 不停车收费系统的软件结构 1 3 本文研究的主要内容 由于车辆牌照是机动车辆唯一的管理标识符号，在交通管理中具有不可替代 的作用，而我国高速公路收费是以车辆大小作为收费依据。所以，车型识别及牌 照识别是高速公路不停车收费系统中与射频i c 卡通讯技术同等重要的关键技术 7 郑卅【大学硕士学位论文 第1 章绪论 之一，是本文讨论的中心。 1 3 1 牌照识别系统概述 车辆牌照自动识别系统的研究和开发工作早在八十年代就开始了，在国外这 项技术已经比较成熟而且使用多年，然而在国内这项技术仍处于新近开发应用的 初始阶段。目前，有一些单位、院校开展了这方面的研究开发工作，已有相关的 技术报告和论文发表。该系统是计算机图像处理与字符识别技术在智能化交通管 理系统中的应用，它主要由牌照图像的采集和预处理、牌照区域的定位和提取、 牌照字符的分割和识别等几个部分组成，如图1 - 9 所示。 图1 - 9 牌照识别系统流程图 牌照识别的基本工作过程如下： ( 1 ) 当行驶的车辆驶入收费站入口时，控制器启动设置在车辆前方和侧上方 的摄像机同时拍摄下车辆图像： ( 2 ) 由摄像机拍摄的含有车辆牌照的图像通过图像采集卡输入计算机进行 预处理，图像预处理包括图像转换、图像增强、滤波和图像水平校正等； ( 3 ) 由区域搜索模块进行牌照搜索与定位，并分割出包含牌照字符号码的矩 形区域； ( 4 ) 对牌照字符进行二值化，反色处理，统一成白字黑底，滤除边框并分割 出单个字符，经归一化后输入字符识别子系统进行识别。 利用模糊模板匹配法对牌照区域进行定位是牌照识别算法的核心，它充分利 用了牌照区域边缘丰富的特点，定位准确，提高了总体识别率。 车辆牌照识别系统始终处于一种实时监测的工作状态，系统工作时，为了保 8 郑州i 大学硕士学位论文 第1 章绪论 证迅速而有效地对行驶车辆的合法身份以及司机所持i c 卡有效性的确认，系统 应具有将牌照识别结果与i c 卡内所存的车辆牌照记录进行比较核实的功能，以 避免持有无效卡、借用或盗用他人有效卡偷逃费用的情况发生。牌照比对方案遵 循“宁可拒识，也不误识”的原则。由于该系统推广应用之后，实行的是一车一 卡的方式，而不同大小的车辆的收费标准是不同的，因此，除了在i c 卡内应存 有关于该车车型、吨位的记录外，还对应地开发车辆车型识别子系统。 1 3 2 车型识别系统概述 车型识别系统也是根据现场拍摄的图像，在经过一系列的处理后，提取相应 的汽车外形特征，来自动识别车辆类型。目前，已有的识别方法有如下几种”1 ： ( 1 ) 通过识别车牌字符，在相应的数据库中寻找对应信息。这种方法，车型 的识别率完全依赖于车牌的识别状况。 ( 2 ) 人工神经网络法：将拍摄的图像由m x m 缩小成n x n 个像素点，将n x n 的每个像素点作为一个输入，中间单元为p ，对于常见的车型进行编码，输出 神经元为m ，选择适当的神经元作用函数和算法，就可构成完整的神经网络。经过 多次学习和训练，便可用于车型识别。由于拍摄的图像中含有许多背景信息，即 使进行缩小后数据量减少，也带有很多冗余信息。 本文中的识别原理如下： 图1 1 0 车型识别系统流程图 识别出车型后，与从射频i c 卡中所读取的车型相比较，确保收费的准确性。 车型及车辆牌照自动识别系统是近几年发展起来的基于图像和字符识别技 术的智能化交通管理系统，是目前国内外模式识别应用研究领域的一个热点。 9 郑州大学硕士学位论文 第2 章图像处理的基本方法 第2 章图像处理的基本方法 由于车型及牌照识别系统的处理对象是从实地拍摄的含有车辆的图像，因此 系统的关键技术几乎都是基于数字图像的处理和分析的，在设计系统时会用到一 些图像处理的具体方法，本章将对其中一些基本方法予以简要介绍。 图像处理技术主要包括图像变换、图像增强、图像压缩、图像复原、区域分 割等技术，对于一个图像分析处理环节，其输入的是原始图像，输出的是经过处 理后的图像，该图像应满足下一步图像识别的要求。在研究图像时，首先可对获 得的图像信息进行预处理以除去噪声干扰，提高信噪比，并对图像进行几何校正、 色彩校正等处理。当图像本身质量较差、有用信息微弱、无法辨识时，还必须对 其进行图像增强，图像增强的作用在于得到一幅满足一定要求的图像，或是对图 像进行变换，以满足进一步分析的需要。为了从图像中寻找需要识别的对象，可 对图像进行区域定位、分割，区分出背景与对象物。所谓图像复原就是将已经退 化了的图像加以重建或恢复，以得到一个清晰的图像。在实际处理的时候，由于 图像的信息量非常大，输入图像文件所占据的内存空间多，因此在图像处理、存 储和传输时，还要对其进行编码压缩。由此可见，图像处理的目的主要在于解决 两个问题：一是在一幅具有复杂背景的图像中，判断是否包含有用的信息，即是 否有特定的对象物；二是确定并且提取出这些有用的信息，以用于下面图像识别 环节。由于篇幅所限，这里只将在涉及车辆牌照识别系统和车型识别系统中，所 用到的一些图像处理的基本方法，如图像变换、边缘检测，数学形态学知识，图 像增强等方法予以简要介绍。 2 1 图像变换 假定已经取得了一幅数字图像f ( ) ，我们可以定义一个变换算子t ： g ( i ，) = i i f ( i ，例( 2 - 1 ) 该算子将原始图像f ( i j ) 转换为9 0 , j ) ，这种变换可以是线性的，也可以是非线性的， 这个过程称为图像变换。常用的变换方法有：f o u r i e r 变换、r a p i d 变换、 k a r h u n e n l o e v e 变换等。 2 1 1 离散f o u r i e r 变换 类似于一维的情况，对于大小为m y ( n 的数字图像的二维傅里叶变换对可以 1 0 郑州大学硕士学位论文 第2 章图像处理的基本方法 定义为： 砌= 嘉蓦薹，o , j ) e x p 一，纫等+ 制 c z 匈 棚=薹笺f(一y)，扬(鲁+熹)1(2-3f(ie x p v - 0 ) ，胪z f ( ) l ，扬( 告+ 专) 1 ) - 0l l i ，；0 , 1 2 卅一l j ，v 一0 , 1 , 2 一瑚一1 但要在微机上实现二维离散傅里叶变换，运算量大、运算时间太长，根本无 法应用于实时处理的系统中，因此有必要利用其快速算法f f t ( f a s tf o u r i e r t r a n s f o r m ，简称f 网。f f t 的恩想是利用旋转因子珂；：p 1 x - 的周期性和对称 性，将d f f ( d i s c r e t ef o u r i e r t r a n s f o r m ) 运算过程中的大量重复计算简化，使得 运算量大大减少。另外，对于二维的图像信号，可以先对图像f ( i j ) 的每一行做一 维f f t 得到n 个值，将其排列在同一行的位置，再对由逐行变换得到的每一列做 f f t 变换，最后得到全图的变换图像g ( i j ) 。 f ( a ，y ) ；f 厂g ，j ) j e 忆p g ，) ( 2 4 ) 2 1 2r a p i d 变换 在用f f t 对图像进行变换时，f f t 的基本运算单元为蝶形计算，其基本关系 式为： z 。p ) = x 。( p ) + 口叠x 。( 鼋)( 2 - 5 ) z 。( q ) = x 。( p ) 一口品丑。( q )( 2 - 6 ) 其中，p , q 分别为上下对偶节点的序号。 在此如果令旋转因子m ：对每一级的计算时均相同，且r = 0 时，即 2 口 仃；：e 。i ；1 ，则f o u r i e r 变换便简化为r a p i d 变换，它的基本运算关系式为： x 。+ 。0 ) 一x 。 ) + x 。 ) 石。+ l ( 叮) ；x ，( p ) 一x 。( q ) ( 2 - 7 ) ( 2 8 ) 由于其中不再含有复数的乘法运算，因面运算速度更快，可以满足实时处理 的要求。 1 1 郑州大学硕上学位论文 第2 章图像处理的基本方法 2 1 3 离散k a r h u n e n - l o e v e 变换 离散k a r h u n c n l o e v e 变换，简称k - l 变换，是图像变换中具有最佳性质的一 种，常常作为标准来衡量其它变换性能的好坏。它在图像压缩、图像目标旋转和 分类特征的提取中都有很好的应用，尤其是用在特征提取和特征向量的降维中。 若有一组m 个以如下形式表示的n 维的随机矢量z ；肛，x ：，x 。】7 ，设从同 一个随机母体得到了m 个矢量采样，可求得其协方差矩阵和均值矢量为： c x 。击荟v * l m 肌t ( 2 - 9 ) m z 。吉荟坼( 2 - 1 0 ) 由此求得协方差矩阵c 工的特征值且f 和特征向量e ；，并按照 z ：乏a 。从大到小的顺序排列后，相应的特征向量构成k - l 变换矩阵，即 令a 为由e 石的特征矢量组成其各行的矩阵，并且a 的第一行为对应最大特征 值的特征矢量，如果设a 是将x 转换为y 的变换矩阵，则k - l 变换可表示为： y 卸岖x - m ：)( 2 1 1 ) 取y 的前m ( m t g ，则( i j ) 点为阶跃状的边缘点，o o j ) 称为梯度 算子的边缘图像。梯度算子有如下两种近似计算方法： g ( i ，j ) = l ，( f ，j ) - f ( i - 1 , j ) h ，( f ，j ) - f ( i ，j - 1 ) l ( 2 1 3 ) g ( ，j ) ；m a x f ( i 一1 ，一1 ) 一f ( i + lj + 1 ) l ，i f ( i 一1 ，j + 1 ) 一f q + 1 j 一1 ) 1 ( 2 1 4 ) 2 2 2s o b e l 算子 对数字图像f ( i 0 ) 的每一个像素点，考察其邻点灰度值的加权差，与之接近的 邻点的权值大。以此定义s o b e l 算子如下： s ( i j ) = l ( f ( i 一1 j 一1 ) + 2 f ( i 1 j ) + f ( i 一1 j + 1 ) ) - ( f ( i + 1 j 一1 ) + 2 f ( i + l j ) + f ( i + 1 j + 1 ) ) i + i ( “i 一1 j 一1 ) + 2 f o j 一1 ) + f ( i + l j 一1 ) ) ( f ( i 1 j + 1 ) + 2 f ( i j + 1 ) + f ( i + 1 j + 1 ) ) i ( 2 1 5 ) 取适当的阈值t s ，若s 0 j ) t s ，则( i j ) 点为阶跃状的边缘点，s o j ) 为边缘图像。 2 2 3 l a p l a c i a n 算子 对阶跃状边缘，二阶导数在边缘处为零，而在边缘点的两侧二阶导数取异号， 因此，对数字图像f ( i j ) 的每个像素取其关于横轴方向和纵轴方向的二阶差分之和， 构成l a p l a c i a n 算予如下： l ( i d ) = f ( i + l d ) + f ( i 一1 j ) + f ( i j + 1 ) + f ( i j 一1 ) 一4 f ( i d ) ( 2 - 1 6 ) l a p l a c i a n 算子是一个与边缘方向无关的边缘检测算子。 2 2 gp r e w i t t 算子 对数字图像f ( i j ) 的每一个像素点，考察其邻点灰度值的加权差。以此定义 p r e w i t t 算子如下： m ( i j ) = f ( i d 一1 ) + f ( i 1 , j 一1 ) + f ( i + 1 j - 1 ) 一“i 0 + 1 ) - f ( i + 1 j + 1 ) f ( i 一1 j + 1 ) ( 2 - 1 7 ) n ( i j ) = f ( i i j + 1 ) + f ( i - 1 j ) + f ( i 一1 j 一1 ) 一f ( “1 j + 1 ) 一f ( i + l d ) 一f ( i + l j 1 ) ( 2 - 1 8 ) 和使用s o b e l 算子的方法一样，图像中的每个点都用这两个核进行卷积，取最 大值作为输出，这样就会产生一幅边缘幅度图像。 郑州大学硕士学位论文 第2 章图像处理的基本方法 2 2 5k n s e h 算子 下面的8 个卷积运算组成了k r i s c h 边缘算子。 圈圈围田 田园圈圈 图2 - 1k r s e h 算子 图像中的每个点都用八个掩模进行卷积，每个掩模都对某个特定边缘方向做 出最大响应，所有八个方向中的最大值作为边缘幅度图像的输出。最大响应掩模 的序号构成了边缘方向的编码。 上述边缘算子产生的边缘图像看起来很相似，像一个绘画者从图片中做出的 线条画，但是p m w i t t 算子和k r i s c h 算子对灰度渐变和噪声较多的图像处理的较 好。 2 3 数学形态学 数学形态学是一门综合了多学科知识的交叉科学，涉及微分几何、积分几何、 泛函分析和随机过程等许多数学理论，是一种应用于图像处理和模式识别领域的 新的方法。 数学形态学方法比其它的空域或频域图像处理和分析方法具有一些明显的 优势。如：在图像恢复处理中，基于数学形态学的形态滤波器可借助于先验的几 何特征信息；利用形态学算子可有效的滤除噪声，又可以保留图像中的原有信息； 基于数学形态学的边缘信息提取优于基于微分运算的边缘提取算法，不象微分算 法对噪声那样敏感，同时，提取的边缘也比较光滑，提取的图像骨架也比较连续， 断点少。 1 4 郑州大学硕士学位论文 第2 章图像处理的基本方法 2 3 1 数学形态学的基本概念 数学形态学理论基础很深，但其基本概念比较简单，数学形态学是建立在集 合论基础上的代数系统，提出了一套独特的变换和概念用于描述图像的基本特 征。用数学形态学对图像进行处理，主要是通过构造出适合图像分析要求的结构 元素，对图像进行各种形态变换，使变换后的图像突出某些有用的信息。 集合论是数学形态学的基础，所以首先对集合论的一些基本概念作概括介 绍。 1 、集合 集合是具有某种性质的确定的有区别的事物的全体。如果某种事物不存在， 称为空集。 2 、元素 构成集合的每一个事物称为元素。设有一幅图像x ，若点a 在x 的区域以内， 则称a 为x 的元素，记作a x 。 3 、平移转换 设欧式空间v ，a 是v 中的一个二维集合， x a o ，x ：) ，则对集合a 的平移转换为： 0 4 ) ，= 仁ic = 口+ z 4 、补集 集合a 的补集为： a 中的元素为口= ( a l , a 2 ) ，定义 ( 2 1 9 ) a = 忸i x 隹爿)( 2 - e o ) 5 、结构元素 在数学形态学中，结构元素是最重要最基本的概念。 设n 维欧式空间v ，结构元素b 是v 或其子空间上的一个集合，具有一定 的几何形状，可以是圆、矩形、有向点等。结构元素b 比物体要小的多，通过移 动结构元素，考察图像各个部分之间的关系。 2 3 2 形态变换 膨胀与腐蚀是两种最基本的形态变换。 1 、膨胀 设a 、b 均为欧式空间的集合，b 为结构元素，a 被b 膨胀的结果为以下点 郑州大学硕士学位论文 第2 章瞰像处理盼基本方法 集： a o b = x 【 ( 台) 。n a g ( 2 2 1 1 即蠢被所有x 平移后与a 至少有一个非零公共元素。 2 、腐蚀 a 被b 腐蚀的结果为以下点集： 皇e b = x i ( b ) i a ) ( 2 2 2 ) 即a 被b 腐蚀的结果为所有使b 被x 平移后包含于a 的点的集合。 膨胀、腐蚀运算的复合构成数学形态学的另外两种变换：开运算、闭运算。 3 、开运算 设a 是原始图像，b 是结构元素，集合a 被b 作开运算，记为： a o b - ( e b ) o b 陀2 3 ) 即a 被b 腐蚀后的结果再被b 膨胀。 4 、闭运算 设a 是原始图像，b 是结构元素，集合a 被b 作闭运算，记为： & b = ( o b ) 9 b 佗一2 4 ) 即a 被b 膨胀后的结果再被b 腐蚀， 开、闭运算一般可以平滑图像的轮廓，不同的是：开运算去掉细的( 相对于 结构元素而言) 突出，闭运算一般融合轮廓上的小缺口，填补小洞。 2 3 3 一些基本形态学算法 当处理二值图像时，形态学的主要应用是提取表示和描述图像形状的有用成 份。特别是用形态学方法提取某一区域的边界线、连接成份、骨骼、凸壳的算法 是十分有效的。此外，区域填充、细化、加粗、裁剪等处理方法也经常与上述算 法相结合在预处理和后处理中使用。 边缘提取算法如下： 设图像为a ，结构元素为b ，图像边缘为1 3 ( a ) ，则提取边缘的算法为： 岱( a ) = a ( 矗e b ) ( 2 - 2 5 ) 即图像a 与a 被b 腐蚀的结果的差为图像的边缘。 1 6 郑卅大学硕士学位论文 第2 章图像处理的基奉方法 2 4 图像增强 2 4 1 图像增强的概述和分类 图像增强技术作为一大类基本的图像处理技术，其目的是对图像进行加工， 以得到对具体应用来说视觉效果更“好”，更“有用”的图像。针对不同的应用， 更“好”，更“有用”的图像