（信号与信息处理专业论文）适于dsp实时实现的车牌自动识别技术研究.pdf

适于d s p 实时实现的车牌自动识别技术研究 捅要 车牌识别技术( v e h i c l el i c e n s ep l a t er e c o g n i t i o n ) 综合了计算机视觉技术和模 式识别技术，在智能交通系统( i n t e l l i g e n tt r a f f i cs y s t e m ，简称1 1 r s ) 中占有重要的 地位。车牌自动识别系统可以广泛应用于公路和桥梁收费站、停车场管理、城市 交通监控系统、港口和机场等车辆认证的实际交通系统中，以提高交通系统的车 辆监控和管理的自动化程度，具有较高的实用价值和经济价值。 车牌自动识别系统一般包括图像预处理，车牌定位、字符分割和字符识别等 几个环节，本文分别对各个环节的已有方案和算法进行了比较和研究，提出了适 于d s p 实时实现的新方法，并通过c c + + 语言编程在p c 机上仿真通过。 为了满足实时性要求，避免对整幅图像进行二值化耗时较长且阈值选取困难 的缺点，直接在预处理后的灰度图像中定位车牌，然后对粗定位出的车牌二值化。 同时，提出了一种基于改进的行扫描方法和数学形态学相结合的车牌定位方法： 首先基于车牌区域的灰度跳变特征利用行扫描方法进行租定位，再对粗定位得到 的数个可能车牌区域二值化后，运用数学形态学方法精确定位，并根据车牌的先 验知识排除伪车牌区域。实验表明该方法能够快速有效地搜索和定位车牌。 对倾斜的牌照进行校正，并分割出单独的字符后，针对车牌字符的排列特征， 设计了四种分类器分别对汉字、数字、字母、字母+ 数字进行识别。对于单纯的 汉字、数字、字母等待识别字符，主要提取其粗网格特征与标准字符进行匹配， 以最小欧氏距离为判别准则进行识别；对于数字+ 字母识别，由于存在相似字符， 采用了分类器串联集成的思想，当依据粗网格特征无法正确分类时，提取字符的 结构特征以及其它统计特征进行细分类。 对于汉字还尝试提取其分形维数作为识别特征。实验表明，本文提出的汉字 识别方法识别率在8 5 以上，非汉字字符识别率超过9 5 。从图像读取到识别 结果输出，p c 机的仿真运行时间不超过6 0 0 m s ，基本可以满足实时性要求。 关键词：车牌自动识别；d s p ；车牌定位；字符分割；字符识别 r e s e a r c ho na u t o m a t ；cv e h i c l el i t e n s ep i a t e r e c o g n i t i o na d a p t i v ef o rr e a i t i m ei m p i e m e n tb yd s p a b s t r a c t v e h i c l el i c e n s ep l a t er e c o g n i t i o n ( l p r 、i sac o m b i n a t i o no f t h ec o m p u t e rv i s i o n t e c h n o l o g ya n dt h ep a t t e r nr e c o g n i t i o nt e c h n o l o g y , a n di tp l a y sa ni m p o r t a n tr o l ei n i n t e l l i g e n tt r a 佑cs y s t e m ( i t s ) a u t o m a t i cl p rs y s t e m sc a l lb eu s e db r o a d l yi ns u c h p r a c t i c a l t r a f f i c s y s t e m s a st o l l g a t e so fh i g h w a y sa n db r i d g e s ，p a r k i n gl o t s s u p e r v i s i o n , u r b a nt r a f f i cm o n i t o rs y s t e m s ，p o r t sa n da i r d r o m e s i tc a ni m p r o v et h e a u t o m a t i z a t i o nd e g r e eo fv e h i c l e sm o n i t o ra n ds u p e r v i s i o n , s oi tp r o m i s e sg r e a t p r a c t i c a la n d e c o n o m i cv a l u e al p rs y s t e mg e n e r a l l yi n c l u d e sf o u rp a r t s ：i m a g ep r e p r o e e s s i n g ，l i c e n s ep l a t e l o c a t i o n , c h a r a c t e r ss e g m e n ta n dc h a r a c t e r sr e c o g n i t i o n m e t h o & a n da l g o r i t h m s a l r e a d ye x i s t e do fe a c hp a r ta r ed i s c u s s e da n dc o m p a r e d ，a n dt h e nn e wm e t h o & a d a p t i v ef o rr e a l t i m ei m p l e m e n tb yd s p a r ep r o p o s e da n de m u l a t e do np ca n d d s k t om e e tt h er e a l - t i m er e q u e s t , t h el i c e n s ep l a t ei sf i r s tl o c a t e da n ds e g m e n t e d f r o mt h eg r e yl e v e li m a g ea f t e rp r e p r o c e s s i n ga n dt h e nb i n a r y z a t i o no ft h el i c e n s e p l a t ea r e ao n l yi si m p l e m e n t e d , s p a r i n gt h el o n gt i m es p e n to nb i n a r y z a t i o no ft h e w h o l ei m a g e an e wl o c a t i o nm e t h o db a s e do ni m p r o v e dl i n es c a na n dm a t h e m a t i c a l m o r p h o l o g yi sp r o v i d e d ：l i n es c a ni sf i r s ta p p l i e df o rc u r s o r yl o c a t i o nt a k i n gf u l lu s e o f t h e j u m p i n gf e a t u r eo fg r a yl e v e l si np l a t ea r e a , a n dt h e nm a t h e m a t i c a lm o r p h o l o g y i sa d o p t e df o ra c c u r a t el o c a t i o n e x p e r i m e n t ss h o wt h a tt h i sm e t h o dc a ns e a r c ha n d l o c a t et h el i c e n s ep l a t er a p i d l ya n d 、i t hh i g ha c c u r a c y u s u a l l yt h ev e h i c l el i c e n s ep l a t eg o tf r o mt h eo r i g i n a li m a g ei s s o m e w h a t s l a n t w i s e ，s ol u s tt h ep l a t ei se m e n d e d t h e ni n d i v i d u a l c h a r a c t e r sa r es e g m e n t e d f o r mt h ec h a r a c t e r ss e r i e sf o rf u r t h e rr e c o g n i t i o n a c c o r d i n gt ot h ep o s i t i o n a l s e q u e n c eo ft h ep l a t ec h a r a c t e r s ，f o u rd i f f e r e n tc l a s s i f i e r sa r ed e s i g n e ds p e c i a l l yf o r c h i n e s ec h a r a c t e r s 、n u m b e r s 、a l p h a b e t 、a d m i x t u r eo fn u m b e r sa n da l p h a b e t f o r c h i n e s ec h a r a c t e r s 、n u m b e r s 、a l p h a b e t ，w i d e g i r d d i n gc h a r a c t e r sa r ee x t r a c t e dt o m a t c hw i t ht h es t a n d a r dc h a r a c t e r s ，t h em i n i m u me u c l i dd i s t a n c ei st a k e na st h e r e c o g n i t i o nr u l e ；f o rt h er e c o g n i t i o no fa d m i x t u r eo fn u m b e r sa n da l p h a b e t ，b e c a u s e o ft h es i m i l a rc h a r a c t e r sb e t w e e na l p h a b e ta n dn u m b e r s ，c l a s s i f i e r ss e r i e s - w o u n d i n t e g r a t i o ni sa d o p t e d d i f f e r e n ts t r u c t u r ec h a r a c t e r sa n do t h e rs t a t i s t i c a lc h a r a c t e r s a r eu s e dt or e c o g n i z et l l o s ec h a r a c t e r st h a tc a n n o tb ea c c u r a t e l yr e c o g n i z e do n l y a c c o r d i n gt ow i d e g i r d d i n gc h a r a c t e r i na d d i t i o n ，t h ef r a c t a ld i m e n s i o ni sa l s oa t t e m p t e da sr e c o g n i t i o nc h a r a c t e rf o r c h i n e s ec h a r a c t e r s e x p e r i m e n t ss h o wt h a tt h er e c o g n i t i o nr a t i oo fc h i n e s ec h a r a c t e r s b yo u rm e t h o di sa b o v e8 5 a n dt h er e c o g n i t i o nr a t i oo fa l p h a b e ta n dn u m b e r s c a l l r e a c h9 5 t h em e t h o dp r o p o s e di n t h i sd i s s e r t a t i o nh a sb e e np e r f o r m e do np c s u c c e s s f u l l y t h ew h o l et i m es p e n tf r o mr e a d i n gt h ei m a g et oo u t p u tt h e r e c o g n i t i o n o u t c o m ei sl e s st h a n6 0 0 m s ，s ot h er e a l t i m er e q u e s ti sa l m o s ts a t i s f i e d k e yw o r d s ：a u t o m a t i cv e h i c l el i c e n s ep l a t er e c o g n i t i o n ；d s p ；l i c e n s e pla t el o c a tio n ；c h a r a c t e rs e g m e n t ：c h a r a c t e rr e c o g n itio n 独创声明 本人声明所呈交的学位论文是本人在导师指导卞进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含未获得 l 洼! 堑邃直墓丝孟要挂别岂盟 的! 奎拦豆窒2 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名0 岛云韦 签字日期：一g 年j 月) 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留，使用学位论文的规定，有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：l 易主昂 签字日期：d 年t 月，日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签字： 御磺 ， 签字日期：) l f 年，月7 日 电话： 邮编 适于d s p 实时实现的车牌自动识别技术研究 0 前言 随着我国国民经济的快速发展，国内高速公路、城市道路、停车场建设越来 越多，对交通控制、安全管理的要求也日益提高，智能交通系统( i n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m ，简称i t s ) 己成为当前交通管理发展的主要方向。智能交通 系统，早期曾被称为智能道路车辆系统( i n t e l l i g e n tv e h i c l e - h i g h w a ys y s t e m ) ，是 上世纪9 0 年代兴起的新一代交通运输系统。它将先进的信息处理技术、导航定 位技术、数据通讯传输技术、电子控制技术以及计算机网络技术等有效地综合应 用于整个交通管理系统，通过加强道路、车辆、驾驶员和管理员的联系，实现道 路交通的“自动化”和车辆行驶的“智能化”，从而建立起一种在大范围内、全 方位发挥作用的、实时、准确、高效的交通综合管理系统。 我国有关部门已将i t s 列入“九五”、“十五”科技发展计划和2 0 1 0 年长期 规划中【”。我国i t s 的研究应用主要体现在： ( 1 ) 城市交通信号控制系统( u t c s ：u r b a nt r a f f i cc o n t r o ls y s t e m ) ( 2 ) 高速公路监控系统( f r e e w a ys u r v e i l l a n c ea n dc o n t r o ls y s t e m ) ( 3 ) 电子收费系统( e t c ：e l e c t r o n i ct o l lc o l l e c t i o n ) ( 4 ) 路径导行系统( e r g s ：e l e c t r o n i cr o u t eg u i d a n c es y s t e m ) 其中，应用于高速公路监控系统和电子收费系统中的车辆自动识别技术在智 能交通系统中占有重要的地位。车辆自动识别系统可以广泛应用于公路和桥梁收 费站、公路流量观测站、城市交通监控系统、港口和机场等车辆认证的实际交通 系统中，以提高交通系统的车辆监控和管理的自动化程度，具有很高的实用价值 和经济价值。 目前的车辆自动识别系统主要有两种模式：一种是采用无接触式智能卡，就 是在汽车上安装一个电磁波发射装置，同时在检查位置安装检测装置实现对车辆 的自动识别。这种方法需要一车一卡、投资大，而且操作麻烦，所以不宜推广。 另一种方法是利用摄像头获取车辆图像，然后运用图像处理、图像分析和模式识 别技术自动识别车辆牌照。在实际应用中，由于车牌作为汽车的标志具有唯一性， 知道了车牌号，车辆的所有信息都可以一目了然。而且基于图像处理的车辆识别 系统投资低，操作简单。因此，随着数字图像处理技术的不断成熟，车牌识别技 术( l p r ，l i c e n s ep l a t er e c o g n i t i o n ) 已经成为智能交通系统的核心技术之一， 适于d s p 实时实现的车牌自动识别技术研究 是近几十年来的热点研究课题之一。 0 1 车牌识别系统的组成与工作原理 典型的汽车牌照识别系统一般由图像采集部分、中央处理器、识别软件等几 部分组成，一般还要连接相应的数据库以完成特定的功能。当系统发现有车辆通 过时，触发图像采集系统，c c d 摄像机摄取车辆图像，计算机识别输出汽车牌 照号码，并通过查询相应的数据库，完成相应的功能。其原理流程如图o 1 所示。 图像采集卜叫图像预处理卜叫车牌定位卜- 叫字符分割卜- + i 字符识别i i - - - - - - - _ _ - - - 一- - - - _ - _ _ - - - 一i - - - - - - - - - - - - - - - - - - - - - - - - 一i - - - - - - - - - - - - - - _ - - _ 一i - - - - - - - - - - _ - - _ _ - - 一 图o - l 车牌识别系统的原理流程图 系统可分为图像采集、图像预处理、车牌检测定位、字符分割、字符识别等 几部分，所有这些工作一般均在一台较高配置的计算机上完成。各部分的主要功 能一般如下： ( 1 ) 汽车图像采集采用视频卡捕获汽车视频图像。这部分的任务主要是判 断有无车辆通过，若有，则截取一帧图像作为后续定位识别之用，否则继续进行 监视。 ( 2 ) 图像预处理首先将输入的彩色图像进行灰度化，随后在灰度图像上利 用滤波算子进行滤波预处理，并生成一个门限，将滤波后的图像转化为二值图像， 对二值图像中的噪声还要进行消除。 ( 3 ) 车牌检测定位在预处理得到的二值图像中进行区域搜索，寻找出具有 车牌特征的候选区域，根据实际车牌的特征找出真正的车牌区域，然后交给后续 模块进行处理。 ( 4 ) 字符分割在得到的车牌图像中进行字符的分割和归一化，然后将分割 出的字符输入到识别模块进行识别。 ( 5 ) 字符识别对分割出来的每个字符分别进行识别，并进行语法分析，判 断识别的结果是否正确，如有必要，可将结果反馈到前面的模块。 o 2 车牌识别技术的国内外研究现状 随着世界各国汽车数量的迅速增加，公路交通负担日益严重，墨于计算机图 适于d s p 实时实现的车牌自动识别技术研究 像处理的车牌识别系统的研制引起了许多学者的广泛兴趣，各种车牌识别系统也 应运而生。但是车牌识别技术本身存在很多的难点问题，目前仍然是一个热点研 究问题。车牌识别的难点主要包括车牌定位和字符识别两方面。 ( - ) 车牌定位的特点与难点 在车牌识别系统中，一般采用c c d 来获取图像。在实际处理中，经过大量 的观测，获取的车牌图像具有很多不确定性因素，主要有以下几点： ( 1 ) 所获取的目标图像中，含有丰富的自然背景及车身背景信息，同时易受 照明条件( 白天、黑夜) 、天气条件( 阴、雨、雾、雪) 、及运动失真和模糊的影响， 因此所获取的图像质量一般都不很高； ( 2 ) 由于自然或人为的原因，车牌的颜色无法保持为固定的几种颜色，并且 在同一车牌内部颜色也可能会有较大变化； ( 3 ) 车牌悬挂的不规范，在汽车的各个位置都可能出现车牌，并且不能保证 车牌的水平悬挂，且有些车牌出现扭曲； ( 4 ) 对于不同车辆、车型、用途，规定了多种牌照格式( 例如分为军车、警车、 普通车等) ，并且还有地方政府设置的营运牌照及商业广告等信息，这些都对车 牌区域判断的干扰很大； ( 5 ) 由于拍摄位置的不恰当，有些车牌边缘被后盖遮住。还有因为车牌裹边 的规格不一致，有的车牌仅有文字区域露出，而另一些车牌却没有裹边。此外在 实际中摄像机拍摄的边框往往是时断时续的。这样造成结果是没有固定的车牌边 缘，给定位和分割带来很大的困难。 ( - - ) 车牌字符识别的特点和难点 对于我国的车牌，字符识别的特点和难点主要表现在以下方面： ( 1 ) 标准汽车牌照是由汉字、英文字母和阿拉伯数字组成，汉字的识别与字 母和数字的识别有很大的不同，从而增加了识别难度； ( 2 ) 国外许多国家汽车牌照的底色和字符颜色通常只有对比度较强的两种颜 色，而我国汽车牌照仅底色就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、 红、白等若干种颜色； ( 3 ) 其他国家的汽车牌照格式( 如汽车牌照的尺寸大小，牌照上字符的排列等) 通常只有一种，而我国则根据不同车辆、车型、用途，规定了多种牌照格式( 例 如分为军车、警车、普通车等) ； ( 4 ) 由于环境、道路或人为因素造成汽车牌照污染严重，这种情况下国外发 达国家一般不允许上路，而在我国仍在路上行驶。 从2 0 世纪9 0 年代初，国外的研究人员就已经开始了对汽车牌照识别的研究。 适于b s p 实时实现的车牌自动识别技术研究 以色列h i t e c h 公司的s e e c a rs y s t 锄系列，新加坡o p t a s i a 公司的i m p s 系列都 是比较成熟的产品。其中i m p s 产品主要适合新加坡的车牌，近年来也有一些新 产品来适应不同国家的车牌，可以识别汉字以及特殊的草体文字等。h i t c c h 公 司已投入商用的产品s e e ，c a r ，可以以每秒2 - 3 辆的速度进行时速达8 0 公里的汽 车牌照识别【2 1 。另外，日本，加拿大、德国、意大利、英国、韩国等国家都有适 合本国车牌的识别系统。 国内在9 0 年代也开始了车牌识别的研究。目前比较成熟的产品有中科院自 动化研究所汉王科技的“汉王眼”，深圳吉通电子有限公司的“车牌通”、上海高 德威智能交通系统有限公司的汽车牌照识别器等等。另外，西安交通大学的图像 处理和识别研究室、上海交通大学的计算机科学和工程系、清华大学人工智能国 家重点实验室、浙江大学的自动化系等也都在进行类似的研究。如长沙交通学院 的魏伍等【3 l 提出了一种识别时间小于1 秒的基于模板匹配的车牌识别系统；中国 科学院自动化研究所文字识别工程中心1 4 】介绍了一种识别时间大约为0 6 秒的实 用车牌识别系统。 表o 1 给出了从互联网上搜索到的目前国内外比较成熟典型的部分车牌识别 系统的性能指标 2 1 1 5 期。从表中看，目前国内与国外的车牌自动识别系统在实际 的交通系统应用中都取得了较大的突破。 表o - 1 现有车牌识别系统简介 国家公司名产品名识别率识别速度( m s ) 以色列 h i t c c hs e e c a rs y s t e m9 3 5 0 0 新加坡 o p t a s i a 【m 田s9 5 4 0 0 之o o o 中国 吉通电子车牌通 9 5 _ 2 。时，车牌的倾斜程度 就会影响后续字符分割及字符识别率的提高。因此，在进行分割前，需要对车牌 进行倾斜度校正。最常用的车牌倾斜校正的方法是h o u g h 变换【3 7 1 方法。 h o u g h 变换的最大优点是抗干扰能力强。即使待检测直线有小的扰动或断 裂，经过h o u g h 变换仍能得到明显的峰点。但是，该方法针对牌照边框进行h o u g h 检测，要求定位出的牌照包含较完整的上下及左右边框，但在本文所采用的定位 方法中，精确定位出的车牌基本上都是字符区域，水平方向的边框已被基本滤除 掉，因此该方法在本文中并不适用。再者，h o u g h 变换的计算量很大，如果要获 得足够精度的倾斜角度，这种方法耗时较长，不能适应车辆牌照自动识别的实时 要求。因此h o u g h 变换进行车牌倾斜校正的瓶颈在于速度。鉴于此，本文考虑 并采用了一种简单而快速有效的几何校正方法 针对分割出的车牌基本上都是字符区域，边框已经不完整，对文献【4 4 】提出 的倾斜校正方法进行了改进：让r 表示倾斜的车牌图像矩阵，让( t ，虬) 表示r 的 中心，w 表示车牌区域的宽度。另外，让d 表示在r 中第一个字符和最后一个 字符的高度差，高度差可以通过寻找车牌区域中第一个字符和最后一个字符的最 低( 高) 点来求得。现假定车牌是向右下倾斜，r7 是r 纠正后的图像矩阵，则可以 采用公式( 3 - 1 ) 来确定r 中的每一个像素( 石，y ) ： j r ( j 一( y x c ) d w ，y ) = r ( x ，y ) y 工。，、 【r ( x + ( x ，一_ ) ，) d w ，y ) = r ( x ，y ) y x 。 、。7 适于i ) s p 实时实现的车牌自动识别技术研究 经形态学处理后得到了车牌字符连通域，这就很容易得到首尾两个字符之间 的高度差，而且由于二次定位得n t 精确的车牌区域，车牌的高度和中心点也极 为容易得到。由于仅须针对发生倾斜的字符区域进行几何变换，与之无关的背景 则不予考虑，实验发现这样得到的校正图像中几乎仅仅包括车牌字符，残余的边 框则被滤除。实验表明这是一种极为简单有效的方法。图3 1 是实验中的两个车 牌校正的例子，其中a 和c 是校正前的车牌，b 和是d 校正后的车牌。 3 2 车牌字符分割 图3 - 1 车牌校正实例 ? ，譬* 。一；唼二 文献【4 5 】论述了近几年来字符分割的方法与进展。对分割出的车牌进行字符 的分割，是为了最终的字符识别而进行的。主要是准确定位出车牌中每个字符的 ， 上下左右边界，将其以单个字符图像的形式分割出来，作为字符识别部分的输入。 我们针对几种目前常用的车牌字符分割方法进行了研究和实验。 3 2 1 垂直投影法 垂直投影法是一种最常用的字符分割方法。由于字符串在垂直方向上的投 影必然在字符间或字符内的间隙处取得局部最小值，因此字符的正确分割位置应 该在上述局部最小值的附近，可以按垂直方向扫描二值化后的车牌图像，统计每 一列上目标( 字符像素) 点数k ( j ) 。 七( ，) = f ( i ，- ，) ( 3 2 ) j = o h 为车牌的高度。在两字符间隙处计数值k ( j ) 取到局部最小，而且这个位置应 - _ 一 + j “ 时 适于u s p 实时实现的车牌自动识剐技术研究 该满足书写规则和字符尺寸限制。在水平方向上这样划分出单字符。这就是垂直 投影法的基本思想。以图3 - 1 ( d ) 为例的垂直投影效果如图3 - 2 。 通过字符平均宽度和两字符边界之间的平均距离排除可能存在的误分。如果 得到的单字符宽度比平均字宽的某一比例还要小，则视为无效字符；如果前后两 字符距离小于平均距离，而且此距离与字宽之和不大于平均距离，则认为是把一 个字符进行拆分了，可将其合并为一个字符。 图3 - 2 垂直投影效果图 垂直投影法是一种简单实用的字符分割方法，近年来研究人员又提出不少基 于垂直投影思想的改进方法，如上海同济大学的叶晨洲等提出的方法l 叫是：首先 取得图像竖直方向投影直方图信息，根据该投影图的期望e 与方差d 决定一个阈 值0 ，0 = e d 。然后根据投影直方图与目的比较来决定潜在字符的始末位置。 随后依据字符先验特征检查起始位置后的邻域及结束位置前的邻域，判断这些潜 在始末位置的可靠性，将可靠性低的点略去后对潜在始末位置进行匹配。再然后 根据字符宽度和相对位置验证匹配结果，进行调整，最终将字符分割出来。 另外，北京理工大学的吴大勇、魏平等提出了基于区域最小值判断分割点的 算法【4 钋。根据车牌字符垂直投影的信息，区域最小值的定义是以当前像素位置为 中心，指定区域宽度内的投影信息最小值。在确定具体分割点时，先找投影信息 的波谷横坐标x ，接着利用以x 为中心的区域最小值与图像在x 处的垂直投影 进行比较，如果相等，则判断x 才是真正的分割点坐标。 3 2 2 轮廓投影法 所谓轮廓投影法也是基于二值图像的一种算法，其基本思想与垂直投影法相 似。图像二值化以后，进行列扫描，每列分别从上往下和从下往上进行扫描，当 适于d s p 实时实现的车牌自动识别技术研究 遇到字符点时停止扫描该列。这样就可以分别得到上下目标点的起始值，也就是 字符的上下范围。 定y k o ，k l ，k 2 为三个一维向量，长度都为w ，形为车牌的宽度。将上起点值 用毛记录，下起点值用k ：记录，表示意和也的差值。用下面的式子表示： u ) = k 。u ) 一后：( ，) ( 3 3 ) 与垂直投影法一样的思想，从中找出波峰和波谷，形成字符区和伪字符区。 再结合字符的先验知识进行字符精确分割。 3 2 3 连通域分析法 图3 - 3 轮廓投影效果图 数学形态学最近十余年得到广泛的应用，几乎覆盖了图像处理的所有领域。 在理想的情况下，车牌的第二个到第七个字符，每一个都能经过数学形态学运算 构成一个独立的连通域。于是只要得到每个连通域行列的起始位置和终止位置， 并由此构成一个矩形，这就得到了包含连通域的最小矩形区，定义这样的矩形为 一个类。而对于第一个字符，由于汉字的不连通性，如“川”、“沪”等，连通域 分析时往往得到多个连通域。根据后边六个字符的长度和宽度等先验知识，也可 以很好地完成汉字字符的分割。 通过实验发现，在通过形态学膨胀、腐蚀操作形成单个字符连通域时，结构 元素的选取非常困难，而且极容易形成字符粘连。 3 2 4 车牌字符分割实验与结果 考虑各种字符分割方法的优缺点，本文主要运用轮廓投影法并结合车牌字符 序列的固有位置关系来完成车牌字符的分割。 2 9 哮。 巍 j ： f ， 穆 适于d s p 实时实现的车牌自动识别技术研究 按照我们提出的车牌定位和倾斜校正方法得到的车牌图像中基本没有车牌 的边框，而几乎全是字符区域，这给我们的字符正确分割和识别提供了保证。 前面已经介绍过，标准民用车牌高为1 4 0 r a m ，宽为4 4 0 m m 。由七个字符组 成，第二和三个字符之间有一间隔符，宽度为1 0 n n n 。单一字符统一宽度为4 5 r a m 。 字符高度为9 0 n u n ，各字符之间的间距为1 2 r a m 。牌照图像的实际大小可能随着 c c d 采集的时机不同而产生一定的缩放，但是总体比例不会发生大的变化。因 此得到这样一个先验知识：设第1 个字符中心和第2 个字符的中心间距为一个长 度单位，以第1 个字符的起始位置为原点，那么标准民用车牌的六个字符分割位 置的横坐标应分别为：o 8 9 5 ，1 8 9 5 ，3 2 8 1 ，4 2 8 1 ，5 2 8 1 和6 2 8 1 ，字符的宽度为 o 7 9 0 。这样尽管每一幅车牌图像的尺寸是不固定的，但我们还是得到了一个基 于字符尺寸信息的变长模板。 具体的分割方法如下： ( 1 ) 针对已经倾斜校正的二值化车牌，取得字符区域的总长度，即车牌的宽 度。根据车牌的宽度，按上述的变长模板进行初步分割，基本确定分割点。 ( 2 ) 对车牌图像进行轮廓投影。在第一步确定的分割点周围小范围内搜寻投 影的局部最小点，作为精确的分割点。 图3 4 给出了一个车牌字符分割的例子。 3 3 小结 本章首先采用简单有效的几何方法对存在倾斜的车牌进行校正，然后选择轮 廓投影方法，并结合车牌字符的先验知识实现牌照字符的分割，经过字符分割处 理后的字符基本可以满足下一步的字符识别要求。 以图中的车牌字符分割为例，本文采用的分割方法在p c 机上实验，程序运 行时间大约为2 0 m s 。 l i i h 司臼图阿删獬n u 目凹佴n 山图 啊u 适于d s p 实时实现的车牌自动识别技术研究 4 车牌字符的特征提取和分类识别 在一个l p r 系统中，完成了车牌的定位与字符的分割之后，接下来就是车 牌字符的识别了，这是体现整个系统性能的关键技术。本章主要介绍车牌字符的 特征提取与识别方法。 4 1 车牌字符识别概述 4 1 1 车牌字符识别的特殊性 车牌中的字符与其它字符相比有其特殊性，主要体现在以下几点f 1 9 】： ( 1 ) 字符集小车牌上出现的汉字字符只包括全国各省、市、直辖市和部队、 武警、公安的简称，再加上2 6 个英文字母以及l o 个数字，与其他的o c r 系统 相比，字符类别相对较少。 ( 2 ) 字符点阵分辨率低受摄像机分辨率等的限制，从一幅汽车图像中分割 出的牌照字符所占的像素比较少，其高度一般不超过4 0 像素。这样的分辨率对 于英文字母和数字字符而言比较容易处理，但对于汉字来说则可能导致汉字特征 信息丢失太多，并可能造成笔划的粘连，增加了识别的困难。 ( 3 ) 环境影响大通常的o c r 系统的工作环境一般在室内，光照条件较好且 稳定。而车牌识别系统需要在室外全天候工作，光照条件经常变化，并且受天气 状况等的影响，各种干扰也不可预测，实际取到的牌照字符图像的大小、粗细、 位置及倾斜度往往不一样。另外，牌照的清晰度、清洁度、新旧底色及光照背景 等因素，可能会使采集到的图像存在严重干扰。因而要求所采用的识别方法具有 很强的抗干扰性和环境适应性。 ( 4 ) 实时性要求鉴于牌照自动识别系统的应用场合是智能交通管理，它要 求能对驶过的车辆进行及时地采集图像、处理图像，牌照识别和自动数据库登录 等一系列操作，实时性的要求较高。 综合以上各因素的考虑，车牌字符的识别是比较困难的。 4 1 2 车牌字符分类器的构造 我国标准民用车牌格式是：x 1 x 2 x 3 x 4 x 5 x 6 x 7 ，其中x 1 是汉字，x 2 是英 适于o s p 实时实现的车牌自动识别技术研究 文字母，x 3 x 4 是英文字母或阿拉伯数字，x 5 x 6 x 7 是阿拉伯数字。针对车牌字 符的排列特征，为了提高车牌整体的识别率，可以设计四类分类器来进行车牌字 符的识别，即汉字分类器、数字分类器、英文字母分类器和数字+ 字母分类器。 根据车牌中字符的序号，选择对应的分类器进行识别，然后将识别结果按字符序 号进行组合，就得到了整个车牌的识别结果。四类分类器如图4 1 所示： 4 2 归一化处理 图4 - 1 车牌字符分类器组合 从不同图像分割出的车牌字符在大小和位置上都有很大的差异，给后续的字 符特征提取和识别带来困难。为了消除字符由于在大小、位置上对字符特征提取、 识别的影响，需要对字符图像进行归一化处理。归一化一般分为位置归一化、大 小归一化、笔划粗细归一化。这里我们主要介绍位置归一化和大小归一化。 ( 1 ) 位置归一化 为了消除字符点阵位置上的偏差，需要将整个字符点阵移动到固定的位置 上，这个过程被称为位置归一化。有两种简单的位置归一化方法。一种是基于质 心的位置归一化；另一种是基于字符外边框的位置归一化。基于质心的方法需要 首先计算字符的质心，然后再把质心移动到指定的位置上。基于字符外边框的位 置归一化需要首先计算字符的外边框，找出其中心，然后再把字符中心移动到指 定的位置上，相对而言，质心计算是全局性的，因此抗干扰能力强；各边框搜索 是局部性的，易受干扰影响。 ( 2 ) 大小归一化 字符字号的变化引起字符尺寸相差接近十倍，对于字号不同的字符识别，需 适于d s p 实时实现的车牌自动识别技术研究 要有效地对对字符大小进行归一化。常用的大小归一化的方法也有两种。一种是 将字符的外边框按比例进行线性放大或缩小成为规定尺寸的字符。显然，这个方 法受到外围边框的确定影响很大。另一种方法是根据水平和垂直两个方向字符像 素的分布进行归一化。与位置规范化一样，利用字符外边框的大小规范化对噪声 的影响更加敏感。 对后一种方法，先计算文字的质心g 1 和g ，： 口口 g t = i c ( i ，) c ( i ，_ ，) ( 4 - 0 i - aj - l 7 i = aj = 8a，sr g j = _ ，c ( f ，) c ( f ，_ ，) ( 4 - 2 ) i - aj - l 7 i - a ，= z 式中c ( f ，力为1 时表示该像素为目标像素( 即字符像素) ，为0 时表示该像素点为 背景。水平和垂直方向的散度盯，和o r ，计算如下： 町2 2 若l 薹r “d j i 卜q ) 2 萎薹r “d 降3 ) 口，、，口 j ，、 暑t 盯；= i c ( f ，力l u g ) 2 c ( f d i - a kj ；l it = a i t l 最后，按比例将字符线性放大或缩小成规定散度的点阵。 ( 4 - 4 ) ，h f 相对来说，基于质心的归一化方法抗噪性能更好一些，本文采取这种方法。 实验用车牌字符模板图像来自本实验室以前的研究成果，已经归一化大小为 2 4 x1 2 像素，部分图像如图4 2 所示。因此，待识别字符也归一化为2 4 x1 2 大小。 茹新桂甘晋蒙吉粤川青京津护i ! 湘新 abcdeg - i kmnp qruvw 0i2 3 4 56 了89 图4 - 2 归一化字符图像 4 3 常用车牌字符识别方法 在本文研究的标准民用车牌字符识别部分，字符集中包含了3 0 余个汉字， 适于o s p 实时实现的车牌自动识别技术研究 2 5 个大写英文字母( i 不用) 及1 0 个阿拉伯数字。首字符为汉字，第二个字符是英 文字母，第三、第四个字符为英文字母或数字，其余字符为数字。 。 目前，字符识别主要有两种方法1 5 ”7 】：1 模板匹配法，利用建立的标准模板 图像与待识别的字符图像进行点对点的比较，取相似度最高的字符为识别结果。 此方法如果模板取得多则耗时长，而且很容易受到待识别字符图像的噪声和倾斜 度等的影响，而产生误识别。2 特征匹配法，通过分析字符的结构特征或各种统 计特征，来设计各种分类器，把字符识别出来。这是近年来应用及其广泛的字符 识别方法。 4 3 1 模板匹配方法 模板匹配1 5 研( t e m p l a t em a t c h i n g ) 是图像识别方法中最具代表性的基本方法 之一，它不提取图像特征，而是直接把待识别图像与标准模板进行匹配计算其相 似度，取相似度最大者为输入模式所属类别。 就车牌字符识别而言，简单模板匹配法首先要建立三个模板库：汉字库、字 母库、数字库，然后将车牌上分割好的字符图像与字符库中的字符图像进行匹配 运算。图像与模板之间的相似度定义如下： 尺( f 力= tmnl mn 、p ( 哟】21 f 【及鸺力】2 r a i l # lir a i l 胆l ( 4 - 5 ) 其中s 为待检测的图像，s 7 为待检测的图像子图，( f ，_ ，) 为这块子图的左上角点 在s 中的坐标，r 为模板。取相似度最大对应的模板为最佳匹配模板。 模板匹配方法计算简单直接，速度较快，但通常情况下用于匹配的图像各自 的成像条件存在差异，容易产生较大的噪声干扰，或图像经预处理和规格化处理 后，使得图像的灰度或像素点的位置发生改变。这样，要设计合理有效的模板就 变得十分困难。尤其是对倾斜、形变、残损、模糊等质量较差的待识别字符进行 匹配的误识别率较大，鲁棒性较差。 适于i y 3 p 实时实现的车牌自动识别技术研究 4 3 2 特征匹配方法 基于特征匹配的字符识别方法是一种非常常用的方法，在各种字符识别系统 中占有极为重要的地位。与模板匹配方法不同，特征匹配方法首先提取字符的某 些特征，然后与标准字符的特征进行匹配，如何选择稳定有效的特征就成为关键。 字符特征的提取是牌照字符识别的关键步骤，特征的提取和选择对识别系统 至关重要，它基本上决定了识别系统的性能和识别精确度，甚至还可能影响到整 个系统的识别成功与否。一般来说，用于字符识别的分类特征应满足以下要求： ( 1 ) 具有较强的分类能力，即同一类中各样本间距离应尽量小，而类与类之 间的距离则应尽量大，最好没有交叠部分。 一 ( 2 ) 具有较高的稳定性和抗干扰性，对字符的平移、旋转和尺度变换不敏感， 受字符笔划断裂或粘连的影响尽可能小。 ( 3 ) 特征向量应便于提取，算法要尽量简便，在保证识别系统的性能的条 牛：。， 下，特征向量的维数不能过高，以提高运算速度。 目前，在特征提取与选择时还没有通用的理论作为指导，在实际问题中只能 根据实验对比来确定分类的特征参量及相应的算法。 4 4 字符特征提取与分类器选择 字符识别主要在于字符分类器的选择与设计，而字符分类器的选择依赖于所 提取的字符特征。通常字符的特征可以分为两类：结构特征和统计特征。 4 4 1 字符结构特征 在o c r