（计算机应用技术专业论文）车牌字符识别的改进算法研究.pdf

浙江大学硕士学位论文 摘要 摘要 车牌识别系统( l p r ) 是以汽车牌照为特定研究对象的专用计算机视觉系统， 广泛应用了汁算机视觉和模式识别等多种技术，是智能交通领域里的重要研究课 题之。在系统的各个环节中，车牌图像切分识别正确率的高低至关重要，它直 接反映出整个系统最终的识别准确率，且对工作效率有着很高的要求。现实环境 中，由于环境光的强度，色度，照射方向变化范围大，牌照区域受到污染或者车 牌字符部分残缺，摄像机和车牌之间的夹角变化等因素的影响，使得车牌图像的 准确切分与识别出现了很多难题。本文从两个方面改进车牌图像的切分识别效 果，即：前期图像预处理，以及基于支持向量机的字符识别算法。 在车牌图像预处理阶段本文提出了混合使用图像增强，投影纹理分析和连通 区域分析对车牌图像的倾斜度校j 下以及切分的算法。该算法首先处理灰度化的车 牌图像，通过o s t u 方法对图像的灰度进行聚类，并分别对前景和背景进行拉伸， 增强图像的对比度，从而得到更好的二值化效果。然后通过投影纹理分析和连通 区域分析两种方法对车牌字符进行倾斜度校正和切分。 在字符识别部分，不使用二值化字符图像而直接应用经过狄度拉伸的灰度图 用于识别，最大程度上保留了原始数据的信息，充分发挥了支持向量机的功能。 而后，本文提出了一种基于支持向量机的多维多级识别树算法。对于多类识别的 问题，对输入向量首先进行降维处理，用低维数向量通过第一级支持向量机来进 行粗分类，而后用原始高维向量进行精分类。与顺序识别和二义树结构的支持向 量机组相比，新方法运算速度快，在应用中往往能够产生很好的效果。 关键词模式分类，支持向量机，核函数，多维多级识别树，灰度拉伸 浙江大学硕十学位论文a 妇c l a b s t r a c t l i e o n s ep l a t er e c o g 王1 i t i o ns y s t e m ( l p r ) i saa p p o a t i v ec o m p u t e rv i s i o n s y s t e m ，w h i c hu s ev e h i c l el i c e n s ea si t sr e c o g n i z et a r g e t t h es y s t e mu s ec o m p u t e r v i s i o na n dp a t t e mr e c o g m t i o na 1 1 do t h e rt e c h n o l o g i e sw i d e l y a n di t so n eo ft h e i m p o r t a mr e s e a r c ht o p i c si nh 】c e l l i g e n tt r 碰cs y s t 咖d 嘶n gt 1 1 er e c o g n i z ep r o c e s s ， t h ec h a r a c t e rs p l i ta n dr e c o g n i t i o na r et h em o s ti m p o r t a l l tp a r t i td i r e c n yr e n e c t st 圭l e u n i i l l a t er e c o g n i t i o na c c u r a c yo ft h ee n t i r es y s t e m a 1 s o ，m ee 撒c i e n c yo ft h e s e p m c e s s e sm u s tb ev e r yh i 曲 i nt b er e a lw o r l d ，s p l i ta 1 1 dr e c o g n i z ea p l a t eb e c o m e sa h a r dp r o b l e m ，b e c a u s et h ei n t e n s i 咄c 0 1 0 r ，d i r e c t i o no ft h e 帅b i e n tl i g h tc h a n g e s o b s e n ，a b l y l i c e n s ep l a t e sr e g i o ni sp o l l u t e do rp a r t i a ld e f o m i t yo fc h a r a c t e r s ，t l 】e a n g l eb e t w e e nc a m e r ap o s i t i o na n dt l l ep l a t ea l s oc h a i l g e s n l i sp 印e ri m p r o v et 1 1 es p l “ 锄dr e c o g n i z ea l g o r i t h mi n 似op a n ：i m a g ep r e p r o c e s s i n g ，a n dac h a r a c t e rr e c o g n i z e a l g o f i t hb a s e do ns u p p o r tv e c t o rm a c h i n e 。 i nt 1 1 el i c e n s ep l a t ei m a g ep r 印r o c e s s i n gs t a g e ，i m a g ee 1 1 l 】a n c e m e n t ，p r o j e c t i o n t e x t u r ea i l a l y s i s 卸dc o 曲e c t i o nr e g i o na i l a l y s i sa r eu s e dt o g e t h e rt oi m p r o v et h er e s u l t o fp l a t e si n c l i n a t i o nc o r r e c t i o na n ds p l i ta l g o r i t l l i n t h ea l g o r i t h mp r o c e s sg r a yi m a g e f i r s t ，u s i n gao s t u sm e t l l o dt om a l ( ec l u s t e r i n go ft h eg r a yv a l u e ，a n ds c a l e 血eg r a y v a i u eo ff o r e g r o u n da j l db a c k g r o u l l dr e s p e c t i v e l 弘t oe n l a r g et h ec o n t r a s to ft h ei m a g e ， s ow ec a ng e tab e t t e rb i n a r yi m a g el a t e lt h e n ，p r o j e c t i o nt e x t u r ea n a l y s i sa n d c o n n e c t i o nr e g i o na n a l y s i sa r ea p p l i e dt os p l i tt h ec h a r a c t e r s ， i nt h ec h a r a c t e rr e c o g n “i o ns t a g e ，as c a l e dg r a yi m a g ei su s e di n s t e a do fb i n a r y i m a g et ob et h ei n p md a t a ，b e c a u s eu s i n gb i n a r yi m a g ew i i ll o s tl o t so fd a t a ，a l l dt | l i s m 砒o dc a l lm a k eb e t t e ru s eo fs u p p o nv e c t o rm a c h i n e a f t e rt 1 1 a t ，t l l i sp a p e rc o m e so u t a na i g o r i t h mb a s e do ns v mc a l l e dm u l t i d i mm u n i l e v e lr e c o 鼬i z e1 r e e ，w h e na v e c t o ri sc l a s s m e di n t om u l t i c l a s s e s al o wd i m e n s i o ns v mi su s e d 矗r s t c l a s s i 如t l l e v e c t o ri m oas m a l l e rs e t ，t h e n ，ah i g hd i m e n s i o ns v mi su s e dt od e c i d et h j c hc l a s si t b e l o n gt o c o m p a r e dw i t hs v ms e to 唱a n i z e di no n el i n eo rab i n a r yt r e e ，t h i sm e t h o d r u nm u c hf a s t e r ，a n dw i i ll e a dt oab e t t e rr e s u l ti na p p l i c “o n k e y w o r d sp a t c e mr e c o g n i t i o n ，s v m ，k e m e lf u n c t i o n ，m u l t i d i mm u l t i - l e v e l r e c o g n i z et r e e ，g r a ys t r e t c h 浙江大学硕士学位论文 图目录 图目录 图1 1 车牌字符识别系统体系架构6 图1 2 车牌识别系统详细流程8 图1 3 车牌定位模块详细流程1 0 图1 - 4 字符识别模块详细流程1 l 图2 1 没有经过预处理的字符。1 3 图2 - 2 滤波前后车牌对比1 5 图2 3 图象增强效果对比1 6 图2 4 水平的字符串投影后间距较大。17 图2 5 未经过倾斜度校正的字符间距很小1 7 图2 - 6 未经过倾斜度校正的字符切分后字符上下存在较大的无效背景1 7 图2 7 利用投影纹理分析计算倾斜度1 8 图2 8 利用字符间距和间隔序列找出丢失的字符位置1 9 图3 1 典型的三层神经网络2 4 图3 2 二维训练集的分割超平面。2 9 图3 3 简化分类任务的特征映射3 l 图3 - 4 最大间隔分类器，间隔平面间的距离为1 朋卅i ，3 4 图3 5 利用高斯核函数对一个棋盘上的点集进行训练3 6 图3 6 满足约束条件的碣和位于一条直线上3 9 图4 1 灰度拉伸前后灰度字符图像对比4 2 图4 2 不稳定的贪心算法4 5 玎l 浙江大学硕上学位论文 表目录 表目录 表2 1 两种算法的运行结果比较。2 l 表4 1 三种算法的运行结果比较4 7 表4 2 系统对汉字的识别率4 8 浙江大学硕士学位论文 第l 章绪论 第1 章绪论 1 1 课题背景 随着全世界的经济飞速发展，信息技术日新月异。人工智能等计算机技术的 迅猛发展，使得信息的自动处理能力不断提高，并且广泛地应用于人们的生产和 生活实际当中，极大地推动了人类的进步和社会的发展。随着人们生活节奏的不 断加快，汽车的普及也已经成为必然趋势，交通系统的管理能力也相应的需要极 大的提高，所以车辆的自动管理即智能交通系统的开发就越来越成为社会现实中 需要迫切解决的问题。在这个大背景下，基于计算机视觉的图像处理及模式识别 技术就越来越得到人们的关注，这也为智能交通管理系统的深入研究并且早日进一 入实际应用领域提供了非常好的契机。车辆牌照自动识别系统已成为计算机视觉 与模式识别应用的重要研究课题之一。 在模式识别领域中，有的技术已经初步进入了实用阶段，比如指纹识别，虹 膜识别等；语音识别，手写汉字识别等也取得了飞速的进展。而车牌识别系统 ( l i c e n s ep 1 a t er e c o g n i t i o n ，l p r ) 是一个涉及到图像处理，模式识别，计算机 视觉，软件工程等多个方面的技术的系统。由于整个系统需要解决的问题相当复 杂，车牌识别在实际上只得到了初步的应用。例如在识别过程中不同的天气，亮 度，环境光都会对车牌的定位造成一定的困难，车牌本身的缺陷或倾斜对字符切 分会造成很大的影响，复杂而且难以预计的非车牌区域更是给车牌的准确识别带 来了极大的困难。尽管近几年来研究者们也对这些问题提出了很多相应的解决方 法，但是在识别的速度，正确率上还是有着很大的不足。尤其是近些年来，随着 人们生活水平的提高，私家车的拥有量越来越高，各类公路街道也不断拓宽，同 时驾驶员素质却是参差不齐，众多因素使得需要识别的图像背景越来越复杂，交 通系统的压力也越来越大，从而智能交通系统也成为了图像处理人工智能领域的 一个热点项目。 车牌号码的识别是智能交通系统的重要组成部分，其主要功能是从视频监控 视频( 实时处理或录像) 中分析并且处理采集到的图像，捕获到含有汽车牌照的关 键帧，对这类帧进行识别处理，依次对图像中车牌的位置进行定位，对定位好的 车牌进行旋转，切分等操作，最后对切分好的单个字符进行识别，从而提取出汽 车牌照的完整信息。这套系统在出入控制路口，高速公路收费站，公路流量监控， 违章车辆监控等方面都可以使用。只要是可以放置摄像头或照相机的地方都可以 浙江大学硕士学位论文 第1 章绪论 方便的应用。 综上所述，对车牌识别技术的研究以及相关应用系统的开发都具有重大的现 实意义以及实用价值，同时也拥有广大的商业应用前景。 1 2 国内外研究现状 车牌识别系统的唯一输入数据就是图像序列，输出则是车牌字符串。根据识 别的过程，整个系统框架可以用一条流水线来描述。系统由视频流处理模块，车 牌定位模块，字符切分模块和字符识别模块组成。 il 丈岁 。 ( 7 歪硅车牌区磊、 上土 上上 图1 1 车牌字符识别系统体系架构 6 浙江大学硕士学位论文 第1 章绪论 如图1 1 所示，视频流处理模块读入视频流，输出可能含有车牌的关键帧； 车牌定位模块读入每个关键帧，找出可能的车牌位置；字符切分模块读入车牌图 像，对其进行校正，切分，输出每个字符的图像；最后由字符识别模块对每个单 个字符图像进行识别，得到车牌的号码。 这几个模块中，车牌定位，字符切分以及字符识别模块是三个最主要的部分。 相关的研究早在2 0 世纪8 0 年代就开始了研究，几个模块中都有不少很好的算法 实现1 1 l 【2 】。但是由于环境光复杂多变( 亮度值白天与夜晚相差巨大，周边环境的反 射光，路灯以及太阳造成的高光区域等) ，车牌本身的不规则性( 悬挂位置不定， 车牌号受到污染) ，图像背景复杂( 树枝等高梯度区域，汽车散热罩的栅格结构， 车身上印刷的其它字符等) 等原因，阻碍了l p r 系统得到进一步的使用。除此之 外，很多情况下l p r 系统所处的软硬件环境非常严酷，很多算法需要消耗大量的 时间或存储器空间，系统要达到实时地识别有着比较大的困难。 目前有不少已经投入使用的产品，包括国内和国外都有一些各具特色的产品： 浙江大学c g i m 实验室的l p r 系统，以色列h i t e c h 公司的s e e c 盯s y s t e i n 一系 列产品，香港a s i av i s i t c c h n o l o 科公司的v e c o n 产品，新加坡o 肚l s i a 公司 的v l p r s 产品等等。h i t e c h 公司的s e e ，c a rs y s t e m 通过对原型产品分别进行变 形来分别适应某一个国家的车牌，例如s e e ，c a rc h i n e s e 系统可以对中国大陆的车 牌进行识别，但也有不小的缺陷，而且不能识别车牌中的汉字；而香港和新加坡 的产品则只适用与当地的车牌识别。除此之外，加拿大、英国、德国、意大利、 日本等各个西方发达国家都开发了适合于本国车牌的识别系统。各个国家的产品 虽然不同，但基本上都是基于车辆探测器的系统，设备投资巨大。中国大陆做得 较好的产品有浙大c g i m 实验室的l p r 系列系统，针对美国佛罗里达，南非等地 的车牌都可以进行有效的识别；中科院自动化研究所汉王公司的“汉王眼”，亚 洲视觉科技有限公司、南昌利得丰科技有限公司、中国信息产业部下属的中智交 通电子系统有限公司等也都有自己的产品。另外西安交大的图像处理与识别研究 室、上海交大的计算机科学与工程系、清华大学人工智能国家重点实验室、浙江 大学的自动化系等也都做过类似的研究。 本文对车牌图像切分以及识别的改进算法研究主要是在浙江大学c g i m 实验 室的南非车牌识别系统上进行的。 l p r 系统的具体流程如图1 2 所示，下面对系统中关键的车牌定位，字符切 分以及字符识别分别做简要介绍。 浙江大学硕士学位论文 第l 章绪论 根据纹理信息粗定1 立 u 根据饱和度信息粗定 j i 整合两种定位结果 l 对车牌区域进行精确定位 u 根据边缘信息进行伪区域去除 u 仃 取出一个车牌区域k ：、 i l 判断车牌是否需要反色 ! l 车牌去噪、旋转 | l u。 判断是否伪车牌鬯车孰 j 真车牌 图像增强处理 车牌图像二值化 u 二值图像去噪 u 切分字符图像 j l 字符切分校正 u 框定每个字符区域 u 压缩边界上的空白区域 u 合并部分切错的区域 n 根据区域判断是否是伪车牌 ! j l 字符识别i ll u i 结构分析 l ll j l i 输出结果i ii 图1 2 车牌识别系统详细流程 8 浙江大学硕士学位论文 第l 章绪论 1 2 1 车牌定位技术现状 车牌定位方法是图像处理技术，车牌特征以及小波分析，神经网络等技术的 一个有效综合。目前车牌定位的方法可以分为两大类：一类是基于灰度图像的车 牌定位方法，另一类是基于彩色图像的车牌定位方法。 灰度图像只具有灰度层次而没有彩色分量，因而这种图像的每个像素点都是 一个标量，可以用一个单值实函数表示。由于灰度图像的表达较为简单，空间 占用率低，运算速度快，因而基于灰度图像的定位方法研究较多。相比之下，彩 色图像的每一个像素都是一个三维向量，因此要用一个向量函数或多个函数来表 示，在空间复杂性上比灰度图像高出很多，其表达的复杂性以及色彩的多样性使 得基于彩色图像的定位算法研究较少。但是彩色图像包含有更加丰富的图像信 息，因此一些研究者也开始了这方面的研究。 车牌的定位算法主要涉及下面几种技术： ( 1 ) 基于特征的车牌定位算法。车辆图像的背景往往比较复杂，可能包含了周 围的人物，车辆，建筑，植被，还有各类印刷在其上的字符串；图像拍摄时的环 境光也随着天气，温度，光照而有很大的变化。而车辆牌照却具有一些和上述外 部条件相关很小的特征，如车牌内含多个水平排列的字符，字符和车牌底色在亮 度上存在着很大的差值，因而车牌区域内含有大量的边缘信息，拥有规则的纹理 特征。在基于灰度图像的车牌定位算法中，这些特征提供了强大的依据，如图l 3 。 ( 2 ) 基于形态学，小波分析，霍夫变换等数学工具的定位算法。数学形态学的 基础是腐蚀和膨胀以及由此产生的开，闭运算。使用这类运算，可以突出车牌的 特征，弱化其它不需要的数据。小波分析则可以提取出具有清晰纹理，多尺度分 辨率，不同方向的边缘子图像，水平方向低频，垂直方向高频的分量就可以表示 出车牌的区域。霍夫变换( h o u 曲t r a n s la _ t e ) 也常常用于车牌定位中，车牌的边框等 直线信息很容易被霍夫变换检测到，车牌边框的识别对于定位以及车牌的角度校 正都有极大的帮助。 车牌定位是车牌识别的第一个步骤，然而由于车牌背景的复杂性和车牌特征 的多样性，大多数的定位方法都局限于某一部分问题的解决，如牌照的倾斜，光 照的干扰，噪声的影响，而没有一个足够通用，鲁棒的定位算法。因此，只有把 上述的各种方法加以综合，才能得到相对稳定的效果。 9 浙江大学硕士学位论文第l 章绪论 i灰度图像 n l采用水平梯度扫描得到 i车牌梯度图像 对梯度图像进行 基元扫描 上土 基元扫描后得到车牌的 大致位置 l采用饱和度定位车牌区域 l与前面的定位区域 l进行番加 i伪车牌去除 ll 气l r l送到切分模块切分 图1 3 车牌定位模块详细流程 1 2 2 字符识别技术现状 车牌字符识别涉及模式分类，图像处理，神经网络等多方面的技术。与一般 的印刷体字符识别相比，有其自身的特点，它实际上是对依附在车牌上的印刷体 文字进行识别。车牌字符识别技术，是文字识别技术与车牌图像自身特点协调兼 顾的综合性技术。由于环境光照的强弱程度以及色彩、车牌的整洁度、摄像机的 性能、拍摄时的车辆牌照的倾斜角度、镜头轴线与车牌法线的夹角以及车辆运动 等因素的影响使牌照中的字符可能出现比较严重的模糊、歪斜、缺损或污迹干扰， 这些都给字符识别带来了难度。 车牌字符的识别主要有两种方法。 第一种是基于位图的识别方法，其实现通常是按照下面的流程进行的，如图 1 - 4 。 1 0 浙江大学硕士学位论文 第l 章绪论 归一化首先是使得待处理的车牌字符缩放到一个固定的尺寸，这时由于各种 以训练识别方式运作的模式分类方法的使用都是以一个固定维数的向量作为输 入的。其次，对于这个固定维数的向量，归一化还使得向量的每一维数据的分布 都尽量的满足相同的分布，例如灰度拉伸，直方图均衡化。而后通过模式分类的 几种方法来进行识别，如模板匹配，神经网络，贝叶斯网络，支持向量机，a d a b 0 0 s t 等算法。 第二种是基于矢量图的识别方法，这种方法与人类的思维相近，容错能力较 强，但计算较为复杂。 算法首先对字符图像进行二值化处理，并滤去噪声点，而后找出字符的笔划 骨架，对这些笔划进行合并简化后，就可以得到字符的几何信息【3 1 。利用基于笔 划的字符识别器就可以对字符进行识别。 i图像归一化 上上 i数据o l 处坪 子分类器识别 上土 得到集成识别结 jl 字符结构分析 上 i 输 结娶l 图1 - 4 字符识别模块详细流程 i l 浙江大学硕士学位论文 第l 章绪论 1 3 本文主要内容以及结构 本文对车牌图像切分以及识别的改进算法研究主要分两个部分：图像预处理 ( 图像增强) 、模式分类算法。所以本文将沿着这样一条研究路线开展工作。 本文在结构上共分为五章，具体安排如下： 第一章对车牌号码自动识别系统( l p r ) 作了简要介绍，并且阐述了本文的研 究背景以及现实意义；介绍了车牌识别系统的体系架构以及识别的详细流程；介 绍了当前车牌识别中两大核心技术：车牌定位技术和字符识别技术以及国内外的 研究现状；最后列出本文主要的研究内容。 第二章针对本文研究路线中的第一个模块：车牌字符切分模块进行了详细的 分析和阐述。研究了车牌字符切分过程中的几个重要技术：图像增强，倾斜度校 正，以及基于连通区域的切分算法和基于投影纹理特征的切分算法。最后介绍了 本文所实现的方法。 第三章针对本文研究路线中的第二个模块：字符识别部分进行了详细的研究 和描述。首先介绍了模式分类领域里的几个重要处理方法：模式匹配，神经网络， 贝叶斯网络。列举、比较了这几个算法中的具体方法，然后在此基础上详细介绍 了本文的方法：支持向量机以及序贯最小优化方法。 第四章针介绍了上述两种算法在车牌识别系统中的应用【4 】1 5 】：首先介绍了字 符识别模块预处理的基本方法：灰度拉伸，直方图均衡化。然后对多类识别的支 持向量机进行了介绍，并提出了本文所用的多级多维数支持向量机识别算法。并 对该算法的时间，空间复杂度进行了分析。 第五章我们对全文进行了总结，点出了算法中存在的不足之处，并指出了以 后进一步的研究方向。 1 2 浙江大学硕士学位论文 第2 章字符切分算法研究 第2 章字符切分算法研究 2 1 引言 在汽车牌照的自动识别过程中，字符的切分是最终字符识别的基础和前提， 只有尽可能的准确地把每个字符切分出来，下一步的字符识别才有意义，才能提 高整个系统的识别率。针对牌照字符切分的问题，目前国内外都进行了大量的研 究，大部分算法都归结到利用牌照字符区域在水平轴上的投影6 】【7 】【8 1 ，同时根据牌 照字符的格式信息，如字符的个数，分布等来切分牌照字符。 原南非l p r 系统在车牌图像的预处理过程中采用的是基于连通区域的算法。 该算法需要对灰度车牌图像进行二值化处理和连通区域搜索，通过对连通区域尺 寸和位置的分析，排除伪字符，从而得到字符的大概位置，进而对车牌进行倾斜 度校正处理。该算法中连通区域的搜索需要耗费大量的时间，提高这一过程的速 度对于整个系统性能将是极大的改进。 2 2 切分前的预处理 由于车牌定位模块中输出的车牌图像只是从原始图像中截取而来的，受环境 光等多种因素的影响，使得图像的清晰度，对比度都大为下降，因此在切分前必 须对原始图像进行预处理【9 1 【l o j 。 图2 1 没有经过预处理的字符 如图 1 ，没有经过预处理的字符图像在清晰度，对比度上参差不齐，无法 满足识别要求。 浙江大学硕士学位论文 第2 章字符切分算法研究 2 2 1 图像增强 为了改善视觉效果也方便人和计算机对图像的理解和分析，根据图像的特点 或存在的问题所采取的改善方法称为图像增强。在数字图像处理过程中图象增强 是经常被用到的一个方法。该方法可以有选择地将图像中感兴趣的特征突出出 来，而把不需要用到的特征弱化衰减。图像增强不考虑经过增强的图像只是为了 更加有利于进行下一步的处理，而不是为了逼近原始图像。 目前，对图像增强还缺乏统一的理论，衡量图像的质量又难以建立客观标准， 很多图像增强方法往往有很强的针对性，处理结果也只是以是否有利于算法的其 他部分进行处理作为评判标准。以致于对某类效果较好的增强方法未必一定适用 于另一类图像，因此必须根据实际情况确定采用的方法。不过总的来说，图像增 强算法可以在以下3 个方面发挥作用： ( 1 )消除脉冲噪声； ( 2 )非脉冲噪声的平滑； ( 3 )边缘增强和明显的结构信息保护。 而在车牌字符切分的过程中，如果能对车牌图像进行消除脉冲噪声和边缘增 强和明显的结构信息保护等方面的处理，则可以在很大程度上提高切分的准确 率。 2 2 1 - 1 中值滤波 图像的去噪算法有很多种，中值滤波和基于形态学的滤波是综合速度和效果 后比较理想的两种。 中值滤波算法首先由t u r k e y 提出，最初是用于一维信号的处理，后来很快 被应用到二维图像的平滑处理中。该算法是一种非线性滤波处理技术，可用来抑 制图像中脉冲干扰以及椒盐噪声。其优点是滤波的同时可以保持不被模糊，它既 可以用于二值图像也可以用于灰度图像的预处理。基本原理是对图像中的每个像 素值的一个邻域中各像素点排序，用中值代替原始像素。 设一数组4 ，以是其中第m 个元素，它的邻域就是以+ ，以+ ， 对这2 t + 1 个数进行排序后得到厶，以，_ ，一f ，m + r 】 则这些数的中值为 4 浙江大学硕士学位论文 第2 章字符切分算法研究 y = 埘甜( 以，厶) = 以 y 称为序列以，4 + ，的中值 ( 2 - 1 ) 同样，中值滤波也可推广到二维图像。二维中值滤波可以定义如下：取一个 ( 2 t + 1 ) 宰( 2 t + 1 ) 的窗口，窗口可以是圆形、菱形或十字型等。中间位置上的一个 点即为滤波时要处理的点，对这个窗口中的所有点进行排序，取其中间的点作为 滤波后的输出。 图2 2 滤波前后车牌对比 ( a ) 原始车牌，未经滤波的二值化车牌， ( c ) 经过中值滤波的二值化车牌 2 2 1 2 最大类间方差 为了使得前景( 即字符部分) 与背景( 车牌颜色) 清晰的分开，必须找到一个合 适的阈值对整幅图像进行分类。在图像阈值自动选取的方法中，“最大类间方差” 即o s t u 算法【i l 】计算简单，自适应强，使用范围最为广泛。 该算法对于车牌字符的增强非常适用。因为对于一幅定位较准确的车牌图 像，其图像区域主要有两种颜色：浅色背景深色字符或者深色背景浅色字符。这 两种颜色的亮度信息有着明显的差别而且很容易刻画和比较。 在找出前景、背景区域的分界点之后，我们就可以对该图像进行渲染和增强， 目的是加大前景和背景的反差，强化两者之间的区别。为后面二值化算法有效地 选取阈值提供前提和便利。 濒江大学硕士学位论文 第2 章字符切分算法研究 我们采用贪心算法来完成这一过程。对于前景字符，如果其亮度值低于计算 得出的阂值或者颜色较深，则通过一定的拉伸因子使其亮度值扩大一定的倍数。 同理，对于亮度值较高、颜色较浅的背景区域，我们也对其亮度值进行修正，使 其亮度更高、颜色更深。这样一来，前景和背景的对比度以及反差就非常明显， 易于后期的处理。 图2 3 图象增强效果对比 2 2 2 车牌倾斜度校正 由于摄像机放置角度等原因，原始图像中的车牌有可能不是水平的。倾斜角 度到达一定数值后，就会对车牌字符的切分带来困难，进而影响字符的识别。如 图2 4 图2 5 ，车牌倾斜后在水平轴方向的投影会变模糊，甚至无法找到字符中间 的空隙，而图2 6 所示的倾斜车牌虽然仍然可以切分，但切分后的字符上下有了 不少背景部分，经过拉伸得到的用于识别的字符会发生扭曲【l “。 1 6 浙江大学硕士学位论文 第2 章字符切分算法研究 刈副刊h 同蚓p 图2 _ 4 水平的字符串投影后间距较大 图2 - 5 未经过倾斜度校正的字符间距很小 l 。i2 34 5b 孓 图2 - 6 未经过倾斜度校正的字符切分后字符上下存在较大的无效背景 1 7 浙江大学硕士学位论文第2 章字符切分算法研究 寻找车牌倾斜角度有两种方法，首先都需要得到二值化的车牌图像，二值化 过程可以用多种二值化算法实现。 p 。i # 辛4 与毒7d 强 图2 - 7 利用投影纹理分析计算倾斜度 第一种方法在计算上比较简单，不需要在二值图中找出每一个字符的区域。 首先，在车牌的左右两边分别截取一段，将上面的像素点投影在纵坐标轴上，如 图2 7 ，这样就可以找出车牌的左右两边分别位于什么高度，而后根据左右两节 车牌的高度差以及两者之间的间距就可以计算出车牌的倾斜角度了。 第二种方法计算量要大一些，但效果更好。首先，得到所有的前景区域，即 每一个字符的点集，这一过程需要找出车牌的各个连通区域。对于前景中的每一 个字符，找出其最高点和最低点，所有的最高点应该可以构成车牌的上边沿，所 有的最低点则可以构成车牌的下边沿。当然，由于存在一些干扰和字符缺陷，这 些点不一定在一条直线上，但通过统计，则可以得到出现频率最高的倾斜角度， 按这个角度进行校正，就可以得到水平的车牌了。经过倾斜度校正的车牌可能还 有轻度的倾斜，但仍旧可以正确的进行切分。这个方法还有一个优点，因为在寻 找每一个字符的最高最低点过程中，字符所在的区域以及中心位置已经可以确 定。这样，不但字符的切分变得容易，而且在切分后这些中心点位置还可以用于 浙江大学硕士学位论文 第2 章字符切分算法研究 避免车牌字符的错位【1 3 1 ，如图2 8 。 图2 8 利用字符间距和间隔序列找出丢失的字符位置 图中的l 由于某种原因没能定位，根据字符的排列规律可在后期准确走位。 在具体实现上，两种方法都被应用到程序中，校正的结果是对它们的一个综 2 3 字符切分 2 3 1 车牌左右边界的确定 在倾斜纠正的过程中，已经得到了车牌字符区域的上下边界，从而可以准确 估计出牌照的字符高度。根据牌照字符高宽比，就可以估计出牌照的字符宽度。 当然，但由于牌照污损、变形、非正面拍摄等影响，该高宽比将在一定范围内变 化。同时由于牌照是由若干个字符及一些间隔按照某种固定的方式排列组成( 中国 车牌为x x o 。( ) ( ) ，则可由牌照字符宽度估计出整个牌照的宽度。 由此根据牌照区图象的垂直边缘图在牌照字符处高度集中，而在其他地方相 对分散的纹理特征，再加上估计出的牌照宽度就可以自动搜索牌照字符区域所在 的位置。 方法如下，首先利用垂直s o b e l 算子提取出车牌图像的垂直边缘图，将其二 1 9 浙江大学硕士学位论文 第2 章字符切分算法研究 值化后投影到水平轴上，在这个投影上找出连续的高分布的起点和终点，就可以 得到车牌的左右边界。 2 3 2 利用牌照字符排列规律切分字符 经过倾斜度校正和车牌精确定位后，就可以就车牌中的字符进行精确的切分 了。算法有很多种，利用投影是最快捷的方法之一，即将字符作垂直方向的投影， 累加得到每一列上的前景像素，这样就可以在各个字符中的空隙处找到最小值。 如此只要从左到右扫描一遍投影图，就可以得到每个字符的起始和结束位置。 但是这种方法对车牌图像中的噪声特别敏感。例如一些字符由于被污染，或 在二值化过程中缺失部分像素，会使得字符被切分成多块；而车牌非字符区域上 的半点以及二值化产生的误差，一些字符又会合并在一起。在误分或少分比较少 的情况下，可以根据车牌字符串的排列形式作进一步的切分和合并。例如中国车 牌的排列是依次有两个字符，半个字符宽的空白，再次有五个连续字符。利用这 些信息，可以修正上述切分算法产生的错误。 另一种字符切分的方式是基于车牌字符连通区域的切分算法。由于大部分的 车牌字符都是由数字和字母组成的，而所有的数字和字母都是连通的，因而可以 利用这一性质作为车牌字符切分的依据。具体步骤如下： 一，寻找连通区域。按行扫描整幅车牌图像，当遇到前景像素时，就将其作 为一个种子点进行八方向的跟踪，跟踪结果作为一个数组存放起来，继续扫描。 这样，就可以得到图像中所有的前景区域，根据字符的面积以及长宽比例，可以 删除掉不满足条件的区域，从而得到符合数字和字母条件区块的精确位置。如果 在倾斜度校正的过程中使用了基于连通区域的算法，则这一步可以省略。 二，统计所有连通区域，得到准确的字符宽度以及高度。仅仅依靠字符面积 和长宽比例无法去除所有的伪字符，所以在这一步需要通过统计所有连通区域的 高度以及宽度，找出高度和宽度的分布密度，从而得到每个字符的准确位置，并 剔除长宽比与车牌字符类似，面积也较大的伪字符。这一步骤的另一个重要作用 就是防止切分过于紧密，以数字1 为例，按照上述算法得到的字符区域紧紧地包 围住了整个字符，这样如果直接拉伸到标准尺寸，就会把原本宽度很小的字符蔓 延到整个待测图像中。造成这个问题的原因就是处理步骤为先切分，后拉伸，这 样的做法浪费了所有字符尺寸都是相近的这一条件。如果改成先拉伸，后切分， 则可以得到令人满意的效果。 三，纠正错位现象。由于各种干扰因素的存在，经过前面算法处理的到的切 浙江大学硕士学位论文 第2 章字符切分算法研究 分结果有可能出现这样的情况：某个字符缺失，例如在中国车牌中，第一个汉字 字符的像素很容易在二值化过程中损失。为了检测这种情况，就需要根据车牌字 符的排列信息进行修正。车牌字符的排列信息可以简单的由一个向量表示，每一 个元素都表示相邻两个字符间隔距离。以南非车牌为例，间隔序列为【l ，1 5 ，1 ，1 ， 1 5 ，1 ，1 1 七个元素，它描述车牌字符的分布就是字符分为三组，分别含有2 ，3 ，3 个字符，每一组里的字符是挨着的，组之间的间隔约为半个字符宽。每一项乘以 字符宽度就是检测到的字符区域应有的间距。若检测到的字符少了，就需要根据 这些间距来估算出被忽略字符的位置。 2 4 改进结果 基于投影的车牌校正算法的改进效果主要集中在速度上，表2 1 列出了两种 算法在速度上的差别。 在校正后的车牌水平度方面，基于投影的方法略逊与原算法，但相差效果不 大，表2 1 中可以看出两种方法处理后车牌水平度的方差值。 表2 1 两种算法的运行结果比较 基于连通区域的算法基于投影的算法 ( 原系统) 校正时问( m s ) 7 0 1 0 01 0 1 5 校正角度方差( 度2 ) 1 4 11 7 9 2 5 本章总结 本章研究车牌切分算法中的图像增强以及切分等相关技术。在识别过程中天 气，亮度，环境光的不同，车牌本身的缺陷或倾斜，以及拍摄角度不同等因素对 字符切分会造成很大的影响。本章根据车牌图像的特点，对图像增强算法，基于 投影的纹理分析以及基于连通区域的字符切分算法进行了深入的研究和分析。算 法首先通过最大类间方差方法对车牌图像的灰度( 亮度) 分量进行聚类，将整个区 域分成前景部分和背景部分两大块，而后进行前景和背景对比度的加大。然后， 本章利用基于投影的纹理分析和基于连通区域的字符切分对车牌进行切分，并对 比了其优缺点。最后，根据车牌字符的排列模式对缺失字符或伪字符进行补全和 剔除。 2 l 浙江大学硕士学位论文 第3 章字符识别算法研究 第3 章字符识别算法研究 3 1 引言 在汽车牌照被拍摄成像，定位，并被切分为单个字符的过程中由于受到多种 不同因素的影响，切分出来的图像质量参差不齐。在l p r 系统中，由于环境光强 度、颜色、方向的不同，车辆自身的运动，摄像机的晃动，镜头焦距的设置等因 素的影响，输入到字符识别模块的字符往往和标准字符相差甚远，有的笔划发生 断裂，有的则粘连在一起，有的字符只有部分被切分出来，因此，在字符识别模 块中，对于鲁棒性的要求很高，需要用到模式分类以及人工智能相关的技术。 在很多计算机应用中，通常可以显式地描述出给定一组输入如何推出所需的 输出，而系统设计者以及最终的程序实现人员的任务仅仅是将其编写为一系列的 代码或指令，从而让计算机遵循指令达到期望的结果。但是在另一些计算机应用 中，需要解决更复杂的问题，有时无法显式地描述出如何由输入值计算得到期望 的输出，或者可以写出这一过程但是其代价非常之高。模式分类技术就是在这样 一种情况下得到了广泛应用。 原系统的字符识别模块采用的是基于模板匹配的算法。基于模板匹配的算法 实现过程较为简单，但存在一些问题，如识别速度低，训练过程中容易出现过渡 学习，只适合识别二值图像等缺陷。随着统计学习理论的发展，各种模式分类算 法的出现，这一模块的改进要求变得更为突出。 3 2 模式分类及其方法 对于类似字符识别这样的不能用传统的编程途径解决的问题，解决的一种方 法就是让计算机从样例中学习输入到输出的对应关系。就像儿童学习辨认汽车的 过程，给他们大量各种类型汽车的例子( 直接指认，图片，视频等等) ，而不是教 给他们汽车的精确描述( 如尺寸，重量，载客量等) 。这种使用样例来合成计算机 程序的过程成为学习方法，当样例是由输入输出对给出时，称为监督学习。而 那些描述输入输出函数关系的样例称为训练数据。 当前的车牌识别实现中，使用最多的主要有这样几种方法：模版匹配，贝叶 斯网络，神经网络，支持向量机【1 5 】【1 q 等，这几种方法各有其优缺点。 下面分别简单介绍一下这几种方法。 浙江大学硕士学位论文 第3 章字符识别算法研究 3 2 1 模板匹配 模板匹配是最为直观的一种方法，就如字面所理解的，选用一些样本作为模 板，当进行判断时，首先计算待测数据与模板之间的距离，这个距离通常是两个 数据向量差的一个范数，例如它们之间的直线距离等。找出距离最短的那个模板， 这个模板的输出值就可以作为该数据对应的输出值1 1 ”。模板匹配的最大优点就是 实现简单而直观，但是作为实际应用还是有很多不足的，比如很容易过渡训练， 选择合适的模板非常困难，加入一个新的模板可能把之前可以正确识别的样本误 判；而且计算时间长，随着训练样本的增加，模板数量也会相应地增加到比较大 的数量，而待测字符都要和每个模板进行比较，这对时间的消耗是非常巨大的1 1 s 】。 对于灰度图像来说，可以直接使用两个向量之间的欧氏距离作为两者间的差 别函数： d 磨= ( 3 一1 ) 最小的9 詹对应的模板的类型就是待测字符的值。这个方法需要进行大量的 乘法计算，而且如果使用灰度图像，模板的数量会相应增加不少，这更加恶化了 识别的时间复杂度。 在另一种做法中，首先需要将字符图像二值化，然后利用下面的差别函数来 度量字符图像与模板图像之间的相似程度： = ( 3 2 ) 这种方式只需要进行整数异或运算，速度上将有极大的提升；同时，可以使 用带有权重的模板【1 9 1 ，即是一个整数，对于模板中的字符，笔划中部的权值要 比笔划边缘的大，这样可以改善模板的匹配度。 第二种方法同样有其缺陷，在字符的二值化过程中，图像的很多细节数据被 丢弃了，有的笔划发生了缺失，有的则发生了粘连，这样的数据损失会大大降低 系统的识别率。 在一些算法中，模板匹配由于其简捷性常常和别的方法混合使用1 2 0 】。 原系统中才用了无权重的模板匹配算法，对于比较接近的字符如h 和m ，特 别是二值化后的图像，识别率很难再加以提升。 浙江大学硕士学位论文第3 章字符识别算法研究 3 2 2 神经网络 人工神经元的出现被认为是科技界的一个重大进展，传统的冯诺伊曼体系计 算机的工作原理是基于图灵机的，本质上是大量的串行符号处理，而人类大脑的 工作方式却完全是另外一种结构。人脑中包含有巨大数量的神经元。虽然神经元 也分多个种类，但其基本结构都非常类似，即每个神经元都由若干个突触用于接 受其它神经元细胞的激励信号，然后由轴突输出激励信号来刺激其它神经元，也 就是说大脑的工作原理是基于互联的神经网络的。由于这个特性，使得大脑在处