硕士论文-车辆牌照自动识别系统.pdf

东北大学 硕士学位论文 车辆牌照自动识别系统 姓名：郭娟 申请学位级别：硕士 专业：检测技术与自动化装置 指导教师：杨为民 20050302 东北大学硕士学位论文摘要 车辆牌照自动识别系统 摘要 车辆牌照自 动识别是计算机视觉与模式识别技术在智能交通领域的重要应用，是实现交通 管理的重要环节之一。它在高速公路、城市道路和停车场等项目 管理中占有不可取代的重要地 位，它的 广泛应用必将有助于我国交通管理自 动化的进程。本文的处理手段是对输入的汽车图 像进行预处理， 运用车牌定位、字符分割、字符识别的方法提取车牌上的字符串，并以文本的 形式输出。其目的是识别出车牌上的字符， 用于车辆资料的管理及其安全保障。 车牌定位是车辆牌照自 动识别中 最关键的一步。本文通过对z o o 多幅汽车图片进行观察， 得出将图像进行灰度化、 仅提取图像的纵向 边缘可突出车牌部分，同时消除外界环境的干扰， 最后得到精确的车牌图像。字符分割的难点在于噪声、 字符粘连和断裂对分割的影响，本文充 分利用车牌的先验知识和分布特征， 采用对比 度拉伸和改进的b e m s e n算法相结合对车牌图像 进行二值 化， 运用h o u g h算 法进行倾 斜校正， 再对字符 进行切分， 最后用 气泡法对单 个字符除 噪。 字符识别是整个车牌识别过程中最重要的一环， 关键在于特征与分类器的选择和匹配。 本 文提出一种对字符进行归一化， 将主成分分析法 ( p c a) 和最近邻法相结合的算法对字符进行 识别， 由于该算法实现了特征降维， 且是一种特殊的非线性分类方法， 所以识别效果非常理想。 由实验所得的结果，本文算法能较准确定位、分割车牌并进行识别，系统的性能良 好。因 此，多种预处理与识别技术的有机结合能提高系统识别的能力，此方法对车辆牌照自 动识别在 实际中的应用有一定的参考和借鉴价值。 关键词:车牌定位 字符分割 二值化 字符识别 东北大学硕士学位论文 abs tract v e h i c l e l i c e n s e p l a t e a u t o m a t i c r e c o g n i t i o n s y s t e m ab s t r a c t v e h i c l e l i c e n s e p l a t e a u t o m a t i c r e c o g n i t i o n i s t h e i m p o r t a n t a p p li c a t i o n o f c o m p u t e r v i s i o n a n d p a t t e rn r e c o g n i t i o n i n t h e i n t e l l i g e n t t r a n s p o rt a t i o n d o m a i n , a n d i s o n e o f t h e i m p o r t a n t p a r t s i n t r a n s p o r ta t i o n m a n a g e m e n t . i t p l a y s i m p o rt a n t r o l e s i n t h e p r o j e c t m a n a g e m e n t o f e x p r e s s w a y , u r b a n r o a d a n d p a r k i n g a r e a e t c . i t s w i d e a p p li c a t i o n w i l l c o n t r ib u t e t o t h e p r o c e s s o f t h e t r a f f i c m e c h a n o g r a p h y o f o u r c o u n t r y .i t s m e a s u re i s t o d e a l w i t h t h e i n p u t t e d i m a g e s , e x p l o i t l i c e n s e p l a t e l o c a t i o n . c h a r a c t e r s e g m e n t a t i o n , c h a r a c t e r r e c o g n i t i o n t o e x tr a c t t h e c h a r a c t e r s t r i n g s , a n d e x p r e s s t h e s e s t r i n g s i n t e x t f o r m mo r e o v e r t h e a i m i s t o r e c o g n i z e t h e c h a r a c t e r f o r i n f o r m a t i o n m a n a g e m e n t a n d s a f e g u a r a n t e e . t h e k e y t o l i c e n s e p l a t e r e c o g n i t i o n i s t h e li c e n s e p l a t e l o c a t i o n . o b s e rv i n g 2 0 0 v e h i c l e p i c t u r e s , w e c a n g e t t h e a c c u r a t e l i c e n s e p l a t e a r e a v i a r e d u c i n g t h e n o i s e b y g r a y i n g , o n l y e x t r a c t i n g t h e v e rt i c a l e d g e . t h e d i f f i c u l t i e s i n t h e c h a r a c t e r s e g m e n t a t i o n a r e t h e n o i s e , c h a r a c t e r c o n g l u t i n a t i o n a n d ru p t u r e e t c . h o w e v e r , t h e p a p e r m a k e s f u l l u s e o f t h e p r i o r k n o w l e d g e o f t h e l i c e n s e p l a t e , c o m b i n i n g t h e c o n t r a s t s tr e t c h i n g w i t h t h e i m p r o v e d b e m s e n a l g o r i t h m f o r t h e b i n a r y , u t i l i z i n g t h e h o u g h a l g o r i t h m t o c o r r e c t t h e s l a n t p l a t e , a n d t h e n s e g m e n t i n g c h a r a c t e r , f i n a l l y e m p l o y i n g b u b b l e - m e t h o d f o r s i n g l e c h a r a c t e r t o r e d u c e n o i s e . wh a t s m o r e , t h e m e t h o d o f c h a r a c t e r r e c o g n i t i o n t a k e s a n i m p o rt a n t p a rt i n t h e w h o l e s y s t e m , a n d t h e k e y t e c h n i q u e li e s i n t h e m a t c h i n g o f f e a t u r e a n d c l a s s i f i e r . t h e r e f o r e , t h e p a p e r p u t s f o r w a r d a n a l g o r i t h m t h a t m a k e s t h e c h a r a c t e r i n t h e s a m e s i z e , a n d i t l i n k s t h e p c a a n d n e a r e s t n e i g h b o u r a l g o r i t h m t o r e c o g n i z e t h e c h a r a c t e r . h o w e v e r i t h a s p e r f e c t e f f e c t b e c a u s e i t i s a s p e c i a l n o n li n e a r m e t h o d a s w e l l a s d e s c e n d s d i m e n s i o n . a s a re s u l t , i t p ro v e s t h a t t h i s r e c o g n i t i o n s y s t e m c a n b e re l a t i v e l y a c c u r a t e t o l o c a t e l i c e n s e p l a t e a n d r e c o g n i z e c h a r a c t e r s , a n d t h e p e r f o r m a n c e o f t h e s y s t e m i s g o o d . i t s h o w s t h a t c o m b i n e d p re t r e a t m e n t s a n d re c o g n i t i o n t e c h n i q u e s c a n i m p r o v e t h e a b i li t y o f r e c o g n i t i o n , s o t h e a l g o r i t h m m e n t i o n e d i n t h e a rt i c l e h a s a c e rt a i n r e f e re n c e v a l u e f o r t h e a c t u a l a p p l i c a t i o n o f v e h i c l e l i c e n s e p l a t e s y s t e m. k e y w o r d s : l i c e n s e p l a t e l o c a t i o n , c h a r a c t e r s e g m e n t a t i o n , b i n a r y , c h a r a c t e r re c o g n i ti o n i i i 东北大学硕士学位论文独创性声明 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。 论文中取得 的研究成果除加以标注和致谢的地方外， 不包含其他人己经发表或撰写 过的研究成果， 也不包括本人为获其他学位而使用过的材料。 与我一同 工作的同志对本研究所做的任何贡献均己在论文中作了明显的说明并 表示谢意。 本 人 签 名 : 宫 眺 日期:; ,o 01 :年几 月二 k 日 学位论文版权使用授权书 本学位论文作者和指导老师完全了 解东北大学有关保留、 使用学位 论文的规定: 即学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘， 允许论文被查阅和借阅。 本人同意东北大学可以将学位论文 的全部或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流， 请在下方签名; 否则视为不同意。) 学位论文作者签名: 签 字 日 期 : a do 将 粼 二 汽 “ 云 良 导 师 签 名 :分 备 劳 礼 签字日 期: 3 - -d , .r . z . v s - 东北大学硕士学位论文第一章 绪论 第一章 绪论 1 . 1 智能交通系统的发展和内容 今天， 道路运输已 成为最重要的地面运输方式之一， 进入9 0 年代以 来， 世界上各国交通拥 堵、 交通事故和环境污染等问题越来越影响着社会经济发展和生活，虽然道路运输增l t h r e s h 2 ( 3 4 ) s o b e l 算子和p r e w i t t 算子的不同就在于使用的模版不一样： 耻b 一2一i o0 21 s 2 = 一1ol 一2o一2 101 ( 3 5 ) 哪个算子是好呢? 这个问题的答案取决于图像的噪声，如果在每个点噪声都是相同的，那 p r e w i t t 算子是比较好的；如果靠近边缘的噪声是沿着边缘的2 倍，那s o b e l 算子是比较好的。 也就是算子的好坏取决于噪声的结构。这两个算子存在一些共同的问题：它们的结果对噪声 很敏感。可以通过先对图像做平滑以改善结果，但是又会产生一个问题，即会把一些靠在一 起的边缘平滑掉，而且会影响对边缘的定位。 3 ) k i r s c h 算子 1 9 7 1 年，r k i r s c h 提出了一种边缘检测的新方法：它使用了8 个模版来确定梯度和梯度的 方向。假设原来的3 3 子图像如下： 口3口2d l a 4 ( f ，) a o 口5口6盯7 ( 3 6 ) 则边缘的梯度大小为： m ( i ，力= m a x 1 ，m a ) 【 1 5 s 一4 j ：k = o ，l ，7 ) ) ( 3 7 ) ；e 中：s t = a k + a k + i + 日t + 2t k = a k 十3 + a t + 4 + + 口女+ 7 上面的f 标如果超过7 就用8 去除取余数。注意到k = 0 ，1 ，7 ，其实就是使用了8 个模版 了。 4 ) l a p l a c i a n 算子和l o g 算子 前面我们都是利用边缘处的梯度取得最大值( 正的或者负的) ，也就是灰度图像的拐点侥置 是边缘。我们知道，在拐点位置二阶导数是0 。所以我们也可以通过寻找= 阶导数的零交叉点 来寻找边缘。二元函数f ( i ，) 的l a p l a c i a n 交换定义为： v 2 ，= 毒寺加掣+ 掣 s ， 常用的模版有 l = 010 141 0lo l = 三 3 1 1 1 8 11 ( 3 9 ) 显然，既然一阶导数对噪声是敏感的( 因而是不稳定的) ；那二阶导数对噪声就会更敏感。 因而更不稳定。所以在做上变换之前做平滑是必要的。又因为卷积是可结合可变换的，所以先 做高斯卷积然后用三算子做卷积就等价于对原图像用高斯函数的l a p l a e i a n 变换后的滤波器做 卷积是一样的。这就是一个新的滤波器l o g 滤波器( 是墨西哥帽函数) ： 一1 6 东北犬学硕士学位论文 第三章车辆牌照定位 算黼2 警= 杀 2 _ 孚m 降 3 3 3s o b e l 边缘检测 由于车牌在车辆图像中位置的不确定性、外界光线的不均匀性及噪声的随机性等因素，我 们必须找到车牌区域固有的与其它区域不易混淆的属性，且在各种环境下摄取的图像具有稳定 性，这种属性就是图像的边缘。边缘最重要的性质就是不变性：光线的变化显著地影响了一个 区域的外观，但是不会改变它的边缘。更重要的是人的视觉系统也是对边缘很敏感的。 本文采用s o b c l 边缘检测算子，其原因是：首先，在实际中p r e w i t t 和s o b e l 算子都常运用 于计算图像的梯度。其次，相对于二阶算子来说。它们都是一阶算子，不但计算方便而且对噪 声的敏感度低。再次，尽管p r e w i t t 算子比s o b e | 算子运算更简单，但是s o b e l 算子有更好的抑 制噪声能力。在边缘图像中，边缘点用1 表示，非边缘点用“0 ”表示。 ( 式3 5 ) 是s o b e l 算子的两个卷积模版s 和 如 果f ( x , y ) a x 兀 时， 则 : ax , y ) t , ( x , y ) ( 4 . 1 8 ) 了、.夕、.、 一一 少 (x， 几口 上述方法考虑了 文本图 像背景噪声干 扰、 光照不均等情况， 又考虑了图 像的整体灰度特性， 采用快速算法解决速度问 题， 对局部动态阂值方法的b e rn s e n算法进行了改进，克服了 原来算 法的缺点，基本上消除了伪影及笔划断裂现象。 东北大学 硕士学 位论文 4 . 2 .6二维图像局部窗口内极值快速算法 第四章 字符分割预处理 在对mx n=维图 像求取局部窗口 值的过程中， 二维窗口内极值的计算可被分 解为水平垂 直 两次一维窗口 极值求取。 9 1 . 一 m a x- w 5k ,75 w 仃 (x + k , y + 1) = m a x_w 5 ,3_, ( 职 练( f ( x + k , y + 1 ) ) ) ( 4 . 1 9 ) 其中w j ) 一 0 ( 5 . 1 ) 东北大学硕士学位论文第五章字符分割 第五章字符分割 我们已经在第四章介绍了字符分割的任务和基本内容作了简要的介绍，本章将更详细的探 讨字符分割算法。由于对车牌中字符的字体、排列有详细的规定，尽管在对汽车进行拍摄或分 割预处理时会产生一些变形，但是车牌中的字符字体基本上变化不是很大，本文对车牌中的字 符分割的困难主要是集中在对车牌中存在的字符粘连和断裂的处理。以下主要介绍字符分割算 法和字符除躁算法。 5 1 传统的字符分割算法分类 传统的字符分割算法可以归纳为以下三类口“： 1 ) 直接的分害法； 2 )基于识别基础上的分割法； 3 )自适戍分割线聚类法； 直接的分割法简单，但它的局限是分割点的确定需要较高的准确性；基于识别结果的分割 是把识别和分割结合起来，但是需要识别的高准确性，它根据分割和识别的耦合程度又有不同 的划分；白适应分割线聚类法是要建立一个分类器，由它来判断图像中的每一列是否是分割线， 它是根据训练样本来进行自适应的神经网络，但是对于粘连的字符是很难训练的，因为分割不 可能做到完全正确，现有算法已经把字符分割作为不必要的步骤，而是直接把字符组成的单词 作为一个整体来识别，例如马尔可夫数学模型等方法进行处理，这主要是应用于文本识别。以 l 的字符分割算法均是基于二值图像进行的。考虑n - 值图像丢失掉很多信息，而且可能会造 成字符粘连模糊或断裂的缺陷，对灰度图像的直接处理已经有人开始研究，但它的分割路径足 非线性的，算法较为复杂。 考虑到算法的实时性和适用性，本文选用直接的分割法，即把投影法作为主要的分割法， 配以对粘连字符和断裂字符的特殊处理来完成字符分割。 5 2 字符分割的基本思想 在经过了上面一系列的预处理后，现在的牌照图像已经基本可以满足我们的分割需要。由 于牌照有其自身的规格要求，字符间有一定的间隔，而这个间隔是我” 最先可以想到的分割依 据。我们采用投影法迸行字符分割，第三章中已经提到了投影法，其实质就是把二维图像的像 素分布特征简化为x 轴和y 轴的两个一维函数，通过对两个函数的分析，找到我们想要的结果。 在二值图像中，我们用“i ”来表示字符，用0 来表示背景，那么如果某一行或者某 列都是背景，则该行或者列的投影和一定为0 。图5 1 是二值车牌的纵向投影图，从图5 1 中我 们可以清楚地看到，位于字符间距的列的纵向投影值为0 ，即满足式5 1 ，我们在图中用“ 号表示这样的列。式5 1 中的l o w 为车牌图像的行数。在理想的情况下，这个波谷的值应该为 零，并且每个字符之间都应该有相应的波谷，根据这个重要的特征，我们可阻轻松找到字符间 隙，把车牌上的字符块分离开来。 x ( f ，) = 0 ( 5 1 ) = 】 - 3 8 东北大学硕士学位论文 第五章字符分割 这幅图像照片由于质量好，经字符串提取和校正后基本上已不存在噪声和变形。实际上照 片拍摄时因受到各方面的影响，使得牌照图像中发生字符之间粘连或字符断裂的现象，如图5 2 所示，由于退色现象严重，使字符间产生大量的伪影，造成字符间粘连，为了解决这些难点， 采用基于轮廓投影的分裂算法及基于区域聚类的合并算法，实现单个字符的有效分割。 ( b ) 图5 1 二值车牌的纵向投影圉 f i g 5 i t h ev e r t i c a lp r o j e c t i o no f b i n a r yp l a t e 圈5 2 字符粘连 f i g 5 2 t h ec h a r a c t e rc o o g l u t i n a t i o n 牌照字符为规则的印刷体字，其字符串的长宽比、字符间隙、字符的长宽比及笔划宽度都 是按照严格的标准制造的，在牌照照片数字化、提取和校正的过程中会代入一些干扰，但字符 串参数之间的相互关系不会发生很大的变化1 2 6 】。 三4 5 h h * 1 9 w i i 岷“0 3 耽 见“0 5 形 ( 5 2 ) ( 5 3 ) ( 54 ) ( 5 5 ) 式5 2 中为字符串长度，日为字符的高度：式5 3 中睨为常规字符( 不包括字符1 ) 的宽度；式5 4 中昵为字符1 的宽度；式5 5 中d 。为字符1 两侧的字符间隙。上面4 个公式为主要的几个字符串参数关系式，其中的参数常量是实际图像的统计平均值，利用这些 公式可使单一字符区域的估测更加准确。 5 3 粗分割字符 粗分割是按字符串区域的垂直投影( 纵向投影) 提取候选字符区域。此节先不考虑字符的粘 连和断裂现象，只提取在投影图中已分离的区域。图5 3 中上部为字符串区域图像；f 部为其 垂直投影图，o ) 为字符串图像中第x 列白色像素点的数目。因为牌照字符串是按一定间隙排 - 3 9 东北太学硕士学位论文 第五章字符分害 列的，当f ( z ) 0 时，工列属于下降沿区域a l ；当，( x ) 一f ( x 1 ) l 贝0 可适当以l 长度为范围延伸a 4 ，使其更符 合判定标准，取得一个最优值设定为字符区域。再次重新划分字符块的左右边界。 f - ( x ) 图5 8 粘连字符轮廓垂直投影图5 9 粘连字符分割 f i g 5 8 t h e v e r t i c a lp r o j e c f i o n o f c h a r a c t e rc o n g l u t i n a t i o n f i g 5 9t h es e g m e n t a t i o n o fc o n g l u t i n a t i o n 图5 9 为图5 3 的细分割效果图，粗分割后，a 、“2 ”、8 被判定为属于字符粘连的状 况，轮廓投影后可知，单个字符的轮廓投影具有单峰特性，波谷处就是字符间隙。使用此算法 实现了粘连字符及干扰区域的有效分裂，提取出的字符区域比较精确、完整。 5 4 2 字符区域的合并 这部分工作的任务是将粗分割及区域分裂生成的含有部分字符的区域融合为完整区域。本 文采用基于聚类的字符台并算法来重构字符区域。 图5 ，1 0 为字符候选区域的示意图。其中区域a 1 与a 5 为已确定的字符区域，区域a 2 、a 3 、 4 2 - 东北大学硕士学位论文 第五章字符分割 爿4 为未确定的候选区域，这些可能是噪卢区域也可能是包含部分字符的区域，这里定义为短 区域，相邻的短区域所构成的集合定义为短医域集合，表示为 f = 1 k 闺5 1 0 中的短区域集 合为 a 2 ，a 3 ，a 4 。区域合并的工作就是选取最可能是字符的几个相邻区域，将其溶合生成新 的字符【必域。以短区域集合中的任意一个区域为聚类中心，结合其它相邻的区域形成该集合的 一个子集称为字符集合( 字符类) ； 字符集合在短区域集合中的补集称为噪声集合( 噪声类) ，因此区域合并可归结为两类的聚 类问题。如以区域a 2 为中心，在短区域集合 a 2 ，a 3 ，a 4 内生成字符集合f a 2 ，a 3 、 f a 2 ，a 3 ，a 4 及噪声集合4 ) 、f 辨。 m i n i l ( a i l f = n 晰) 一m i n ( 1 c ( 爿f i f = y m ) 一c 1 n m t( 56 ) 图5 1 0 字符候选区域示意图 f i g 5 1 0 t h es k e t c hm a pf o rc a n d i d a t e dc h a r a c t e rr e g i o n 式5 6 为聚类效果判定式。其中l ( a i l j = n 聊) 为字符集合 4 j f i = r t m 从区域a n 左 边界到区域a m 右边界在卫方向上的距离，定义为类内距离；c ( a ii = ”) 为字符集合 ( a i 【f = ”m 从区域a n 左边界到区域a m 右边界在x 方向上的中点位置，定义为类中心： 为预测的字符宽度，c 为预测的字符位置。假设字符区域一1 与“5 为确定已知，根据牌照字符 串印刷体的规律，可测出这两个区域间存在几个字符及其宽度与位置。前几节已完成大部分字 符区域的确定工作，字符区域合并通常只出现在一两个字符中，所以上述的假设是可行的。根 据聚类判定式，对每一个字符类评价其聚类的效果，选择出最符合式5 6 的字符集台，将该集 合台并为新的字符区域( 以集合中a n 左边界为字符区域的左边界a m 右边界为字符区域的右 边界) ，如果短区域集合中包含多个字符区域，则对应于式5 6 将生成多个判别式，区域合并也 演化为多类的聚类问题，其实现的方式与单字符区域合并算法相同。 图5 1 1 区域的合并 f i g 5 - 1 1 t h e r e g i o nc o m b i n a t i o n 图5 1l 左侧为粗分割后的二值化图像，数字0 被分割为两个区域8 和9 ，通过上面的聚 类操作后，隈域8 和9 被合并为一个字符，如图5 1 1 的右侧，灰线所圈起的部分为字符部分， 另外在做细分割时，滤除一些很明显的噪声，如区域5 和区域3 的右半部。 5 5 字符分割效果分析 图5 1 2 提供了3 个牌照字符间发生粘连的例子，采用本文的算法对字符串区域进行分裂与 合并，分割出5 1 2 右侧的字符区域，字符左右边界划分的相对比较准确，区域中包含了完整的 字符信息，与字符区域相邻的噪声区域也得到了有效的抑制。本文对近百幅在不同情况下拍摄 的牌照照片进行试验。基本上都获得了较满意的分割效果。因此采用基于轮廓投影的分裂算法 及基于区域聚类的合并算法在牌照字符分割中具有很好的应用价值。 - 4 3 - 东北大学硕士学位论文 第五章字符分割 5 6 气泡法除躁 圈5 1 2 分割效果圈 f i g - 5 1 2t h er e s u l to f s e g m e n t a t i o n 切分以后的单个字符图像中存在很多噪声，如果将其直接送到字符识别器中，给识别带来 i 午多不可预测的麻烦，不能很准确地提出字符的特征，会严重影响识别率，因此在字符分割的 结尾部分，我们进行噪声处理。在车牌的二值图像中，存在以下噪声： 第二和第三字符间的小圆点 第二和第六字符上下的铆钉 残留的边框线段 车牌上有泥点或者车牌严重褪色造成的噪声 孤立点噪声。所谓孤立点是指某个值为“l ”的白色象素的3 x 3 的8 邻域内，象素之和为 o 那么这个象素点就叫孤立点 可见车牌上影响识别的噪声比较复杂，可能对于第一、第二种噪声可以有针对地去除，但 是对于第三类噪声，其形状和大小等是无法预知的，给我们的处理造成很大麻烦。 本文中采取的字符去除噪声的基本方法是气泡法，它可以同时去除以上所说的五种噪声， 臼适应性蝎，具有很高的应用价值。 5 6 1 气泡法原理 气泡法是一种二值图像中的区域增长法，它的目的是把图像中的目标对象内的不同的连通 区域分离开”1 。我廿j 用卷标参数来表示一个区域的颜色，它是能反映象素属于某个连通区域的 晕，在同一连通区域内的象素具有相同的卷标值，即它们会被着以相同的颜色，否则它们具有 不同的卷标值，着有不同的颜色。这样每个连通区域都象一个有着定颜色的气泡，囡此这种 将不同的连通区域分离开的方法称为气泡法。 首先把整个图像中的每个象素都赋予同样的卷标参数，即首先假定所有像素都处在一个连 通的区域内。然后从图像的第二行第二列的像素开始从左向右、从上到下的扫描图像，对每一 个值为“l ”的像素( 即非背景像素) 都考察它的8 邻域内的像素的卷标值，如果这个8 邻域内 已经有像素h 被着色，则将该像素着以与h 相同的颜色值。这就意味着这个中心像素 像素应 该属于同一个连通区域，否则如果这个像素的8 邻域内没有像素被着色，则给该像素着个新 的颜色。 这样扫描r 去，我们就会把图像中的各个连通的区域区分开来，然后再考察各个连通区域， 4 4 东北大学硕士学位论文 第五章字符分割 可以根据具体需要进行分析和处理。 对于车牌的去噪处理我们采用气泡法，首先图像分割成多个连续区域，然后去掉噪声区域。 该方法不受车牌倾斜影响，不需要车牌的先验知识，适应性强。 5 6 2 气泡法除躁原理 图5 1 3 气泡法标定的各连遁区域 f i g 5 1 3 t h ed e m a r c a t e dr e g i o nb yb u b b l e - m e t h o d 先介绍一个概念：图，的占空比图像区域面积一与区域最小外接矩形面a n 之比，即 d ( ，) ： a r 1 v i d t h ，( f ，) ，；1 r o w + l i s t ( 5 7 ) 其中h e i g h t 和w i d t h 分别为图像最小外接矩形的高度和宽度，单位是象素。图像占空比是 字符的一个重要特性，在下面的去噪声步骤和以后的字符识别中起了不可忽视的作用。 在每一个被着色的字符块区域内，将那些不适合字符特征气泡都强制擦黑，那么剩下的气 泡就是最后的去了噪声的字符。噪声的主要判定准则如下所述： 1 ) 气泡高度小于字符最小高度m i n h i g h ，该气泡定是噪声： 2 )气泡宽度小于等于l ，该气泡定是噪声； 3 )宽度虽然大于1 ，但是小于字符最小宽度m i n c h a r w 时，判断它是不是字符1 ，方法是求 气泡的占空比( 见式5 7 ) ，如果占空比大于0 2 5 ，证明这是字符“1 ”：否则不是字符1 ， 是噪声气泡： 4 )判断最右端的气泡是边框噪声还是字符。方法是如果最右气泡的左边那个气泡的宽度大于 平均的非“1 ”字符的宽度时，计算该气泡与其左边气泡的距离，如果距离大于某一闽值 r a i n g a p l ，则为字符，否则是噪声气泡；如果最右边气泡的左边气泡的宽度小于非17 字 符的平均宽度时，它可能是1 ，如果晟右气泡与其左边气泡的距离应该大于m i nn a p 2 ， 则该气泡是字符，否则是噪声气泡。其中实验中m i ng 印1 我们取5 而m i ng a p 2 我们取 1 0 ： 5 )计算每个气泡的最小外接矩形在图像中的行起始和结束位置f o ws t a r t 和r o we n d ，如果某 4 5 嘶h 东北大学硕士学位论文 第五章字符分割 个气泡的行起始或者结束位置和平均的起始和结束1 1 i 7 ：置相差太大时，我们认为这个气泡是 车牌上的铆钉与字符粘连起来的气泡，将它在图像中上下边缘的起始位置与它左右的气泡 的起始位置相对比，切去超出范隔的部分： 去除噪卢前后的车牌图像见图5 1 4 。 边摇噪声，遁过准则( 1 ) 可i 烛除 根据占空t b 条：件不会被准划( 啦陈 图5 1 4 除躁前和除躁后 f i g 5 1 4 b e f o r er e m o v e dn o i s ea n da f t e ri t 5 7 字符分割除躁效果分析 圈5 1 5 字符分割除躁前和除躁后 f i g 5 1 5 b e f o r er e m o v e dn o i s ea n da f t e ri ti nc h a r a c t e rs e g m e n t a t i o n 图5 1 5 的左端和右端为字符分割除躁前后的效果对比图，可看出，分割除躁的效果令人满 意，这几幅二值图像的字符间都存在较多的伪影，在用投影法进行处理时，会使字符间没有间 隙，但运用本文所提出的一系列结合先验知识来解决字符粘连和断裂的算法可实现字符较完美 地分割，为进入字符识别领域本文晟重要的部分打下了坚实的基础。 实验结果表明，整个字符分割部分包括从车牌细定位后的对比度拉伸、二值化、h o u g h 倾 斜校正、字符粗分割、字符细分割及气泡法除躁一系列过程。字符分割率为9 6 5 ，根据车牌 情况不同在v c 6 0 环境下运行时间在6 0 毫秒到2 1 0 毫秒之间，平均字符分割时间约为9 3 1 5 毫 4 6 一 嶝 东 北大学 硕士学位论文第五章 字符分刽 个气泡的行起始或者结束位置和平均的 起始和结束位置相差太大时， 我们认为这个气泡是 车牌上的铆钉与字符粘连起来的气泡，将它在图像中上下边缘的起始位置与它左右的气泡 的起始位置相对比，切去超出范围的部分; 去除噪声前后的车牌图像见图5 . 1 4 . 泥 点 等 噪 声， 通 过 准 则 ( 1 ) 可 以 去 屏. 边 框 噪 声， le 7v vlj m 7 6ap r 根据占 空地条 件， 不 会被准则( 3 ) 去除 ， 通过准则( 4 ) 可以去除 .了 尹铆钉连接 边框噪声，通 过 准 则(15 ) 可 以 去 除 图5 . 1 4 除赚前和除赚后 f i g . 5 . 1 4 b e f o r e rem o v e d n o i s e a n d a f t e r i t 5 . 7字符分割除躁效果分析 圈5 . 1 5 字符分割除赚前和除赚后 f i g .5 . 1 5 b e f o re re m o v e d n o is e a n d a f t e r i t i n c h a r a c t e r s e g m e n t a t i o n 图5 . 1 5 的左端和右端为字符分割除躁前后的效果对比图， 可看出， 分割除躁的效果令人满 意，这几幅二 值图 像的字符间都存在较多的 伪影， 在用投影法 进行处理时， 会使字符间没有间 隙， 但运用本文所提出的一系列结合先验知识来解决字符粘连和断裂的算法可实现字符较完美 地分割，为进入字符识别领域 本文最重要的部分打下了 坚实的基础。 实 验结果表明， 整个字符分割部分包 括从车牌细定位后的 对比 度拉 伸、二值 化、 h o u g h 倾 斜校正、字符粗分割、字符细分割及气泡法除躁一系列过程。 字符分割率为 9 6 . 5 % a ， 根据车 牌 情况不同在v c 6 .0 环境下运行时间在6 0 毫秒到2 1 0 毫秒之间， 平均字符分割时间约为9 3 . 1 5 毫 东 北大学硕士学位论文第五章 字符分刽 秒。 通过分析可知， 产生误分割的原因 很多， 如车牌本身磨损情况严重等，在这种情况 下 即使 采用局部动态二值化方法依然不能达到良 好的二值化效果，使四 个或四个以上的字符粘连在一 起，且字符问噪声较多，光考虑字符的先验知识也不能很好地将字符分割开，这是因为通过这 些先验知识求得的值， 本身就包含很多估计值， 所以 再用这些估计值求解， 会带来更大的误差， 尤 其对二值化效果很差的车牌图 像， 所以说要找到一种适合各种情况下车牌的字符分割算法还 需要进一步的探索且这个过程的实现是很有难度的， 但对正常情况下或有一定噪声影响的车牌 图 像， 本文所提出的算法都能实现分割。 东 能大学 硕士学位论文第六章 字符识别 第六章 字符识别 衡量车牌识别系统的性能的最重要的 指标就是字符的识别率。识别率当然与图像的采集、 字符的 提取等步骤紧密相关，但是更需要一个好的识别策略。 在这一章中，我们将阐 述与车牌 字符识别有关的理论和实现方法. 6 . 1字符识别原理介绍 6 . 1 . 1模式识别基本原理 字符识别是模式识别领域中很活跃的一个分支。模式识别研究识别过程的一般原理，对字 符 识别有指导 作用; 而字符识别的 研究又促进了 基 础理论 模式识别 领域的 发展3 1 ) 原理介绍 模式识别诞生于2 0 世纪2 0 年代， 随着4 0 年代计算机的出现， 5 0 年代人工智能的兴 起， 模式识别在6 0 年代初迅速发展成一门 学科。 它所研究的理论和方法在很多科学和技术领域中 得 到了 广泛的重视， 几十年来， 模式识别研究取得了 大量的 成果， 但是由于模式识别涉及到很多 复 杂的问 题， 现有的理论和方法对于 解决这些问 题还有很多不足之处。如下介绍模式识别中的 几个重要的概念: . 模式: 一组包含了对事物所具有的特征和信息的描述; 0 模式类:具有某些共同 特性的 模式的集合: 0 模式识 别:识别出待定客体所模仿的 标本， 它是研究一种自 动技术， 依靠这种技术，机器 将自 动地( 或人尽量少地干涉) 把待识 模式分配到各自 的 模式 类中去; 由于 被识别的对象多半是具有不同 特征的非电量， 如灰度、 色彩、 声音、 压力、 温度等等， 所以 第一步就是 将它们转变为电 信号， 然后经八 刃转换， 将它们转换为能由 计算机处理的数字 量。 数字化后的电 信号需经预处理，以 滤除样品 采集过程中 掺入的干扰、噪声，并突出有用信 息，以 得到良 好的识别效果。经改善后的 有用信号， 还要做特征抽取或基元抽取， 才能 对其分 类。由 于 特征( 或基元) 的 抽取与待识模式的 类别密 切相关， 很难有某种泛泛的规律可循， 而且 随 着工作的深入，需要不断地修改与 完善此阶段的方法。 用计算机进行模式识别的过程， 实际上是实现一个从“ 样本空间” 到“ 类别空间” 的映射。 z a d e h 曾 经 对 此 进 行 过 解 释: 某物 体 可以 有 许 多 样 本， x = 毛 x l i x 2 1 . . . i x 衬， 样本 中 的 每 个 样 本 都 可以 代 表 它。 映 射可以 分 为 两 步 : 第 一 步 ， 每 个 样 本x 都 用 适当 的 特 征f ( x , ) 加以 表 示 ， 即 由x 到f ( x ) 。第二步，由 计算机执行某种运算， 实 现由 特征f ( x ) 到c ( x ) = x的 映射r， 即 r ( f ( x ) ) - c ( x ) = x。 在 第二步 操作中， 用一组 特征来 表示 模式的工作比 较困难， 一旦f ( x ) 已 知， 就可以 采用一些数学方法来方 便地加以 分类，从而r ( f ( x ) ) - c ( x ) 的映 射。 总 之， 在 特征的 抽取、 表达与分类两者之间有着一种折衷的 关系。 如果能有效地抽取特征， 那分类就变得 容易;如果特征抽取得不合适，那分类的 难度就会增加。 把模式识别的过程看成一种映 射，是 公认的一种观点。如果把一个具有n 个特征作为参量的n 维特征空间划分成不同的区域， 则每 一个区域与一类模式类相对应。 2 ) 模式识别的一般方法 模式分类按其方法大致可分为统计决策法、句法结构法、 模糊判决法和人工智能法四 类。 东 能大学 硕士学位论文第六章 字符识别 第六章 字符识别 衡量车牌识别系统的性能的最重要的 指标就是字符的识别率。识别率当然与图像的采集、 字符的 提取等步骤紧密相关，但是更需要一个好的识别策略。 在这一章中，我们将阐 述与车牌 字符识别有关的理论和实现方法. 6 . 1字符识别原理介绍 6 . 1 . 1模式识别基本原理 字符识别是模式识别领域中很活跃的一个分支。模式识别研究识别过程的一般原理，对字 符 识别有指导 作用; 而字符识别的 研究又促进了 基 础理论 模式识别 领域的 发展3 1 ) 原理介绍 模式识别诞生于2 0 世纪2 0 年代， 随着4 0 年代计算机的出现， 5 0 年代人工智能的兴 起， 模式识别在6 0 年代初迅速发展成一门 学科。 它所研究的理论和方法在很多科学和技术领域中 得 到了 广泛的重视， 几十年来， 模式识别研究取得了 大量的 成果， 但是由于模式识别涉及到很多 复 杂的问 题， 现有的理论和方法对于 解决这些问 题还有很多不足之处。如下介绍模式识别中的 几个重要的概念: . 模式: 一组包含了对事物所具有的特征和信息的描述; 0 模式类:具有某些共同 特性的 模式的集合: 0 模式识 别:识别出待定客体所模仿的 标本， 它是研究一种自 动技术， 依靠这种技术，机器 将自 动地( 或人尽量少地干涉) 把待识 模式分配到各自 的 模式 类中去; 由于 被识别的对象多半是具有不同 特征的非电量， 如灰度、 色彩、 声音、 压力、 温度等等， 所以 第一步就是 将它们转变为电 信号， 然后经八 刃转换， 将它们转换为能由 计算机处理的数字 量。 数字化后的电 信号需经预处理，以 滤除样品 采集过程中 掺入的干扰、噪声，并突出有用信 息，以 得到良 好的识别效果。经改善后的 有用信号， 还要做特征抽取或基元抽取， 才能 对其分 类。由 于 特征( 或基元) 的 抽取与待识模式的 类别密 切相关， 很难有某种泛泛的规律可循， 而且 随 着工作的深入，需要不断地修改与 完善此阶段的方法。 用计算机进行模式识别的过程， 实际上是实现一个从“ 样本空间” 到“ 类别空间” 的映射。 z a d e h 曾 经 对 此 进 行 过 解 释: 某物 体 可以 有 许 多 样 本， x = 毛 x l i x 2 1 . . . i x 衬， 样本 中 的 每 个 样 本 都 可以 代 表 它。 映 射可以 分 为 两 步 : 第 一 步 ， 每 个 样 本x 都 用 适当 的 特 征f ( x , ) 加以 表 示 ， 即 由x 到f ( x