（检测技术与自动化装置专业论文）车辆牌照自动识别系统.pdf

东北大学硕士学位论文摘要 车辆牌照自动识别系统 摘要 车辆牌照自 动识别是计算机视觉与模式识别技术在智能交通领域的重要应用，是实现交通 管理的重要环节之一。它在高速公路、城市道路和停车场等项目 管理中占有不可取代的重要地 位，它的 广泛应用必将有助于我国交通管理自 动化的进程。本文的处理手段是对输入的汽车图 像进行预处理， 运用车牌定位、字符分割、字符识别的方法提取车牌上的字符串，并以文本的 形式输出。其目的是识别出车牌上的字符， 用于车辆资料的管理及其安全保障。 车牌定位是车辆牌照自 动识别中 最关键的一步。本文通过对z o o 多幅汽车图片进行观察， 得出将图像进行灰度化、 仅提取图像的纵向 边缘可突出车牌部分，同时消除外界环境的干扰， 最后得到精确的车牌图像。字符分割的难点在于噪声、 字符粘连和断裂对分割的影响，本文充 分利用车牌的先验知识和分布特征， 采用对比 度拉伸和改进的b e m s e n算法相结合对车牌图像 进行二值 化， 运用h o u g h算 法进行倾 斜校正， 再对字符 进行切分， 最后用 气泡法对单 个字符除 噪。 字符识别是整个车牌识别过程中最重要的一环， 关键在于特征与分类器的选择和匹配。 本 文提出一种对字符进行归一化， 将主成分分析法 ( p c a) 和最近邻法相结合的算法对字符进行 识别， 由于该算法实现了特征降维， 且是一种特殊的非线性分类方法， 所以识别效果非常理想。 由实验所得的结果，本文算法能较准确定位、分割车牌并进行识别，系统的性能良 好。因 此，多种预处理与识别技术的有机结合能提高系统识别的能力，此方法对车辆牌照自 动识别在 实际中的应用有一定的参考和借鉴价值。 关键词:车牌定位 字符分割 二值化 字符识别 东北大学硕士学位论文 abs tract v e h i c l e l i c e n s e p l a t e a u t o m a t i c r e c o g n i t i o n s y s t e m ab s t r a c t v e h i c l e l i c e n s e p l a t e a u t o m a t i c r e c o g n i t i o n i s t h e i m p o r t a n t a p p li c a t i o n o f c o m p u t e r v i s i o n a n d p a t t e rn r e c o g n i t i o n i n t h e i n t e l l i g e n t t r a n s p o rt a t i o n d o m a i n , a n d i s o n e o f t h e i m p o r t a n t p a r t s i n t r a n s p o r ta t i o n m a n a g e m e n t . i t p l a y s i m p o rt a n t r o l e s i n t h e p r o j e c t m a n a g e m e n t o f e x p r e s s w a y , u r b a n r o a d a n d p a r k i n g a r e a e t c . i t s w i d e a p p li c a t i o n w i l l c o n t r ib u t e t o t h e p r o c e s s o f t h e t r a f f i c m e c h a n o g r a p h y o f o u r c o u n t r y .i t s m e a s u re i s t o d e a l w i t h t h e i n p u t t e d i m a g e s , e x p l o i t l i c e n s e p l a t e l o c a t i o n . c h a r a c t e r s e g m e n t a t i o n , c h a r a c t e r r e c o g n i t i o n t o e x tr a c t t h e c h a r a c t e r s t r i n g s , a n d e x p r e s s t h e s e s t r i n g s i n t e x t f o r m mo r e o v e r t h e a i m i s t o r e c o g n i z e t h e c h a r a c t e r f o r i n f o r m a t i o n m a n a g e m e n t a n d s a f e g u a r a n t e e . t h e k e y t o l i c e n s e p l a t e r e c o g n i t i o n i s t h e li c e n s e p l a t e l o c a t i o n . o b s e rv i n g 2 0 0 v e h i c l e p i c t u r e s , w e c a n g e t t h e a c c u r a t e l i c e n s e p l a t e a r e a v i a r e d u c i n g t h e n o i s e b y g r a y i n g , o n l y e x t r a c t i n g t h e v e rt i c a l e d g e . t h e d i f f i c u l t i e s i n t h e c h a r a c t e r s e g m e n t a t i o n a r e t h e n o i s e , c h a r a c t e r c o n g l u t i n a t i o n a n d ru p t u r e e t c . h o w e v e r , t h e p a p e r m a k e s f u l l u s e o f t h e p r i o r k n o w l e d g e o f t h e l i c e n s e p l a t e , c o m b i n i n g t h e c o n t r a s t s tr e t c h i n g w i t h t h e i m p r o v e d b e m s e n a l g o r i t h m f o r t h e b i n a r y , u t i l i z i n g t h e h o u g h a l g o r i t h m t o c o r r e c t t h e s l a n t p l a t e , a n d t h e n s e g m e n t i n g c h a r a c t e r , f i n a l l y e m p l o y i n g b u b b l e - m e t h o d f o r s i n g l e c h a r a c t e r t o r e d u c e n o i s e . wh a t s m o r e , t h e m e t h o d o f c h a r a c t e r r e c o g n i t i o n t a k e s a n i m p o rt a n t p a rt i n t h e w h o l e s y s t e m , a n d t h e k e y t e c h n i q u e li e s i n t h e m a t c h i n g o f f e a t u r e a n d c l a s s i f i e r . t h e r e f o r e , t h e p a p e r p u t s f o r w a r d a n a l g o r i t h m t h a t m a k e s t h e c h a r a c t e r i n t h e s a m e s i z e , a n d i t l i n k s t h e p c a a n d n e a r e s t n e i g h b o u r a l g o r i t h m t o r e c o g n i z e t h e c h a r a c t e r . h o w e v e r i t h a s p e r f e c t e f f e c t b e c a u s e i t i s a s p e c i a l n o n li n e a r m e t h o d a s w e l l a s d e s c e n d s d i m e n s i o n . a s a re s u l t , i t p ro v e s t h a t t h i s r e c o g n i t i o n s y s t e m c a n b e re l a t i v e l y a c c u r a t e t o l o c a t e l i c e n s e p l a t e a n d r e c o g n i z e c h a r a c t e r s , a n d t h e p e r f o r m a n c e o f t h e s y s t e m i s g o o d . i t s h o w s t h a t c o m b i n e d p re t r e a t m e n t s a n d re c o g n i t i o n t e c h n i q u e s c a n i m p r o v e t h e a b i li t y o f r e c o g n i t i o n , s o t h e a l g o r i t h m m e n t i o n e d i n t h e a rt i c l e h a s a c e rt a i n r e f e re n c e v a l u e f o r t h e a c t u a l a p p l i c a t i o n o f v e h i c l e l i c e n s e p l a t e s y s t e m. k e y w o r d s : l i c e n s e p l a t e l o c a t i o n , c h a r a c t e r s e g m e n t a t i o n , b i n a r y , c h a r a c t e r re c o g n i ti o n i i i 东北大学硕士学位论文独创性声明 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。 论文中取得 的研究成果除加以标注和致谢的地方外， 不包含其他人己经发表或撰写 过的研究成果， 也不包括本人为获其他学位而使用过的材料。 与我一同 工作的同志对本研究所做的任何贡献均己在论文中作了明显的说明并 表示谢意。 本 人 签 名 : 宫 眺 日期:; ,o 01 :年几 月二 k 日 学位论文版权使用授权书 本学位论文作者和指导老师完全了 解东北大学有关保留、 使用学位 论文的规定: 即学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘， 允许论文被查阅和借阅。 本人同意东北大学可以将学位论文 的全部或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流， 请在下方签名; 否则视为不同意。) 学位论文作者签名: 签 字 日 期 : a do 将 粼 二 汽 “ 云 良 导 师 签 名 :分 备 劳 礼 签字日 期: 3 - -d , .r . z . v s - 东北大学硕士学位论文第一章 绪论 第一章 绪论 1 . 1 智能交通系统的发展和内容 今天， 道路运输已 成为最重要的地面运输方式之一， 进入9 0 年代以 来， 世界上各国交通拥 堵、 交通事故和环境污染等问题越来越影响着社会经济发展和生活，虽然道路运输增l t h r e s h 2 ( 3 4 ) s o b e l 算子和p r e w i t t 算子的不同就在于使用的模版不一样： 耻b 一2一i o0 21 s 2 = 一1ol 一2o一2 101 ( 3 5 ) 哪个算子是好呢? 这个问题的答案取决于图像的噪声，如果在每个点噪声都是相同的，那 p r e w i t t 算子是比较好的；如果靠近边缘的噪声是沿着边缘的2 倍，那s o b e l 算子是比较好的。 也就是算子的好坏取决于噪声的结构。这两个算子存在一些共同的问题：它们的结果对噪声 很敏感。可以通过先对图像做平滑以改善结果，但是又会产生一个问题，即会把一些靠在一 起的边缘平滑掉，而且会影响对边缘的定位。 3 ) k i r s c h 算子 1 9 7 1 年，r k i r s c h 提出了一种边缘检测的新方法：它使用了8 个模版来确定梯度和梯度的 方向。假设原来的3 3 子图像如下： 口3口2d l a 4 ( f ，) a o 口5口6盯7 ( 3 6 ) 则边缘的梯度大小为： m ( i ，力= m a x 1 ，m a ) 【 1 5 s 一4 j ：k = o ，l ，7 ) ) ( 3 7 ) ；e 中：s t = a k + a k + i + 日t + 2t k = a k 十3 + a t + 4 + + 口女+ 7 上面的f 标如果超过7 就用8 去除取余数。注意到k = 0 ，1 ，7 ，其实就是使用了8 个模版 了。 4 ) l a p l a c i a n 算子和l o g 算子 前面我们都是利用边缘处的梯度取得最大值( 正的或者负的) ，也就是灰度图像的拐点侥置 是边缘。我们知道，在拐点位置二阶导数是0 。所以我们也可以通过寻找= 阶导数的零交叉点 来寻找边缘。二元函数f ( i ，) 的l a p l a c i a n 交换定义为： v 2 ，= 毒寺加掣+ 掣 s ， 常用的模版有 l = 010 141 0lo l = 三 3 1 1 1 8 11 ( 3 9 ) 显然，既然一阶导数对噪声是敏感的( 因而是不稳定的) ；那二阶导数对噪声就会更敏感。 因而更不稳定。所以在做上变换之前做平滑是必要的。又因为卷积是可结合可变换的，所以先 做高斯卷积然后用三算子做卷积就等价于对原图像用高斯函数的l a p l a e i a n 变换后的滤波器做 卷积是一样的。这就是一个新的滤波器l o g 滤波器( 是墨西哥帽函数) ： 一1 6 东北犬学硕士学位论文 第三章车辆牌照定位 算黼2 警= 杀 2 _ 孚m 降 3 3 3s o b e l 边缘检测 由于车牌在车辆图像中位置的不确定性、外界光线的不均匀性及噪声的随机性等因素，我 们必须找到车牌区域固有的与其它区域不易混淆的属性，且在各种环境下摄取的图像具有稳定 性，这种属性就是图像的边缘。边缘最重要的性质就是不变性：光线的变化显著地影响了一个 区域的外观，但是不会改变它的边缘。更重要的是人的视觉系统也是对边缘很敏感的。 本文采用s o b c l 边缘检测算子，其原因是：首先，在实际中p r e w i t t 和s o b e l 算子都常运用 于计算图像的梯度。其次，相对于二阶算子来说。它们都是一阶算子，不但计算方便而且对噪 声的敏感度低。再次，尽管p r e w i t t 算子比s o b e | 算子运算更简单，但是s o b e l 算子有更好的抑 制噪声能力。在边缘图像中，边缘点用1 表示，非边缘点用“0 ”表示。 ( 式3 5 ) 是s o b e l 算子的两个卷积模版s 和 2 ) 二 值化后的 笔划基本保持原 来文字的 特征; 二值化的关键在于闽 值t 的 选取，图4 .4 ( a ) ( 6 ) 为 两幅图 像的直方图，图 释了闽 值 选取的 基 本规则。 图4 .4 ( a ) 为单阐 值情况， 只 用阐 值t 就 可实 现目 标和背景的完全分割。 图4 .4 ( b ) 为多 闽 值的一 种 特殊情况， 需 要用两个阐 值t i , t 2 对图 像 进行分割1 12 1虽然二 值化有以 上要求， 但 是鉴于图像的复杂程度， 儿乎都出 现的是多闽值的 情况。 另外我们要用一种二值化算法适应各 种情况下的二值化图 像分割是很困难的， 所以 二值化效果很难满足以上要求。 t 1 t 2 图4 .4 门 值 选 取 f i g . 4 . 4 t h e c h o o s i n g f o r t h re s h o ld 4 . 2 . 2基于空间分布的二值化算法 在光照均匀、无噪声和无干扰的 理想情况下， 牌照图像中 灰度变化平缓，可以 假定字符灰 度 为9 1 ， 背 景 灰 度 为9 2 , 且0 5 9 1 , 9 2 :_ 2 5 5 0 假 定 该 牌 照 图 像中 字 符像 素 点 所占 比 例 为r 1 . 背 景 像 素 点 所 占 比 例 为 几 ， 则o s r 1 , r 2 :_ 1 ， 且 r 1 十 几= 1 11 8) , 该牌照灰度图像均值为: m= r 1 * 9 1 十 r 2 * 9 2 , 9 1 m 9 2 ( 4 . 5 ) 方差计算如 卜 : 东北大学硕士学位论文 第四章 字符分割预处理 值方法根据文本图 像的直方图或灰度的空间分布确定一个闽值，并根据此闭值实现灰度文本图 像到二值化文本图 像的 转化。 典型的全局阐值方法包括o s t u 方法、 最大嫡法、 基于 空间分布的 二 值化算法等。 全局阂 值方法优点在于算法简单， 但对输入图 像量化噪声或不均匀光照等情况 抵抗能力差， 应用受到极大限 制。局部动态闻值法通过定义考察点的邻域，并由 邻域计算模版 来实 现考察点灰度与邻域点的比 较。 较全局方法有更广泛的应用。在字符二值化领域中，典型 的局部动态闭值法有k a m e l - z h a o 算法和b e r n s e n 算法等。 此时邻域的规定及邻域计算模版的选 取都是决定算法效果的关键因 素。当 然，局部动态闽值法也存在缺点和问题，如实现速度慢、 不 能 保 证 字 符 笔 划 连 通 性 及 容 易 出 现 伪 影 ( g h o s t ) 现 象 等 11 6 1 本文将对上述现象出现的原因进行分析，并针对这些缺点提出改进的b e m s e n 算法，它将 基于 空间分布的二值化算法与局部闽 值法 b e rn s e n 算法相结合，实质上是将全局阐 值法和局部 动态im值法相结合，有效地吸收了这两种算法的优点。结果表明该算法实现速度高， 抗噪声能 力强， 笔划连通性好，是适于 文本图像二值化的快速算法。 4 .2 . 1二值化的基本要求 二值化是图 像分割处理中非常重要的一步。 其基本要求是:二值化后的图像能忠实地再现 原字符。 具体为1 6 ) , 1 ) 笔 划中不出 现空白; 2 ) 二 值化后的 笔划基本保持原 来文字的 特征; 二值化的关键在于闽 值t 的 选取，图4 .4 ( a ) ( 6 ) 为 两幅图 像的直方图，图 释了闽 值 选取的 基 本规则。 图4 .4 ( a ) 为单阐 值情况， 只 用阐 值t 就 可实 现目 标和背景的完全分割。 图4 .4 ( b ) 为多 闽 值的一 种 特殊情况， 需 要用两个阐 值t i , t 2 对图 像 进行分割1 12 1虽然二 值化有以 上要求， 但 是鉴于图像的复杂程度， 儿乎都出 现的是多闽值的 情况。 另外我们要用一种二值化算法适应各 种情况下的二值化图 像分割是很困难的， 所以 二值化效果很难满足以上要求。 t 1 t 2 图4 .4 门 值 选 取 f i g . 4 . 4 t h e c h o o s i n g f o r t h re s h o ld 4 . 2 . 2基于空间分布的二值化算法 在光照均匀、无噪声和无干扰的 理想情况下， 牌照图像中 灰度变化平缓，可以 假定字符灰 度 为9 1 ， 背 景 灰 度 为9 2 , 且0 5 9 1 , 9 2 :_ 2 5 5 0 假 定 该 牌 照 图 像中 字 符像 素 点 所占 比 例 为r 1 . 背 景 像 素 点 所 占 比 例 为 几 ， 则o s r 1 , r 2 :_ 1 ， 且 r 1 十 几= 1 11 8) , 该牌照灰度图像均值为: m= r 1 * 9 1 十 r 2 * 9 2 , 9 1 ( 1 + a ) 互，b ( x ，y ) = 1 ；如果0 ，y ) 口互时，则： 吣朋= 0 怒2 m 否则，令正( x ，y ) = 1 2 x ( 五+ t ( x ，y ) ) ，则： = o 麓暑箍譬舅 上述方法考虑了文本图像背景噪声干扰、光照不均等情况，又考虑了图像的整体灰度特性， 采用快速算法解决速度问题。对局部动态闽值方法的b e m s e n 算法进行了改进，克服了原来算 法的缺点，基本上消除了伪影及笔划断裂现象。 一3 2 - 东 北大学硕士学 位论文第四 章 字符分s.j预处理 部分日 标点被二值化为背景， 致使信息丢失， 如图4 . 7 所示。 图4 .7 仍为字符目 标的一维灰度图， 其中区 域a为笔划目 标区域， 由 于窗口 大小与笔划宽度相仿造成区域b闽值升高， 相应点被量 化为 背景。 如图4 . 8 ( b ) 所示， + 0 ”在二 值化的图 像中 产生断 裂， 看起来像 “ u e 4 .2 . 5改进的b e r n s e n 算法 虽然全局闻值法由于自 身的缺点，应用受到极大限 制， 但是它能够得到整幅图像的整体灰 度 特 征 ， 因 此 在 改 进 的 算 法中 引 入 一 点 全 局阐 值 的 思 想， 简单 的 得 到了 一 个 整 体 阑 值t , o 算 法 的过程描述如下12 1 卜 采 用 基 于 空间 分 布的 二 值化算 法 计 算图 像的 整 体闽 值te 计算各点闽值 l)2) : ， ) 一 0 .5 - m a x - ws k , l s 甲 f ( x + k , y + l ) + m m - ws k , 1 5 w， 一 、 ， + ，) ( 4 . 1 4 ) 这 里 m ax - w女 1 5 w f ( x + k , y + l ) ， m m w 业 r w f ( x + k , y 十 1 ) 是以点( x , y ) 为中心的大小为 ( mx nx ( 2 w+ 1 ) x ( 2 w+ 1 ) ) 的 窗口 中 的 像 素的 极 大值 和极 小 值。 为了 提 高算 法的 快 速 性， 采 用下一节介绍的算法。 3 )为了 尽 量 避 免 伪 影 及笔 划断 裂 现 象的 产生， 引 入极 值t 3 ， 用以 确定局部 考察窗口 内 极 大 和 极小值的变化。 : (二 ， ) 一 m ax -w s k. l s w f ( x + k , y + l ) 一 m m - w5 k , 1 5 w， (一 、 ， + ) ( 4 . 1 5 ) 4 )采用取平 均值的 滤波方法对阐 值曲 面进行平滑以 消除光照不均等噪声 所产生的阂 值突变， 作为尽量避免伪影现象出 现的 另一手 段， 改善 二值化效果，引 入另一闽 值兀( x , y ) o t , = a v g t 2 ( x 十 k , y 十 1 ) ( 4 . 1 6 ) - ws k , 1 5 w 5 ) 逐点二值化 如 果f ( x , y ) ( 1 + a ) x t , ，b ( x , y ) = 1 ; 如 果f ( x , y ) a x 兀 时， 则 : ax , y ) t , ( x , y ) ax , y ) ? t , ( x , y ) ( 4 . 1 7 ) 1沪!t 一一 、.了 y ， x f ，口 否则， 令t ( x , y ) = 1 / 2 x ( t + t 4 ( x , y ) ) ， 则: ax , y ) t , ( x , y ) ( 4 . 1 8 ) 了、.夕、.、 一一 少 (x， 几口 上述方法考虑了 文本图 像背景噪声干 扰、 光照不均等情况， 又考虑了图 像的整体灰度特性， 采用快速算法解决速度问 题， 对局部动态阂值方法的b e rn s e n算法进行了改进，克服了 原来算 法的缺点，基本上消除了伪影及笔划断裂现象。 东北大学 硕士学 位论文 4 . 2 .6二维图像局部窗口内极值快速算法 第四章 字符分割预处理 在对mx n=维图 像求取局部窗口 值的过程中， 二维窗口内极值的计算可被分 解为水平垂 直 两次一维窗口 极值求取。 9 1 . 一 m a x- w 5k ,75 w 仃 (x + k , y + 1) = m a x_w 5 ,3_, ( 职 练( f ( x + k , y + 1 ) ) ) ( 4 . 1 9 ) 其中w _ x - m- w- 1 , w _ y _ n- w- 1 。 本文 将不 考虑以 边界点 为 中 心的 窗f1 极 值， 当 然 ， 也 可 通 过 边 界 延 拓 实 现 这 些 点 的 窗 口 极 值 计 算 。 另 外 由 于 m i n ( f ( x + k . v + 1 ) ) = 一 m a x ( - .f ( x + k , y + 1 ) )( 其中 一 ， 为“ 取反” 运算) ， 使二维 - w 5 k , 1 5 w . - 、- w5 k j 5 w 局部窗口内 极值的计算可以简化为一维窗口内的极大值求取。问题可被描述为对一维像素序列 f ( 1) , 1 一 0 ,1 . . . . n ， 求 取 m ( l ) ) , j = w , w + 1 ， 一n 一 w 一 1 m ( j ) 一畏 贾 委 u ( .j 十 k ) ) 。 如果注意到逐窗滑动求取极值时，处于同一窗口 中右边的 较大元素将屏蔽掉处于左边的较小元 素，可以有以下 快速算法步骤: 建立窗度可变的动态序列 t用以 存放当前考察窗口内 像素 下 标; 初始化: 对初始窗c 7 内 的2 w + 1 个元素 进行非 递增排列， 其下 标存放于t ;删除t 序 列中内 容小于左邻元素的 项: . t序列的最左元素即当前窗口内极大值所在像素下标; 令 窗口 向 右滑动， 考察窗口内 新进入的 像素f ( k ) ,将其从t 序列的 右端 尾部插入适当 位置; 如 果当前窗口 不是最后一个考察窗口， 转， 否则结束。 可以看出， 该算法仅在初始化中有对2 w十 1 个像素的排序过程， 其余计算与窗口 尺寸无关。 由于窗口 尺寸远小于图 像尺寸， 所以 整个算法计算速度与窗口 尺寸几乎无关。当窗口 尺寸较大 时，该算法的优点是不言而喻的。 4 .2 . 7二值化效果分析 图4 .9 改进的b e r m e n 9法二值化 f i g .4 . 9 t h e i m p ro v e d b e r n s e n a l g o r it h m f o r b i n a ry 这部分主要显示运用改进的b e rn s e n 算法进行二值化的效果图， 如图4 . 9 所示， 及本文算法 和基千空间 分布的 二值化方法( 全 局二 值化算 法) 的 效果比 较图， 如图4 .1 0 所示。 b e rn s e n 算 法是 逐点 进 行二 值化， 每一 个点一个闽 值不但 考虑了 像素的点 信息 ， 而且 还考虑了 像素点的 八邻 域信 息， 充分利用了图像信息; 而基于空间分布的二值化方法是整幅图像用一个阐值进行二值化。 在 图4 . 1 0 左部 为基于空间 分布的二值化的 效 果图，图4 . 1 0 ( a ) 中“ a ” 与“ 3 ,图4 . 1 0 ( b ) 中“ 辽” 与“ a , a ” 与“ 1 ” ，1 .,与“ 3 ” 之间 存在“ 伪影” ， 在分割中 很容易 产生粘 连， 在识别中会 增大错 误率， 所以 必须想办法消除或是减弱其影响力。 在图4 . 1 0 右部为本文所提出的二值化算 一 3 3 东北大学 硕士学 位论文 4 . 2 .6二维图像局部窗口内极值快速算法 第四章 字符分割预处理 在对mx n=维图 像求取局部窗口 值的过程中， 二维窗口内极值的计算可被分 解为水平垂 直 两次一维窗口 极值求取。 9 1 . 一 m a x- w 5k ,75 w 仃 (x + k , y + 1) = m a x_w 5 ,3_, ( 职 练( f ( x + k , y + 1 ) ) ) ( 4 . 1 9 ) 其中w _ x - m- w- 1 , w _ y _ j ) 一 0 ( 5 . 1 ) 东北大学硕士学位论文第五章字符分割 第五章字符分割 我们已经在第四章介绍了字符分割的任务和基本内容作了简要的介绍，本章将更详细的探 讨字符分割算法。由于对车牌中字符的字体、排列有详细的规定，尽管在对汽车进行拍摄或分 割预处理时会产生一些变形，但是车牌中的字符字体基本上变化不是很大，本文对车牌中的字 符分割的困难主要是集中在对车牌中存在的字符粘连和断裂的处理。以下主要介绍字符分割算 法和字符除躁算法。 5 1 传统的字符分割算法分类 传统的字符分割算法可以归纳为以下三类口“： 1 ) 直接的分害法； 2 )基于识别基础上的分割法； 3 )自适戍分割线聚类法； 直接的分割法简单，但它的局限是分割点的确定需要较高的准确性；基于识别结果的分割 是把识别和分割结合起来，但是需要识别的高准确性，它根据分割和识别的耦合程度又有不同 的划分；白适应分割线聚类法是要建立一个分类器，由它来判断图像中的每一列是否是分割线， 它是根据训练样本来进行自适应的神经网络，但是对于粘连的字符是很难训练的，因为分割不 可能做到完全正确，现有算法已经把字符分割作为不必要的步骤，而是直接把字符组成的单词 作为一个整体来识别，例如马尔可夫数学模型等方法进行处理，这主要是应用于文本识别。以 l 的字符分割算法均是基于二值图像进行的。考虑n - 值图像丢失掉很多信息，而且可能会造 成字符粘连模糊或断裂的缺陷，对灰度图像的直接处理已经有人开始研究，但它的分割路径足 非线性的，算法较为复杂。 考虑到算法的实时性和适用性，本文选用直接的分割法，即把投影法作为主要的分割法， 配以对粘连字符和断裂字符的特殊处理来完成字符分割。 5 2 字符分割的基本思想 在经过了上面一系列的预处理后，现在的牌照图像已经基本可以满足我们的分割需要。由 于牌照有其自身的规格要求，字符间有一定的间隔，而这个间隔是我” 最先可以想到的分割依 据。我们采用投影法迸行字符分割，第三章中已经提到了投影法，其实质就是把二维图像的像 素分布特征简化为x 轴和y 轴的两个一维函数，通过对两个函数的分析，找到我们想要的结果。 在二值图像中，我们用“i ”来表示字符，用0 来表示背景，那么如果某一行或者某 列都是背景，则该行或者列的投影和一定为0 。图5 1 是二值车牌的纵向投影图，从图5 1 中我 们可以清楚地看到，位于字符间距的列的纵向投影值为0 ，即满足式5 1 ，我们在图中用“ 号表示这样的列。式5 1 中的l o w 为车牌图像的行数。在理想的情况下，这个波谷的值应该为 零，并且每个字符之间都应该有相应的波谷，根据这个重要的特征，我们可阻轻松找到字符间 隙，把车牌上的字符块分离开来。 x ( f ，) = 0 ( 5 1 ) = 】 - 3 8 东北大学硕士学位论文 第五章字符分割 这幅图像照片由于质量好，经字符串提取和校正后基本上已不存在噪声和变形。实际上照 片拍摄时因受到各方面的影响，使得牌照图像中发生字符之间粘连或字符断裂的现象，如图5 2 所示，由于退色现象严重，使字符间产生大量的伪影，造成字符间粘连，为了解决这些难点， 采用基于轮廓投影的分裂算法及基于区域聚类的合并算法，实现单个字符的有效分割。 ( b ) 图5 1 二值车牌的纵向投影圉 f i g 5 i t h ev e r t i c a lp r o j e c t i o no f b i n a r yp l a t e 圈5 2 字符粘连 f i g 5 2 t h ec h a r a c t e rc o o g l u t i n a t i o n 牌照字符为规则的印刷体字，其字符串的长宽比、字符间隙、字符的长宽比及笔划宽度都 是按照严格的标准制造的，在牌照照片数字化、提取和校正的过程中会代入一些干扰，但字符 串参数之间的相互关系不会发生很大的变化1 2 6 】。 三4 5 h h * 1 9 w i i 岷“0 3 耽 见“0 5 形 ( 5 2 ) ( 5 3 ) ( 54 ) ( 5 5 ) 式5 2 中为字符串长度，日为字符的高度：式5 3 中睨为常规字符( 不包括字符1 ) 的宽度；式5 4 中昵为字符1 的宽度；式5 5 中d 。为字符1 两侧的字符间隙。上面4 个公式为主要的几个字符串参数关系式，其中的参数常量是实际图像的统计平均值，利用这些 公式可使单一字符区域的估测更加准确。 5 3 粗分割字符 粗分割是按字符串区域的垂直投影( 纵向投影) 提取候选字符区域。此节先不考虑字符的粘 连和断裂现象，只提取在投影图中已分离的区域。图5 3 中上部为字符串区域图像；f 部为其 垂直投影图，o ) 为字符串图像中第x 列白色像素点的数目。因为牌照字符串是按一定间隙排 - 3 9 东北太学硕士学位论文 第五章字符分害 列的，当f ( z ) 0 时，工列属于下降沿区域a l ；当，( x ) 一f ( x 1 ) l 贝0 可适当以l 长度为范围延伸a 4 ，使其更符 合判定标准，取得一个最优值设定为字符区域。再次重新划分字符块的左右边界。 f - ( x ) 图5 8 粘连字符轮廓垂直投影图5 9 粘连字符分割 f i g 5 8 t h e v e r t i c a lp r o j e c f i o n o f c h a r a c t e rc o n g l u t i n a t i o n f i g 5 9t h es e g m e n t a t i o n o fc o n g l u t i n a t i o n 图5 9 为图5 3 的细分割效果图，粗分割后，a 、“2 ”、8 被判定为属于字符粘连的状 况，轮廓投影后可知，单个字符的轮廓投影具有单峰特性，波谷处就是字符间隙。使用此算法 实现了粘连字符及干扰区域的有效分裂，提取出的字符区域比较精确、完整。 5 4 2 字符区域的合并 这部分工作的任务是将粗分割及区域分裂生成的含有部分字符的区域融合为完整区域。本 文采用基于聚类的字符台并算法来重构字符区域。 图5 ，1 0 为字符候选区域的示意图。其中区域a 1 与a 5 为已确定的字符区域，区域a 2 、a 3 、 4 2 - 东北大学硕士学位论文 第五章字符分割 爿4 为未确定的候选区域，这些可能是噪卢区域也可能是包含部分字符的区域，这里定义为短 区域，相邻的短区域所构成的集合定义为短医域集合，表示为 f = 1 k 闺5 1 0 中的短区域集 合为 a 2 ，a 3 ，a 4 。区域合并的工作就是选取最可能是字符的几个相邻区域，将其溶合生成新 的字符【必域。以短区域集合中的任意一个区域为聚类中心，结合其它相邻的区域形成该集合的 一个子集称为字符集合( 字符类) ； 字符集合在短区域集合中的补集称为噪声集合( 噪声类) ，因此区域合并可归结为两类的聚 类问题。如以区域a 2 为中心，在短区域集合 a 2 ，a 3 ，a 4 内生成字符集合f a 2 ，a 3 、 f a 2 ，a 3 ，a 4 及噪声集合4 ) 、f 辨。 m i n i l ( a i l f = n 晰) 一m i n ( 1 c ( 爿f i f = y m ) 一c 1 n m t( 56 ) 图5 1 0 字符候选区域示意图 f i g 5 1 0 t h es k e t c hm a pf o rc a n d i d a t e dc h a r a c t e rr e g i o n 式5 6 为聚类效果判定式。其中l ( a i l j = n 聊) 为字符集合 4 j f i = r t m 从区域a n 左 边界到区域a m 右边界在卫方向上的距离，定义为类内距离；c ( a ii = ”) 为字符集合 ( a i 【f = ”m 从区域a n 左边界到区域a m 右边界在x 方向上的中点位置，定义为类中心： 为预测的字符宽度，c 为预测的字符位置。假设字符区域一1 与“5 为确定已知，根据牌照字符 串印刷体的规律，可测出这两个区域间存在几个字符及其宽度与位置。前几节已完成大部分字 符区域的确定工作，字符区域合并通常只出现在一两个字符中，所以上述的假设是可行的。根 据聚类判定式，对每一个字符类评价其聚类的效果，选择出最符合式5 6 的字符集台，将该集 合台并为新的字符区域( 以集合中a n 左边界为字符区域的左边界a m 右边界为字符区域的右 边界) ，如果