（通信与信息系统专业论文）字符图像的分割与识别.pdf

兰州大学硕士学位论文 摘要 由于文字信息在现今社会的广泛应用，计算机视觉研究的重要方向之一字 符图像的分割与识别技术得到了越来越多的重视，可用于牛活中的许多方面，例如 下写体和印刷体文字的识别，门牌号的识别，支票上签名的识别，工程图纸的数字 化，机器人视觉导航，以及各种表单、车辆牌照的识别。这些广泛的应用领域都说 明字符图像分割与识别技术有着重要的意义。 本论文的主要研究内容是字符图像分割与识别，包括两个方面：字符图像的分 割与字符图像的识别，两者在时间上具有先后关系，前者从复杂的图像中提取出的 字符部分，后者利用前者的信息输出识别的最终结果。论文中对字符区域的定位提 出了粗定位和精定位两步走的方法：先对获得的图像使用中值滤波等手段进行预处 理去除噪声干扰，然后用c a n n y 滤波器进行边缘增强处理，再使用累积差分的方法 定位可能的字符区域，最后确定图像中的个或几个字符区域。 对分离出的字符图像进行字符分割，把相连的字符串切分成单一的字符，这里 我们采用的是字符连通区域的方法，能够较为精确地分割字符。最后的字符识别阶 段使用p c a ( 主元成分分析) 方法得到识别结果。 关键词：字符识别字符分割，特征提取图像处群，图像分割 兰州大学硕十学位论文 a b s t ra c t t h e t e c h n i q u eo f t h ed i v i s i o na n dr e c o g n i t i o nf o rt h ec h a r a c t e ri m a g e ，w h i c hi so n e o ft h ei m p o r t a n ta s p e c ti nt h es t u d yo ft h ec o m p u t e rv i s i o n ，i sr e c e i v i n gm o r ea n dm o r e r e c o g n i t i o na sar e s u l to f t h eb r o a da p p l i c a t i o n so ft h ec h a r a c t e ri n f o r m a t i o ni nr e c e n t s o c i e t y i tc o u l db eu s e da tm a n ya s p e c t si no u rl i f e ，f o re x a m p l e ，t h ei d e n t i f i c a t i o no f t h e c h a r a c t e ro f s c r i p ta n dt y p o g r a p h ，n u m b e ro fd o o r p l a t e ，i d i o r a p hi nt h ec h e c k ，a n dt h e d i g i t a le n g i n e e r i n gb l u e p r i n t ，v i s i o n a ln a v i g a t i o nb yr o b o t ，a n dt h ei d e n t i f i c a t i o no fm a n y k i n d so ft a b l e sa n dl i e e n c ep l a t eo nt h ev e h i c l e s t h e s es h o wt h a tt h et e c h n i q u eo ft h e d i v i s i o na n d r e c o g n i t i o nf o rt h ec h a r a c t e ri m a g ep l a y sa ni m p o r t a n tr o l ei no u r l i v e s t h es t u d y i n v e s t i g a t e st h ed i v i s i o n a n dr e c o g n i t i o nf o rt h ec h a r a c t e ri m a g e ，i t c o n t a i n st w oa s p e c t s ，t h ed i v i s i o nf o rt h ec h a r a c t e ri m a g ea n dt h er e c o g n i t i o nf o rt h e c h a r a c t e ri m a g e t h e yh a v et e m p o m le a r l ya n dl a t er e l a t i o n t h ef o r m e ri st od i s t i l lt h e s e g m e n t o ft h ec h a r a c t e rf r o mt h ec o m p l e xi m a g e ，a n dt h el a t t e ri st oo u t p u tt h ei d e n t i f i e d r e s u l tb yt h eu s eo fi n f o r m a t i o no ft h ef o r m e r t h ep a p e rd e m o n s t r a t e st w os t e p sf o rt h e o r i e n t a t i o no ft h ec h a r a c t e r a r e a ，r u l e a n de x t r a c to r i e n t a t i o n w e p e r f o r m t h e p r e t r e a t m e n tf o rw i p i n g o f f t h ey a w pd i s t u r b a n c eb ym e a f l s & m e d i a nf i l t r a t i n gw a v ea n d p r o g r e s st h ed i s p o s a lo f b r i me n g a g e m e n t b y t h ec a n n yf i l t e r , t h e no r i e n t a t et h ep o t e n t i a l c h a r a c t e ra r e ab ym e a n so fc u m u l a t ed i f f e r e n c e o n eo rm o r ec h a r a c t e ra r e ai nt h ei m a g e a r e f i n a l l yc o n f i r m e d w ed i v i d et h ec h a r a c t e ri m a g e s e p a r a t e da n ds y n c o p a t et h ej o i n e dc h a r a c t e rs t r i n g t os i n g l ec h a r a c t e rb yt h em e t h o do fc h a r a c t e rc o n n e x i t yw h i c hs e g m e n tt h ec h a r a c t e r a c c u r a t e l y t h er e c o g n i z i n gr e s u l tg a i n e dt h r o u g ht h ep c a a tt h ef i n a l p h a s e so ft h e r e c o g n i z a t i o no f t h ec h a r a c t e r k e yw o r d s ：c h a r a c t e rr e c o g n i t i o n ：c h a r a c t e rd i v i s i o n ；c h a r a c t e r i s t i cd i s t i m a g ed i s p o s a l ：i m a g e d i v i d e 。 原创性声明 | 曼7 3 1 7 0 0 本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立进行研 究所取得的成果。学位论文中凡引用他人已经发表或未发表的成果、数 据、观点等，均已明确注明出处。除文中已经注明引用的内容外，不包含 任何其他个人或集体己经发表或撰写过的科研成果。对本文的研究成果做出 重要贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：釜! 型 日期：堑堕堑 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属兰州 大学。本人完全了解兰州大学有关保存、使用学位论文的规定，同意学校保 存或向国家有关部门或机构送交论文的纸质版和电子版，允许论文被查阅和 借阅；本人授权兰州大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用任何复制手段保存和汇编本学位论文。本人离校后发 表、使用学位论文或与该论文直接相关的学术论文或成果时，第一署名单位 仍然为兰州大学。 保密论文在解密后应遵守此规定。 论文作者签名：基! 型l导师签名：堕差二日 期： 似 f - ， 兰州人学颇i 学位论文 第一章绪论 1 1 引言 近年来随着微型计算机的普及和计算机技术的发展，汁算桃科学中的学科之 一图像处理技术取得了很大进展在生产和生活中获得了广泛的应用而图像 分割就是图像处理技术的一个重要应用方面。 图像分割是指根据已知的日标与背景的先验知识。对图像中的目标区域和背景 进行标记、定位，然后将待识别的目标从背景或其它相似的伪目标中分离出来。图 像分割是图像理解的重要组成部分，只有有效地完成分割，才能进一步提取目标特 征并识别目标。传统的图像分割方法主要有基于区域的分割方法、基于边界的分割 方法和基于边沿的分割方法等。 字符图像是指出摄像机拍摄得到包含有若干文字信息的图像。字符图像的分割 与识另# 技术即利用计算机对字符图像进行分析处理从中去赊无关的物体，分离出对 人有用的文字部分最后转换成文字信息以便于实现自动化管理。此项技术的特点 是具有一定的应用背景和先验知识，图像中包含的字符集较为固定，要识别的字符 区域在图像中般有较为职显的特征。周对它也存在羞一些难点。如获取的图像容 易受光照、天气影响而质量下降：拍摄的物体可能会由于与摄像机的相对运动产生 模糊变形；受摄像机分辨率的影响图像有可能丢失细节信息：图像中的字符尺度相 差悬殊难以全部提取等等。 字符图像的分割与识别按照不同的分类标准可以分为： i 、对前景进行识别，其特点是图像可以分为前景和背景两部分，背景中的字符 可忽略，只对蔚景的字符感兴趣； 2 、对全景进行识别，其特点是图像不分前景背景。对整幅图像中所含的字符进 行分析； 3 、对揄单场景进行识别，其特点是图像中的场景较为单调。干扰区域较少字 符区域特征明显； 4 、对复杂场景进行识别其特点是图像尺寸较大，场景复杂，存在诸多与字符 区域特征相似的干扰区域。 目前国内外研究的字符图像的分割与识别技术对于简单场景图像识别_ 牢较高。 ! 州人学颂十学位论文 而对于复杂场景、成像质量差的图像识别方面则研究不够，总体还存在若很多不足 之处。本论文对字符图像的分割与识别进行了一些深入的研究对全景、复杂场景、 成像质量差的图像提出了一些行之有效的方法。 1 2 本论文概述 1 2 1 基本设计思想 字符图像的分割与识别系统结构可由如下框图表示： 图1 1 字符图像处理系统结构 1 2 2 系统的工作原理 由系统框图可以看出字符图像分割与识别丰要分为五步： a ) 图像获取： b ) 预处理： c ) 字符区域的检测和定位； d ) 单个字符的分割； e ) 字符的识别。 兰州大学硕士学位论文 在图像获取方面，可采用普通数字摄像机或者c c d 摄像机。拍摄方向取与文 字区域保持水平或者略微倾斜。另外也不定要用普通光学摄像机，也可以采用红 外线摄像机等其他成像设备来获取图像。预处理部分要作的工作是对图像进行增强， 太除噪声干扰，强化图像细节信息，可以使用滤波、灰度拉伸等方法。 字符区域的检测和定位是系统的关键步骤，我们先结合图像序列估计背景然 后用滑动窗口特征匹配的方法去除背景获得前景。在前景图像中用c a n n y 滤波器强 化字符区域的边缘信息，再使用差分累积算法、二值化、数学形态法定位可能字符 区域，最后用特征函数确定字符区域。 分割出字符区域后需要把单个字符逐一地分割出来。我们使用连通域结合投影 法、先验知识等方法来分割字符。最后使用p c a ( 主元成分分析) 方法对分割出的 字符进行识别。 1 2 3 本论文的结构 本论文着重研究复杂场景、全景图像的字符区域的定位与分割技术。 本论文第一章丰要介绍了字符图像的分割与识别技术基本概念和当前国内外的 一些研究概况，并提出了本论文系统的基本设计思想。 本论文第二章论述图像的预处理技术及其对后续工作的重要意义。 本论文第三章论述字符区域的定位技术，这是字符图像的分割与识别技术的关 键所在。主要采用了边缘增强滤波器来强化字符区域特征，再使用字符区域特征函 数来准确定位字符区域。 本论文第四章论述字符的分割。在定位字符区域的基础上把字符精确分割出来 减小字符识别步骤的误差。 本论文第五章论述字符的识别，主要采用p c a ( 丰元成分分析) 法来识别分割 得到的字符。对于不同的字符集应用不同的策略。 第六章对本文的主要内容进行了总结并提出了下一步需要解决的问题和未来 的研究方向。 最后是致谢和参考文献。 兰州人学顿士学位论文 第二章图像的预处理 2 1 概述 经过有相对运动的摄像机把现实场景以图像的形式录入到计算机中，由于拍摄 距离、方向的变化所带来的位置不定，大小不一，以及光照影响或者摄像机曝光不 足等因素造成成像质量下降，使图像的细节分辨率不清，文字笔画断续不完整，增 加了字符分割和识别的难度。因此在使用摄像机获取图像后首先要对图像进行预处 理，消除图像中的噪声干扰，增强图像的质量。 2 2 图像的灰度化 颜色可以分为黑色和彩色。黑色是指颜色中不包含任何的彩色成分，仅由黑色 和白色组成。在r g b 模型中，如果r = g = b ，则颜色( r 、g 、b ) 表示一种黑白颜 色，其中r = g = b 的值叫做灰度值，所以黑白颜色又称为灰度颜色，彩色和灰度之 间可以互相转换由彩色转换为灰度的过程叫做灰度化处理。 灰度化就是使彩色的r 、g 、b 分量值相等的过程，由于r 、g 、b 的取值范围 般是0 2 5 5 ，所以灰度的级别只有2 5 6 级，即灰度图像只能表现2 5 6 种灰度。灰 度化处理的方法主要有三种： l ：最大值法：使r 、g 、b 的值等于三者中最大的一个作为该点的灰度，即： r = g = b = m a x ( r ，g ，b ) ( 2 1 ) 本法会形成亮度很高的灰度图像。 2 ：平均值法：用r ，g ，b 的值求出平均值作为该点的灰度，即： r = g = b = ( r + g + b ) 3 ( 2 2 ) 本法会形成较为柔和的灰度图像。 3 ：加权平均值法：根据某种指标给r 、g 、b 赋予不同的权值，取r 、g 、b 的 加权平均值作为该点的灰度，即： r = g = b = ( w r r + w g g + w b b ) 3 ( 2 3 ) 式中的w r 、w g 、w b 分别为r 、g 、b 的权值。w r 、w g 、w a 取不同的值， 加权平均值法就会形成不同的灰度图像。研究表明人眼对绿色的敏感度最 高。对红色的敏感度次之，对蓝色的敏感度最低所以使w g w r w b 将 得到较合理的灰度图像。 兰州人学硕+ 中位论文 2 3 滤波 在灰度化后，由于光照、天气、成像设备等因素的影响圈像会存在噪声、模糊 等干扰影响迸一步的图像处理，所以我们必须对图像进行增强处理。 在图像处理中一般使用滤波技术去除噪声干扰，比较常用的几种滤波器是均值 滤波器、高斯滤波器和中值滤波器。 均值滤波器是一种线性滤波器，对图像进行局部均值运算，每一个像素值用其 局部邻域内所有值的均值来代替，其公式为： 砸，加万1 。，萎卅 2 5 其中f ( x ，y ) 是输出图像，f f i j 是点( x ，y ) 附近的点m 是邻域n 内的像素点 数目。邻域n 的大小控制着滤波程度，大尺度的邻域会加大滤波程度，去除噪声的 同时也会导致图像细节损失。一般使用的有3 x 3 、5 5 邻域进行滤波。 高斯滤波器是根据高斯函数的形状来选择权值的线性平滑滤波器，对于滤除服 从正态分布的噪声十分有效。一维零均值高斯函数为： r 2 g ( x 1 = p 2 矿 ( 2 6 ) 其中高斯分布参数决定了高斯滤波器的宽度。对于图像处理来说，常用二维零 均值离散高斯函数作平滑滤波器，函数表达式为： 幽 g i ，_ ，】= e 2 护 ( 2 7 ) 中值滤波是一种非线性滤波器，其基本思想是用像素点邻域灰度值的中值来代 替该像素点的灰度值，能有效地去掉脉冲噪声同时又保持了图像的边缘细节，这是 因为它不依赖于邻域内与典型值差别很大的值。中值滤波器在处理图像时与线性滤 波器的工作方式类似，但滤波过程不是加权运算以3 3 邻域为例求点【i j 】的灰度 值计算方法为： 按灰度值顺序排列【邻域中的像素点； 取排列像素集的中间值作为【i 羽的灰度值。 对以上三种滤波器进行比较我们认为在字符图像识别过程里中值滤波器可以克 服线性滤波器造成图像细节模糊的缺点，能够强化图像的边缘特征，滤掉干扰噪声 其应用效果较好。 兰州j ( 学硕十学位论文 2 4 其他预处理 在经过灰度化和滤波去噪声后摹本获得了较为清晰的图像，为后续的图像分割 和识别奠定了良好的基础。但对于一些特殊情况，图像有时还要再进行其他的预处 理工作。 直方图均衡化 由于光照不足的影响导致图像对比度不强，这种情况一般可使用直方图均衡化 ( 灰度拉伸) 来增强图像的对比度，使之更容易识别。 直方图均衡化是一种通过重新均匀地分布各灰度值来增强图像对比度的方法， 把在灰度空间f a ，b 】内的像素点映射到【z h z k 】区间。一般情况下，由于曝光或者光照不 足，原始图像灰度空间常为空间【z l ，z k 的子空间。此时将原区间内的像素点z 映射成 新区间像素点z 的函数表示为 扛罢 二掣( ：一口) + z ( 2 。8 ) ( 6 一口) 、 。 上述炊射关系实际将汛b 】区阃扩展到区间【z l z d 上- 使对比度得到增强。 如果要突出图像中具有某些灰度值物体的细节，而又不牺牲其他灰度上的细节， 可以采用分段灰度变换，使所需要的细节灰度值区间得到拉伸，不需要的细节得到 压缩，当然也可以采用连续平滑函数进行灰度变换。 但直方图均衡化并不是总能获得好的效果，例如对于某些灰度非常低的夜景图 像进行灰度扣伸后反而会使图像质量变差。故我们在字符图像识别系统中不对图像 进行灰度拉伸，保持图像的原始信息。 6 兰州大学璇十牛位论文 第三章字符区域的定位 3 1 概述 字符区域的定位与分割是字符图像分割与识别技术的关键。其要点在于从复杂 的背景中找到有着特殊纹理( 字符分布) 的一小片矩形区域，然后把该区域从整幅 图像中分割出来。字符区域的定位准确与否，直接影响到整个字符图像识别系统的 识别成功率。 本章首先讨论使用模板匹配的方法去除背景干扰，获得前景图像。然后使用 c a n n y 滤波差分累积、数学形态学等方法定位图像中可能的字符区域，最后用特 征函数对可能区域迸行筛选以确定字符区域。 3 2 去除背景 在绪论中我们提到。对于图像分割可以分为前景识别和全景识别两类。对前景 类识别来说，如果摄像机的位置保持不变拍摄到的多幅图像会具有相同的背景 而我们所要研究的字符区域则位于运动的前景里。我们可以使用特定的方法来去除 背景，减少需要处理的数据与干扰。分割出来的前景部分图像识别可以归于全景识 荆。 在进行去除背景之前先要介绍一下像素过程这个概念。 假设对于一个在一段时间内连续获得的图像序列，把它在某个特定的图像位置 下沿时间轴迸行采样，就可以得到一个关于时间轴的一维信号( 这里仅对灰度图像 序列) ，这个信号过程我们称为像素过程( p i x e lp r o c e s s ) ，表示为 l ( x ，y ，t ) 1 0 ，t ) ( 3 1 对于某个特定的像素位置( x ，y ，像素过程可以写为 x l ，x 2 ，x t ) = ( i ( x ，y ；i ) ：i i t ) ( 3 2 ) 一般来说，我们可以认为在每一个图象位置上像素的灰度变化都满足高斯分布， 所以从拍摄获得的图像序列里可以得到所有像素过程的统计信息，即所有像素过程 的均值和方差，依据统计信息就可以得到估计背景。f u 此方法也有相当大的缺点， 即需要满足数量的图像序列( 至少要1 0 0 幅以上) 作为样本才能获得效果很好的背 景估计图，而在实际应用场合要得到这么多的图像是缓用难的。也很不残实：另外 其假设前提也不一定正确，有些情况下像素灰度化可能服从双高斯分布或者其他分 兰州人学硕十f 位论文 布模型。由于以上的原因我们使用了简单的均值方法获得估计背景，而在后面用小 模板匹配的方法来弥补背景估计不精确的缺点。 均值方法的公式是 b ，2 丢x 或者e = 孚轧+ 。， 上式中& 为估计得到的背景图像，x ：是图像序列，获得的估计背景图见图3 1 ( b ) 。 在得到背景图像后就可以与含有前景的图像进行比较来获得前景。传统获得前 景的方法是差分法，即把含有前景的图像与背景图像进行差分运算。由于拍摄条件 和统计学方法的限制，b t 往往不能很好的代表真实背景图像。所以差分的结果会不 令人满意，故简单的差分方法在这里不适用。 为了解决这一问题，我们在估计背景图像的基础上使用特征匹配的方法，实现 背景图像b 与待识别图像c 的特征匹配。把两幅图像中匹配的区域视为背景，从待 识图像中去除，就可以得到前景图像。由于特征匹配是基于区域的，所以得到的前 景图像要比直接使用差分方法得到的前景图像要精确。 具体的匹配中，我们不是以整个图像进行特征匹配，而是把图像分割成若干小 矩形窗口进行匹配，这样可以提高匹配精确度。滑动窗口的尺寸选择是一个关键问 题，过大会造成漏匹配。过小又会造成误匹配，经过我们多次实验表明滑动窗口取 原图像大小的i 5 0 1 4 0 较为合适，太小计算复杂度高，花费时间长；太大则匹配 不够准确。 匹配的相似测度为 雌。( m ，”) l ( m ，一) r ( i ，) = 型与b 广一 ( 3 4 ) 【雌( m ，”) 】2 取一个适当的匹配阈值r l h ( 可以由多次试验确定其数值) ，在滑动窗1 3 中计算 r ( i j ) 。当r ( i j ) r t i 是就可以认为匹配成功，把该窗口标记为背景像索。当滑动窗 口取遍整幅图像时就完成了对背景的匹配，如图3 1 ( c ) 所示。 由于有时前景和背景灰度相似，所有匹配过程中不可避免地会出现一些误匹配 ! ! 州人学硕十中位论文 和漏匹配，在圈中可以看到右下角的车身上有部分误饵配区域所以在特征匹配完 成后还要进行个整理步骤。由于背景基本上是大片的相连区域故可根据连通区 域的规则，把面积较大的匹配区域连接起来，同时之除孤立的、小面积的匹配区域。 经过这样的整理后就基本获得了出除背景的前景图像，如图3 1 ( d ) 所示。匹配的 结果是去除了大部分背景，保留的待识别的前景，可以初步分割出待识别的前景部 分，减少了接下来字符区域定位工作的运算量。 需要说胡的是本算法的实用性很强，对于图像序列很少时也能够获得很好的效 果，极端情况下即使只有两幅同背景的图像，使用本算法也可以去掉大部分背景， 获得较为满意的前景图像。 ( a ) 原始图像，原大小为1 6 0 0 1 2 0 0 兰州人学硕十学位论文 ( b ) 用1 5 幅同背景图像估计的背景 ( c ) 模板匹配结果图像 兰州人学硕十节位论文 ( d ) 经过处理后的去除背景图像 图3 1 去除背景实验图 3 3 字符区域粗定位 在经过上一个步骤后，我们获得了不含有复杂背景干扰的全景图像，字符区域 的分割就转到了全景识别上，其目的是分析出图像中存在的对人有用的文字信息。 对众多图像研究我们发现：由于包含各种字符图像中文字区域相对于周围有 比较丰富的边缘信息，形成了一种特殊的纹理，有较为明显的特征，据此我们认为 可以用增强边缘的方法将字符区域提取出来。 3 3 1 边缘增强 。 边缘( e d g e ) 是指图像局部亮度变化最显著的部分。边缘主要存在于目标与目 标、目标与背景、区域与区域之间是图像分割、纹理特征提取和形状特征提取等 图像分析的重要摹础。图像中的边缘通常与图像亮度或者图像亮度的一阶导数的不 连续性有关图像亮度的不连续性可分为：( 1 ) 阶跃不连续，即图像亮度在不连续 处的两边的像素获得值有显著的差异：( 2 ) 线条不连续，即图像亮度突然从一个值 变化到另一个值，保持一个较小的行程后又返回到原来的值。在实际中阶跃和线条 边缘图像是很少见的，由于大多数传感元件具有低频特性，使得阶跃边缘变成斜坡 型边缘，线条边缘变成屋顶型边缘，其中的亮度变化不是瞬间的，而是跨越一定的 ! 州人牛硕 一产位论文 距离。 边缘的检测通常使j _ j 空域微分算了进行通过算予的模板与图像卷积完成。 边缘算f - 是像素的运算了，在光学图像中较为常用的算了有 s o b e l 算j 卜1 0 1 胁吼算了【：；涮 晰m 州i | 拉普拉斯算予、l o g 算予、c a n n y 算予等等。还有人提出用改进的八方向s o b e l 滤波来增强边缘，但经过我们的实验发现其方法不具有酱适性，有些情况下效果不 是很好。在对这些滤波器进行反复实验后我们决定使用c a n n y 滤波嚣对图像进行边 c a n n y 算了对噪声有很好的抑制作用，提取的边缘方向信息准确，运算量适中。 其表达式近似于高斯函数的一阶导数。设g ( x ，y ) 为二维高斯函数对图像f ( x ，y ) ，由 c a n n y 算了得到： 边缘强度为：c ( 墨j ，) = f v g + ( j ，y ) j ： ( 3 5 ) 边缘方向为：，l = v g + ，( x ，y ) i v g + ，( x ，y ) l ： ( 3 6 ) c a n n y 算予具有信噪比高，定位性能好，对单一边缘仅有唯一相应等特点，对 边缘信息有很强的提取作用，在图像灰度很低的夜景下也能很好的工作，使用c a n n y ! 州人学碗 - j 位论立 ( a ) 从之前图像中分割出的前景图像 ( b ) c a n n y 滤波的结果 州人拳颤t7 位沦文 ( c ) 八方向s o b e l 滤波 ( d ) l o g 滤波 煳3 2 各边缘滤波器效粜对比 3 3 2 差分累积与二值化 在c a n n y 滤波之后，纹确! 觇则的字符区域已经相当明显了，j , j 了进步突m 。， 符1 ) ( 域的纹 q i 特征进行准确定位，我们采用差分累积算法来强化边缘特征，奠公式 兰州大学碗十学位论文 为 d ( “) 。志。戮( f j “) - 1 ( “- d + k ) i ( 3 7 其中o ( i j ) 输出圈像，l ( i d ) 是原图像，s 、r 、d 是常数，与字符区域的大小有关。 此算法计算图像中每行里水平方向相隔d 1 个点的像素灰度的差值即梯度，然 后再把s 个连续的水平方向梯度值相加，这样字符区域边缘密集处的梯度就得到了 增强，而图像其他边缘信息少的地方被减弱。式中的参数s 和d 可以依据实验来确 定数值一般来说它们与应用场合的字符大小，图像的对比度等相关，参数r 用于 增大算法的响应输出。为了捉高运算的速度，满足实用性的要求，可将梯度运算和 求和运算同时进行在每一行的计算过程中先将本行像素的开始前s 个梯度算出来 之后的求和只需要将最先的梯度值用随后的梯度值代替即可。这种改进的计算方法 可以大大降低运算的复杂度。 经过差分累积运算，强化了边缘密集的区域也就是可能存在字符的区域。然 后把它们在图像中进行定位，一个简单的方法就是对图像进行二值化。用阈值来对 图像进行二值化的方法有固定阈值法、全局动态阈值法和局部动态阈值法。固定闽 值法是事先确定一个数值作为阈值由于字符图像的获得条件的影响，此方法不适 用。而动态闽值法大部分需要很大的计算量这里我们使用了简单却较有效的均值 法，取阈值为 j iy 1 g ( l j ) 确= + 型l 一l ( 3 8 ) 工y o ( i j ) 为像素的灰度值，图像的高度为x 个像素，宽度为y 个像素，系数n 由于 调节阈值，可根据具体情况确定，我们取n = 1 0 。 3 3 3 数学形态学运算 经过二值化后可以看出字符区域呈现为较明显的矩形区域，但由于图像可能具 有复杂的区域，还存在其他很多干扰区域为了进一步定位字符区域，我们使用数 学形态学方法对图像进行处理。 数学形态学以图像的形态特征为研究对象，它的主要内容是设计一整套概念、 变换和算法，用来描述图像的基本特征和基本结构也就是描述图像中元素与元素、 兰州人学硕十学位沧文 部分与部分问的关系。数学形态学做为一种用于数字图像处理和识别的新理论和新 方法，它的殚论虽然很复杂，f = i 它的基本思想却是简单而完美的。数学形态学算了 的性能丰要以几何方式进行刻画，传统的理论却以解析方式的形式描述算了的性能， 而几何描述特点更适合视觉信息的处理和分析。数学形态学是一种非线性滤波方法。 可以用于抑制噪卢、特征提取、边缘检测、图像分割等图像处理问题。最初被用来 处理二值图像，后来也被用来处理灰度图像，现在又有学者开始用软数学形态学和 模糊形态学来解决计算机视觉方法的问题。数学形态学的特点是能将复杂的形状进 行分解，并将有意义的形状分量从无用的信息中提取出来。 数学形态学中二值图像的形态变换是针对集合的处理。其形态算子的实质是表 达物体或形状的集合与结构元素问的相互作用，因此结构元素的形态就决定了这种 运算所提取的信号的形状信息。形态学图像处理是在图像中移动一个结构元素。然 后将结构元素与二值图像进行交、并等集合运算。其基本的形态运算是腐蚀和膨胀。 定义指出，二值图像上目标边界点是指位于目标内部，且至少有一个邻点位于 目标之外的像素。用b ( x ) 代表结构元素，对工作空间e 中的每一点x ，腐蚀和膨胀 的定义分别为： 腐蚀： x = e o b = 扛：b ( x ) c e ) ( 3 9 ) 膨胀： y = e o b = b ，：b ( y ) f l e 妒 ( 3 1 0 ) 简单的腐蚀运算是一种消除边界点的过程，运算结果是使目标缩小，孔洞增大， 因而可有效地消除孤立噪声点：膨胀运算是将与目标物体接触的所有背景点合并到 物体中的过程，运算结果是使目标增大，孔洞缩小，可填补目标物体中的空洞，形 成连通域。一般情况下，腐蚀与膨胀是不可恢复的运算，t u 通过腐蚀与膨胀可以构 成开运算和闭运算。 开运算和闭运算的定义如下： 形态开： e o b = ( 固口) o b ( 3 1 i ) 6 兰州人学硕士学位论文 形态闭： e 舢= ( o b ) o b ( 3 1 2 ) 先腐蚀后膨胀的过程称为开运算。它具有消除细小物体，并在纤细处分离物体 和平滑较大物体边界的作用：先膨胀后腐蚀的过程称为闭运算，它具有填充物体内 细小空洞，连接邻近物体和平滑边界的作用。开运算和闭运算可以重复多次使用强 化效果。由于结构元素的尺寸与形状对实验结果有较大的影响，有时对不同的背景 或不同的h 标图像需采用不同的结构元素，或施以不同的形态变换才能取得满意的 实验结果。 本论文利用数学形态学的特性。使用先腐蚀后膨胀再加以若干次开闭运算等方 法来对边缘信息增强后的= 值化图像进行处理，经过一系列的膨胀和腐蚀等数学形 态学运算，有效地消除了细小的干扰区域，增强了字符区域的内部连通性，基本找 到了边缘信息丰富的字符区域。 3 4 字符区域的精定位 经过上面的粗定位步骤后图像中只剩下少数的区域，字符区域已经基本确定 就在这几个可能区域之中。为了精确定位字符区域的位置，我们使用特征函数的方 法。 由于字符区域含有若干字符，其纹理、边缘等特性不同于其他区域，故我们可 以依据其特征设计函数 e n = f ( 1 ( x ，y ) ) ( 3 1 2 ) 其中i ( x ，y ) 是待判定区域，e n 是函数坟x ) 的输出值。当区域l ( x ，y ) 经过函数运算 输出的结果e n 满足某一条件时，可以判定该区域为字符区域。 设计一个恰当的特征函数是十分重要的，一般来说。字符区域的一个基本特征 是背景为单调的纯色而字符为另一种对比较为强烈的纯色，在图像进行灰度化后 分析灰度直方圈，可以看出灰度基本集中在少数几个灰度上，即只存在少数的波峰。 还应当根据具体应用场合定义相应的特征函数，才能保证最大限度地选中感兴 趣的内容，剔除干扰区域。例如对于汽车牌照字符区域来说其特点是：字符区域 呈长方形，长宽比为4 5 ：1 5 ，字符集是英文字母、阿拉伯数字和少量汉字，排列顺 序也有规律：i u 型车牌的第个字符一定是汉字第二个字符是字母，第三个字符 兰州人学颈卜学位论文 是字母域者数字，最后面是四个数字；新型车牌上放的是两个尺寸很小的字符，下 方是六个字符，前二个可以是数字或者字母，后二个是数字。所以可以定义特征函 数如下：长宽比在1 5 到3 ，区域中至少存在4 6 个排列成一行的字符连通区域。 又例如对于信封的字符定义，一般字符区域位于左上、中部和右下方三个位置，利 用这个位置信息可以有效地缩小搜索范围。 使用特征函数对待选区域逐个检验，计算其特征值就可得到字符区域。对于简 单场景则可以进行适当的简化。因为一般这种场景下只有一个字符区域，故以特征 函数检测到第一个后就可以停止检测。 ( a ) 交通牌照字符区域定位结果 兰州大学颈十学位论文 ( b ) 标牌字符区域定位结果 ( c ) 某网页上字符区域的定位结果 兰州人学硕叶：学位论文 ( d ) 汽车牌照豹定位结果 图3 4 一些字符区域的定位结果 兰州人学硕十中位论丈 第四章字符的分割 4 1 概述 字符区域分割成功后就要进行字符的识别，在这之前必须要把区域中的字符逐 个分离。本章丰要论述这一工作。 在进行字符分割之前对于检测出来的字符区域还有可能再进行校正处理如 灰度拉伸、同态滤波、高斯滤波等。对于严熏倾斜的图像。需要将其校正为水平的 可以使用h o u g h 变换，检测出两条边的倾斜角度之后对其进行校正。传统方法是 使用投影法，对字符区域二值化后做垂直或者水平投影，把投影后的波谷作为分割 界限。投影法较为简单，使用起来有很多的不足，而且它仅对英文字母、数字等有 较好的效果。本章提出了一种使用字符连通域的方法，充分利用字符本身的固有连 通特征，通过连通域生长的方法获褥字符连通域。在连通域的基础上再依据字符的 结构特点进行矩形的合并，最后可获得精确的分割结果。 4 2 投影法分割字符 传统的字符分割方法是使用投影法来进行分割。字符图像= 值化后，以像素点 为单位逐列扫描图像，累加该列值为l 的像素点，累积的结果即为该列的垂直投影。 对图像的所有列扫描完毕后即可得到整幅图像的垂直投影。 。 在垂直投影直方图中由于字符的分界处灰度为1 的像素点很少，故投影后该处 表现为很低的波谷，将统计值等于零的列作为字符分割的界限。如图4 i 所示。 御圆 ( a ) 删嗣 图4 1 垂直投影( a ) 字符区域原图像( b ) 二值化后垂直投影 从图4 i 可以看出，对图像进行二值化再投影后，字符形成了若干很明显的波 兰州大学硕十学位论文 峰，而字符矧的空白处的垂直投影为零，据此可以实现字符分割。 f u 简单的垂直投影法也存在很大的缺陷，由于字符中经常存在空洞，导致字符 的垂直投影具有多处波谷，在进行分割时难以依据波谷来确定字符的分界点。而f l 当获取的图像质量不高时二值化后字符会粘连在一起，这时垂直投影基本上不会出 现十分明显的波谷。 对传统垂直投影法的一种改进是使用上下边缘投影。 上下边缘投影是指字符上边缘与下边缘间的距离，其中“字符上边缘”指以像 素为单位沿图像某列自上丽下搜索直至遇到字符区域的第一个点，“字符下边缘”指 以像素为单位沿图像某列自下而上搜索直至遇到字符区域的第一个点，则上下边缘 投影即为字符上边缘与字符下边缘两者之差如图4 2 所示。 图4 2 数字字符的垂直投影和上下边缘投影对比 从图4 2 可以看出，由于字符内部空洞的存在简单垂直投影中大部分都存在 一个波谷，单纯依据投影的波谷来分割字符很难避免将单个字符分割为两部分。与 垂直投影相比。上下边缘投影具有较好的单波峰特性，对投影曲线使用分裂算法可 以较容易地分割出完整的字符区域。实际效果见图4 3 。 脚圆 丽瓣- 萱熏- i 研 ( b ) 图4 3 上下边缘投影( a ) 字符区域原圈像( b ) 二值化后上下边缘投影 投影方法实现起来比较简单，但是适应性较差，在预处理效果不好的情况下 很难有满足条f t 一的列。而为了获取满足传统方法的条件，只有加强预处理的条件 ：! 州人学硕十学位论文 因此处理完后的图像不可避免的损失一部分有用信息，给进一步的处理造成不必要 的网难，可能引入额外误差。当字符倾斜的角度比较大、多行字符或是拍摄的图像 上的字符较为密集的时候，投影法就完全失效了。另外对于很多汉字来说是由多个 部分组成，在投影的时候会形成多个相互独立的波峰，其结果是经常把完整的汉字 错误地分离开。总的来说，投影法只适用于较为清晰、包含数字和字母、倾斜度不 太大的图像对于很多其他复杂应用场合。投影的方法经常从本质上失去意义。 4 3 字符连通域方法 为了解决投影法的缺点，我们使用连通域方法来分割单个字符，该方法既从一 定程度上避免了预处理效果不好带来的影响。又可以从根本上解决了倾斜字符分割 的问题。 对字符进行研究发现，其根本的特征在于其连通性，无论字符如何倾斜或者变 形，连通这个根本特征是不会改变的。如果把书写的笔画作为连通域看待，那么数 字和英文字母是由一个连通域构成，而汉字则是由多个连通域构成，这多个连通域 又由于汉字本身的结构特征相距很近。依据字符的这一特点，我们认为连通域方法 可以实现对字符的精确分割。 4 3 1 连通域算法 对连通域的定义涉及到像素的连通，像素的连通有四方向连通和八方向连通两 种，在本论文中我们采用的是八连通定义。经典的求连通域方法是连通域生长法， 使用的是递归算法，如下所示： 1 ) 扫描图像，找到没有标记的像素点，进行标记； 2 ) 递归标记该点的邻点； 3 ) 如果不存在未标记的点则停止； 4 ) 返回第一步。 递归算法形式上很简单。f u 效_ 率很差，主要用于并行机上，这里我们使用了一 种新的算法，可以在较小的时间复杂度内完成连通域牛长法的计算。算法如下所示： 1 ) 自左至右，自上而下扫描整i 蟾图像，找到第一个来标记的像素点： 2 ) 初始化像素队列为空； 3 ) 把该像素点做标记，加入队列； 兰州人学硕十节位论文 4 ) 搜索队列头像素点周围八邻域的像素并标记、加入队列： 5 ) 删除队头元素； 6 ) 重复3 ) 、4 ) 两步，直到队列空为止； 7 ) 返回第一步。 使用如上算法可以快速准确地定位图像中的所有连通区域，由于噪声干扰以及 二值化时可能出现的误差，我们必须去掉区域中一些明显不可能是字符区域的连通 域，例如宽度过大或是连通区域中像素的个数过小的区域。在找出图像中的连通区 域，再做出各个连通区域的外接矩形，如图4 4 所示。 图4 4 字符连通域( 为了易于辨认汉字对下两幅图像作了放大处理) 4 3 2 连通域的合并 在作出字符连通域矩形后我们看到，由于英文字母和数字都是一个连通域， 其外接矩形恰好就包含了整个字符，故可以很容易地进行分割：而汉字由于本身结 构的原因，一个汉字很有可能由多个连通域构成，单个矩形可能只是汉字的一个部 分，所以必须对连通域进行合并。 汉字的结构有若干情况，上下、包含、左右等，连通域的矩形的相对位置与可 归结为四种基本情况包含、交锚、上下、左右，其合并的顺序先左后右。 设整个图像中的矩形集合为r = r ，r ，r r ) ，k l 2 ，一) ，则字符可以 定义为集合中一个或者若干个矩形的并集即c = u r ，而所有字符的并集就 “ 是整个矩形集合即r = u e 。 r l i 矩形的基本信息是四个顶点的啦标，可以具体化为四个参数： l e f t ，r i g h t 。t o p ，b o t t o m ，故两个矩形m 和n 合并为矩形k 可以表示为 ! 州大学硕士带位论文 l e f t i = r a i n ( 1 e f t 。+ 聊。) t o p 。m i “( t o p m + t o p 一) ( 4 1 ) r i g h t = m a x ( r i g h t ，+ r i g h t 。) b o t t o m t = m a x ( b o t t o m 。+ b o t t o m 。) 4 3 3 连通域矩形的位置关系 只要确定了矩形的相对位置我们就可以对矩形进行合并，下面就对矩形的四 种位置关系分别进行讨论。 1 ) 包含关系。 给定两个矩形m 和n ，如果m 包含n ，则这个包含关系可以定义为： l e f t 。 l e i t f 1 b o t t o m 。b o t t o m j l r i g h t r i g h t s t o p 。 t o p ( 4 2 ) 2 ) 交错关系 给定两个矩形m 和n ，如果m 与n 相交，则m