（计算机应用技术专业论文）复杂背景字符识别前处理研究.pdf

摘要 摘要 通用字符识别软件对航空公司飞机票图像的识别效果非常不理想，影响识 别的主要原因是机票种类的多样性，打印的不规范，加上票面各种特征的噪声 干扰。 上海航空公司机票数字影像管理系统是针对一k 海航空公司对机票字符识 别的要求，开发的自动化数字影像系统。一期系统提交用户后，我们针对用户 提出的新需求和反馈结合发现原有系统中一些问题，不断对系统进行调整，以 期达更多的识别信息、到更快的速度、更高的识别率和更好的系统易用性。 前处理是字符识别研究一个非常活跃的领域，其特点是前处理方法的多样 性和对各种不同情况的适应性。对于机票识别系统本身而言，由于需要处理票 面噪声并对票面信息进行分类，以完成提取或去除，其本身对于本系统和整个 课题也非常重要的一个研究分支。某种意义上，对待识别票样合理而高效的前 处理算法和前处理流程，是整个数字影像管理系统的关键点和技术特色所在。 课题研究主要针对o c r 部分的前处理模块，在原有系统对字符识别研究 的基础上，根据用户新需求，提出了完善系统的方式，并结合实际系统，详细 介绍在研究中已经验证的算法和解决此类问题的一般思路。 本文首先介绍了目前民航票据处理的现状和需求，简要描述原有一期系统 的功能、用户对原有系统的反馈和新需求。接着按照前处理在灰度空间和色彩 空间两个大方向分别介绍了狄度和色彩空间前处理的算法。灰度空i 、日j 的研究工 作主要包括：在原有o s t u 和n i b l a c k 基础上对b e r s e n 、e i k v i l 二值算法的实现 和进一步研究，灰度形态学在定位线提取和去除和信息复原上的应用，字符串 定位算法和单字符切分流程：色彩空间上的工作包括：色彩空间的基本知以介 绍，色彩模型的选择，h s v 颜色模型的介绍和特点，h s v 颜色模型埘字符信息 提取，y c b c r 颜色模型的简要介绍，y c b c r 模型对图像增强及在此基础上实现 底纹和文字分离的研究。 然后给出在灰度空间和色彩空间分别进行前处理后，字符切分正确率的比 较。文章的结尾部分对所做工作进行总结，并给出了需要继续完善的方面和未 来工作的方向。 关键字：二值化；数学形态学；边缘提取：色彩空削；h s v 颜色模型；y c b c r 颜色模型；字符切分；字符定位 华南理工大学工学硕士学位论文 a b s tr a c t w h e nd e a l i n gw i t hf l i g h tc o u p o n ，c o m m o nc o m m e r c i a lo c rs o f t w a r eu s u a l l y y i e l d sp o o rp e r f o r m a n c e ，d u r i n gt ov a r i o u sc o u p o nt y p e sa n dd e n s en o i s ei ni t f l i g h tc o u p o nd i g i t a li m a g em a n a g e m e n ts y s t e mi so c r s o f t w a r ew ed e v e l o p f o rc h i n as h a n g h a ia i r l i n e s a f t e rr e l e a s ef i r s tv e r s i o n ，w ec o n t i n u et od of u r t h e r r e s e a r c ht oa a ju s tt on e wr e q u i r e m e n tf r o me n du s e r s ，a i m i n gf o re n h a n c e d p e r f o r m a n c ew i t hf a s t e rs p e e d w i t hl o t so fd i f f e r e n ta p p r o a c h e sa n dm e t h o d s ，i m a g ep r e p r o c e s si sav e r y a c t i v ef i e l di no c rr e s e a r c ha n di ti sv e r yi m p o r t a n tf o ro u rs y s t e mi t s e l f t h i s p a p e rp r e s e n t s h e r es o m er e s e a r c hr e s u l t si nd e t a i lt o p r e p r o c e s sr a w c o u p o ni m a g e f r o ms c a n n e r f i r s tw ed i s c u s sd i f f i c u l t i e sw ee n c o u n t e r e d s e c o n d l yo u ra p p r o a c h e sa r es e p a r a t e dt om e t h o d sb a s e do ng r e ys c a l ei m a g ea n d m e t h o d sb a s e do nc o l o ri m a g e a p p r o a c h e st h a th a n d l eg r e ys c a l ei m a g ei n c l u d e sb i n a r i z a t i o nm e t h o d s ( o s t u ， n i b l a c k ，b e r s e na n de i k v i l ) ，m a t h e m a t i c a lm o r p h o l o g ya p p r o a c ht oe x t r a c ta n d r e m o v eb a s e l i n el i n e si nc o u p o n ，i n f o r m a t i o nr e s t o r a t i o n ，s t r i n gl o c a t i o na n d c h a r a c t e rl o c a t i o n i na d d i t i o n ，s o m eb a s i ck n o w l e d g ea b o u tc o l o rm o d e lp r e s e n t s h o wt oc h o o s e ac o r r e c tc o l o rm o d e la n dw h yw ef i n a l l yc h o o s eh s va n dy c b c rc o l o rm o d e la n d f u r t h e re x p e r i m e n ta n dr e s u l t si nt h i st o wc o l o rm o d e l sa r ed i s c u s s e di nd e t a i l a l l t h e s ea r ei n c l u d e di nt h i sp a p e r a tt h ee n do ft h i sp a p e r ，as u m m a r yi s g i v e na n dt h ef u t u r ew o r ki s a l s o p r e s e n t e d k e y w o r d s ：b i n a r i z a t i o n ；m a t h e m a t i c a lm o r p h o l o g ；e d g ed e t e c t i o n ；c o l o r s p a c e ；c o l o rm o d e l ；c h a r a c t e rr e c o g n i t i o n ；c h a r a c t e rs e g m e n t a t i o n ； i i 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特j jr l d l ：l 以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名：潞孰日期：枷f 年6 月z 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密回。 ( 请在以上相应方框内打“”) 作者签名：咖船、 翩躲黟务彳 ，呷 )1 日期：细f 年6 月2p 1 日期：砌f 年彩月2 1 日 第一章绪论 1 1 项目背景 第一章绪论弟一早珀下匕 近二十年来，计算机制造及应用技术取得了同新月异的进展，并渗透到几 乎所有的技术领域，人类正在步入一个技术迅猛发展的新时期。这个新时期的 一个重要标志就是计算机在信息处理领域的广泛应用。文字识别作为新一代智 能计算接口的重要组成部分，显示了越来越重要的作用。它涉及到计算机数字 图像处理、模式识别、人工智能、模糊数学、组合数学、信息论、自然语言理 解等学科，也涉及到语言文字学、心理学、生物学等，是一门综合性的科学技 术。近二十年来，国内外对数字、英文符号、汉字及其他语言文字进行了广泛 深入的研究，提出了许多行之有效的识别方法，应用软件也越来越丰富，并且 有实用装置出现。 自从发明了造纸术以后，各种历史文献、技术资料等大量的信息便以纸张 的形式保存下来，时至今日，大量的纸质资料依然存在，从普通的报纸、杂志、 书籍到报告、文件、信件、票据等，然而，纸质文档存在着不便于长期保存、 查询不方便等一些缺点。随着信息技术和网络技术的发展，数字信息资源成为 人类最重要的资源，越来越成为国家政治、经济、文化等社会活动所依赖的信 息基础设施。对文档进行数字化处理已成为发展的趋势，在银行、航空公司、 邮政局及大部分的行政部门，都需要对大量的票据进行保存，为了对这些票据 进行信息化管理，需要将票据的相关信息输入计算机，以前的做法是需要人工 输入，这样投入的人力物力很多，劳动强度也很大，也容易出错，而且对票据 的存储是直接保存原始的票据。 以民航系统为例，航空公司需要对大量的飞机票进行处理，目前民航对飞 机票处理上相当落后，基本上是雇佣大量人力进行人工录入，飞机票的保存也 很成问题，要耗费大量的时蚓、人力、物力和财力，还解决不了错误频频发生 的问题。根据研究显示，人工登录的速度平约每分钟1 2 0 个字符，其错误率约 为l 3 0 0 ；换言之，每登录3 0 0 个字符，就会有1 个字符是错的。 目前国泰航空信息处理有限公司雇佣了约2 0 0 人专门手工处理飞机票，即 使是小型的西北航空公司也雇佣了3 0 多人进行这一工作，南方航空公司年处理 飞机票据3 0 0 0 万张，任务繁重，效率极低，迫切需要解决。根据有关规定，飞 机票要保存5 年以上( 国泰航空公司为7 年) ，有的航空公司考虑存放飞机票要占 用大量面积，因市区租金昂贵，为了节约另设存放库房。根据管理要求结算中 华南理工大学工学硕士学位论文 心又需要经常与飞机票库房联系查询，费人、费时、费力。使得查询愈发困难。 所有这些飞机票一旦丢失或损坏将会给航空公司带来无法弥补的损失，因此要 动不少脑筋妥善保存这些票据，防止纸张因受潮、发霉等自然因素而受到损坏， 特别是要注意防火。此外，由于纸质票据查阅及传递速度慢，不能共享，查阅 过程中易丢失或损伤原件，所以要想在需要的时候从大量的票据中快速准确的 查找到所需的并不容易做到。想要异地查询，或是对票据中的数据所含信息进 行深层次挖掘，更是不可能实现。很显然，这样一种票据管理的现状远不能满 足当今竞争激烈、面向世界、加入w t o 时代的要求。结果，大量票据变成了航 空公司的一块心病，一个不得不背的包袱。而换个角度来看，大量飞机票中所 含的信息本应该是航空公司一笔宝贵的财富。关键在于自动收集信息，并对信 息进行深层次加工。当然首先是要求快速、高效地把纸质票据电子化、数字化， 解决票据的存储和检索的问题然后再对票据中所含的各种信息进行处理，和 结算系统等结合起来，发挥进一步的作用，为领导决策提供支持。 随着计算机技术软硬件的发展，将这些票据以数字影像的方式进行存储和 管理已经成为现实。在这样的数字影像管理系统中，主要包括下面几个部分： 票据图像的获取、票据图像信息的识别、票据图像的存储和识别信息的集成管 理。 1 2 系统结构概述 图1 - 1 票据数字影像自动处理系统网络结构图 f i g 1 - ln e t w o r ks l f u c t u f eo f d i g i t a | c o u p o l l i m a g e sa u t o m a t i cp t o c c s ss y s t e m 上图为我们已交付上海航空公司使用的数字影像管理系统的结构示意图，整 第一章绪论 个系统逻辑上包含以下几个子系统： 扫描子系统。由高速扫描录入设备和扫描工作站组成，负责将待识别机 票转化为计算机可以处理的数字图像； o c r 子系统。工作在扫描识别工作站中，负责对数字图像进行各种处理， 并取得识别结果，o c r 子系统完成系统的主要任务，是系统的核心部分： 信息服务系统。由w e b 服务器和数据库服务器共同响应通过局域网或者 i n t e r n e t 列识别信息的查询； 海量存储系统。负责海量识别信息的压缩和管理； 1 3o c r 需识别信息 图1 2 机票样本和待识别信息 f i g 1 - 2c o u p o ne x a m p l ea n dr e c o g n i t i o ni n f o r m a t i o n 上图是机票票样，机票识别子系统需要提取和识别三部分信息： 航空公司代号和票联号( 票样最下方黑色矩形内“17 8 45 4 2 8 6 2 9 1 2 03 ”) 票价( 票样最左侧黑色矩形内“7 6 0 0 0 ”) ； 座位等级( 票样最上方黑色矩形内“m ”) ； 1 4 前期工作和新需求 已经交付上海航空公司目前使用的一期系统处理并识别航空公司代号和票 联号( 第一部分信息) 。该系统已在上航稳定运行。年半时间，处理票样8 0 0 余 万张，识别率大于9 7 ，成为上航日常办公的有效手段，用户非常满意并希望在 此基础上，开发二期系统，加入对票价、座位等级的识别，以增加系统的信息 华南理= 人学j 二学硕士学位论文 处理能力，进一步提高办公效率。 1 5 待识别信息的特点 与一期系统所处理的航空公司代号和票联号相比，票价和座位等级部分具有 以下特点： 背景更复杂。票联号和航空公司代号部分为相对简单的白色背景，而票价和 座位等级部分本身被打印在深浅不同的连续背景上，造成对比度比较差； 干扰更严重。票联号和航空公司代号部分噪声多为零星的非连续噪声，而票 价和座位等级部分的噪声多为连续的大面积噪声，周围还有印刷体辅助信 息、定位线等其他干扰； 定位更困难，票联号和航空公司代号部分的待识别信息具有字符大小一致， 间距固定、字符数量已知等特征，而票价和座位等级部分待识别信息则不具 备上述特点，这使得对票价串的切分和对单个字符的切分更加复杂，需要有 比较好的适应能力； 由于待识别信息在识别票面中具有上述特点，要求前处理必须在有效抑制噪 声去除干扰信息的同时有效的将待时别信息提取，与一期系统相比，二期系统 对前处理提出了更高的要求。 1 6 课题的研究内容 待 识 别 图 像莹爹! i 蓼卜誊i 图i 一3o c r 系统的一般流程 f i g1 3p r o c e s so fo c rs y s t e m 一般来说，o c r 系统识别完整流程如上所示，从上图的划分而言，本文的主 要工作包括上图中的前处理，包括躁声去除、定位线提取和去除、图像增强， 待识别区域字符的行列定位，单字符切分几部分。算法涉及图像处理的诸多领 域，涉及算法包括：二值化算法的研究、数学形态学在特征提取和噪声去除方 4 待识澍字符行磁定能 前孟 f 理 嗲 匪 r簸一译 0mt趟 第一章绪论 面的具体应用、字符定位切分、边缘提取和边缘检测、中值滤波。其中对各种 前处理算法的研究和实验是本文的重点。 实际工作中字符切分定位( 字符行列定位和单字符切分) 与前处理并没有严 格的界限，而是互相渗透，前处理的结果用于字符切分定位，字符切分的结果 又使用前处理的方法进行各种的处理，去噪，或是图像增强，因此，本文将识 别引擎以前的部分都称作广义前处理，并分别在灰度图像和彩色图像两种不同 的图像上讨论前处理所使用的方法和步骤。 与只包含一个字符的座位等级相比，票价部分是包含多个待识别字符的识别 区域，因此，其前处理和字符切分定位更为复杂，本文也自然将重点放在对票 价部分的前处理技术的讨论上。 1 7 本文结构 本文的组织结构如下： 第二章讨论了基于狄度空间的前处理工作。包括对已经实现的二值化方法的 选取和讨论，灰度形态学的基本知识和基于灰度形态学的定位线去除，定位线 去除后的信息恢复。 第三章给出个字符串定位和单字符切分的详细算法流程，并在灰度空间进行 前处理的基础上进行实验，总结灰度空间进行前处理局限和问题，提出应当将 研究角度变换到色彩空间的结论。 第四章针对灰度图像上一些难于解决的问题，尝试从色彩宅间获得更多的信 息己完成前处理。包括色彩空间和颜色模型的基本知识，色彩模型的选取依据， 以及在h s v 和y c b c r 颜色模型进行前处理的算法。 第五章是色彩空自j 进行前处理后的实验结果和总结。 文章最后总结全文，并指出当前工作中的不足和未来工作的方向。 华南理工大学工学硕士学位论文 2 1 二值化 第二章灰度空间的前处理 文字识别的核心是按照要求对各种图像信息进行分类，二值化则是将输入的 图像信息分为两类：前景点和背景点。课题组前期工作人员将在二值方面的研 究主要集中在全局二值算法o s t u 和区域二值算法n i b l a c k 两种算法上，本文在 此基础上，查阅相关文献，改进了原有o s t u 算法的实现：参阅相关文献，实现 了b e r s e n 和e i k v i l 两种二值算法，并在机票的票价部分，对几种方法进行比较。 2 1 1 二值化的定义 仅支持灰度图象的扫描仪、数码相机等图形、图像输入设备得到的图像在 大多数情况下部足一个浓淡分布不均的多值图像。把多值灰度图像( g r a yl e v e l i m a g e ) 转化成只有黑( 前景部分) 白( 背景) 分布的二值图像( b i n a r yi m a g e ) 的工作叫做二值化( b i n a r i z a t i o n ) 处理。 我们通过k o d a k 2 6 0 获得的图象具有一般的2 5 6 级的灰度图，0 级扶度对 应于黑色，灰度值越接近0 ，象素越黑；2 5 5 级对应于白色，灰度值越接近2 5 5 ， 象素越白。但是在二值图像中只存在黑色和白色，所以我们通常用0 对应于黑 色前景文字，1 对应于白色背景。 栅，= 仁嬲；j 亿， 上式中，t 称为二值化运算的阈值或门限值( t h r e s h o l d ) 。当采样点( i ，j ) 的灰度值 “i ，j ) t 时，f t ( i ，j ) = o ，表示将此点转为背景；当采样点( i ，j ) 的灰度值f ( i ，j ) = t 时，f i ( i i ) = 1 ，表示将此点转为前景。 2 1 2 o s t u 方法和对原有实现的改进 这种方法是由r 本大津展之在1 9 8 0 年提出的，所以称为o s t u 1 1 方法。它是 在最小二乘法原理基础上推导出来的，这种方法的基本思想是将直方图在某一 阈值处分割成两组，组对应于背景部分，一组对应于前景文字部分，当被分 成的两组的组内方差最小，组间方差晟大时，决定阈值。这种基于两组间最佳 第二章灰度空间的前处理 分类而决定闽值的方法也称为最大类间方差阈值分割法。 具体做法如图2 3 所示。设给定图像具有三级灰度值，对1 = k ， 则用( b 。b 。) 2 作为( x ，y ) 的域值，否则根据情况设置( x ，y ) 作为前景或者背 景。 基本的b e r s e n 算法根据窗口内的灰度最大值和灰度最小值估算窗体内的对 比度，如果对比度小于某一域值，则将其归为一类，通常是背景。 文献| 4 】中提出针对对比度估算对基本b e r s e n 算法的改进，如下： t = t ( x ，y ) ) = ( 吒。( x ，y ) 一圪；。( 石，y ) ) 2( 2 4 ) c = c ( x ，y ) ) = f i 。( x ，y ) 一，j 。( x ，y ) ，= o s t u ( c 1 酬川，= 删c 淼 2 1 6 各种二值化方法的评价 ( 2 5 ) ( 2 6 ) 似，y ) ( 2 7 ) o t h e r w i z e 、。 机票项目组在项目前期1 5 1 6 1 先期采用了表现良好的局部域值法( 1 0 c a l l y a d a p t i v eb i n a r i z a t i o nm e t h o d ) n i b l a c k 算法和全局域值法( g l o b a lb i n a r i z a t i o n m e t h o d ) o s t u 算法，或者两者的结合和某种改进6 1 。文献8 1 中对比了若干种局部 和全局域值算法，得出下表，文献【9 1 中也有非常类似的结果。 第二章灰度空间的前处理 b i n a r i z n t j o n e z 嘲i t i o n m e t h o d s f c r 叠n kt i m e o e a y 口罐4 p 球烨m e t h o鼢 y a n o w i t z b r u c k s t c 纽 1 2 849 8s t c 以敬t1 2 4 56s n b l k】1 56 ls e i k v i l “a i i 1 571 5 s b e m s e n1 0 8 8 ls w h i t e r o h r e rd 下a1 0 791 夙 p m k e r 9 7l l 3 0s c h o w k a n c k o9 71 26 6s m a r d i 剐h a i n s w o r t h 8 91 4 1 4s t a x te 【a j 8 5 1 68 3s w h i r e ：r o h r e ri f a 7 31 84s 轴b 越m e 珐o d s o 姆h 9 5j 3 0 3 s k a o u r e t d 8 61 5o3 s a b u t a l e b 8 51 7 ls k i t t e f f f l f i n g w o r t h 6 2 1 9 0 ，3 s m o d i f i e d 加e a l l # , a d a p t i p em e t h e d z n i b | a c k ，o o s t p r o c ， 1 3 8l3s ie i k v i lc ta t ，p o s f p r o c 1 3 32 1 83 i b c m s e n ，p o s t p r o c 。 1 3 233s p i n k e r ，d o 咖m c j 1 0 4t 0 3 2s 图2 - 4 | 二值方法的比较 f i g2 - 4e v a l u a t i o no fb i n a r i z a t i o nm e t h o d 2 1 7 我们的评估和结论 文献8 】中的评估基于图像的纹理提取，在应用场合上与本文有所区别，而且 票价和座位等级的识别区域情况与一期的票联号部分特点不同，为进一步研究 二值化的其他方法并对其现有方法进行评估，我们选择图2 - 4 中在评估中表现良 好的e i k v i l 二值法和b e r s e n 方法进行了迸一步的研究，并结合实际图样对上述 方法进行评估，得到如下结论： 华南理工大学工学硕+ 学位论文 图2 5 二值前图例 f i g2 - 5e x a m p l ei m a g eb e f o r eb i n a r i z a t i o n 图2 7b e r s e n 二值处理结果 f i g2 - 7r e s u l ta f t e rb e r s e nb i n a r i z a t i o n 图2 - 6 带后处理的n i b l a e k 二值结果 f i g2 - 6r e s u l ta f t e rn i b l a c kb i n a r i z a t i o n 图2 - 8 带中值滤波的e k v i ! 二值算法结果 f i g2 - 8r e s u l ta f t e re i k i v i lb i n a r i z a t i o n 图2 - 4 中表现良好的b e r s e n 算法及其改进对低对比度图像处理能力较 差，容易造成待识别字符的大面积丢失，不适合票价和座位等级的二值 化处理； 由于定位线的干扰，进行后处理后的n i b l a c k 算法容易造成待识别字符 边缘的毛刺； 在扫描分辨率为2 0 0 d p i 时，e i k v i l 算法1 w i n d o w = 2 0 ，s w i n d o w = 3 效果最 理想，结合3 x 3 中值滤波，效果优于n i b l a c k 算法。 2 2 数学形态学 2 2 1 数学形态学简介 数学形态学【1 0 1 1 2 1 ( m a t h e m a t i c a lm o r p h o l o g y ) 是分析几何形状和结构的数 学方法，足建立在集合代数基础上，用集合论方法定量描述几何结构的科学。 1 2 第二章灰度空间的前处理 1 9 8 5 年后，它逐渐成为分析图像几何特征的工具。目前，数学形态学已在计算 机视觉、信号处理与图象分析、模式识别、计算方法与数据处理等方面得到了 极为广泛的应用。 数学形态学是一种非线性滤波方法，由一组形态学的代数运算子组成的。最 基本的形态学运算子有：腐蚀( e r o s i o n ) 、膨胀( d i l a t i o n ) 、开( o p e n i n g ) 和闭 ( c l o s i n g ) 。其中m i n k o w s k i 结构和差运算，即形态和差( 膨胀与腐蚀) 是数学 形态学的基础。用这些运算子及其组合可以进行各种图像形状和结构的分析和 处理，包括图像分割，特征提取，边界检测、图像滤波、图像增强和恢复等方 面的工作。 2 2 2 二值形态学基本运算 二值形态学是基于二值图像的形态学算法，也是数学形态学的基点，其基本 定义如下：设a 为图像区域集合，b 为结构元素，b 具有原点 膨胀：运算符为o 4 。占= 缸j ( b ) r n 爿】卿其中表示对原点的映射，( b 讧表示b 平移z ，n 表示并集 腐蚀：运算符为o a o b = x i ( b ) ，a 图2 - 9 膨胀操作 f i g 2 9d i a r a t i o no p e r a t o r 华南理工人学工学硕士学位论文 圈2 - 1 0 腐蚀操作 f i g 2 1 0e r o s i o no p e r a t o r 膨胀和腐蚀的实际运算：利用向量或移位运算进行： 向量运算： a o b = x l x = a + b ；a a & 6 b ) a b = x l ( z + 6 ) 爿，v b b ) ( 2 8 ) 移位运算： a o b = u ( 彳) 彳 b2 b n e b ( 爿) 一6 ( 2 9 ) ，7 一u 、 其中：u 表示“o r ，运算，n 表示“a n d ”，( 爿) 6 表示将a 中的元素按b 移位 膨胀和腐蚀的对偶性： ( 4 0 b ) 。= a 。 b ( 爿 b ) 。= a o 占 ( 2 1 0 ) 其中( c 表示对偶运算，“表示平移运算) 开启和闭合运算： 由于膨胀和腐蚀并不互为逆运算，因此通过级连可形成开启和闭合运算 4o b = ( 爿o b ) o b 爿。b = ( 爿o b ) 口 ( 2 1 1 ) 二值形态学在图像处理中的主要应用 噪声去除： 取彳。b ) 。b 】。口 口= ( 4 。b ) b 1 4 第二章灰度空间的前处理 图2 1 1 二值形态学去噪 f i g2 - 11d e n o i s ew i t hb i - l e v e lm o r p h o l o g y 边界提取：卢( 彳) 2 a - ( 彳。口) 图2 - 1 2 二值形态学的边界提取 f i g2 1 2e d g ee x t r a c t i o n sw i t hb i l e v e lm o r p h o l o g y 区域填充：以= ( 鼍一o b ) n a 。 日圈明鳓 五五 图2 13 二值彤态学的区域填充 f i g 2 一i3r e g i o nf i l l i n gw i t hb i l e v e lm o r p h o l o g y 5 胃2u4 华南理工大学工学硕十学位论文 灰度形态学基本运算 1 定义：设f ( x ，川为输入图像，b ( x ，纠为结构元素，其本身也是子图像。 膨胀： ( 厂0 6 ) ( s ，) = m a x f ( s - x ) ，t y ) + b ( x ，y ) l ( s x ) ，( 卜y ) d r & ( z ，y ) 乜 f 2 1 2 ) 腐蚀： ( ，0 6 ) ( s ，) = m i n f ( s + z ) ，t + y ) 一b ( x ，y ) l ( x ) ，( f + j ，) d ，& ( x ，y ) e 见 3 ) 对偶性： ( ，0 6 ) 。= f 。o b ( 归6 ) 。= f 。o b 开启： ( 。6 ) = ( 徊6 ) 0 6 闭合： ( ，b ) = ( 厂0 6 ) 0 6 灰度形念学图像处理实用方法 1 形态学梯度：9 2 ( ，0 6 ) 一( 归6 ) 2 形态学平滑：去除噪声 3 形态学纹理分割。 ( 2 1 4 ) ( 2 15 ) ( 2 1 6 ) 第二章灰度空间的前处理 2 2 3 基于数学形态学的定位线的提取 水平定位线的提取 图2 - 1 4 一张机票图像 f i g2 1 4af l i g h tc o u p o ni m a g e 设s 为上图中的图像，为了提取水平定位线，需要使用水平的线性形态学算 子吼， o 。= 【1 l l l 】， ( 2 - 1 7 ) 公式( 2 1 7 ) 中，为算子的大小，表示要提取的水平直线的最小长度。对于实 际的机票，由于其实际大小是确定的，所以在一定的扫描分辨率下，的值是可 以近似的确定出来。我们在s 上用算子o r 进行o p e n 操作得到昌：结果如图2 - l 5 所示。 s l = o o h ) = ( s o ) o o k ( 2 一l8 ) 华南理工大学工学硕士学位论文 图2 - 1 5 在s 上使用算子o h 进行o p e n 操作的结果 f i g 2 - 1 5o p e nr e s u l to f sw i t ho p e r a t o r o h 在图2 1 5 中，我们看到水平的定位线被提取出来了，但同时也保留了一些 连续的灰度区域，我们发现这些区域对应于原图中低灰度的连续区域，为了将 这些区域分离开来，我们采用一个垂直方向的结构算子o 。： 乳 ( 2 1 9 ) 使用此算子在s 上做o p e n 操作得到8 2 ( 见公式2 - 2 0 ) ，结果如图2 - 1 6 所示。 s 2 = ( s i 。o ，) = ( s i ) o ，) 0 0 ， ( 2 - 2 0 ) 第二章灰度空间的前处理 剖2 - 1 6 在s i 上使用算子d 。进行o p e n 操作的结果 f i g 2 1 6o p e nr e s u l to fs lw i t ho p e r a t o r 仉 最后我们在置的结果上去除巳的灰度区域，得到最后的水平定位线，如图 2 1 7 。 = s l s 2 ( 2 - 2 1 ) 垂直定位线的提取 图2 - 17 最终提取的水平定位线 f i g2 1 7f i n a le x t r a c t i o nr e s u l to f h o r i z o n t a ll i n e s 垂直定位线的提取和水平定位线的提取类似，不同的是首先使用垂直方向 9 华南理工大学工学硕士学位论文 的线性形态学算子提取垂直直线，而后使用水平方向的线性形态学算子去除垂 直方向的灰色连续区域。 d ：为垂直形态学算子，s ：为在s 上面使用。：进行o p e n 操作的结果，如图2 - 1 8 。 n 5 s l = ( s 。d 。) = ( s o o v ) o o v 图2 - 18 在s 上使用算了0 。进行o p e n 操作的结果 f i g 2 - 1 8o p e nr e s u l to f sw i t ho p e r a t oro v f 2 2 2 ) ( 2 - 2 3 ) 同样，采用。个水平方向的结构算子成提取垂直方向的连续灰度区域，结 果如图2 1 9 。 o h 。= 【1 1 l l 】， ( 2 2 4 ) s 2 = ( s l 。o h ) = ( s , o o h ) o o h ( 2 2 5 ) 第二章灰度空间的前处理 图2 - 1 9 在占f ：使用算子o h 进行o p e n 操作的结果 f i g2 1 9o p e nr e s u i t 。fs i 。w i t h 。p e r a t o r 以 最后通过公式( 2 - 2 6 ) 得到垂直定位线，如图2 2 0 。 5 v = 墨一s 2 ( 2 - 2 6 ) 图2 2 0 最终提取的垂直定位线 f i g 2 - 2 0f i n a le x t r a c t i o nr e s u l to fv e r t i c a il i n e s 将提取到的水平定位线和垂直定位线进行合成，得到最后的定位线，如图 2 2 1 。 s g = s h + s 。 ( 2 - 2 7 ) 华南理工人学工学硕士学位论文 2 2 4 定位线的去除 图2 - 2 1 是终提取的定位线 f i g 2 - 2 1f i n a le x t r a c t i o nr e s u l to f g i r d s 从图2 2 1 中看出，定位由于最终提去的定位线中包含若干具有线性特征的噪 声，所以不能用来直接作为去处定位线的依据，采用如下方法： s b = o s t u ( s g ) s 。= s ba s g( 2 2 8 ) s ，2s s ” 图2 - 2 2 s g 二值化结果 f i g2 2 2b i n a r i z a t i o nr e s u l to fs g 第二章灰度空间的前处理 图2 2 3 定位线的灰度图象s 。 f i g 2 - 2 3g r e yl e v e li m a g eo fs 。 图2 2 4 去除定位线的最终结果 f i g 2 2 4f i n a lr e s u l to fb a s e l i n er e m o v a l 其中，s b 为对定位线提取结果5 9 采用o s t u 方法进行二值化的结果，s m 为将 s g 和s b 按照与运算进行图像合成的结果，原图s 减去s m ，我们的到最终提取定 位线的图像。 2 2 5 定位线去除后的信息复原 定位线会干扰识别；l 上方与1 接触的定位线有可能导致1 、7 误识，7 下方 华南理工大学_ t 学硕士学位论文 的定位线有可能导致7 、2 误识。因此， 时，应当考虑到去除定位线的副效果， 致识别引擎识别失败。 提交识别引擎前需要将定位线去除。同 某些情况下定位线造成的信息丢失会导 蹿叫茂嘲礤鬻御钎 p 一一_ # q ： 蠹彰，感u 臻裕；繁u 铒 嚣琶霸哮寥1 用r 下 奄鬈i 撼u 。u 珏。i 图2 - 2 5 定位线去除造成信息丢失 f i g2 2 5s i d ee f f c c tc a u s e db yb a s e l i n er e m o r a l 目前已有一些数学形态学方法针对字符中出现的断裂进行信息复原“3 “1 ，系 统实现过程中参考了y e 等提出的基于灰度形态学的方法【”1 ，其基本思想如下： t = o s t u t h r e s h o l d ( s s ) w 一叭s w i ( x m y ) 矿勰1 q 也 团田田 图2 2 6 用来恢复信息的形态学结构元素 f i g 2 - 2 6s t r u c t u r ee l e m e n t so fi n f o r m a t i o nr e s t o r a t i o n 其中t = o s t u t h r e s h o l d ( s ，) 为采用o s t u 二值方法获得定位线去除图像的二 值化门限值，d 。为图2 2 6 所示进行复原的结构元素，其基本思想是采用二值化 门限值发现可能存在的信息缺损点，并通过结构元素d 。进行信息复原。 实验中发现，由于机票票价部分背景复杂，噪声影响严重，o s t u 二值法对噪 声点的控制不如n i b l a c k 方法精细，上述方法效果并不理想，存在较多的误判 点。在上述算法基础上作如下改进：设根据定位线去除过程确定的定位线区域 为b s = s ，c x ，y ，= 。s 工l ，( ，x ，, y ) 砬矿。x ，y ) n 。( 施x , 。y ，w ) 缸a n 。ds ，( x ，y ) b c z 。， 第二章灰度空间的前处理 其中n ( x ，y ) 为n i b l a c k 二值算法在( x ，y ) 点的二值化门限值。 涔铲翱烈姹峨钾 瓣4 ，一鐾o 蒜舔o 镬 鬻幕胃寥气衍 髫警量叠舀。翻l j l1 图2 2 7 信息复原结果示意 f i g2 2 7r e s u l to fi n f o r m a t i o nr e s t o r a t i o n 经过上述处理后，由于定位线去除造成的信息缺损得到一定程度的恢复，为 切分后将单个字符提交识别引擎做好准备。 2 3 本章小结 本章详细讨论了二值化的定义，在课题组前期工作的基础上，讨论了o s t u 、 n i b l a c k 、b e r s e n 、e i k v i l 四种二值算法，并在字符识别区域对后三种局部阈值 二值方法进行比较，得出在票价区域采用l w i n d o w ：2 0 、s w i n d o w = 3 并结合中值 滤波的e i k v i l 效果最好的结论。 数学形态学在本课题中被应用于定位线的提取和去除，在本章末尾，为解决 字符跨定位线去除定位线造成的信息损失，给出了基于形态学的信息复原方法。 华南理t 大学上学硕士学何论文 第三章票价字符串定位切分算法 票价字符部分是用户要求识别的信息，识别引擎所能处理的为已经切分完毕 的单个字符的二值图像。因此在提交识别引擎之前，需要进行票价字符串的定 位和切分。 票价定位切分包括以下两步： 票价字符串的定位( 字符串行列定位) ，即确定待识别的票价字符串在票 面的位置； 单个字符的切分定位，将已定位票价字符串切分识别引擎能够处理的单 个字符； 3 1 定位算法对前处理的要求 为保证字符切分定位算法的相对独立性，我们要求在进行字符串定位切分算 法前，前处理应该完成以下工作： 謦舀蟊 。鼬8 斜秘_ 豫_ 雾谢渖褥簿饔瓣孵室隋一蜊 羹篙絮意毛“i 一“一一一贯曩 蓑擎。斗、一 鬻一一_ 4 辫燃祷伊一 麓瞧懋粼一_ 一 图3 i 票价定位区域 f i e3 1p r i c ez o n eo fc o u p o n 去除定位线。图31 中自左向右存在五条定位线。定位线初衷为规范书 写或打印位置，如票价按照定位线规范打印，可以采用第一、二定位线 定位。但由于实际打印设备精度限制，票价经常出现如图所示的跨过定 位线的情况，作为无用信息，需去除，否则会影响字符行列定位； 去除辅助晓明信息。图31