（模式识别与智能系统专业论文）票据自动处理系统中的预处理技术研究.pdf

博：七论文 票据自动处理系统中的预处理技术研究 摘要 金融票据自动处理系统以其较高的学术价值和应用价值越来越受到国内外 众多著名研究机构以及学者的广泛重视。票据图像的预处理是字符识别的前提和 基础，预处理效果的好坏将直接影响到系统的整体性能。目前的研究和应用表明， 预处理效果的不理想已成为识别错误的主要原因之一。因此研究如何提高预处理 后字符图像的质量对于提高系统的整体性能具有极其重要的意义。 本文以金融票据为研究对象，主要对预处理过程中的一些核心技术进行研究 和改进，并取得了一定的成果。 针对票据图像中普遍存在的笔画与表格框线交叠的现象，提出了直接利用图 像灰度信息的灰值线检测与去除算法。在直线检测过程中设计了灰度图像中的 h o u g h 变换来精定位直线的两条边沿；在去直线过程中对边缘特征进行分析，采 用基于保护区的策略将线去除。在支票一1 - 的试验表明该算法是有效的。 票据图像背景复杂，直接选取闽值比较困难。提出了利用形态学算法检测笔 画双边缘的方法以及两种二值化算法：f 1 ) 从图像分割的效果评价角度出发，结 合字符图像的特点提出了利用递归过程选取闽值的方法。在每一次的递归过程 中，由最大方差阈值去除图像中最亮的类，直到图像中只剩下最黑的一类目标 ( 字符) 。( 2 ) 通过灰度和双边缘特征分析进行二值化。灰度值描述了像素自身 的特性；双边缘描述了像素在局部窗口内的相对特性。通过二维直方图内的投影 变换，目标和背景对应的峰更明显，闽值选取变得较容易。采用视觉效果和识别 效果两种评价方式与常用的5 种文档图像二值化算法进行比较，结果表明了提出 的两种算法更有效。 针对票据中大量的数字串填写在定位格内的情况，提出了一种新的数字分割 方法。该方法将数字粘连划分为过渡粘连和共用粘连两种方式。对于第种粘连， 首先由上下轮廓差和结构点确定候选分割点，再依据数字的左右边缘差、纵向开 口深度和结构点对结果进行修正；对于第二种粘连，则直接依据结构点进行分割。 对6 2 2 个粘连字串的平均分割成功率为9 2 2 8 。 最后本文给出了一个基本的后督手写支票自动处理系统，主要对其中的一些 图像处理和模式识别技术进行了简单介绍，该系统已经在实践当中得到了使用， 取得了良好的效果。 关键词：票据图像处理；直线检测：直线去除；边缘检测：二值化；手写体数 字串分割：字符识别； 摘要 博士论文 a b s t r a c t p r o c e s s i n gf i n a n c i a ld o c u m e n ta u t o m a t i c a l l yi sav e r yi m p o r t a n tt o p i c ，a n dh a s b e c o m eo n eo ft h em o s t p r o m i s i n g c o m m e r c i a l a p p l i c a t i o n s o f h a n d w r i t i n g r e c o g n i t i o n t h ep r e p r o c e s sp r o c e d u r e i sac r i t i c a lp a r ti nt h es y s t e ms i n c ea n ye r r o ri n t h i ss t a g ew i l lp r o p a g a t et oa l ll a t e ra n a l y s i s r e s e n tr e s e a r c h e sa n d a p p l i c a t i o n ss h o w t h a tm a n yr e c o g n i t i o ne r r o r sa r ec a u s e db yp o o rq u a l i t yi m a g e s a n dr e s e a r c h e so n h o wt oi m p r o v et h eq u a l i t yo fc h a r a c t e ri m a g e sb e f o r et h e ya r es e n dt ot h er e c o g n i t i o n e n g i n e a r ev e r y s i g n i f i c a n c e i nt h i sd i s s e r t a t i o n ，s e v e r a lk e y t e c h n i q u e si np r e p r o c e s sp r o c e d u r e a r ed i s c u s s e d c h a r a c t e r s u s u a l l yo v e r l a p w i t ht h e p r e p r i n t e d f o r mf r a m e l i n e s ，c r e a t i n g t r e m e n d o u sp r o b l e m sf o rt h er e c o g n i t i o n e n g i n e s t h e s e l i n e sa r ed e t e c t e da n d r e m o v e dd i r e c t l yb a s e do ng r a yl e v e l i m a g e s ，t h et w ob o u n d a r i e so fal i n e a r e d e t e c t e db yt h eg r a yl e v e lh o u g ht r a n s f o r m ，a n dl i n e sa r er e m o v e db yd i f f e r e n t o v e r l a p p i n gt y p e so f c h a r a c t e r sa n dl i n e s e x p e r i m e n tr e s u l t so nr e a ll i f ec h e c k i m a g e s d e m o n s t r a t et h ee f f i c i e n to fo u ra l g o r i t h m 。t h er e c o g n i t i o nr a t ei s i m p r o v e df r o m 7 5 9 t o9 1 4 c h a r a c t e r s e x t r a c t i n gr e p r e s e n t s a n i m p o r t a n tc h a l l e n g e i nt h ef i e l do ft h e a u t o m a t i cf i n a n c i a ld o c u m e n tp r o c e s s i n gs y s t e m d i f f i c u l t i e sd e r i v em a i n l yf r o mt h e d i f f e r e n tt y p e sa n d p o s i t i o n so f t h e s e a li m p r i n t s ，w h i c ha r eo f t e nd a r ka n ds t r o k e l i k e t os o l v et h i s p r o b l e m ，a s t r o k e sd o u b l e e d g e d e t e c t i o nm e t h o db a s e do n m o r p h o l o g i c a lm e t h o d a n dt w ob i n a r ya l g o r i t h m sa r ep r o p o s e d ：( 1 ) t h ed e wr e c u r s i v e t h r e s h o l d i n ga l g o r i t h mi sb a s e d o nt h er u l ew h i c hc a ne v a l u a t et h es e g m e n tr e s u l t sb y r e s i d u a l i m a g ea n a l y s i s i t c o n t i n u e sr e m o v i n gt h eb r i g h t e rb a c k g r o u n df r o mt h e i m a g eu n t i lo n l y t h ed a r k e s to b j e c t s ( c h a r a c t e r s ) a r el e f t ( 2 ) t h es e c o n db i n a r y a l g o r i t h mi sb a s e do n t h ea n a l y s i so fg r a y m d ec o o c c u r r e n c em a t r i x a n dg r a y d e s c r i b e sp i x e l so w nf e a t u r e ，m d ed e s c r i b e ss t r o k e sl o c a l f e a t u r e e x p e r i m e n t s d e m o n s t r a t et h ee f f e c t i v e n e s so ft h et w op r o p o s e dm e t h o d sa sc o m p a r e dw i t hf i v e o t h e rc o m m o nu s e db i n a r ym e t h o d si nb o t hs u b j e c t i v e ( b yv i s u a l ) a n do b j e c t i v e ( b y r e c o g n i t i o 小w a y s ， h a n d w r i t i n gn u m e r a ls e g m e n t i sah a r db u ti m p o r t a n tt a s ki na i ro c r s y s t e m a c e r t a i ns e g m e n tm e t h o df o rh a n d w r i t i n gn u m e r a ls t r i n g si nf o r mf r a m e si sp r o p o s e d u s u a l l y , t h e r e a r et w oc o n n e c t e d t y p e s f o rn u m e r a l si nf o r mf r a m e s ： t r a n s i t i o n c o r ! n e c t e dt y p e ( c o n n e c tb yal o n gh o r i z o ns t r o k e ) a n ds h a r e c o n n e c t e dt y p e ( c o n n e c tb ys h a r i n go n ep e r i o ds t r o k e ) f o rt h ef o r m e rt y p e ，w ef i r s t l y d e t e c tt h e i i 博士论文票据自动处理系统中的预处理技术研究 i l c a n d i d a t es e g m e n tp o s i t i o n sb a s e do nl o c a lc o n t o u rf e a t u r e s ，a n dt h e ns e l e c tab e t t e r p o s i t i o na c c o r d i n gt o a2 - c a t e g o r i e sc l a s s i f i e r f o rt h es h a r e c o n n e c t e d t y p e ，w e s e g m e n tb ya n a l y s i st h ec o n t o u rf e a t u r e s o nt h eb a s i so ft h e k e yt e c h n i q u e s m e n t i o n e d a b o v e ，ap r a c t i c a l h a n d w r i t i n g c h e c kp r o c e s s i n gs y s t e mi ns u p e r v i s ei sb r i e f l yi n t r o d u c e d i th a sb e e n a p p l i e d i np r a c t i c e k e y w o r d s ：f i n a n c i a ld o c u m e n ti m a g ep r o c e s s i n g ；l i n ed e t e c t i o n ；l i n er e m o v a l ；e d g e d e t e c t i o n ；i m a g eb i n a r y ；h a n d w r i t i n gn u m e r a ls e g m e n t ；c h a r a c t e rr e c o g n i t i o n ； 票据自动处理系统中的预处理技术研究 1 1 研究背景 第一章绪论 本文研究的课题背景是金融票据自动处理系统。 当今社会处于高度信息化的时代，面对日益增长、呈指数膨胀的“海量”信 息，人们广泛采用计算机、网络、通讯等信息处理技术来适应日新月异的信息化 世界。传统的以纸为媒介来存放并处理文字、数据和图像等信息的方式已无法适 应信息时代的要求。信息化的必然趋势是信息处理的自动化。通常采用图像采集 设备，如c c d ，扫描仪，数字相机等，将书写者己写好的文字作为图像输入到 经过“训练”的计算机，由计算机自动识别。这种使计算机“认字”的技术称为 光学字符识别( o c r ，o p t i c a lc h a r a c t e rr e c o g n i t i o n ) 或离线( o f f - l i n e ) 字符识别 1 , 2 , 8 - 1 1 , 2 6 。 o c r 是模式识别学科的一个传统研究领域。从5 0 年代开始，许多的研究者 就在这一研究领域开展了广泛的探索 1 , 2 1 。近年来计算机硬件技术的高速发展使 得o c r 在多种实验和应用系统中得到运用 3 - 7 , 1 2 , 1 3 , 2 4 1 ，如邮政编码自动分检系统、 文档自动分类系统、文档自动识别系统、车牌自动识别系统、票据自动处理系统 等。 在o c r 的各种应用系统中，金融票据自动处理系统( 尤其是支票的自动处 理) 以其较高的学术价值和应用价值越来越受到国内外众多著名研究机构以及学 者的广泛重视 1 3 - 2 3 , 2 6 1 。 银行电子化是现代金融的基石，是金融创新的保障。而金融创新意识的增强 将对银行电子化提出更高的要求，促使它朝更新、更广、更深的方向发展。不断 将各种新技术应用于银行日常业务中，提高工作效率，是金融创新的关键。银行 票据( 包括支票、汇票、本票等) 是一种广泛使用的有价证券。作为现代社会的 一种重要结算和流通手段，在国民经济和社会活动中发挥着重要的作用。我国票 据使用总量的增长速度远远高于发达国家，给银行业务带来很大的工作量和压 力。从银行的角度看，票据的处理是一种占用大量人力物力，耗费时问，风险 性很大的手工作业。它包括票据所包含的各种数据信息的处理和票据的合法性验 证。以支票为例，在手工操作时，银行的业务人员不但要通过键盘输入客户的帐 号、大小写金额、开票日期，还要验证支票上多枚印鉴的真伪和金额与密码的正 确性。这要求操作人员业务必须十分熟练，精力必须极为集中，这种苛刻的要求 第一章绪论 博士论文 是难以百分之百达到的。因此利用计算机技术对金融票据进行自动分析、验证、 检索，对于确保金融业务的安全、提高工作效率、减轻劳动强度和增加处理准确 性都具有重要现实意义。 金融票据处理系统的设计涉及到多个方面和多项技术，这其中主要包括与金 融和银行有关的法律及制度，计算机图像处理、模式识别，计算机网络，数据库 技术，密码学及档案管理及检索的有关法律制度。金融票据对于安全可靠性有严 格的要求，处理技术复杂难度大，是国内外学术界和金融界关注的一个研究课题。 本文以金融票据为研究对象，着重讨论了识别系统中的若干核心技术。 1 2 金融票据自动处理的一般步骤 各种金融票据中，以支票的内容最为丰富、处理可靠性要求最高，图l ，21 是一张真实流通的中国建设银行的转账支票，其中处理的对象有汉字、数字和印 童。 图1 2 1 支票示例 金融票据可以看作是一类特殊的表格型文档，它包括了预打印信息和填写 信息( 捌。预打印信息指的是票据的题头等文字信息和表格框线等非文字信息。对 于同一银行内的同一种票据，它的预打印信息的位置和内容应该是一致的。填写 信息指的是票据在流通过程中，用户或银行业务人员填写的信息。如金额、账号、 日期、印章等。 票据自动处理系统的性能不仅仅取决于字符识别引擎的好坏。在进行识别 之前，系统需要辨识出票据的种类，定位字符子图像，检测并去除表格框线，将 填写的信息从背景和噪声中分离，粘连字串的分割，笔画轮廓归并等一系列处理 过程，并且其中任何一步的错误都有可能影响到最终的识别结果。 博卜诒文 票据自动处理系统中的预处理技术研究 不同系统的处理步骤可能并不完全相同，但是一般需要经过以下几个处理 阶段【8 ，1 5 琊, 2 8 - 3 4 ( 图1 t 2 2 ) ： 图像采集 殳备 原始图像数据 图1 2 。2 金融票据自动处理系统的一般流程框图 一 一“ i ( 1 ) 版面分析阶段。 版面分析阶段主要是判别输入票据的种类，并从原始图像中提取需要处 理的子识别域图像。金融票据种类繁多，不同的国家、不同的银行以及不同 的业务一般具有不同格式的票据。通过对图像中的预打印信息的分析，识别 票据的种类，然后根据该种票据的格式在原始图像中定位字符位置，并将含 有字符图像的区域从原始图像中提出【2 9 ，蚓。 ( 2 ) 图像的预处理阶段。 图像的预处理阶段是将子识别域图像转变成可以进行特征抽取的数据 据 瞟8 融 第一章绪论 博十诒文 4 的过程。预处理阶段在实用系统中是很重要的一个阶段，预处理效果的好坏 往往会直接影响到整个o c r 系统的性能。由于原始图像质量，特征抽取方 法以及系统实时性要求等诸多方面的不同，预处理的算法以及预处理的过程 在各个o c r 系统中也不完全相同。通常这一阶段包含框线检测与去除、图 像的二值化、字符串分割、滤波和细化等处理步骤。 在图像预处理阶段，预处理系统首先需要去除图像中的框线等预打印信 息，对结果图像进行滤波，去噪声，根据识别要求进行图像二值化处理，将 图像中的字符提取出来。针对二值处理后的图像，接下来的处理就会包括单 个字符的分割，即将单个字符从二值化后的图像中一个一个的切割出来，以 及对切割出来的字符进行再处理，如对字符进行细化，归正等。 ( 3 ) 特征抽取阶段。 特征按照其生成的方式般分成局部特征、全局特征和结构特征。选择 稳定的、有代表性的特征往往是一个识别系统成功的关键所在。按照统计的 观点，好的特征抽取方法必须满足三个条件：一是抽取的特征相互独立或者 说不相关：二是抽取的特征能有效减小类内距离，增大类间距离；三是特征 向量的维数尽量小。 ( 4 ) 分类阶段。 分类器用事先得到的文法规则或决策函数判别待识字符的类别。获取文 法规则或决策函数的过程称为训练或学习。分类器可分为模板匹配分类器、 统计决策分类器、句法结构分类器、模糊判决分类器、神经网络分类器和逻 辑推理分类器等六种。多分类器融合的方法在实际应用中也常被采用。 ( 5 ) 后处理阶段。 后处理阶段是指o c r 系统在识别出单个字符后，利用上下文信息对识 别结果进行修正的一个阶段。后处理阶段可能不是o c r 系统所必须的，但 如果系统能利用上下文信息，语法以及逻辑，对识别的结果进行修正，往往 能改善和提高系统的整体性能。举例来说，在支票自动处理系统中进行支票 金额识别时，因为绝大多数支票的大写金额和小写金额相互对应，这部分信 息存在着冗余，那么在分别识别大、小写金额后，就可以将这两种金额进行 比较，相互修正结果，而在单独的大写金额识别时，由于金额的书写有较为 严格的语法，那么也可以利用这种语法对单独的大写金额进行识别修正。 以上只是简单说明了一下票据自动处理的一般步骤。一个实际使用的系统往 博士论文 票据自动处理系统中的预处理技术研究 往更为复杂。随着技术的发展，以上的几个阶段从以前的顺序单向执行变成后一 阶段对前一阶段的输出结果具有一定反馈能力的形式，从而使得整体系统更加趋 于稳定和完善。 1 3 国内外研究现状分析 由于票据格式的多样性，以及图像预处理和字符识别的复杂性，使得开发一 套通用的票据自动处理系统非常困难。国际上对银行票据自动处理系统的研究开 始于二十世纪八十年代初期。法国、美国、加拿大、意大利、日本、巴西等国的 研究工作开展得比较深入，取得了重要的成果，目前，已有多个系统在银行进行 实验考核 1 3 - 1 8 , 2 0 - 2 3 。但由于西方发达国家使用的银行票据极不标准，每家银行都 发行各种式样和规格的票据，给票据的自动版面分析带来了巨大的困难。此外， 西方发达国家使用签字作为票据的合法性验证手段，而手写签字的自动识别是模 式识别领域一个至今尚未解决的研究课题。为了对西方发达国家在银行票据自动 处理系统研制方面的工作有所了解，我们选择其中几个具有代表性的系统简介如 下。 f a ) 法国a 2 i a 公司研制的支票自动处理系统。 法国a 2 i a 公司研制的法国支票自动处理系统是一个比较成功的系统。 它的处理速度很高，具有每天处理7 0 0 0 0 张支票的能力，现在该系统已经进 行了大量支票的测试。对1 7 6 0 0 0 张支票的处理结果显示：其手写体大小写 金额的识别率为7 5 时，错识率不超过1 1 0 0 0 0 。这是国际上目前尚不多的、 已经得到实际应用的一个支票自动处理系统。 ( b ) 加拿大c o n c o r d i a 大学的c e n p a r m i 中心研制的支票自动处理系统。 在字符识别领域，加拿大c o n c o r d i a 大学的c e n p a r m i 中心是国际上著 名的研究单位。该中心研制了支票自动处理系统原理样机。在手写体金额的 抽取和分割方面，用2 0 0 张银行支票测试的结果为正确率高于9 8 ，手写金 额识别方面的性能达到了识别率为7 0 时，错识率低于0 8 5 。 ( c ) 美国纽约州立大学c e d a r 中心研制的支票手写体金额自动识别系统。 美国纽约卅立大学c e d a r 中心是字符识别领域国际上最有影响的研究 单位之一。该中心在研究支票中的手写体金额识别系统时，在研究性能优良 的大小写金额分类器的同时，还较好地使用了大小写金额相互验证方法，使 得手写金额的识别达到了很高的性能。在识别率为4 3 8 时，错识率为0 。 第一章绪论 博士论文 目前在我国市场上还没有已完全应用的商业化票据自动处理系统。我国票据 自动处理系统研究工作始于1 9 8 8 年，最先研究的内容是支票印鉴真伪的自动验 证。在手写体金额识别的研究方面，我国的起步较晚，正式报导的文献不多。主 要有： ( a ) 清华大学研制的基于密码校验的支票处理系统。 该系统识别了支票上的小写金额、日期、印刷体帐号和密码，四者满足 一个校验公式。在一定的容忍度下，系统选取最佳的一个金额识别结果。在 2 0 0 0 张支票的实验中，系统的手写小写金额识别率为8 8 7 。 ( b ) 南京理工大学与中创软件联合研制的金融票据索引与督核系统。 该系统主要完成两个功能：根据票面信息建立索引和对前台输入的结果 进行校验。处理的主要是票据中常见的一些识别域：手写体大写金额、定位 格内的手写体小写金额、打印体大小写金额、手写体日期、打印体日期、打 印体字符串等。在2 7 2 9 张真实支票的实验中，系统的手写体金额校验成功 率( 大小写金额均校验成功) 达到了8 9 9 8 。 字符识别是票据自动处理系统的核心部分。票据图像的预处理是字符识别的 前提和基础，预处理效果的好坏将直接影响到系统的整体性能。目前的研究和应 用表明，预处理效果的不理想己成为识别错误的主要原因之一。因此研究如何提 高预处理后字符图像的质量对于提高系统的整体性能具有极其重要的意义。 本文主要对预处理过程中一些核心技术进行研究和改进，如，框线的检测和 去除、图像分割、手写体数字串分割等。 1 4 票据自动处理中的预处理技术 考虑到扫描仪的图像采集速度和价格因素，国内外现有的票据自动处理系统 的研发都趋向于采用灰度或二值图像。 国外学者对票据预处理技术的研究开始于八十年代初期，经过多年的努力己 取得了丰硕的成果，在图像分割、噪声去除以及字符串分割等方面都有重大进展 15 , 1 8 , 2 5 1 2 7 】。我国的票据与国外的票据差别比较大，如国内票据中用于规范用户填 写的框线信息比较多、背景底纹一般较浅、票据流通过程中加盖上去的印章图像 比较多；国外票据中框线信息较少、很多票据背景图案复杂。 针对不同的子识别域图像，预处理过程采用的步骤可能不一样，但核心技术 主要包括直线的检j 1 5 1 4 和去除、图像分割、字串分害g 等。下面对这些技术作一简单 博士论文 票据自动处理系统中的预处理技术研究 介绍。 1 4 1 直线的检测与去除 票据中表格框线的一个主要功能是规范用户的填写。在实际中，用户填写的 内容常常与直线存在粘连或交叠的现象，这严重影响了后期的分割与识别。预打 印直线的灰度一般比较深，很难通过一般的二值化方法去除；若直接将直线擦除， 会出现字符笔划断裂、字符结构发生变化等情况，造成单字的误识和识别可靠性 的降低。因此需要设计一个专门的去直线过程将直线擦除，同时尽量恢复字符的 本来面貌。 直线检测是图像分析领域中最基本的、不断研究探讨的问题之一，常用的一 般方法有【3 5 _ 3 8 ，5 0 ，5 1 】：投影、链码、游程、h o u g h 变换、u p r i g h t 。其中较为成熟的 算法是h o u g h 变换及其改进算法 4 ”，如概率h o u g h 变换算法p h t ，随机h o u g h 变换算法r h t 。h o u g h 变换具有稳定性和抗干扰性好的特点，能检测图像中任 意方向直线，即使直线在噪声干扰下，表现为一些断续的点，h o u g h 变换也能把 它检测出来，适用于其它方法难于检测的场合。但由于难以确定直线的起点和终 点，运算量过大，它在具体的工程实践中的应用却受到了限制。表格中的框线绝 大多数集中在水平和垂直两个方向，我们可以通过减少参数的搜索范围来大幅度 地减少运算量。投影法抗图像倾斜的能力有限，当图像出现较大角度的倾斜时， 算法就会失效。 矢量化算法是另一类应用较广的直线检测算法 4 1 , 4 2 , 5 2 】。直接对光栅图像的各 个像素进行处理，存储量大，而且因为不能利用像素间的位置关系，很不方便。 而矢量化过程作为目标识别的预处理过程，将输入的光栅图像转化成矢量基元 ( 比如直线段、圆弧段等等) 。因为矢量基元的选择决定了目标检测算法的性能， 所以它必须容易提取、大小合适、反映持检测目标的最本质的特性。文献【5 2 构 造了一种有向单连通链的图像结构作为直线检测的矢量化基元，它具有定义简 单，物理意义明确，易于检测、存储和处理等优点。在一定约束条件下合并有向 单连通链，可以快速、准确地提取直线。 字符笔画与直线之间存在相离、相割、相交和包含等几种位置关系( 图1 4 i ) 。 相离关系( 图a ) 容易解决，可以直接去除直线；相割关系( 图b , c ) 中字符笔画部分 重叠在直线上，去除直线可能影响字符笔画的宽度或长度，不会对字符的结构产 生影响：包含关系( 图d ) 中字符横笔画完全淹没在直线中，没有明显的物理特 征可以利用，加上交叠形状千变万化，若没有其他特定的先验知识，从二值图像 中恢复该笔画有很大的难度：字符笔画与直线相交( 图e ) 是最常见的情况，在交 第一章绪论 博士论文 叠处直线的宽度明显增加。 量上上牟早 ( a )( b )( c )( ( e ) 图141 字符笔画与直线的几种位置关系( 深色为笔画，浅色为直线) ( a ) 相离：( b c ) 相割；( d ) 包含：( e ) 相交： 现有去直线算法大致可分为两类。第一类先直接去除直线，再对断裂的笔画 进行修补【3 7 , 3 9 。4 1 , 4 4 - 4 6 , 5 0 。先抹去直线，再根据直线附近字符笔画的局部特性，比 如笔画走向、连通性等，将缺损的笔画补齐。y u 等人【4 i 】利用被直线截断笔画的 两段切口上的像素进行线性插值，对断裂的部分修补。y e 等人盼4 0 】贝0 采用形态 学算子对图像进行恢复。这类算法有一局限性，抹去直线后很多有用的局部信息 已经丢失，即使利用剩余笔画的走向和连通性也很难恢复。 第二类先标记笔画，再去直线。对笔画和直线交叠处的局部图像区域做分析， 标记出笔画像素，然后只抹去属于直线的像素，保留属于笔画的像素 4 “9 “。胡 和郑 5 1 利用线宽在字线相交处会增大这一特征设计了线宽阈值法，将小于平 均线宽的直线去除。t s e n g c 4 7 】采用跟踪笔画的走向保留像素。y o o l 4 8 依据笔画和 直线的交叠形状判断出属于笔画的像素并予以保留。 现有的线检测与去除算法大都是基于二值图像的，很多信息在二值过程中已 经丢失。本文提出了直接利用图像灰度信息进行直线检测与去除的算法，实践中 获得了较好的效果。 1 4 2 图像二值化 图像二值化是图像处理中的主要问题，也是计算机视觉领域低层次视觉中的 主要问题，同时它又是一个经典难题。由于问题的重要性和困难性，从七十年代 起图像二值化问题就吸引了很多研究人员为之付出了巨大的努力。但是到目前为 止还不存在一个通用的方法，也不存在一个判断分割是否成功的客观标准。 文档图像是一类特殊的图像，关于它的二值化技术已经有相当多的研究成果 5 3 - 5 5 3 。目前，文档图像的分割技术大致可分为全局处理和局部处理两大类。全局 技术阮5 6 ，5 7 ，5 9 ，6 7 + 删主要是依据灰度直方图中的峰一谷特性选取阈值，认为图像 中灰度值在同一个灰度区间内的像素属于同一个物体。也有一些对边缘及灰度直 博论文 票据自动处理系统中的预处理技术研究 方图分布进行分析的方法。l i u 和s r i h a r i 6 9 提出了基于纹理特征分析的方法。 c h e r i e t 等人【67 】则对最大方差法进行了扩展，提出了递归的阂值选取算法，并在 国外支票图像上获得了较好的效果。这类方法的缺陷在于它仅仅考虑了图像的灰 度信息，而忽略了图像中的空间信息，当图像中不存在明显的灰度差异或各物体 的灰度值范围有较大重叠时，通常难以获得令人满意的效果。并且这类方法大都 必须预先知道灰度直方图中含有的峰的个数。 局部技术 5 8 , 7 0 - 7 2 1 主要是考察像素的局部信息，由此确定局部闽值进行分割。 这些局部信息通常有灰度值、梯度值、边缘信息、笔画信息以及相邻和聚类信息。 其中基于边缘信息的方法是人们研究的较多的方法 7 6 , 7 7 ，它试图通过检测包含不 同区域的边缘来解决图像分割问题，基于在不同区域之间的边缘上像素灰度值的 变化往往比较剧烈。这类方法一般利用图像一阶导数的极大值或二阶导数的过零 点信息来提供判断边缘点的基本依据。根据检测边缘所采用的方式的不同，边缘 检测方法大致包括以下几类1 5 5 ：基于局部图像函数的方法，图像滤波，多尺度方 法，基于反应一扩散方程的方法，基于边界曲线拟合的方法，主动轮廓法。局部 方法能够去除渐变的背景，但是对于图像中存在强边缘背景( 我国票据图像中主 要为印章) 的情况处理效果不好。基于笔画模型分析的方法【5 8 , 7 2 , 8 1 】能够去除图像 中的大块背景，却仍然不能解决背景复杂的情况。 还有一些其它的二值化方法，如基于马尔科夫随机场的方法、区域增长的方 法、水线算法、最小描述长度法等。 我国票据图像的背景复杂 6 “，主要由纹理、定位格线、印章和各种噪声组成， 其中图像中的印章是导致二值化困难的主要因素之一。对于这种复杂背景下的票 据图像二值化问题，现有的方法都不能获得理想的效果，因此该问题也一度成为 票据自动处理系统中的瓶颈问题。我们从文档图像中目标的结构特点入手，提出 了阈值递归选取算法和灰度一双边缘直方图分析算法，在实践中均获得了较好的 效果。 1 。4 3 手写体数字的分割 随着字符识别的应用领域不断扩展及分类器单字识别能力的提高，字符粘连 问题己变得突出起来，字符分割技术逐渐成为研究热点。当前，对粘连字符识别 不准确是产生识别错误的主要原因之一，分割粘连字符成为提高识别率的一项关 键技术。 根据字符粘连的具体形态，可将粘连分为以下几种基本类型f 9 5 、9 6 ，m 1 0 9 l ： 简单粘连。指字符相互接触但最小外接矩形没有重叠的孝占连。如果粘连位置被准 第一章绪论 确的检测到，采用垂直切割的方法可以将图像分成两个包含完整字符的子图像。 交错粘连。这是一种逻辑上的粘连情况。两个字符的黑像素区并没有接触，分 别属于不同的连通区，但最小外接矩形存在重叠现象，垂直切割法不能将两字分 开。复合粘连。这种粘连同时具备以上两种粘连的特点，既存在相互接触，也 存在字符最小外接矩形重叠。采用简单的垂直切割会使字符断裂比较严重。重 叠粘连。重叠是最复杂的粘连情况，相互粘连的字符共享某一部分笔画，由于重 叠区域的情况各异，处理起来难度很大。 目前关于手写数字分割的方法有很多 9 5 - 1 0 1 , 1 0 9 , 1 1 0 ，常用的有基于投影和轮廓 特征的方法、基于结构特征的方法和基于识别反馈的方法。其中，基于识别反馈 的方法采用识别结果的可信度作为分割效果的度量，获得了较好的效果。它一般 先通过图像分析的方法得到并筛选出一些可能的分割位置，然后通过后期识别的 方法选取合理的分割结果。但是这种方法存在两点不足： ( i ) 由于是多次分割，多次识别，因此计算量较大： ( 2 ) 可信度选取困难，有时可信度并不能真实反映识别的可靠程度，从而导 致分割失败。 文献 1 0 6 1 采用基于参考字符主轴方向的分割算法对定位格内的粘连数字进 行分割。首先计算表格内孤立数字的主轴方向，以此作为分割方向。再根据垂直 交截线长度确定最佳分割位置。最后在最佳分割位置处，沿分割方向将粘连分开。 该算法考虑了手写数字存在倾斜的情况，因此比基于垂直方向的分割方法更有 效。但是这一方法分割质量不高，许多分割后的数字都带有“尾巴”，严重影响 后期的单字识别。 h u is u 等【1 9 , 1 0 7 针对支票中定位格内的小写金额，提出了基于识别方法为主， 结合运用剖分方法和全局识别方法的多策略分割方法。对于粘连数字较少的字 串，首先确定候选分割点，再通过识别进行分割；而对于粘连数字较多的字串， 直接用全局投影进行分割。相对于识别反馈的分割方法，该方法运算量大大降低， 但是对于有n 个字的粘连，仍需最多3 ( n - j ) 次识别过程。 在票据图像中，很多数字串都是被填写在预先印制好的定位格内的，因此相 对于无格数字串，粘连的情况较少，而粘连方式的分布也有所不同。同时这些定 位格也为分割提供了大量的先验信息 1 0 ”。我们提出了参照定位格位置的手写体 数字串分割方法。 博士论文 票据自动处理系统中的预处理技术研究 1 5 本文研究工作概述 本文对票据自动处理系统中的一些关键性预处理技术作了一些探索和研究， 主要的工作和研究结果包括： 提出了基于灰值分析的直线检测算法。票据图像中存在大量的表格框线，它 们一般由有一定约束关系的横线、竖线和少量的斜线组成。本文的直线检测 过程直接在灰度图像上进行，具体分粗定位和精定位两步。粗定位过程不考 虑直线的宽度，只需获得直线的初始位置；精定位过程则需要检测出直线的 精确位置，包括直线的两条边沿。在精定位过程中设计了加权h o u g h 变换算 法，在实践中获得了较好的效果。 提出了一种基于相交点对分析的直线去除算法。实际应用中字符常常与图像 中预先打印的直线存在粘连或交叠，这对于后期的字符串分割与识别将产生 较大的影响。本文首先从笔画与直线相交点对的分析入手，将交叠方式归纳 为穿透方式和未穿透方式两种，然后针对每一种相交方式分别设计不同的去 线策略。对5 0 0 个与直线相交的单字进行去线实验，去线成功率为9 2 4 。 对1 2 2 5 张支票中的小写金额串进行识别实验，完全无交叠情况( 4 1 9 张) 时 的整串识别率为9 2 6 ，存在一个或多个字符与框线交叠情况( 8 0 6 张) 时 的整串识别率为9 1 4 。 提出了笔画的形态双边缘( 彻) 和线性形态双边缘( l m d e ) 的检测算法， 并利用检测到的双边缘对字符图像进行增强，使目标与背景的区别更明显。 文档类图像中的目标主要是字符、表格、图形等，它们都具有很好的双边缘 性。以往的检测算法比较复杂，检测精度不高。借助形态学的检测方法不仅 实现简单，而且检测到的双边缘更平滑，描述也更合理。基于多方向响应的 l m d e 检测能够同时获得双边缘的幅度和方向描述。 提出了字符图像分割的递归阈值选取算法。票据图像的二值化是目前公认的 一个难题，也是票据自动处理系统中非常关键的一步，对系统的整体性能有 直接影响。在图像背景比较复杂的情况下直接选取二值化阈值比较困难，我 们结合字符图像的特点提出了利用递归过程选取阈值的方法。在每一次的递 归过程中，由最大方差阈值去除图像中最亮的一类，直到图像中只剩下最黑 的一类目标( 字符) 。少部分图像中目标和背景的灰度存在重叠，因此在双 边缘增强后的图像上进行二值处理的效果更好。采用视觉效果和识别效果两 种评价方式与常用的5 种文档图像二值化算法进行比较，结果证实了提出的 算法更有效。 提出了基于g r a y - m d e 二维直方图分析的文档类图像二值化算法。图像中 第一章绪论 博士论文 的目标像素可以采用二元组( g r a y , m d e ) 来描述，其中g r a y 是灰度值， 它描述了像素自身的特性；m d e 指形态双边缘值，它描述了像素在局部窗 口内的相对特性。通过二维直方图内的投影变换，目标和背景对应的峰更明 显，闽值选取变得较容易。采用视觉效果和识别效果两种评价方式与常用的 5 种文档图像二值化算法进行比较，结果证实了提出的算法更有效。整串识 别率较其它方法提高一倍以上。 在票据手写数字串分割中，提出了定位格内的手写体数字串分割算法。数字 串的分割是数字识别中一项十分关键但又非常困难的工作。在许多的应用 中，数字串都被要求填写在预先印制好的定位格内，而目前的分割算法都是 针对无格数字串的。根据定位格内粘连数字串的特点提出了一种新的数字分 割方法。该方法将数字粘连划分为过渡粘连和共用粘连两种方式。对于第一 种粘连，首先由上下轮廓差和结构点确定候选分割点，再依据数字的左右边 缘差、纵向开口深度和结构点对结果进行修正；对于第- - e e 粘连，则直接依 据结构点进行分割。对6 2 2 个粘连字串的平均分割成功率为9 2 ，2 8 。 最后，本文给出了一个由我们与山东中创软件集团的合作项目后督手写支 票自动处理系统，主要介绍图像处理和模式识别技术在系统中的应用，包括 识别要素的定位，大写金额字符串的分割，小写金额字串的分割和去噪，无 限制手写体大写金额字符的识别，无限制手写体阿拉伯数字的识别等。该系 统已经在实践当中得到了使用，取得了良好的效果。 1 6 本文的内容安排 本文共分五章。 第一章首先介绍了票据自动处理系统的研究现状及一般的处理过程，然后对 系统中的一些核心预处理技术进行了概述。 第二章提出了一套票据图像中框线检测和去除算法。直接在灰度图像中进行 投影和加权h o u g h 变换获得直线的两条边沿，然后通过笔画和直线相交点对的 分析确定相交方式，最后选取不同的去线策略将直线擦除。 第三章讨论了票据图像的二值化。提出了利用形态学检测图像中笔画双边缘 的方法和两种票据图像= 值化算法：递归阈值选取算法和基于g r a y - m d e 二维 直方图分析的算法。通过对实际票据的实验和不同二值化方法的效果比较验证了 两种算法的有效性。 博二仁论文票据自动处理系统中的预处理技术研寅 第四章主要论述了定位格内的手写数字串分割方法，给出了粘连字串分割的 实验结果。 第五章是一个基本的的后督支票自动处理系统的设计实例。目前该系统己在 国内多个营业网点内进行试点。 管二妾甚千前值拜新的框绊榆删与妻睦 博士论文 第二章基于灰值分析的框线检测与去除 2 1 引言 表格型文档已被广泛地应用在国民经济和日常生活的各个方面，实现其自动 输入、存储和管理将具有极其重要的现实意义。在这类文档中，人们输入的信息 被规范在由预先印制好的表格框线( f o r mf r a m el i n e s ) 或定位线( b a s e l i n e s o rs t a f f l i n e s ) 所指示的区域内。这些简单的直线对于文档自动处理系统以及o c r 系统中 的文档种类辨识、版面分析、识别要素区域的定位等处理过程都提供了强有力的 帮助。但是在实际应用中，字符又往往会与这些直线存在粘连或交叠。这对于后 期的字符串分割与识别将产