（计算机应用技术专业论文）文档影像图像处理中的纠偏与降噪研究.pdf

浙江大学硕士学位论文 摘要 摘要 近年来，随着办公自动化即o a 系统的广泛使用，档案载体迅速地被磁盘、 磁带、光盘所取代或更替。文档影像管理系统通过档案数字化，将票据、单证、 文件和档案资料等转换成电子影像信息，存储并索引至光盘或硬盘，用以代替纸 张等传统的存储方式，实现档案的数字化存储、管理与维护，提供数字档案信息 的网络传输和利用服务。文档影像管理系统在银行业、保险业、政府机关、邮电、 医院与教育行业都有广泛的应用，所以文档影像管理系统的研究不仅是一个极具 实际意义的课题，而且有着良好的应用发展前景。 数字图像处理的结果将形成最终的数字化馆藏，可以说图像处理的质量决定 了数字化档案的质量。文档影像系统需要图像处理的问题分两方面：一方面是图 像优化，也就是优化扫描图像质量，如降噪，纠偏、去黑边等，一方面是满足特 定需求，如处于安全性考虑进行数字水印处理等。本文研究的是第一方面，也就 是文档影像系统图像增强中的两个问题：纠偏与降噪。纠偏有分为两个方面：图 像纠斜与文本居中。本文提出了基于文本行直线拟合计算文档影像倾斜角度的算 法和基于文本区域边界的文本居中算法。文档影像中的噪声( 杂点) 属于单极脉 冲噪声，很多杂点存在于文档影像的“字里行间 中。针对这些特点，本文提出 了基于分块快速去除杂点的算法以及为了满足更高影像质量的要求而提出能较 大程度去除“字里行间杂点的基于杂点邻域的降噪算法。最后展示了应用本文 中提出算法的一个原型系统。 关键词：文档影像，图像处理，降噪，纠偏 浙江大学硕士学位论文 a b s t r a c t a st h ew i d e l yu s eo fo as y s t e m ，t h ec a r d e ro fd o c u m e n ti sq u i c k l yr e p l a c e db y m a g n e t i cd i s k ，m a g n e t i ct a p ea n dc d t h ed o c u m e n ti m a g es y s t o mt u r nt h eb i l l s ，n o t e s ， f i l e sa n dd o c u m e n t si n t od i g i t e di m a g e s ，k e e pa n di n d e xt h e mi n t ot h ec do rm a g n e t i c d i s kb yt h ew a yo fd o c u m e n td i g i t i z a t i o n i nt h i sw a y , t h ed o c u m e n ti m a g es y s t e m r e a l i z e s t h ed i 西t a ls t o r a g e , a d m i n i s t r a t i o na n dm a i n t e n a n c eo ft h ed o c u m e n ta n d p r 0 讥d e st h en e t w o r kt r a n s f e ra n du t i l i z a t i o n t h ed o c u m e n ti m a g es y s t e mi su s e di n t h ea r e ao fb a n k , i n s u l a n c e ，g o v e r n m e n t ，c o m m u n i c a t i o n ，h o s p i t a la n de d u c a t i o n w i d e l y s o ，t h er e s e a r c ho fd o c u m e n ts y s t e mn o to n l yi sam e a n i n g f u lq u e s t i o nb u ta l s o h a sag o o dg r o wf o r e g r o u n d t h er e s u l to ft h ed i g i t a li m a g e sp r o c e s s i n gf o r m st h ef i n a ld i g i t a ls t o r a g e s ot h e q u a l i t yo ft h ei m a g ep r o c e s s i n gd e t e r m i n e st h eq u a l i t yo ft h ed i 【g i t a ld o c u m e n t t h e p r o b l e m st h a tt h ed o c u m e n ti m a g es y s t e mn e e d st od e a lw i t hc a i lb ed i v i d e di n t ot w o a s p e c t s ：t h eo n ei s t h eo p t i m i z a t i o no ft h ei m a g e s ，a sn o i s ee l i m i n a t i o n , s k e w c o r r e c t i o n ；t h eo t h e ro n ei st h es p e c i f i cr e q u i r e m e n t ，a st h ed i g i t a lw a t e r m a r k t h i s a r t i c l ed e a l sw i t ht h et w op r o b l e mo fi m a g eo p t i m i z a t i o n ：s k e wc o r r e c t i o na n dn o i s e e l i m i n a t i o n t h i sa r t i c l ep r o v i d eat e x t r o w l i n eb a s e dm e t h o dt oc o m p u t e rt h es k e w a n g l eo ft h ed o c u m e n ti m a g e sa n dat e x t a r e ab a s e dm e t h o dt oc e n t e rt h et e x ta r e a t h i sa r t i c l ea l s op r o v i d e sab l o c kb a s e dm e t h o dt ow i p et h en o i s ep o i n t sa n da n e i g h b o r - a r e ab a s e dm e t h o dt ow i p et h ep o i n t sb e t w e e nt h ew o r d s a tt h ee n d ，t h e a r t i c l eg i v e sap r o t o t y p es y s t e m k e y w o r d s ：d o c u m e n ti m a g e ，i m a g ep r o c e s s i n g , n o i s ee l i m i n a t i o n ，s k e wc o r r e c t i o n 浙江大学硕士学位论文 图目录 图目录 图1 1 原始文献的数字化过程流程图2 图1 2 文档影像管理系统市场应用行业分布6 图1 3 文档影像系统图像处理问题解决顺序1 0 图1 4 论文组织结构图1 2 图3 1 横向膨胀前后的影像2 9 图3 2 横向膨胀的流程图：3 0 图3 3 膨胀后按文本影像分割3 0 图3 4 文本区域偏移3 0 图3 5 虚线所描述的是文本区域的边界3 0 图3 6 文本区域上边界3 0 图3 7 文本区域左边界3 0 图3 8 存在黑边的扫描线3 0 图3 9 存在杂点的扫描线3 0 图3 1 0 判断页面上边界的流程图3 0 图3 1l 扉页文本区域居中前后比较3 0 图3 1 2 判断小块文本区域靠上或靠下流程图3 0 图3 1 3 存在偏斜的文档影像3 0 图3 1 4 文档影像纠斜的效果3 0 图3 1 5 文本居中的效果3 0 图4 1 带有杂点的文档影像3 0 图4 2 空白区域和字里行间的杂点。3 0 图4 3 影像分块示意图3 0 图4 4 基于分块快速去除杂点算法流程图3 0 图4 5 杂点附近黑点情况3 0 图4 6 基于邻域去除字里行间算法流程图3 0 图4 7 带有杂点的文档影像3 0 图4 8 字里行间的杂点3 0 图4 9 基于分块去除空白区域杂点实验效果3 0 图4 1 0 基于分块去除空白区域杂点还有一些字里行间杂点3 0 图4 1 1 基于邻域去除字里行间杂点算法效果图。3 0 图5 1 二值黑白图像自动处理工具界面3 0 图5 2 可视微调工具界面3 0 图5 3 二值黑白图像处理工具软件结构图：3 0 图5 4 可视微调工具软件结构图3 0 i v 浙江大学硕士学位论文表目录 表目录 表3 1 文档影像倾斜角度实验结果数据集3 0 表3 2 文本居中实验结果数据集3 0 表4 1 文档影像降噪处理的实验结果数据集3 0 v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得逝望盘堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：壬f 乡杰 签字日期j 夕。口， 年f 月y 日 学位论文版权使用授权书 本学位论文作者完全了解逝鎏盘堂有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆盘鲎可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 年月日 nh。0仆uy 轹 瑚 签 耕 瞅 锢 ， 翮 签 书权授本肌适 日 后 广 黼 铲 坼 姥 功 6 论 ： 年 位 名 矿 籼 雠 时 州 利 刃 密 作 ： 保 文 期 0 论 日 位 字 学 签 浙江大学硕士学位论文第1 章绪论 1 1 文档影像系统概念 第1 章绪论 远古时期，先民们用甲骨记录重要事件；在造纸工艺发明以前，人们以竹笺、 丝帛作为文字的载体；造纸术的发明使人们更轻便、廉价地记录各种信息；跨入 信息时代，人们把文字、图像、声音、数据等各种信息保存在计算机存储设备中。 几千年来，各种档案载体记录下了中华文明和世界文明史。近年来，随着办公自 动化即o a 系统的广泛使用，档案载体逐渐并迅速地被磁盘、磁带、光盘所取代 或更替。 1 1 1 什么是文档影像系统 文档影像管理系统将票据、单证、文件和档案资料等转换成电子影像信息， 存储并索引至光盘或硬盘，用以代替纸张等传统的存储方式，它提供了灵活方便 的检索和管理功能，是实现文档管理自动化不可缺少的好帮手。 档案数字化是指利用高速扫描仪技术、o c r 技术、数字摄影( 录音、录像) 技术、数据库技术、多媒体技术、存储技术等高新技术把各种载体的档案资源转 化为数字化的档案信息，以数字化的形式存储、网络化的形式互相联结，利用计 算机系统进行管理，实现档案的整理、扫描、影像处理、数据归档、影像质检、 影像总检、数据刻录、数据挂接、数据存储、数据分析利用等一系列工作，形成 一个有序结构的档案信息库，及时提供利用，实现资源共享，是档案信息化建设 的重要组成内容。数字档案是传统档案的延伸，是传统档案利用现代信息技术获 得自身发展的产物，档案机构通过档案数字化，形成一个电子化信息的仓储，用 户通过网络可方便地访问，以获得这些信息。也就是说，档案数字化就是实施档 案的数字化存储、管理与维护，以及提供数字档案信息的网络传输和利用服务。 通常一份原始文献的数字化过程可以用流程图( 见图1 1 ) 来描述。 浙江大学硕士学位论文第1 章绪论 文档影像的采集 ( 扫描或数字拍照) 图像处理 ( - - 值化、降噪等) 上 建立索引 上 数据存储 图1 1 原始文献的数字化过程流程图 从图1 1 可以看出，数字图像处理的结果将形成最终的数字化馆藏，因此可 以说图像处理的质量决定了数字化文献的质量。 1 1 2 文档影像系统的组成部分 文档影像管理系统包含有影像输入、影像存储、影像查询与检索和影像输出 等几个部分。系统以扫描的纸质档案图像、全文内容、采编与转换的音视频等多 媒体资料和档案目录为管理对象，利用海量数据库技术、信息处理技术、数据加 密和压缩存储等技术，实现从档案数字化、档案接收、整理编目到档案利用及档 案移交全过程的计算机管理，达到对档案、数据统一管理。 文档影像管理系统的软件由多个分别完成不同功能的程序模块组成，这些模 块分布于网络。共同完成文档影像管理的功能。主要的功能模块有：扫描仪编程 接口( a p i ) 、文档影像录入模块、作业分配模块、文档批扫描模块、文档批处理 模块、文档数据维护模块、光盘库a p i ，远程文档处理模块和调制解器a p i 。 标准文档影像管理系统的主体大致包括以下几个部分： ( 一) 文档扫描通过文档扫描仪，实现从纸质文档生成数字化文档影像的转 换。根据实际需求，可以选择生成二值、灰度或者彩色的影像。由于大 2 浙江大学硕士学位论文第l 章绪论 部分文档是文本文件，所以一般生成二值影像。二值影像由于每个像素 只用一个b i t 表示，所以所需要的存储空间比灰度或彩色图像小很多。 如果后序环节需要对影像进行识别( o c r ) ，一般扫描分辨率的选择不低 于2 0 0 d p i 。 ( 二) 扫描后处理对扫描生成的文档影像进行处理使之满足电子存档的要 求。一般后处理工作主要有纠偏、去噪声( 杂点) 、版面分析、切除无信 息区域以及删除空白页等等。如果文档影像有安全性需求，还要对文档 影像进行数字水印处理，以防止恶意篡改。 ( 三) 数据存储系统的管理对象是大量的，格式是多种多样的，所以系统必 须具备海量存储的支持功能，比如支持对磁盘阵列、光盘柜的存储；同 时系统还要求保证对海量数据访问的高效性；根据数据结构和规模采用 集中式与分布式的存储方式；保证数据的安全性，做好数据备份，能够 使数据从灾难性事件中恢复。 ( 四) 建立索引这是文档影像和与之相关的信息作一一对应的过程。索引的 目的是为了检索影像。建立索引的方式很多，如手工索引、根据条码自 动建立一对一索引、识别后进行全文检索等。比如最常见的期刊论文数 据库有标题、主题、关键字、摘要、全文、作者、第一作者、文献来源 等索引项。索引信息存放在数据库中，以便检索。 ( 五) 信息检索通过文档索引信息实现快速文档影像查询。利用数据库技 术，对海量文档信息进行快速、准确的查找，这是有效使用文档影像的 关键。对于文档的检索查询，系统则综合考虑，设计多种查询方式：1 、 综合查询2 、以文档保存位置为层次的树状浏览3 、限定时间区间后， 以机构和类型为层次的树状浏览。 ( 六) 影像显示文档影像数据进入数据库保存的目的是在需要时查看，所以 图像的显示就显得很重要，由于计算机显示器的大小有限。所以在显示 时就要求灵活的缩放功能，以便操作者能清楚地浏览整个文档。系统也 可以考虑使用大屏幕高分辩率显示器，使显示清楚明了，而不设计缩放 浙江大学硕士学位论文第l 章绪论 功能。由于文档影像保存成二值影像，当缩小显示时，缩小算法不当会 导致信息丢失，所以必须采用灰阶补偿技术来显示缩小的二值影像。 ( 七) 安全管理系统应该具有完善的权限管理控制功能，资料信息除了具有 居于数据库的安全性以外，严密的权限控制和授权功能保证了信息资料 的绝对安全。系统可以将权限分配到部门，或者是人，甚至文件级。进 入该系统的用户可以做什么，不可以做什么，都有一个严格的、明确的 分工。系统管理员或者部门管理员可以进行方便的权限设置和分配。系 统通过日志管理，用户对数据库所作的修改以及对文件的修改和阅读等 情况在服务器上都有详细的记录，可以随时发现有关人员的非法行为。 ( 八) 批量扫描处理批量扫描处理包括批量扫描、远程服务、作业分配、批 量处理、这些功能主要是为集中业务、批量扫描处理以及各功能模块协 同工作而设计的。 扫描仪是文档影像系统的核心设备，其基本原理是通过传动装置驱动扫描组 件，将各类文档、相片、幻灯片、底片等稿件进行光学扫描，然后将光学图像传 送到光电转换器中变为模拟电信号，又将模拟电信号变换成为数字电信号，最后 通过计算机接口送至计算机中，最终形成计算机能识别的数字信号。扫描仪的分 辨率用每英寸长度上的点数d p i ( d o tp e ri n c h ) 表示。扫描文档通常需要3 0 0 d p i 。 扫描仪的性能很大程度上影响了扫描影像的质量和文档影像系统中图像处理的 工作量，有些扫描图像的问题就是由于扫描仪的问题产生的，比如由扫描产生的 杂点，黑边等。本论文探讨的就是对扫描仪采集得到的文档影像进行图像处理的 一系列问题。 1 2 开发文档影像系统意义 1 2 1 文档影像系统的应用 在信息化社会的今天，随着科学技术的不断发展，特别是无纸化办公、电子 商务等应用技术的不断普及，社会发展和各级政府对档案的数字化建设提出了迫 4 浙江大学硕士学位论文 第l 章绪论 切的需求。2 0 0 0 年1 2 月，国家档案局、中央档案馆印发的全国档案事业发展 “十五计划，把“加快档案信息化建设 、“加快现有档案的数字化进程 列 入其中。随着社会信息化进程的加快，信息资源已经成为人类社会活动和经济活 动的战略资源，档案的数字化建设也是顺应潮流、适应时代发展的新举措、新要 求。 当今社会处处离不开档案。商业投资者需要对当地的整体情况有个全面的了 解，才敢于投资；关系民生的重大决策需要大量的信息做参考；职能部门的工作 比如城市规划，电视、电力、燃气、自来水管道的铺设等等，这些都需要大量的 准确的资料做依据，而这些只有档案才是最全、最新、最直接和最方便的一个查 考对象，这都迫使档案部门必须尽快改变传统的原始管理、检索和提供利用的手 段，以现代化、多功能的服务措施，使馆藏的档案信息能及时、方便地提供给各 方面的需求者。纸制档案内含大量的重要信息，随着信息化建设的需要，各种档 案利用的需求也在不断增加。上述传统的档案管理方式，已经无法满足社会企事 业单位内各层次人员对文档资料的查询调阅再利用等方面的要求，所以如何有效 地管理这些文档，以便方便的查询与备份，一直困扰着业务部门。 文档影像管理系统在银行、保险行业得到足够的重视，发挥了巨大的作用并 产生了良好的社会效益和经济效益。工商税务、公检法等政府机关，邮电、医院、 教育等行业也在积极关注文档影像管理系统的应用，并且开始使用。 1 、银行业应用最广泛，约占7 0 8 的份额【1 1 。 银行业文档影像管理系统开展得最早。银行业产生大量的凭证及文档，对于 一个规模较大的分行，每天就达到上万张。管理如此大量的凭证档案正是文档影 像管理系统的优势。使用高速文档扫描机，针对不同凭证利用o c r ( 自动字符识 别) 技术建立索引，可以提供方便、快捷的查询。处理后的凭证档案进行塑封后， 可做长期保存。此外，文档影像管理系统还可受理来自储蓄所、分理处、会计出 纳等部门的查询请求，迅速查找到相关资料的电子影像，通过网络将查询结果送 到客户手中。文档影像管理系统的应用，不但缩短了客户服务的响应时间，大大 降低了人工库房管理的劳动强度和费用，同时增强了银行档案的内部共享。 浙江大学硕士学位论文 第1 章绪论 2 、保险业约占整个市场的9 1 份额【1 1 。 在保险公司的日常业务运行过程中，很多文档资料如投保单、保险单等，是 非常重要的原始凭证，保险公司必须有完善的管理措施管理这些原始凭证。因此， 保险行业应用文档影像管理系统比较早，投入也比较多。目前，国内保险业正处 于上升和发展时期，文档影像管理系统在保险业将得到很好的应用。 3 、政府机关约占整个市场的1 1 4 份额【1 1 。 在日常工作中，政府机关积累了大量的办公文档、人事档案，检察档案、诉 讼档案、户籍档案、车辆档案等，利用文档影像管理系统，不仅大大节省费用， 而且提高了工作效率。当前，政府机关正在大力进行办公自动化建设，文档影像 管理系统将作为其中重要的组成部分。 4 、电信、邮电、医院、教育等行业应用约占整个市场的8 7 份额【l 】。 电信行业在日常的服务中，保存了大量的客户资料，使用文档影像管理系统， 可以快捷方便地查询客户资料，能更好地为客户服务。邮电行业也文档影像管理 系统得到了一定的应用。在医院、学校里，管理人员用文档影像管理系统管理病 历、学生档案。 图1 2 文档影像管理系统市场应用行业分布 6 浙江大学硕士学位论文 第1 章绪论 1 2 2 文档影像系统与传统文档管理方式比较 在银行、证券、公安、保险、税务和图书馆等企事业单位，每天都需要输入 大量的文档数据，在日常工作和任务活动中形成了一系列纸制档案。然而长久以 来，我们一直在采用柜架式的资料存放目录本式的查询检索方法管理我们的文档 资料。 传统档案是以纸制文件为主要载体的一种档案保存方式，这是目前档案保存 的主要方式。以纸张作为信息载体存放和管理我们的文档资料会有如下的问题： ( 一) 耗时耗力耗财大量的文档录入需要专职录入员大量的时间与精力，日常 的档案整理、保存、查阅工作繁重，效率较低。提档与归档的工作量巨 大，无法满足广大民众的需求、提高窗口的服务效率和质量。 ( 二) 检索困难难以迅速的不同的档案进行分类，并快速检索到内部直至页面 的信息。大量的单据通过手工分类，成捆堆放，一旦查找，需要翻阅大 量的单据；往往查找一张单据，需要几十分钟甚至更长时间。 ( 三) 难以保存频繁的调阔、复印原始资料，由于灰尘、湿度等影响， 会对 档案造成自然的损害。人为的污损、撕页、篡改等，更会造成档案严重 磨损和丢失。单据每天都会产生，而且需要保存几年甚至上百年的时间， 而且一般纸张都较薄，长时间存放纸张会变质，另外甚至会被老鼠或昆 虫等破坏，导致污损甚至损毁，给业务的发展带来很大的障碍。有些部 门采用早期的缩微胶片技术来保存，虽然部分地解决了难以保存的问题， 但却导致了检索更加困难。 ( 四) 无法满足多用户同时共享档案信息资源的需求同时单据需要异地共享， 或不同部门之间的共享，而现有的单据不能多人共享，只有复制后再次 分发或共享，工作效率极低，而且也形成巨大的浪费。 ( 五) 由于逐年递增的纸张档案，占用大量的库房空间即使现在有不少单位使 用了计算机管理也多数目录级电脑管理调档，仍然要去库房所以依然存 在库房压力大、调卷不便、响应速度慢、原件易损等问题。 7 浙江大学硕士学位论文第1 章绪论 ( 六) 档案安全性较低首先难以对档案的实行统一的权限管理，其次由于很难 对档案实现统一的权限管理，档案容易丢失，篡改，而且档案一旦发生 篡改，很难查出哪里发生篡改。 档案数字化解决了企业单位长期所困惑的输入、备份、归档和检索问题，它 具有以下优点： ( 一) 高速录入安全备份大量的文档、单据，通过高速专业文档录入扫描仪方 便快捷的输入电脑，以便安全各份。保证数据的长期有效性。 ( 二) 检索方便快捷一旦需要某份文档，不管它是多久以前的，均可以迅速地 检索，提高了工作效率，将业务人员从繁重的检索中解脱出来； ( 三) 不受库存限制，可无限扩充结合用户实际需求，采用相应的存储设备， 随着存储量的增加，可以无限扩充。 ( 四) 有效地保护档案原件数字化电子档案能够代替原件使用，保护档案原 件，避免因频繁的整理、调阅对原件造成的损坏，同时可以对原始档案 进行永久性真空密封保存，更好的保护档案原件；数字化副本异地保存， 这样可使这些档案资料在出现天灾人祸的情况下不致于遭到毁灭性的破 坏；恢复档案材料模糊褪变的字迹及对污损残缺照片档案的修复。 ( 五) 档案数字化能改善档案的利用方式不再受“孤本”的限制，一份文件可 以同时提供给所有需要它的人共享。数字影像文件可以通过计算机局域 网或者广域网进行异地传输，“时间 不再是限制，利用者可以随时使用 自己需要的文件。 ( 六) 保证档案安全性通过统一的用户权限管理，分配用户适当的权限，记录 与追踪用户操作；通过数字水印等技术，有效检测档案，甚至修复被篡 改的数字档案。 目前的数字化方式大致可以分为两种：文本方式和压缩图像方式，后者因其 加工速度快、适合大批量、规模化加工，并有效地保留了普通纸质文献的原始信 息等优点而得到了最广泛的应用。在压缩图像处理方式中，数字图像处理技术占 据着重要的位置。 浙江大学硕士学位论文第1 章绪论 1 3 文档影像系统图像处理需要解决的问题 由扫描仪扫描得到的文档影像需要进行处理才能符合文档影像系统要求。文 档影像系统需要图像处理的问题分两方面：一方面是图像增强( 优化) 【2 1 ，也就是 优化扫描图像质量，如降噪，纠偏等，一方面是满足特定需求，如处于安全性考 虑进行数字水印处理等。以下是在文档影像系统中主要解决的图像处理问题： ( 一) 图像二值化 扫描仪扫描得到的图像可以是彩色的，也可以是灰度的，黑白的。图像二值 化就是将具有某一灰度值( 通常为中等灰度值，如1 2 8 ) 以上灰度的像素转换为白 色，以下的转换为黑色，得到高对比度的黑白图像的过程叫黑白二值化，此灰度 值称为阈值，阈值也可以变化，甚至可以通过算法自动选择，即所谓自动二值化。 二值化使扫描影像更加干净，减少文档影像的存储数据量，提高o c r 文字识别 率。 ( 二) 图像降噪 图像降噪是指去除文档影像中的杂点，这些杂点有些是原始纸质文档本省就 带有的，有些是扫描仪扫描过程中形成的。杂点的存在不仅影响到图像的美观， 而且影像到o c r 的文字识别率。手动消除图像杂点工作效率太低，所以必须实 现计算机自动处理。降噪【3 】和保留细节是一个矛盾，降噪的同时也会丢失一部分 细节，所以计算机自动去杂点需要避免的重要问题是伴随图像降噪而产生的图像 质量的下降，比如图像有效信息的丢失。 ( 三) 图像自动纠偏 为了提高扫描效率，一般采取自动馈纸的方式扫描文档。但是自动馈纸的方 式很难保证图像不发生倾斜或偏移，如果靠人眼进行手工纠偏将是一件又费时又 费力的事，所以必须设计自动纠偏的算法来解决这个问题。文档影像自动纠偏设 计两个问题：一个是自动纠正图像倾斜，一个是自动居中文档影像。图像倾斜一 般在正负3 度以内，要求非常精细，一般图像倾斜角度在o 5 度以内才能勉强保 证肉眼无法察觉，但为了提高o c r 识别效率，图像纠斜的要求更高，而且要避 9 浙江大学硕士学位论文第l 章绪论 免图像旋转带来的图像质量的损失。由于要处理大量图像，图像自动纠偏的速度 与效率也是非常重要的。 ( 四) 图像去黑边 在扫描仪扫描纸质文档时，由于摆放不正或纸张四边的不平整会导致文档影 像四周产生明显的黑色“边框 。黑边有时很粗，很明显，但有时候很细，很难 与文档中的有效实线入表格线区分开来。黑边的存在大大影像图像的美观，所以 必须设计有效的去黑边算法。 ( 五) 图像压缩 文档影像系统一般都保存海量的数据，如图书馆成千上万的图书，政府机关 长达几十年上百年的档案资料。虽然存储技术在不断发展，单位数据量的存储成 本也在不断降低，但始终赶不上数据增长的速度。图像二值化可以大大降低图像 的大小，但是还不够，所以要设计具体针对文档二值影像的图像压缩技术【4 】，以 到不显著降低图像质量的前提下，大大压缩文档影像存储数据量的目的。 ( 六) 图像加数字水印 随着网络技术的发展，人们获取信息和交流信息变得越来越方便。但是无论 政府、企业还是个人都可以通过因特网发布重要通告、作品和进行网络电子商务 等活动，利用网络地开放性和共享性所进行的一些恶意行为，如版权侵犯、信息 篡改更加方便。因此必须要有行之有效的技术手段来保护数字作品的版权、真实 性和完整性，防止数字化产品被篡改、假冒和盗用。数字水印技术是利用数字作 品中普遍存在的冗余数据和随机性，向被保护的数字对象嵌入某些能证明版权归 属或跟踪侵权行为的信息，从而起到保护数字作品版权或完整性的一种技术【5 1 。 以上问题解决的一般顺序是： 图1 3 文档影像系统图像处理问题解决顺序 以上几个问题中，图像降噪和图像自动纠偏是比较重要的问题，不仅影响到 扫描影像的图像质量，使扫描图像更加干净、美观，而且影像到o c r 文字识别 l o 浙江大学硕士学位论文 第1 章绪论 的准确率。所以本文主要探讨的是这两个问题。 1 4 论文组织结构 本文的主要内容分为6 章，具体组织如下： 第一章为绪论，主要介绍了课题的研究背景及意义( 文档影像系统的概念、开 发文档影像系统的意义) 、提出了文档影像系统图像处理需要解决的问题、文章的 组织结构等。 第二章是文档影像图像处理相关技术的综述，介绍了文档影像二值化的意义 以及几个典型的图像二值化方法( 传统二值化方法、全局迭代算法、b e m s e n 算 法) 、文档影像纠偏的意义以及几个典型的文档影像倾斜角度检测算法( 剖面投 影法、霍夫变换法、相邻特征点聚类) 、文档影像降噪的意义以及几个典型的降 噪技术( 基于中值滤波的空间域去噪法、基于傅立叶变换的频域去噪法) 第三章提出了本文的文档影像快速纠偏的方法，先是介绍了基于文本行直线 拟合的文档影像倾斜角度检测算法，然后介绍了基于文本区域边界的文本居中算 法，最后给出了运用算法得到的试验结果。 第四章提出了本文的文档影像降噪算法，先是分析了文档影像噪声的特点， 然后介绍了基于分块的快速去杂点的算法和进一步去除“字里行间”杂点的基于 领域的去杂点算法，最后给出了运用算法得到的实验结果。 第五章介绍了运用本文中提出的算法的一个原型系统，介绍了系统的功能， 系统的界面，系统的结构图以及几个模块算法。 图1 4 是本文的组织结构图。 1 5 本章小结 本章首先介绍了什么是文档影像系统以及文档影像系统的组成部分；然后阐 述了课题研究的意义，介绍文档影像系统的应用，把文档影像管理系统与传统文 档管理方式进行了比较；接着提出了文档影像系统图像处理需要解决的问题，本 文研究的是其中两个问题：纠偏与降噪；最后给出了本文的组织结构。 浙江大学硕士学位论文第2 章绪论 绪论 文档影像图像处理技术综述 文档影像黑白二值化 文档影像纠偏文档影像降噪 。? 文档影像的快速纠偏文档影像的降噪算法 文挡影像快速窖l 值步骤 l 自动检测倾斜角度 li 基于分块快速去除杂点l 基于邻域去l 除字里行问杂点i 原型系统 _ 总结与展望 图10 4 论文组织结构图 1 2 浙江大学硕士学位论文第2 章文档影像图像处理技术综述 第2 章文档影像图像处理技术综述 2 1 文档影像黑白二值化 2 1 1 文档影像二值化意义 扫描仪扫描得到的图像可以是彩色的，也可以是灰度的，黑白的。扫描仪直 接得到黑自文档影像通常方法是采用唯一的，固定的阈值，这样得到的黑自文档 影像往往会丢失掉一些重要信息，或者有一些不必要的噪声点。所以往往先扫描 得到灰度影像，然后根据实际需要或影像自身特征来进行二值化处理。 所谓的二值化处理就是把彩色或灰度图像处理成黑白图像，每个像素点不是 黑色就是白色。图像二值化又称为阈值化分割。简单地说，对灰度图像的阈值分 割就是先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中各个像素 的灰度值与这个阈值相比较，并根据比较的结果将对应像素划分( 分割) 为两类： 像素灰度值大于阈值的一类，像素灰度值小于阈值的为另一类，灰度值等于阈值 的像素可以归于这两类之一【6 】。 数字图像处理的结果将形成最终的数字化馆藏，因此可以说图像处理的质量 决定了数字化文献的质量。在数字图像处理的过程中，黑白二值化作为文献数字 化的步骤之一，具有重要的意义。 为什么要对扫描的文献进行二值化? 首先，由于大部分文献资料都是文本资料，印刷文字如果不需要艺术处理， 一般都只要黑白二色就可以了，所以以原始形态存在的纸质文献大多数都是黑白 二色的( 插图除外) ，二值化的过程可以比较真实地模拟文献的原始形态，但同 时保留文献的原汁原味，保证文献的主要信息不丢失。 其次，从文件存储的角度来看，一方面不压缩的情况下二值化图像像素点不 是黑色就是白色，每个像素点只要一个b i t 就可以表示，而灰度图像每个像素需 要8 个b i t 表示，彩色图像需要2 4 个b i t 表示，每个像素所需要的存储空间大大 1 3 浙江大学硕士学位论文第2 章文档影像图像处理技术综述 减小，另一方面二值化过程使图像中的重复信息增多，从而有效地提高了图像的 可压缩比率，采用压缩算法对图像进行压缩，可以在保证图像不失真的情况下， 大大缩小了文献的存储空间，起到了减小图像文件大小，节省图像存储空间的效 果。 第三，当读者阅读数字化文献时，要涉及到诸如o c r 识别等问题。o c r ( o p t i c a l c h a r a c t e rr e c o g n i t i o n ) 技术是光学字符识别的缩写。o c r 技术是实现图书馆文献资 源数字化基础建设的先进技术和重要手段 7 1 。o c r 是一门与识别率拔河的技术， 因此如何除错或利用辅助信息提高识别正确率，是o c r 最重要的课题，而提高识 别正确率的很重要的是要对图像进行前处理，包括了影像正规化、去除噪声、影 像矫正等的影像处理，黑白图像的识别准确率最高，所以现在的许多o c r 识别系 统都要求所识别的图像必须为黑白两色图像，因此为了提高识别率，必须要对扫 描的图像进行二值化。 2 1 2 几个典型的图像二值化技术 二值化( 根据需要还有多值化，如两阈值、三阈值等) 作为图像分割的一种 重要手段，一直是图像处理领域的研究热点之一【引。下面介绍几个常用的图像二 值化技术： 2 1 2 1 传统二值化方法 通常采用的黑白二值化是依据下面这个公式进行算法设计的： io0 x n 厂( x ) = 1 2 5 5 x 2 5 5 公式( 2 1 ) 公式中，n 为阀值。该算法具体思路如下：首先读取一副灰度图像，或把彩 色图像转换成灰度图像，然后按照行序依次读取每列像素并根据调色板判断灰度 值，根据上述公式，如果该像素灰度值大于阈值，将该像素的颜色设置为黑色， 如果该像素灰度值小于阈值，则将该像素的颜色设置成白色。如果图像的位深度 为l ，也就是说每个像素用一个b i t 来存储，则白色的值为l ，黑色的值为0 。阈 1 4 浙江大学硕士学位论文 第2 章文档影像图像处理技术综述 值的选取是阈值分割技术的关键。如果阈值选取过高，则过多的目标点被误认为 背景；阈值选得过低，则会出现相反的情况【9 】。 传统黑白二值化方法算法简单，计算复杂度低，运算速度快，所以如果用扫 描仪直接得到黑白影像就是采用了这种方法。当文献内容主要以文本为主时，采 用传统的黑白二值化方法效果比较好，但当文献内容以图像为主时，不宜采用【l o l 。 比如一些珍本画册和包含大量插图的普通文献等，这些文献在扫描或采用数码相 机拍照并形成数字图像后，图像呈现的是大块大块的黑色或白色，一些细节无法 表现，二值化操作将破坏文献的原始信息。对于画册类型的文献，应该尽量保持 文献的原汁原味，少做或不做任何有损图像的操作。对于包含大量插图的普通文 献，传统的黑白二值化算法会破坏插图包含的信息，使之失去应有的参考意义， 所以也不适合采用。而且各个扫描的文献背景不同，即使同一个文献，由于扫描 光线等因素，每个影像也会存在不同的情况，很难确定一个固定的阈值。 2 1 2 2 全局迭代算法 典型的全局阈值法有平均灰度值法【1 1 1 、o s t u 算法【1 2 。1 3 1 等。平均灰度值算法的 域值t 可由下面的公式计算得到： 一ll - i t = 寺邝，j ) 公式( 2 2 ) r 一一，7 1 i = oj = o 其中，n 为像素总数，l 为最大灰度级，坪，j ) 为点( i ，j ) 处的灰度值。 下面介绍的是全局迭代算法。 全局迭代算法是一种全局阈值二值化方法。该方法首先选取一初始阈值，其 值取为文本图像的最大灰度值与最小灰度值的均值，根据该阈值将图像分割成目 标与背景。然后求出目标和背景的灰度期望值，两个期望值相加除以2 ，得到平 均期望值，作为新的阈值，对图像重新二值化，如此不断迭代，当阈值不再变化 时，停止迭代【1 4 】。一般迭代几次后即可达到稳定状态，迭代算法具体过程如下： 第一步，计算初始阈值g o _ ( g n n x + 舭，其中，g 。是图像的最大灰度值，g m 是图像的最小灰度值。根据勖，把图像中的像素点分成大于铷和小于g o 的两部 浙江大学硕士学位论文第2 章文档影像图像处理技术综述 第二步，分别求两部分的灰度期望值，取两者的平均值作为新的阈值g l 。 第三步，以新的阈值重新做第一步与第二步。如此反复迭代，当lg - g n - ii 足 够小时，取t = 岛，t 即为全局化的阈值。 巾 mf(g刀)+所6(g疗)1l丁=m 兰型二i 型 公式( 2 3 ) 其中 艺印( g ) 聊加弘丽g = o 4 ， g p ( g ) m b ( g 甩) = 丢 猁2 5 ) p k ) 公瓦喵 m 岛) 为目标期望值，m b ( g a ) 为背景期望值。 如果图像是背景与目标比较均匀的，全局阈值法是一个有效的方法。但往往 影像由于文献本身污染情况，以及扫描光线等问题，造成影像各部分目标与背景 不均匀，尤其是背景不均匀，这样的话效果就不是很好。所以有些情况下需要采 用局部二值化方法。 2 1 2 3b e r n s e n 算法 b e m s e n 算法【1 5 。1 6 】是一种经典的局部二值化方法。 考虑以坐标( x ，y ) 为中心的( 2 d + 1 ) ( 2 d + 1 ) 的模板，g ( x ，y ) 表示( x ，y ) 处的灰度 值，b ( x ，y ) 为g ( x ，y ) 的二值化结果，则b e r n s e n 算法可描述为： ( 一) 计算每一点的阈值 1 6 浙江大学硕士学位论文第2 章文档影像图像处理技术综述 f m a xg ( x + k ，y + ，) +m i n g ( g + k ，y + ，) 1 互( 毛y ) = o 5 i d k d - d k d l 公式( 2 6 ) l d ， d - d ， d j ( 二) 逐点二值化 川= o 塞舅二鬈舅 7 ， b e m s e n 算法的阈值由考察点对应领域的灰度值确定，算法不存在预定阈值， 适应性较全局阈值法广。而且b e r n s c n 算法计算复杂度不高，计算速度快，能够满 足实时性需求。 b e r n s e n 算法以局部窗i e l 内最大最小值的均值作为对应考察点的阈值，当窗 口内无目标点时，个别噪声点将引起阈值的突变。另外，背景灰度的非均匀性也 将影响局部阈值的变化。当考察窗内均为目标点时，局部阈值被拉伸，这样势必 使得宏观上本应同类的部分目标像素被强行二值化为背景，或者出现相反的情 况，从而出现笔划断裂及伪影现象。在文本图像的二值化过程中，局部窗口大小 w 的选取和笔划宽度密切相关，只要w 能大于笔划宽度就能避免窗口完全是目 标的情况出现。而每幅文本图像中文字的字体大小可能差异很大，对应的文字笔 划宽度也会有很大区别。所以窗口大小的选取在b e r n s 算法中很关键。w 过小， 容易造成断笔，w 过大，又会影响运算速度和二值化效果。 2 2 文档影像纠偏 2 2 1 文档影像纠偏的意义 扫描仪扫描得到的文档影像往往产生一定角度的倾斜，倾斜角度的大小和发 生倾斜的概率主要由扫描仪的送纸方式决定的。进纸方式指的是复印机在进行复 印工作时，是通过何种方式来获得所需要的纸张的。 一般来说供纸方式分为手动送纸和自动馈纸两类。手动送纸一般也叫平板 扫描，对于复印机来说，采用手动送纸的供纸方式是最为稳妥的，即在复印时， 1 7 浙江大学硕士学位论文第2 章文档影像图像处理技术综述 用户手持纸张直接由复印机的进纸口送入并手动调整纸张位置，扫描时纸张不 动，扫描头移动，这样可以保证文档扫描时影像不发生倾斜，扫描结果不会有偏 差，但是，手动送纸只能一次扫描一张原稿，效率非常低。假如复印量较大，尤 其是在进行连续复印时会严重的影响到工作效率，复印机即使有再快的复印速度 也是无济于事的。自动馈纸( a d f ) 则是指由通过一定的自动机械装置对复印机 进行供纸，现在最为常见的是采用a d f 自动送纸器进行供纸。扫描全程中纸张 移动，扫描头不动。自动供纸能够即能够使复印时更加方便，更能够极高工作效 率，尤其在连续复印时