（通信与信息系统专业论文）字母块图像处理与识别.pdf

字母块图像处理与识别 字母块图像处理与识别 摘要 字符识别是人们研究较为深入的经典课题之一，是模式识别中最成功的应用 之一。其中英文字母识别和数字识别尤为重要，因其识别种类较少，从而有助于 深入分析和验证一些新的理论和方法。而且字母和数字的识别易于推广到一些相 关的领域，如汽车牌照识别、船舶箱体号码识别、票据识别等等。随着研究的深 入，其应用也越来越广泛。 字符识别中关键的步骤是字符图像的增强去噪、定位分割和字符的识别。本 文对这三个关键步骤进行了深入详细的研究。字母块图像的增强去噪是加强图像 的对比度，达到改善画质的目的，本文分别对灰度拉伸、直方图修正和中值滤波 等操作进行了细致的研究分析，使图像中感兴趣的区域得到加强，不感兴趣的区 域被去除或削弱。定位分割也是字母识别的关键，只有将字母从图像背景中准确 的分割出来，才能进行识别。本文采用h o u g h 变换对字母块图像定位，直接扫 描将字母分割出来。 字母识别，是本课题研究的关键。文章研究了字母识别的原理和现有的几种 算法，针对本课题字母的特点，在传统模板匹配算法的基础上提出了改进的算法。 实现了快速、有效地识别。最后通过摄像机标定，确定摄像机和识别字母的相对 位置，完成机器人的抓取工作。 关键词：字符识别；图像增强；边缘检测；模板匹配； 字母块图像处理与识别 p r o c e s sin ga n dr e c o g nitio no ft h eie t t ersbio c kim a g e a b s t r a c t c h a r a c t e rr e c o 嘶t i o ni so n eo fc l a s s i ct o p i c sw 1 1 i c hh a sb e e ns t u d i e di 1 1 一d 印m i t i so n eo ft h em o s ts u c c e s s 伽a p p l i c a t i o i l si nr e c o 鲥t i o n t h er e c o 鲥t i o no f1 e t t e r s a n dn u m b e r si se s p e c i a l l yi n l p o n a n t b e c a u s eo f 也e i rs m 2 1 1 lt y p e s ，i tc a l lh e l pt od e e p s t i j d ya 1 1 dv a l i d a ：t es o m en e wt l l e o r i e sa n dm e t l l o d s 胁e n n o r e ，t h er e c o g i l i t i o no f l e t t e r sa i l dm 吼b e r sa r ee x t e n d e dt 0s o m er e l a t e df i e l d se a u s i l y ，s u c h 瓠m o t o rv e m c l e l i c e n s ep la = t er e c o 龇i o n ，s b j pa n dt a n kn 加曲e rr e c o 嘶t i o n ，n o t ep a p e rr e c o 鲥t i o n a n ds oo n w i mi i l d e 衄殉如a r l d 恤i ru s ei sa l s om o r ea i l dm o r e 淅d e l y t h ek e ys t e p so fc h a r a c t e rr e c o 罂1 i t i o na r eh a g ee n h a n c e m e ma n dd e n o i s i i l g ， i i n a g ep o s i t i o r 妇ga n ds e g m e n t a t i o na n dc b a r a c t e rr e c o g i l i t i o n h 廿1 i sp a p e r ，“l 螂a d e e pa 1 1 dd e t a i l 咖d yo ft l l i s 也r e ek e y s h n a g ee r 山a n c e m e mi st oe nb a n c e 也ec o n 仃a s t o f i i i 鹕e ，a n dt o 蛔p r o v em e 小谢i 够o f 硫a g e m 宣如j d yu s e d 剿s 仃e t c h ，1 1 i s t o 伊a m c o 仃e c t i o na n dm e d i a nf i l t e 衄t 0e n l l a i l c em ei i i l a g e i ts t r e n g t h e n sm e 硫e r e s t e d p a r t o f 洳嘤e 觚dr e m o v e so r 、e a k e i l s 也e 心r es t i 阳p a r to f 妇a g e p o s i t i o i l i n g 柚d s e g m e n t a t i o ni sa l s ot h ek e yo fc h a r a c t e rr e c o 鲥t i o n ，0 1 1 l y 、) 1 7 1 b e n 也e1 e t t e r sd 印a r t 知i mt 1 1 eb a c k g r o u l l di tc a nb ei d 酬丘e d i n 也i sp 印e r ，n l ei m a g ep o s i t i o ni sl l s e d h o u g ht r a 【1 1 s f 0 1 m i tc a ns c a n 也ei i n a 薛a i l ds e 舯e n t a t i o n1 e t t e r sd i r e c t l y c 妇t e rr e c o 鲥廿o ni s 血ek e yi nm i ss t l l d y i ts t u d i e st h et h e o r i e so fc h a r a c t e r r e c o 嘶t i o na i l ds e v e 同e x i s t i n ga l g o r i t h m s f 0 rt l l ec h a r a c t 耐s t i c so f 也el e 舵r si 1 1t t l i s s u b j e c t ，“i l p r o v e dt e m p l a t em a t c l l i n ga l g o r i 也m b a s e d 扛a d i t i o 玎a l a l g o r i t l l n l s a c l l i e v eam p i da n de 虢c t i v ei d e n t i f i c a t i o n f i 砌l y ，n 姗i e sa b o u tc a n l e r a c a l i b r a t i o nt 0d e t e m l i n e 吐l ep o s i t i o n so f 也el e t t e r sa i l dt l l ec 锄e r a ，a n dc o m p l e t e 恤e w o r ko fr o b o t sc r 鲫d i i l g k e yw o r d s ： c h a r a c t e rr e c o g nitio n ：lm a g ee n h a n c e m e n t ： e d g ed e t e c t io n ： t e m p i a t em a t c h i n g ： 2 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知；除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 注；翅遗直墓他蠡蔓犍副童蛆的：奎拦亘窒2 或其他教育机构的学位或证书使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：撇签字日期：t 口芦厂百了日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名景确魄 签字日期：讹产f 月了日 导师签字： 签字日期：年月日 字母块图像处理与识别 1 绪论 1 1 引言 视觉信息是人的主要感觉来源，人类认识外在世界的信息很多是通过视觉提 供的。人类是通过眼睛与大脑来获取、处理和理解视觉信息的。视觉不仅指对光 信号的感受，它包括了对视觉信息的获取、传输、处理、存储与理解的全过程。 语言和文字是人类文明的标志，也是人们进行交流和沟通的主要媒介。随着 计算机、信息技术的高速发展，使用计算机处理和识别文字信息也就成为了一个 非常重要的研究领域。计算机文字识别，又称之为光电字符识别( o p t i c a lc h 缀比t e r r e c o 础i o 玑o c r ) ，就是利用一定的光电设备将印刷或手写在纸( 或其它介质) 上的字符输入到计算机中并对其进行自动辨识。字符识别技术是模式识别的一个 重要分支，它涉及模式识别、图像处理、数字信号处理、自然语言理解、人工智 能、模糊数学、信息论、计算机等学科，是一门综合性技术。 1 2 课题的研究背景及意义 自五十年代第一台机器人问世以来，机器人就一直处在从低级到高级的不断 发展过程中。近年来，机器人技术已成为高技术领域内具有代表性的战略性技术 之一，它使得传统的工业生产面貌发生了根本性的变化，对人类社会的发展产生 深远的影响。随着人们对机器人运动特性要求的不断提高，机器人正朝着智能化、 小型化、数字化方向发展。所谓智能化，直观地说就是具有适应外部环境变化的 能力。带有感觉的智能机器人的研究成为各国政府高技术计划的重要内容之一。 机器人视觉系统的研究一直是各类智能机器人研究的一个热点。 计算机视觉研究的主要是通过计算机分析景物的二维图像，从中获得三维世 界的结构和属性等信息，以完成诸如在复杂环境中的识别和导航等任务，包括图 像特征检测、轮廓表达、基于特征的分割、距离图像分析、形状模型及表达、由 单幅图像信息重建三维形状、立体视觉、运动分析、颜色视觉、主动视觉、自标 定系统、物体检测、三维物体识别及定位等【l 司。计算机视觉的研究对提高机器 字母块图像处理与识别 的自动化和智能水平、对智能机器人和智能系统的发展都有很大的促进作用。目 前，计算机视觉己在遥感图像分析、文字识别、医学图像处理、多媒体技术、图 像数据库、工业在线检测与军事上的目标自动识别跟踪等方面【3 吲等领域取得了 广泛应用。 本课题是机器人视觉与计算机视觉的一个结合，研究的是机器人抓取的字母 块，通过机器人视觉系统拍摄到字母块的图片，然后输入计算机进行处理，最后 通过计算机视觉系统识别出字母的过程。机器人抓取字母块的图像识别研究涉及 到机器人视觉、计算机视觉、模式识别、数字图像处理等多个领域的内容，是一 个不仅具有重要的理论意义，而且具有广阔应用前景的基础性课题。 尽管人们对字符识别的研究已从事了很长时间，并已取得了很多成果，但到 目前为止，机器的识别本领还无法与人的认知能力相比，这仍是一个有难度的开 放问题，因此它们对于模式识别等学科和理论来说，仍有较强的研究价值和意义。 同时，字符识别的研究，对于进一步提高复杂环境条件下的文字识别的准确率， 解决视频图像的文字检测和识别，手写体等各种文字的识别，以及对各种图像识 别技术和应用问题，都具有重要的借鉴和启发作用。 机器人抓取字母块图像的研究具有重大的现实意义，随着信息技术的目益发 展，机器人代替人类完成一些危险性较高、枯燥单调、对人体有害等工作的研究 成为社会热点，对机器人视觉的深入研究是一项刻不容缓的工作。 1 3 字符识别的国内外研究现状 最早的字符识别起源于2 0 年代，1 9 2 9 年t a u s h e c k 获得了字符识别的第一 个专利，t a l l s h e c k 第一次提出了模板匹配【5 】( t e l p l a t e m a s km a t c m n g ) 的概念， 他的基本原理很朴素：识别一个字符时，让光线透过字模射到待识别字符到一个 光感受器上，当字模与待识别字符相匹配时，光感受器上将检测不到光线，从而 识别出该字符。1 9 3 3 年，美国学者h a n d e l 亦获得了字符识别的专利并第一次提 出了光学字符阅读机( o p t i c a lc h a r a c t e rr e a d e r ，o c r ) 的概念【6 】。到1 9 5 1 年，诞 生了世界上第一台计算机以后，o c r 才逐步成为现实。1 9 5 7 年，世界上第一个 o c r 软件e r a ( e l e c t r i cr e a d i l l ga u t o m a t i o r l ) 研制成功，其识别对象为印刷体阿拉 伯数字和英文字母，识别速度为每秒1 2 0 个英文字母与数字。e r a 虽然性能不 2 字母块图像处理与识别 佳，但它开创了o c r 技术研究的先河，从此，对o c r 技术的研究和开发上作在 全世界范围内广泛地开展起来，并取得了许多重大进展。到了6 0 年代，字符识 别在模式识别( pa = t t e mi 沁c o g i l i t i o n ) 领域中已成为一个十分活跃的研究课题【7 1 ， 字符识别的研究被认为是模式识别中十分典型的应用研究课题，其中包含了模式 识别的许多典型技术和基本理论的应用。 我国在o c r 技术方面的研究工作起步较晚，在7 0 年代才开始对数字、英文 字母及符号的识别进行研究，7 0 年代末开始进行汉字识别的研究，到1 9 8 6 年汉 字识别的研究进入一个实质性的阶段，取得了较大的成果，不少研究单位相继推 出了中文产品【8 】。从九十年代初期开始，印刷体字符识别技术开始推向市场，进 入实用化阶段。形成了一些初步实用的印刷体字符识别系统，如：清华大学电子 工程系研制的清华o c r 、北京信息工程学院研制的北信o c r 、沈阳自动化所研 制的沈阳o c r 以及广州奥德公司研制的丹青o c r 。1 9 9 3 年，有关方面将上述前 二个系统合在一起，完成了集成o c r 。近年来联机手写体字符识别也取得了突 破性的进展，己经有许多较为成熟、实用化程度较高的产品进入市场。如巨人中 文手写系统、汉工笔、蒙恬第一笔等等【9 】。 可以说目前应用于印刷文档的o c r 技术己经达到较高水平。o c r 产品已由 早期的只能识别指定的印刷体数字，英文字母和部分符号，逐步发展成具有自动 进行版面分析，文档逻辑结构理解，文档重构等高级功能的文档数字化系统。查 阅在o c r 领域中的文献表明，对邮政编码的自动识别、汽车牌照的自动识别研 究成果很多，尤其是邮政编码的自动识别已比较成熟，在邮政系统内已有商品的 字符识别系统在应用【1 0 1 。最近车牌照字符识别则成为字符识别研究的热点。而对 啤酒瓶的标记、车轮序列号、火车标牌字符、集装箱号码、银行支票金额等字符 的自动识别也有卓越的表现。 1 4 字符识别原理概述 字符识别实质上就是由计算机自动识别各种字符，生成计算机可识别的内部 编码。根据识别对象的不同字符识别技术可以分为印刷体识别及手写体识别技 术。根据字符集的类别数量不同，字符识别又可分为小类别集的字符识别，如英 文字符识别、数字识别等；大类别集的字符识别，如汉字识别、日文识别、韩语 字母块图像处理与识别 识别、阿拉伯文识别等。 本文研究的内容显然是小类别字符识别。目前，小类别字符识别中有两个主 要研究方向，一是新的识别算法的研究。由于类别数小，同时计算机的性能不断 提高，使得一些复杂的或运算量大的算法能够得以实现。在这些新方法中，尤其 是支持向量机【l l 】、人工神经网络【1 2 1 、学习子空间【1 3 】等方法在字符识别中获得了 极大的成功，已超出了传统识别方法的水平。二是集成方法的研究。字符集成识 别是综合集成方法论与字符识别技术的结合，它一方面寻求新的特征提取和识别 方法，另一方面着眼于系统的体系结构。由于采用多种识别方法，多种字符特征， 并针对具体问题有效地将多个识别器组合管理起来，特征之间具有多样化的关 系，最终的识别效果通常会优于每一个成员分类器。 一个基本的字符识别系统可以用下面的框图来概括，主要由计算机视觉系统 和模式识别系统两大部分组成，其中计算机视觉系统包括图像的采集模块、图像 的预处理模块和图像分割模块，模式识别系统包括特征提取模块和识别模块，如 图1 1 所示： r、，、 图图特分。 像 像征 类 预 分 提器 处割 取模 理模 模块 模 块块 块 图1 1 字母识别系统流程图 图像的采集是指借助光学数字影像设备( 光学扫描仪，数码相机，数码摄像 机) 将需要识别的字符图像转换成数字图像输入到计算机系统。 图像预处理是把原始图像转化为较为理想的灰度图像，去除图像中的噪声畸 变等现象，增强图像中有用的信息，以便于识别。预处理是字符识别的第一步， 占有十分重要的地位，预处理的好坏将直接影响识别方法的难易及识别结果的好 坏。预处理做得好，使反映字符本质特征的部分突显出来，识别率高且识别速度 快。反之，就会使识别变得困难，甚至造成误识。 图像分割模块是将图像中的目标从背景中分割出来，这一步也至关重要。 4 字母块图像处理与识别 特征提取是将待识别图像中有代表性的特征提取出来，并对提取的大量特征 进行简化和分类，以便于识别。字符特征一般分为两大类：结构特征和统计特征。 最后所提取的特征交给分类器模块进行比较计算，给出鉴别结果。 字符识别的后处理是指根据字符所处的上下文或者其它约束条件，对识别结 果的校正或检验【1 4 ”】。人眼在识别字符时几乎从不会误识的根本原因就是因为人 能够高效的利用字符的语境或某些约束条件。 1 5 本文的主要工作 字符识别具有广阔的前景，仍有许多技术难点需要解决。本文研究了字母块 图像从采集、预处理、特征提取、字母分割到字母识别的过程，主要有以下几个 方面的工作： ( 1 )图像采集 图像采集是机器人抓取到字母块并拍下照片传送到计算机的过程。研究了图 像传感器的工作原理和特点，对不同的传感器研究了其优缺点并进行比较，选取 适合本课题的图像传感器，以得到清晰度较高的图像，为后续处理打下基础。 ( 2 ) 预处理阶段 本文的研究对象是水晶字母块上字母的识别，其背景单一但难以区分，但 字母数量有限，且是印刷体，形状规则。根据以上特点，本文首先将图像进行灰 度化，将图像转换为只包含亮度信息的灰度图像，以达到改善画质和增强对比度 的目的；其次对图像进行了增强操作，突出图像中感兴趣的区域。图像增强实质 上消除或减弱噪声，改善图像质量，使图像变清晰的过程。本文研究了图像增强 的各种方法，如图像的灰度拉伸，就是把感兴趣的灰度范围拉开，提高了对比度； 图像的直方图修正，目的是增强图像的细节，使图像暴露更多的信息。这些都是 常用的图像增强操作。在预处理阶段，本文还研究了图像的平滑去噪，结合几种 常用的平滑去噪方法，通过对比选择频率域的中值滤波方法，抑制或减弱了噪声 影响，达到改善画质的目的。最后的处理阶段是图像的边缘检测，根据图像边缘 灰度有跳跃变化的特性，检测出图像边缘，将感兴趣区域与背景图像分离。边缘 检测的关键是检测算子的选择，本文研究了各种常用算子的特点，通过比较得出 最适合本课题的是拉普拉斯算子。 。 字母块图像处理与识别 ( 3 ) 字母块图像定位与分割 在进行了上述预处理操作之后，字母块图像已经从背景中分离出来，但是 要实现字母的识别还需将字母分割出来。本文的图像来源于机器人抓取的字母 块，难免会出现倾斜，所以本文在进行识别之前，首先研究了常用的h o u 曲变 换，对图像进行倾斜矫正；之后通过分析本课题中字母图像的特点，采用直接扫 描的方法进行字母的定位；字母的位置确定之后，本文由研究了几种图像分割的 算法，结合字母的特点采用自适应阈值方法将字母分割出来，以待识别。 ( 4 ) 字母识别 这一内容是本文的重点也是难点。本课题最终要实现的结果就是识别出图 像中的字母，前面的内容都是为这一结论做铺垫，打下基础的。在这一章节中， 本文先是对字符识别进行了概述，英文字母的识别是字符识别中比较简单的运用 之一；在字符识别的发展过程中，出现了很多种算法，本文都进行了深入的研究； 传统的算法各有优缺点，本文根据课题的情况对传统算法进行了改进，提出了两 种简单、有效的识别算法，并进行了验证。 ( 5 ) 摄像机标定 摄像机标定实质上是通过实验和计算确定摄像机与目标物的相对位置的过 程。标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方 位。标定精度的大小，直接影响着计算机视觉( 机器视觉) 的精度。 ( 6 ) 总结与展望 本文最后对所做工作进行了总结分析，虽有成效但也存在不足，仍有待于进 一步的提高；最后对字符识别的前景进行了展望，这将是很有发展潜力的一个领 域，其应用也会越来越广泛，各种算法也会越来越完善。 1 6 本文的结构 本文深入研究了机器入抓取的字母块图像的采集、预处理及识别过程，具体 结构安排如下： 第1 章绪论：分析了课题的背景及意义，研究了国内外对字符识别的研究 现状，详细介绍了字符识别的原理，提出本文的研究内容和主要工作。 第2 章图像获取与预处理：简要论述了图像传感器获取图像的过程，详细 6 字母块图像处理与识别 描述了图像的灰度变换、图像增强、边缘检测等处理过程。 第3 章字母块图像定位与分割：讨论了几种图像定位与分割的方法，根据 本课题图像的特点提出了一种适用于字母块图像的定位方法，并成功将字母从图 像中分割出来。 第4 章字母的识别：概述了字符识别的概念、原理，分析了常用的几种字 符识别算法，在传统识别算法基础上，提出了改进的适用于本课题的识别算法， 并通过实验证明其可行性。 第5 章摄像机标定：研究了摄像机标定的定义，论述了摄像机标定的原理， 分析了几种标定的方法，确定摄像机的内部和外部参数。 第6 章总结与展望：总结本论文的主要研究结论和成果，提出仍然有待于 解决的不足，对字符识别的前景进行了展望。 7 字母块图像处理与识别 2 图像获取与预处理 机器人抓取字母块图像的获取，是通过机器人视觉系统拍摄到字母块的图 像，并传送到计算机进行处理的过程。本章研究了图像采集设备的选择，深入讨 论了图像采集与预处理的过程，以便于字母的有效识别。 图像信号在采集和输入过程中由于受自然环境的影响，总会使图像质量下 降，给后面的图像定位、字符分割和识别工作带来困难。因此需要对图像进行预 处理，提高图像质量并突出有用信息，从而有利于进行各项后续工作。 2 1 引言 数字图像处理又称计算机图像处理，是将图像信号转成数字格式并利用计算 机进行处理的过程。数字图像处理技术涉及很多方面的内容，从图像信息的获取、 存储、转换到数字图像传输、显示等技术都属于这个范畴。数字图像处理本身即 把空间、离散幅值量化的数字图像，经过一些特定数理模式加工处理，以有利于 人眼视觉或某种接受系统的过程。 广义地讲，一般数字图像处理的方法主要包括：图像变换、图像增强、图像 复原、图像压缩编码、图像分析、模式识别等内容。图像分析和模式识别是相对 独立的，其基本特点是输入图像，而输出是对图像的分析、特征分类或是对图像 的描述、解释。其余可称为数字图像预处理方法。 图像变换：利用正交变换，如傅立叶变换、余弦变换、小波变换等的性质和 特点，将图像转换到变换域中进行处理。可将时间空间域图像变换到频域进行 处理，改善质量。 图像增强：利用各种数字方法和变换手段提高图像中对象与非对象f 即目标 与背景) 之间对比度和图像清晰度，以便突出目标。 图像复原：在景物成像过程中，由于目标高速运动、介质散射、系统畸变、 噪声干扰等因素，导致图像恶化，把恶化的图像恢复到能真实反映景物图像的处 理被称为图像复原。 8 字母块图像处理与识别 2 2图像采集 图像采集系统由摄像头和计算机组成。摄像机的选择是视觉系统成本和性能 的决定性因素。现阶段常用的摄像机按成像器件分，主要有c c d 摄像机和c m o s 摄像机。 c m o s 传感器感光度比c c d 传感器低1 0 倍，却有高于c c d 传感器1 0 倍的噪音，因 此大量工业应用的摄像机都是采用了c c d 传感器，而价格相对低廉的c m o s 传感器 一般用于非常低端的家庭安全方面。 c m o s 传感器比c c d 传感器要快1 0 到1 0 0 倍，非常适用于特殊应用以及高祯摄像 机。c m o s 传感器可以将所有逻辑和控制环都放在同一个硅芯片上，因此c m o s 摄像 机可以做得很小，便于携带。而且同样尺寸的c m o s 摄像机总能量消耗通常是c c d 摄像机的l 2 到l 4 。 综上所述，尽管单论画质来说，c c d 摄像机要优于c m o s 摄像机，但本视觉系 统采用c m o s 摄像机也是可行的。再结合开发成本来考虑，选择c m o s 摄像机更为合 适。同时考虑到现在市面上有许多民用摄像头采用u s b 接口直接与计算机建立连 接，可以免去图像采集卡的使用成本，所以本视觉系统拟采用民用c m o s 摄像头。 光源是图像采集的一个重要部分，使用光源是为了突出拍摄目标的特征，使 其不同部分之间有足够的对比，并由此获取清晰度和对比度满足要求的图像，便 于数字图像的二值化。常用的光源有白炽灯、卤素灯、气体放电灯、激光器、l e d 发光二极管等。本课题中字母块图像对光源的要求不高，普通白炽灯即可。但是 如果机器人工作于水下或光线较弱的室内时，补充光源就很有必要了。 2 3 图像的预处理 图像预处理是相对于图像分析、图像识别、图像理解而言的一种对图像前期 的处理，是数字图像处理中很重要的一个部分，也可以看作是对初始图像的增强。 图像增强的目的就是采用一系列技术，改善图像的效果或将图像转换为一种更适 合计算机分析处理的形式。主要是指按需要对图像进行适当的变换以突出有用信 息，消除或削弱干扰信息。 机器人拍摄的字母块图像应具有适当的亮度，较大的对比度和清晰可辨的字 9 字母块图像处理与识别 母图像，才有利于图像定位、字符分割和字符识别。但是由于受环境、光照、拍 摄距离和角度等因素的影响，图像信息中含有各种各样的噪声与畸变，不能直接 用于字母的定位、分割等内容。因此，需要先对图像进行转换和预处理。根据对 字母块原始图像的分析，发现原始采集的彩色图像中除了包含字母区域外，还包 含大量的干扰信息。字母图像还会出现倾斜、模糊等，为了保证有较高的识别率， 应改善原始图像的质量，减小或消除不利因素的影响。因此，在字母块图像识别 之前，要先进行预处理。 2 3 1 图像的灰度化 图像的灰度变换即彩色图像向灰度图像的转换，使图像只含有亮度信息不包 含色彩信息。图像的灰度变换处理【1 6 1 ，是图像增强处理技术中一种非常基础、直 接的空间域图像处理方法，也是图像数字化软件和图像显示软件的一个重要组成 部分。灰度变换目的是为了改善画质，使图像的显示效果更加清晰，有时又被称 为图像的对比度增强或对比度加深。 摄像头拍摄的图像未经过预处理之前都是彩色图像。真彩色图像又称为 r 图像，其中r 、g 、b 三个分量表示一个像素的颜色，r 、g 、b 分别代表红、 绿、蓝三种颜色。如果r = g = b ，则颜色表示一种灰度颜色，其中r = g = b 的 值叫做灰度值，我们用g 来表示。由于彩色图像的存储往往占用很大的空间，在 对图像进行识别等处理中经常将彩色图像转换为灰度图像，以加快后续的处理速 度。r 、g 、b 的取值范围是o 2 5 5 ，所以灰度级别是2 5 6 级。灰度处理方法主 要有如下三种： ( 1 ) 最大值法：使g 的值等于三个值中最大的一个，即 ( 2 1 ) ( 2 ) 平均值法：使g 的值等于三个值的平均值，即 g ：坠塑 ( 2 2 ) 9 2 - l 么一么j ( 3 ) 加权平均值法：根据重要性或其他指标给r 、g 、b 赋予不同的权值， 并使g 等于它们的值的加权平均值，即 l o 母块圈像链理与识别 g _ 盟型肇坠型 ( 2 - 3 ) j 其中，分别为曰、g 、b 的权值。由于人眼对绿色的敏感度最高，对 红色的敏感度次之，对蓝色的敏感度最低，所以我们取 k = 0 9 ，= l7 7 ，= 0 ”，即 g = 0 3 r + 0 5 9 g + 0 1 1 b ( 24 这时能得到最合理的灰度图像。 如下圈所示： 采用虽大加权法对图像进行扶度处理结果 图2 - 1 1 原彩色图像 2 22 图像增强 图2 1 之灰度化后的图像 图像增强是数字图像处理过程中经常采用的一种方法。为了改善视觉效果或 者便于人和智能系统对图像的理解和分析，根据图像的特点或存在的问题采取的 改善图像质量的方法或者加强其特征的措施称为图像增强。 图像在采集和传输的过程中，往往会发生图像的失真。很多情况下，人们不 清楚引起图像降质的具体物理过程及其数学模型，但却能根据经验估计一些可能 的原因，针对这些原园采取简便有效的方法，改善图像质量。例如，图像信号变 弱会使人们无法看清图像的细节，而采用增强对比度的方法可使图像清晰一些； 图像的噪声干扰也容易使图像质量变差，运用平滑技术可以消减噪声等等。图像 增强技术主要有两类即空域注和频域法。 空域增强主要是在空间域内对图像灰度值直接运算处理。其增强技术可用下 图22 和公式2 5 来描述。 字母块图像处理与识别 图2 2 空域增强模型 g ( x ，y ) = 厂( x ，y ) 办( x ，y ) ( 2 5 ) 式中厂( x ，y ) 、g ( x ，y ) ，分别为增强处理前后的图像，办( x ，y ) 为空间运算函数。 频域增强是在图像的某种变换域内，对图像的变换值进行运算。这是一种间 接处理方法。可用下图2 3 和公式2 6 来描述。 厂( x ，y ) ，v ) g 0 ，v ) 。g ( x ，y ) 。 正交换修正h ( u ，v ) r 逆变换 r 图2 3 频域增强模型 g ，1 ，) = 日 ，v ) f ，v ) ( 2 6 ) 其中f ，1 ，) 、g ( “，) 分别为处理前后图像厂( x ，y ) 、g o ，y ) 的傅里叶变换， 日( ，1 ，) 对应于修正方法的滤波函数。 图像增强 空闸域 点运算 局部运算 暑墨盖茬 l 高通滤蛟 频率域 低通滤镀 l 同态蟪坡增强 l 假彩色增强 彩色增强 伪彩色增强 i 彩色变换及应用 图像的代数运算 图2 - 4 图像增强的内容 1 2 化化衡定均规 rj、l 搓 正 接 换 修 计 变 图 统 度 方 部 灰 直 局 字母块图像处理与识别 图像增强涉及到诸多方面的内容( 如图2 _ 4 所示) ，根据本课题的图像特点， 仅就几种简单易行的方法进行研究。 2 2 2 1 图像灰度拉伸 灰度变换是一种基于点操作的图像增强方法。使用灰度变换的主要目的就是 提高图像的对比度，即增强原图像各部分的反差。图像的灰度变换处理【1 6 1 ，是图 像增强处理技术中一种非常基础、直接的空间域图像处理方法，也是图像数字化 软件和图像显示软件的一个重要组成部分。 图像在成像时光照不足，就会使得整幅图像偏暗( 如灰度范围o “3 ) ；图像 在成像时光照过强，就会使得整幅图像偏亮( 如灰度范围2 0 0 2 5 5 ) 。这些情况 称为低对比度，也就是灰度挤在一起，没有拉开。灰度拉伸的意思就是把感兴趣 的灰度范围拉开，使得该范围内的像素，亮的越亮，暗的越暗，从而达到了增强 对比度的目的。 图2 5 灰度拉伸示意图 灰度拉伸如图2 5 所示，是将灰度分段线性变换，它将输入图像中某点( x ，y ) 的灰度厂( x ，y ) ，通过映射函数丁，映射成输出图像中的灰度g ( x ，y ) ，即 g ( x ，y ) = j r t 【厂( 毛y ) 】 ( 2 7 ) 假定原图像 ，少) 的灰度范围 仍明，希望变换后图像g o ，力的灰度范围为 f ，卅，4 可采用如式( 2 8 ) 的线性变换来实现： g ( x ，y ) = 【( d c ) ( 6 一口) 】厂( x ，y ) + c ( 2 8 ) 字母块图像* g 与识别 图像中丈部分像素的灰度分布在区间，叼之间，小部分像素的灰度擐强度 超出此空间。为改善增强效果，可令： i c os ，( z ，y ) ( 口 掌( x ，y ) = ( d c ) “6 一口) ，( j ，y ) + cd ，( ，y ) 6 ( 2 9 ) p6 ，( ，y ) ， 将图25 中两点的坐标分别设置为( 5 0 ，3 0 ) 和( 2 0 0 ，2 2 0 ) ，得到字母图像灰度拉伸 后的效果，如下图： 22 2 2 、直方图修正 图2 巧图像灰度拉伸 直方图反映图像灰度分布的统计特征。直方图修正是图像增强中简单而又有 效的方法之一，它试图将图像的直方图修正为某种特定的形式以期达到增强图像 细节的目的。一幅均匀量化的自然图像的明暗程度或者像素点灰度级的分布，一 般并不均匀，其范围比较狭窄。这种图像区域中的细节看不清楚，使得图像信息 不够丰富，图像结构不够清晰。可以将灰度范围变大，即让变换后的灰度直方图 在较大的动态范围内趋于均衡这就是直方图修正技术。 设，( x ， 的灰度范围为工，则灰度直方图表示为： 尸( ，) = 上0 = o ，工) ( 2 一】0 ) n 其中 为一幅图像的总像素数目，仇表示灰度为女的像素数目。 直方图修正就是通过灰度映射函数g = r ( ，) ，将原直方图尸( ，) 改变成希望 的直方图，( 占) 。占= “力满足以下两个条件： 字母块幽像处理与m ( 1 ) n ，】在0 s ，一1 范围内是一个单调递增函数。这是为了保证增 强处理没有 打乱原始图像的灰度排列次序，原图各灰度级在变换后仍保持从黑到白( 或 从白到黑1 的排列。 ( 2 ) 对于o g ，上一1 有o g 一1 ，这个条件保证了变换前后灰度值 动态范围的一致性。 在数字图像中，直方图均衡化的离散化公式为： 甑= r ( 五) = p ( ) = 等( o 一l ，o ! 一1 ，t = o ，1 ，l 一1 ) ( 21 1 ) j o， 最早的直方圈修正技术就是所谓的直方图均衡( h i n o g r 帅e q l l a l i 跏i o n ， h e ) 【”1 。它的原理是，在图像中当所有的灰度级出现的概率是一个均匀分柿对， 图像所暴露的信息量最太。这个方法简单、高效，但是因为它对整幅图像用同一 个变换，因此不能适应不同区域的对比度变化，所以当图像的不同区域有不同的 对比度时，这种变换方法的结果就不是很理想。例如，当图像的某个较小且灰度 分布较均匀的区域中包含我们感兴趣的物体或某些细节时，这种方法就可能很难 帮助我们识别其中的物体或细节，甚至有时引入的噪声把原有的信息给破坏了。 因此经常称旺为全局直方圈均衡小f r a m em s 的鲫e q l l a i i z 撕o mf f h e ) 。为 了克服它的缺点，人们又提出了现在广泛使用的自适应直方图均衡( a d a 口t i v e h i s 沁灿e q l l a l i z m i o 珥a 脏) 。a h e 区别于脏的地方在于它不是对整幅图像 用同一个变换，而是对图像中的每一个象素根据它所在区域的直方图采用不同的 变换。因此人们也称它为局部直方图均衡( l o c a la r e ah i m o g r 锄e q i l a i i z 撕。啦 l a 旺) 。奉课题对细节要求不高，可咀直接采用简单、高效的全局直方图均衡。 直方图修正后的图像如下： 图2 7 直方图修正 字母块图像处理与识别 需要注意的是，由于灰度离散化，均衡化图像的直方图只是近似均匀的直 方图分布。均衡化后的图像动态范围扩大了，但其本质是扩大了量化层间隔，而 非量化层的数目，相反，均衡化后级数分布减少，因而会出现伪轮廓。 2 2 2 3 图像平滑 图像在产生、传输和处理的过程中经常会受到各种噪声源的影响而使图像的 质量变差。抑制或消除这类噪声而改善图像质量的过程称为图像的平滑。所谓噪 声，就是妨碍人的视觉感官或系统传感器对所接受的图像信息进行分析的各种因 素。一般噪声是不可预测的随机信号，它只能用概率统计的方法去认识。由于噪 声影响图像的输入、采集、处理的各个环节以及输出的全过程，尤其是图像输入 采集中的噪声必然影响处理全过程以致最终结果，因此抑制噪声已成为图像处理 中极其重要的步骤【1 9 1 。 图像中的噪声往往和信号交织在一起，如果平滑处理不当，就会使图像本身 的细节如边界轮廓、线条等模糊不清。通常来讲，图像的能量主要集中在低频部 分，其细节部分主要集中于高频区域，而噪声也主要集中于高频段，因此，如何 去掉高频干扰又同时保持边缘信息是去燥的主要研究内容。图像平滑包括空域法 和频域法两大类，空域法是直接在图像的空间域内对图像进行操作，常用的是中值 滤波和均值滤波；频域法是首先将图像进行变换，使其表现为在某变换域内的一 种形式，然后在图像的该变换域内对图像进行操作、修改变换后的系数如傅里叶 变换最后再进行反变换得到处理后的图像，它可以将空域中难以显现的特征在频 域中十分清楚的显现出来，从而可以解决某些在空域中难于解决的问题，常用的是 设计滤波器进行低通滤波处理。 1 中值滤波 中值滤波是一种非线性信号处理方法，基本思想是用像素点邻域灰度值的中 值代替该像素点的灰度值。对于给定的力个数值 口。口2 ) 将它们按大小有序 排列。当为奇数时，位于中间位置的那个数组称为这个数值中值。当为偶数时，位 于中间位置的两个数值的平均值称为这个数组的中值，记做聊甜 q 口：) 中 值滤波就是这样的一个变换，图像中滤波后某像素的输出等于该像素邻域中各像 素灰度值的中值。中值滤波器是一个含有奇数个像素的滑动窗口。窗口正中间那 1 6 字母块图像处理与识别 个像素的值用窗口内各像素值从小到大排列的中值代替。如f 图所不： 巨亟叵困8 0 ，l b 顺序排列像素灰度值地6 d 1 0 0 ，王2 0 ，3 ， 1 l r 用中间灰度值1 0 0 代替原中闯点灰度值3 ，- _ - _ _ _ o _ - o - - _ o - - _ - - - _ _ o o _ l5 0 ，6 0 ，1 0 0 ，1 0 0 ，1 破i ，1 9 0 ，。 工右移窗口得 5 d l6 0 。1 0 0 ，l 眠l2 0 观ll 蛾 _ _ _ _ - _ _ _ - _ - _ - _ _ _ _ _ _ 毒趣序捧列像素灰度值6 0 ，1 0 0 ，1 0 d ，1 2 0 ， 中间灰度值1 0 0 与原中阔点灰度值l 相同不用换 ，匝亟固l 溉 i 图2 _ 8 中值滤波示意图 中值滤波的方法运算比较简单，易于实现，而且能够较好的保护边界。邻域的 大小决定在多少个数值中求中值，窗口的形状决定在什刍样的几何空间中取元素 计算中值。对于二维图像，窗口的形状可以是方形、十字形、菱形等，窗口的尺寸 也可以是3 3 ，5 5 ，7 7 等。它的中心一般位于被处理点上。 2 均值滤波 均值滤波是一种简单的空域滤波法，该方法的基本思想是用几个像素灰度的 平均值来代替每个像素的灰度值。设含有噪声的图像厂( f ，_ ，) ，经处理后的图像为 g ( f ，力，表达式如下： 鲋：挈 ( 2 1 2 ) 其中o ，歹) s ，式中s 是所取邻域中的各邻近像素的坐标，m 是邻域中包含 的邻近像素的个数。滤波后图像g ( f ，歹) 中的每个像素的灰度值均由包含在( i ，j f ) 的 预定邻域中的几个像素的灰度值的平均值来决定。 1 7 字母块图像处理与识别 邻域可以有多种选取方法，可以采用4 邻域或8 邻域选取窗口的方法是取一 个点，定义以该点为中心的一个圆的内部及边界上的点的集合。 厂o 。 l l ! 夕 ( ) 4 邻域点集合 c b ) 8 邻域点集合 图2 9 均值滤波示意图 3 低通滤波 低通滤波是图像平滑的一种有效手段。数字图像经过二维傅里叶变换以后， 噪声谱一般位于频率较高的区域，而图像本身的频率分量则处于空间频率较低的 区域，因而可以通过低通滤波的方法，抑制图像的高频分量，从而使图像得到平 滑。其数学表达式可以表示为： g ( “，力= 日( “，1 ，) ，( “，v ) ( 2 1 3 ) 这里g ( “，力为低通滤波器处理后的图像；日( “，v ) 为频域低通滤波器的传递 函数；f ( 材，v ) 为原始图像厂 ，) 的傅氏变换。 低通滤波器的算法核心就是频域低通滤波器日( ”，1 ，) 的设计。常用的低通滤 波器日( “，1 ，) 有四种形式：理想低通滤波器( i l p f ) ，巴特沃斯低通滤波器( b l p f ) ， 指数低通滤波器( e l p f ) ，梯形低通滤波器( t l p f ) 。 ( 1 ) 理想低通滤波器 其传递函数日( “，) 的表达式如下： 脚，= 器嬲三幺 浯 或为截止频率，根据需要选定。d ( “，v ) = 2 + v 2 ) 1 7 2 是频率平面上点( “，v ) 到 点( 0 ，o ) 的距离。或取得越小，滤除噪声越彻底，高频分量损失越严重，会引起 图