基于统计特征的脱机手写文字识别.doc

贵州大学毕业设计 第 I 页 摘 要 III 第一章 绪 论 1 1 1 问题的提出 1 1 2 研究的目的与意义 1 1 2 1 应用方面 2 1 2 2 理论方面 2 1 3 汉字识别的发展概况 3 1 4 汉字识别的问题和困难 3 第二章 脱机手写文字识别的原理 5 2 1 脱机手写文字识别的原理 5 2 2 系统设计框图 7 2 3 程序流程框图 8 第三章 常用特征提取算法及算法的确定 9 3 1 特征提取的意义 9 3 2 常用特征提取算法 9 3 2 1 方法一 统计特征提取算法 10 3 2 2 方法二 结构特征提取算法 11 3 2 3 方法三 人工神经网络法 11 3 3 方法的确定 12 第四章 手写文字识别的预处理 13 4 1 二值化 13 4 2 文字的切分 17 4 3去噪 归一化 20 4 3 1平滑滤波器去噪处理 21 4 3 2归一化 23 4 4 细化 25 第五章 特征提取及文字的识别 29 5 1 特征提取 29 5 1 1基于笔划密度特征的提取算法 30 5 1 2基于弹性网格特征的提取算法 31 5 2 文字的匹配 33 第六章 识别结果分析 35 第七章 设计取得的成果及方法的改进 36 7 1 设计取得的成果 36 7 2 方法的改进 36 第八章 结论与展望 37 8 1 结论 37 贵州大学毕业设计 第 II 页 8 2 展望 37 参考文献 38 致谢词 39 附录一 40 附录二 48 附录三 53 附录四 57 贵州大学毕业设计 第 III 页 基于统计特征提取的脱机手写文字识别 摘摘 要要 手写体识别有着广阔的应用前景和很高的理论价值 从应用角度来看各种文档的 高速自动录入 档案管理 早期图书资料的数字化 邮件的自动分拣 证件的自动阅 读 票据的自动处理等方面都有广泛的应用 手书体文字识别主要分为两种 即在线 识别和离线识别 脱机手写体汉字识别研究对汉字信息处理自动化 对开拓新一代计 算机的智能输入有重要意义 本论文主要讲述的是基于统计特征的脱机手写文字识别 主要介绍的是由不同的人写一个人的名字 识别出本人的签名 本文对整个设计过程进行了详细的分析说明 文中首先对用数码相机照下的分辨 率为512x512 灰度级为256的手写文字图片进行预处理 包括直方图 二值化 行切 分 字切分 规范化 细化等图像处理 其次 对进行预处理的文字进行特征提取 文中选择了统计特征 因为与结构法相比 统计法具有良好的抗噪声 抗干扰的性能 最后识别判决 整个设计过程都以MATLAB作为编程工具实现具有友好的图形用户界面 的统计特征脱机手写文字识别系统 关键词 二值化 字切分 规范化 细化 统计特征 贵州大学毕业设计 第 IV 页 Based on Statistical Characteristic Off line Hand written writing recognition ABSTRACT The recognition of the handwritten form has the broad application prospec and the very high theory value Form the application angle looked it has the widespread application in the high speed automatic input management of the records early digitization of the books and the reference materials automatial sorts of the mail automatic reading of the credentials and the the bill aspect and so on The recognition of the handwritten mainly divides into two kinds namely on line recognition and off line recognition character The research about recognition of form and Chinese character is very important to the automation of the Chinese character and the develops of the new generation of computer about intelligent input The present paper mainly tell us the off line hand written writing recognition on the statistical characteristic The main introduction is to writes a person s name by the different person and disinguish myself signature First the digital camera illuminates the resolution is 512x512 the gradation level is 256 hand written writing picture which we carries on the pretreatment to including histogram binaryzation line of segmentation character segmentation standardization refinement and so on Next to pretreats after the picture is to carry on the characteristic extraction In the article has chosen the statistical characteristic because compareing with the structure law the method of average has the good anti noise and the antijamming performance Finally it must decied the distinguishes The entire design process all has the friendly graphical user interface statistical characteristic off line writing by hand writing recognition system by MATLAB as the programming tool realization Key words Binaryzation Character segmentation Standardization Refinement Statistical characteristic 贵州大学毕业设计 第 1 页 第一章 绪 论 1 1 问题的提出 文字是人类信息交流的主要载体 随着计算机 信息技术的高速发展 使用 计算机处理并识别人们的文字信息也就成为了一个非常重要的研究领域 文字识别技 术 1 3 是指用计算机自动 高速地辨识写在纸 或介质 上的数字 英文符号或汉字 是模式识别的一个重要分支 它涉及模式识别 图像处理 数字信号处理 人工智能 模糊数学 信息论 计算机等学科 是一门综合性技术 文字识别是模式识别的一个重要分支 也是该领域最为困难的问题 它涉及模式 识别亦可译作模式辨认 图象识别 图形识别 型式识别是近 30 年来得到迅速发展的 一门新兴边缘学科 手写字符识别的发展历史可以追溯到本世纪 50 年代 伴随着手写板硬件的出现 人们开始研究联机手写字符识别技术 随着半导体和计算机技术的发展以及模式识别 领域理论和方法研究的不断深入和完善 到 80 年代后期 联机手写字符识别技术的研 究已经朝着实用的方向努力 特别是英文 已经开始研究完全无限制的整句识别技术 然而 尽管联机手写体字符识别和印刷体字符识别技术已经比较成熟 但由于在有些 场合 不能采用书写板等专用的输入设备输入文字 或文字信息已经是以手写体的形 式存在 如果要利用计算机进行文字识别 就只能进行脱机手写体字符识别 研究手 写文字识别对挑战现有的模式识别理论和方法 促进相关学科的发展与完以及各学科 的相互融合与借鉴 对解决其他文字具有推动作用和参考价值 1 2 研究的目的与意义 当今社会是一个网络四通八达 资源高度共享 信息传播迅速的信息社会 为满 足资源共享 信息传播的需要 大量的中文信息都需要在计算机上进行处理 目前 计算机上的中文信息处理系统 可以让人轻松愉快地对输入的中文信息进行处理 然 而汉字录入的困难制约着系统的效率 己经成为一个有待解决的 瓶颈 问题 汉字 贵州大学毕业设计 第 2 页 识别的研究与开发 无疑将满足人们对高速自动输入汉字的强烈要求 它在办公自动 化 印刷业 信息传播等方面都有着广泛的应用前景 汉字识别是一门多学科综合的 研究课题 是模式识别的热点和难点 它不仅与人工智能的研究有关 而且与数字信 号处理 图像处理 信息论 计算机科学 几何学 统计学 语言学 生物学 模糊 数学 决策论等都有着千丝万缕的联系 一方面各学科的发展给它的研究提供了工具 另一方面 它的研究与开发也必将促进各学科的发展 因而 汉字识别有着重要的理 论意义 1 2 1 应用方面 当前研究脱机手写文字识别的意义在于 它是中文信息录入的理想手段 计算机 技术的发展 使得文字输入成为文字信息处理系统提高速度的 瓶颈 问题 要解决 这个问题 必须采用计算机自动识别文字或语音的方式 而脱机手写文字识别一直被 公认为文字信息录入的理想手段 文字识别是智能计算机接口的重要组成部分 智能 计算机是在更高的程度上 更完善的模拟和取代人类脑力劳动的全新一代的计算机 智能计算机能识别文字 图形和景物 能听懂语音 能理解文章等 视觉是智能计算 机接受外界信息的重要手段 而识别文字是智能计算机必备的功能 文字识别技术是 提高办公自动化水平的主要因素 办公自动化就是要求用计算机来代替人日常的办公 活动 可以借助计算机来进行文档的处理 进行工程设计等工作 在多媒体时代 图 象信息占主要的比重 图象中有着大量的文字信息 文字的自动识别对图象的处理以 及存储有着重要的意义 文字识别是重要的信息压缩手段 文字图象经识别后形成代 码 信息量压缩了 100 倍以上 对文字信息压缩 传输有重要的意义 文字识别丰富 和完善了模式识别的理论 手写文字识别是模式识别中的一个难题 模式的特征和分 类都很复杂 对手写文字识别的研究不仅使模式识别理论与具体的应用相结合 而且 推动了模式识别理论的发展 1 2 2 理论方面 汉字识别不但在实际应用方面十分重要 在理论研究方面也有重大意义 汉字字 量大 即模式类别很多 是大类别 或者称为超多类 模式识别问题 涉及到模式识别 贵州大学毕业设计 第 3 页 图像处理 数字信号处理 自然语言理解 人工智能 模糊数学 信息论 中文信息 处理等多个学科 是一门综合性技术 在中文信息 办公自动化 机器翻译 人工智 能等高技术领域 都有着重要的价值和意义 1 3 汉字识别的发展概况 早在本世纪六十年代 人们就开始了对印刷体汉字识别的研究工作 最早对印刷 体汉字识别进行研究的是 IBM 公司的 Casey 和 Nagy 2 1966 年他们发表了第一篇关 于汉字识别的文章 用模板匹配法识别 1000 个印刷汉字 1977 年 日本东芝综合研究 所研制出能识别 2000 个印刷体汉字的实验装置 1983 年东芝研究中心又进行了对限制 性手写体与印刷体汉字识别兼容的研究工作 4 七十年代末 我国开始了对汉字识别 的研究 1985 年 南通电子所研究出能识别两种字体 1800 个单字的识别方法 1986 年 清华大学计算机系和沈阳自动化所先后研究出能识别 3755 个印刷体汉字的实验系 统 1986 年 11 月 清华大学的朱夏宁等研究的能识别 6763 个印刷体汉字的汉字识别 试验系统通过了技术鉴定 1992 年清华大学的许宁在博士学位论文中 提出了一种基 于人工神经网络方法的印刷体汉字识别方法 4 目前对于印刷体汉字识别的研究工作 己经趋于成熟 己有一些实用系统在市场销售 如清华文通 曙光 OCR 汉王 OCR 等 进入 90 年代 国家教委基础研究与高科技司和国家 八六三 高科技计划智能计 算机主题专家组为了了解我国汉字识别的水平 于 1991 年 1992 年和 1994 年先后召 开了三次汉字识别和汉语语音识别评比研讨会 1990 年以来 在 八六三 资金的支 持下 通过检查 评测以及在市场的激烈竞争中 我国的印刷体汉字识别系统的主要 性能指标有了新的突破 在商品市场中逐渐完善 识别系统进入大发展的阶段 相应 的测试结果请参看文献 1 41 4 汉字识别的问题和困难 和所有模式识别系统一样 汉字识别的主要性能指标是正确识别率 识别速度 从实用角度看 还应考虑系统的复杂性 可靠性和价格对识别系统识别率和识别速度 的要求 很难有一种统一的 严格的标准 主要是根据实际应用的需要来确定 但是 作为一种输入手段 汉字识别系统的性能应该和其它输入手段 如人工键盘输入 相比 贵州大学毕业设计 第 4 页 拟 在某些特殊的应用场合 对识别系统的要求还应更高 要达到上述要求是相当困 难的 这是因为 从技术上讲 人们关于模式识别的研究虽己有较长的历史 但迄今 仍没有能够全面地适用于分析或描述各种模式的严谨的理论 在研究某一种模式识别 问题时 有的方法比较巧妙 或者说 某种识别方法较符合被识别的模式集合的情况 因而得到较好的结果 但是该方法应用于另一种模式集合却可能获得很不理想的结果 因此 所研究的某一种方法往往因其只适合于某些限定的情况 而呈现出某种局部最 佳性而非全局最佳 从客观上说 汉字是一种特殊的模式集合 这种集合的模式种类 汉字字数 很多 结构复杂 而且有的模式十分相似 加上印刷质量以及其它干扰因 素的影响 人们在书写时的随意性 字形不够规范等 都使正确识别十分困难 汉字 识别的问题和困难 更大程度上体现在汉字集合本身所固有的一些特点上 第一 汉字字符集数量大 我们常用的汉字有 3000 4000 个 国标 GB2312 80 字 库共有汉字 6763 个 但是受到识别方法的局限 对某一待识字进行识别时 一般必须 将该字和字典模式库中的字进行比较 找出其中最相似的字 这样 对于大字符集的 识别速度就必然较低 为提高速度 常采用树分类 即多级识别方法 但相应地就会 使识别率下降 这是正确识别率和识别速度的矛盾 同时也是汉字识别的主要困难 第二 汉字的字体多 印刷体有宋体 仿宋体 黑体 楷体等字体 手写体则有 楷书 行书和草书等三大类 对印刷体汉字 不同字体的同一个字的字形点阵亦不相 同 对于手写体汉字 这种差别就更大 因此 计算机进行自动识别时 很难将不同 字体的同一个字 用一个参考汉字来比较 判定 这样 为适应对各种字体的识别就 必然会使得汉字识别的字典模式库的规模变得十分庞大 第三 汉字结构复杂 字形相似 汉字笔划最多的有 36 划 平均每个汉字笔划为 11 划 由于笔划多 所以有的汉字结构十分复杂 有的字虽然笔划较少 但字形却十 分相似 如 人 入 土 士 鸟 乌 己 已 巳 乙 太 大 犬 等 这些字只有一点之差 或者某一笔划长短略有差别 其意义就迥然不同 这些都是汉 字识别方法的研究中必须考虑的 贵州大学毕业设计 第 5 页 第二章 脱机手写文字识别的原理 2 1 脱机手写文字识别的原理 原始文本用扫描仪或摄像机进行光电转换输入到计算机中 经过光电转换的文本 是一幅两维的点阵图像 图像可以是灰度的 也可以是二值的 现在一般都采用二值 图像 即图像中所有象素点的取值非0即1 值为1的点称为前景点或黑点 为0的点称 为背景点或白点 由于目前字符识别算法仍是以每个字符为一个识别单位 因此首先要把单个字符 的图像块从文本图像中分割出来 这一过程称为行字分割 一般来说 手写文本没有 版面问题 不需要进行版面分析和理解 对于书写在稿纸上的文本 行字分割也很容 易 只要书写比较规整 通常只要采用投影方法就能有效地解决这一问题 单字图像块分离出来后 进入识别环节 这是整个识别系统的核心 包括预处理 特征提取和识别三个部分 一般情况下所说的手写体字符识别通常是指单字识别 预处理的目的是去除噪声 加强有用信息 压缩冗余信息并尽可能对手写字符产 生的大小 位置和形状等方面的变化进行吸收 为特征提取做好准备 预处理后 数据的维数依然很高 特征提取的目的是将图像信息压缩成一组维数 较低的 能够反映原始图像本质的特征 一组稳定的和具有代表性的特征 是一个识 别算法的核心 因此 采用不同特征的识别算法即使是采用相同的分类策略也可以认 为是不同的算法 总的来说 特征可以根据提取方法和侧重点的不同分为统计特征和 结构特征两大类 分别适用于统计和句法两种识别方法 经过特征提取后 就可以进行识别 分类 了 识别就是在特征空间中用统计决策 方法或句法分析方法将被识别对象归为某一类别 对于汉字识别 由于类别数巨大 故往往采用多级分类策略 以提高识别效率 输入的汉字首先经前一级或几级处理 判定它属于整个汉字集合的某一子集 然后再判定它属于该子集的某个类别或更小的 贵州大学毕业设计 第 6 页 子集 前面的一级或几级称为粗分类或预分类 最后一级称为细分类或识别 由于与 整个汉字集合相比较 每个子集的字数要少得多 因此 采用多级分类策略可以缩短 匹配时间 提高识别速度 系统的最后一级是后处理 单字识别完成之后 系统可以利用上下文或其它方面 的信息来纠正一些识别错误 以提高系统的识别率 目前 手写体字符识别的研究依然以单字识别为主 即自分割好的字符图像开始 至输出单个字符的识别结果为止 这是整个识别系统的核心 而单字识别中 最关键 的又是特征提取和相应的分类方法 脱机手写文字识别的基本过程如下 书写在纸张上的手写体文稿用数码相机拍下 成 JPG 格式的图片 把此图片转化为 bmp 格式 在转化为一个二维点阵图象 由预处理阶段对所得图象作相应处理 识别阶段首先提取文字图象的特征 然后根据 特征对待识别文字进行判别 手 写 体 汉 字 文 稿 图象的获取 预处理特征提取 分类识别 识别输出 二值化 文字切分 中值滤波去 噪 归一化 细化 图 2 1 脱机手写汉字识别系统框图 0 0 0 1 0 0 0 0 0 0 1 0 0 0 1 1 1 1 1 1 1 0 0 0 1 0 0 0 0 0 0 1 0 0 0 图 2 2 二值点阵图 十 字 如图 2 1 所示 数码相机拍下的手写文字 经模数转换成具有一定灰度值的数字 贵州大学毕业设计 第 7 页 采样信号送入计算机 预处理环节一般包括消除噪声 二值化 行字切分 平滑 或 中值 归一化 细化等 经过预处理的文字成为规范化的二值点阵信息 如图 2 2 其中 1 表示笔划部分 0 表示背景部分 对于二值化点阵 按照识别方法的要求 抽取代表该字的特征 并与存贮在计算 机中己知标准文字的特征进行匹配判别 找出字典特征集中与输入文字特征最接近的 一个文字 这个字被认为是该字的识别结果 2 2 系统设计框图 本系统首先将样本文字的特征提取归类到样品库 在把待识别字的特征与样本库 里的样品字的特征进行比较即匹配 找出最相似的一组字体从而实现文字的识别 印刷文字 图片的获取 读入图片 预处理 文字统计 特征提取 手写文字图 片的获取 读入图片 预处理 待识别文字 的统计特征 提取 第一部分第二部分 汉字归类到样 品库 与样品库匹配 识别结果输出 2 3 系统设计框图 贵州大学毕业设计 第 8 页 2 3 程序流程框图程序流程框图 开始 图片的获取 读入手写 文字图片 直方图 二值化 行分 字切 分 中值去噪 去噪 归一化 细化 统计特征提取 中值滤波 去噪 归一化 细化 待识别汉字统计 特征提取 绝对值距离判决 flag 0 flag 1 结束 图 2 4 程序流程框图 贵州大学毕业设计 第 9 页 第三章常用特征提取算法及算法的确定 3 1 特征提取的意义特征提取的意义 手写体汉字识别的关键之一就在于怎样快速的抽取能充分描述汉字模式的稳定可 靠的特征 在汉字识别系统中 对获得汉字图像直接进行分类判别是不现实的 首先 汉字图像数据占用很大的存储空间 直接进行识别费时费力 其计算量无法接受 一 幅 48 48 点阵的汉字图像 若不经过特征提取 则输入点可达 2304 识别速度必然 很低 其次 汉字图像中含有许多与识别无关的信息 如汉字图像的背景等 因此必 须进行特征的提取和选择 把这些信息转换成若干个能反映本质的特征 这样就能对 被识别的汉字图像数据进行大量压缩 有利于汉字识别 为了提高分类处理的速度和 精度 对提取的特征还必须选择最有代表性的特征 其信息冗余度最小 而且希望具 有比例 旋转 位移不变性 特征提取是很重要的 若提取的不恰当 分类就不能很 准确 甚至无法分类 良好的特征应具有四个特点 1 区别性 对于属于不同类别的汉字来说 它们的特征值应具有明显的差异 2 可靠性 对于同类的汉字 它们的特征值应比较相近 3 独立性 所使用的各特征之间彼此不相关 4 数量少 汉字识别系统的复杂度随着特征的个数的增长而迅速增大 从数学上讲 特征提取相当于把一个在维数较高的测量空间中的物理模式变成一 个在维数较低特征空间中的模式 如果提取和选择了 m 个特征 则此物理模式可用一 个 m 维特征向量描述 表现为 m 维欧氏空间中的一个点 m 维特征向量表示为 1 2 t m xx xx 3 2 常用特征提取算法 近二十多年来 研究人员提出了许多种不同的特征提取方法 这些特征主要分成 贵州大学毕业设计 第 10 页 两大类 即统计特征和结构特征 结构特征是建立在笔划的基础之上 通常以笔划或 笔划构成的部件之间的空间结构关系来描述汉字 而统计特征则是建立在二值或灰度 值点阵图像基础之上 通常是对汉字点阵信息进行变换后提取 对于手写体汉字 要 准确提取到结构特征是极其困难的 因而难以采用基于结构特征的方法加以识别 而 统计特征因其多样性 互补性 易于提取等优点 使其在手写体汉字识别领域占有十 分突出的地位 3 2 1 方法一 统计特征提取算法 统计决策法是从原始数据中提取与分类最相关的信息 包括矩 傅立叶描绘子 样条曲线拟合等 特征应对同一类字符类的形变尽量保持不变 统计决策法即统计特 征分为全局特征和局部特征 全局统计特征是将整个汉字点阵作为研究对象 从整体 上抽取特征 主要包括笔画穿透数目特征 全局笔画方向特征 背景特征等 局部统 计特征是将汉字点阵图象分割成不同区域或网格 在各个小区域内分别抽取统计特征 主要包括四角特征 方向线素特征 局部笔画方向特征等 用来描述事物属性的参量叫做特征 它可以通过对模式的多个样木的测量值进行 统计分折后按一定准则来提取 例如 在汉字识别系统中 我们可以把每个汉字的图形 分为若干小方块 图 3 1 然后统计每一小方块中的黑像素 构成一个多维特征矢量 作为该汉字的特征 必须注意的是 在选择特征时 用于代表各类模式的特征应该把同 类模式的各个样本聚集在一起 而使不同类模式的样本尽量分开 以保证识别系统能 具有足够高的识别率 目前用于手写汉字识别的统计特征 根据特征抽取区域的不同 又可粗略地分为全局统计特征和局部统计特征两大类 它们通常与统计匹配方法或神 经网络分类器一起使用 1 全局统计特征 全局统计特征是将整个汉字点阵作为研究对象 从整体上抽取特征 主要包括 全局变换特征 不变矩特征 笔划分布特征 笔划穿透数目特征等 2 局部统计特征 局部统计特征是通过提取局部图像的信息来组成描述汉字的特征 或者将汉字点 阵图像分割成不同区域或网格 在各个小区域内分别抽取统计特征 主要包括 背景 特征 网格特征 Gabor 特征 方向线素特征 细胞特征 相补特征 四角特征等 贵州大学毕业设计 第 11 页 3 2 2 方法二 结构特征提取算法 所谓结构是指组成一个模式的基本单元 简称基元 之间的关系 结构特征法即结 构模式识别方法是人们最初用来进行手写汉字识别研究的方法 一般需要先抽取笔段 或基本笔画作为基元 由这些基元再构成部件 子模式 由部件的组合来描述汉字 模式 最后再利用形式语言及自动机理论进行文法推断 即识别 例如 拼音文 字的基元是字母 若干个字母按一定规律组成一个单字 在识别某一个单字时 如果 能判别组成这个字的各个字母以及它们的 结构 关系 就可以识别这个字 基于这种 原理 拼音文字的识别系统中的 字典 应包括字母 以及由字母组成单字的规律 在对某一个单字进行识别时 则应先提取构成这个单字的字母并分析它的结构 然后 将它跟字典中所有已知单字的基元及其结构关系逐个加以比较 就可以确定待识单字 和哪一个已知单字属于同一类别 这种识别方法跟英语句子的语法分析相似 因而有 时也称之为 句法识别法 由于结构特征可以准确地描述待识别字符的几何特征 同时受噪声和字符形变的影 响较小 因此基于结构的识别方法是字识别的一种有力工具 对汉字国标 GB2312 80 一级 二级字库的 6763 个汉字的统计结果表明 包含横笔划的汉字占 99 8 包含竖笔 划的汉字占 99 85 包含撇笔划的占 93 5 包含捺笔划的占 76 5 4 种笔划在汉字中 出现的频率为 横笔划占 39 51 竖笔划占 33 94 撇笔划占 16 77 捺笔划占 9 78 从以上结果可知 对于标准汉字字体而言 经过二值化和细化后的图像汉字主要包括 4 种笔划 即横 竖 撇 捺 点归入撇或捺 其他笔划均可视为复合笔划 由此可见如 果能够提取出汉字的这 4 个基本特征就可以识别出汉字了 3 2 3 方法三 人工神经网络法 人工神经网络 Artificial Neural Network 以下称ANN 是一种模拟人脑神经元 细胞的网络结构 它是由大量简单的基本元件 神经元相互连接成的自适应非线性 动态系统 虽然目前对于人脑神经元的研究还很不完善 无法确定ANN的工作方式是 否与人脑神经元的运作方式相同 但是ANN正在吸引着越来越多的注意力 ANN中的各 个神经元的结构与功能较为简单 但大量的简单神经元的组合却可以非常复杂 从而 可以通过调整神经元间的连接系数完成分类 识别等复杂的功能 ANN还具有一定的 贵州大学毕业设计 第 12 页 自适应的学习与组织能力 组成网络的各个 细胞 可以并行工作 并可以通过调整 细胞 间的连接系数完成分类 识别等复杂的功能 ANN可以作为单纯的分类器 不包含特征提取 选择 也可以用作功能完善的分类器 在英文字母与数字的识 别等类别数目较少的分类问题中 常常将字符的图像点阵直接作为神经网络的输入 不同于传统的模式识别方法 在这种情况下 神经网络所 提取 的特征并无明显的 物理含义 而是储存在神经物理中各个神经元的连接之中 省去了由人来决定特征提 取的方法与实现过程 从这个意义上来说 ANN提供了一种 字符自动识别 的可能 性 此外 ANN分类器是一种非线性的分类器 它可以提供很难想象到的复杂的类间 分界面 这也为复杂分类问题的解决提供了一种可能的解决方式 3 3 方法的确定 上述三种识别方法各有特点 结构法比较直观 能较好反映事物的结构特性 问题 是基元的提取很不容易 各基元的关系也比较复杂 通常 为了抽取笔画需要将原始 点阵图象进行细化处理 但是细化算法不仅速度慢 而且容易产生伪笔画段 如将一 个四叉点变成了二个三叉点 给准确抽取基元造成了困难 抗干扰性能也较差 汉字 的结构复杂 字数又多 采用结构法很难得到很好的效果 统计法利用计算机来抽取 特征 比较方便 抗干扰性能较好 缺点是没有充分利用模式的结构特性 人工神经网 络方法需要很长的时间来锻炼 在短时间内无法实现 我们目前常用的做法是将神经 网络方法和传统的识别方法结合起来使用 互相取长补短 但这样的方法实现起来很 困难 鉴于上诉分析的方法的优缺点及自己能力 时间等 在该论文中我选择了统计决 策中的局部特征方法对文字进行特征提取 贵州大学毕业设计 第 13 页 第四章 手写文字识别的预处理 脱机 Off line 手写体文字识别时 首先将写在纸上的汉字 用数码相机拍下 转换为数字信号输入计算机 由于干扰信号的存在 通常不能直接进行识别处理 这 些干扰信号 或称作噪声 大致分为两类 1 因文字背景 如书写用纸 有杂质 书写不好 文字笔画附近出现污点 称黑色 孤立点 或文字笔画中有缺陷 称为白色孤立点 2 聚焦不好 书写用力不均 字体潦草等产生的干扰 此类干扰表现为文字倾 斜 字形大小不一 笔画粗细不均 甚至笔画断开或相邻文字粘连等 因此 为了对汉字信息能做进一步的处理 必须进行预处理 清除黑白孤立点扶 正倾斜文字 均匀笔画粗细 分离粘连文字笔画 使位置 大小不一的文字规范化 预处理过程一般包括二值化 行 字切分 平滑 去噪声 规范化和细化 或抽取轮 廓 等 不同的识别方法 对预处理的项目和要求有所差别 如结构识别方法 对字 体大小归一化可以从简甚至不需要 有的识别方法细化预处理要求很高 有的则不需 要 预处理的每部分都是整个脱机手写文字进行识别的关键 即在进行文字识别前必 须对文字进行预处理的操作 图像在扫描过程中会带来噪声 且不同的扫描分辨率所产生的图像质量也各不相 同 此外还需要处理整篇文档图像中字符的正确分割 并且由于分割后字符的大小 字体都各不相同 因此还要对字符进行归一化 由此可见 扫描图像预处理工作的好 坏将会直接影响到识别的效果 在预处理过程中需要解决的问题主要有图像二值化 字符切分 平滑化 去噪 归一化 细化 轮廓抽取 等 不同的识别方法对预处理的 项目和要求有所差别 贵州大学毕业设计 第 14 页 4 1 二值化 由于脱机手写体汉字识别只需要处理图像中的字形信息 对颜色等信息不做处理 所以须对扫描得到的文本图像进行二值化处理 以去掉不必要的信息 提高识别的速 度 并为以后的字符特征提取打下基础 用于识别的汉字图像通常可以是 256 级灰度 图 所谓图像的二值化就是通过设阈值 threshold 把它变为仅用两个灰度级分别表 示图像前景和背景颜色的二值图像 处理方法如下 假设一幅图的像素值为 f x y r 1 r 2 rm 阈值为 T ri 1 i m 则 汉字图像二值化的方法通常有 整体阈值二值化 局部阈值二值化 动态阈值二值 化 图 4 1 左到右依次为原图像 二值化后图 一 整体阈值二值化 1 人工设定整体阈值 根据实验和人的先验经验 预先给定一个固定阈值 当像素的灰度值小于该阈值 时认为该像素为文字笔画 否则为背景 这是一种最常用的最简单的速度最快的二值 化方法 当文字清晰 轮廓明显 干扰很小时是一种行之有效的二值化方法 人工设 贵州大学毕业设计 第 15 页 定整体阈值的缺点是不能根据每个文字确定最佳的阈值 而且确定阈值后当外界条件 改变时 不能使阈值随之改变 a b c d 图 4 2 人工设定不同阈值二值化处理 2 由灰度级直方图确定整体阈值 灰度级直方图给出了一张图像灰度级的概貌描述 字符点阵图像的直方图一般有 两个峰值 一个峰值对应文字笔划部分 另一个峰值对应字符的背景部分 阈值应取 在两个峰值的波谷处 波谷越深越陡 二值化效果越好 这是一种根据图像和背景的 灰度值自动确定整体阈值的方法 贵州大学毕业设计 第 16 页 图 4 3 灰度直方图 图 4 4 上到下左到右依次为原图像 直方图 二值化后图 二 局部阈值二值化 由像素的灰度值和该像素周围像素点局部灰度特征来确定该像素的局部阈值二值 化值叫做局部阈值选择 识别书写或印刷质量差 干扰较为严重的字符文稿时整体阈 值法很难正确进行二值化 这时采用局部阈值二值化是一个很好的选择 三 动态阈值二值化 当阈值选择不仅取决于该像素灰度值以及其周围各小组的灰度值 而且还和该像 素坐标位置有关 这叫做动态阈值选择 它可以处理低质量甚至单峰值直方图像 对 文字点阵图像而言 其笔画和背景的区分是比较明显的 而且动态阈值法计算时间长 因此在文字识别中很少采用 最后需要指出的是 局部阈值和动态阈值选择虽然能处理书写质量较差的文字 避免整体阈值法带来了不应有的失真 但是时间开销大 而且实际的局部阈值和动态 阈值选择算法往往在图形的某些部分上产生整体阈值不会产生的失真 所以 在文字 贵州大学毕业设计 第 17 页 识别中 以整体阈值法作为二值化的主要方法是较为妥当的 所以本文采取由灰度级 直方图确定整体阈值的二值化具体算法如下 通过找出出现概率不为 0 的最小灰度 st 和找出出现概率不为 0 的最大灰度 nd 求出 st 与 nd 的均值作为阈值 T 即 T st nd 2 基于灰度直方图的自适应阈值的二值化结果如图 4 1 4 2 文字的切分 现有的大部分汉字识别系统是建立在单字识别的基础之上的 然而我们经过光学 仪器扫描得到的大都是整幅文本图像 而非单个汉字图像 所以鉴于这种情况汉字分 割技术便应运而生了 汉字字符的切分就是对每个汉字字符定界 以便于单个汉字的 识别 汉字字符数量众多 而且手写体汉字具有随意性 其字符大小 字间距 字内 距变化大 所以它的切分难度远远大于西文字符及阿拉伯数字之间的切分 由于目前 脱机手写体汉字识别主要是在汉字字符切分的基础上进行 汉字切分的正确与否直接 关系到汉字识别的准确程度 因此 对于手写体汉字字符切分的研究具有很重要的理 论意义和实用价值 对汉字进行切分时 如果汉字间出现粘连 重叠和交叠等情况 将给切分工作带 来很大困难 所谓粘连就是指两个字符的轮廓线在一点或几点接触 如果能找到粘连 位置 可以采用直线或直线段将两个字符完全分开 重叠是指两个字符没有接触 属 于不同的连通区 但他们的垂直投影有重叠的情况 这种情况无法用直线将两个字符 完全分开 交叠是指两个相邻的字符不仅轮廓相连 而且共享某一部分像素区 这种 情况处理起来较为复杂但并不常见 此外 一个汉字的左右部分如果分的太开或者汉 字内部的笔划出现断裂 在切分时很容易被分割成两个或两个以上的字符 造成切分 错误 将上述几种情况综合就会形成更为复杂的情况 如两相邻字符既粘连又重叠或 者两相邻字符粘连同时其中一个或两个字符又写得过开等 上述所有这些情况都大大 增加了切分的难度 是汉字切分研究的重点和难点 汉字字符的切分方法大致可分为四类 第一种是基于统计方法的切分 即根据字 符的总体统计分布特征 确定字符之间的界限 判别时以字符的平均字宽作辅助判别 贵州大学毕业设计 第 18 页 统计分布特征的代表性和稳定性对切分的正确性及收敛性起很重要的作用 第二种是 基于汉字结构的切分 即从字与字之间以及汉字本身的结构入手 综合分析 寻找切 分的规则 第三种是基于识别的切分方法 即在实际切分前 对各种可能存在的切分 结果进行识别 选择合理的切分方式 第四种是整体识别法 即以整个词为待识别对 像 根据词的整体特征来识别 从而避免切分错误对字符识别造成的损失 这种方法 仅适用于识别西文字母或有限的关键性词汇 不适用于汉字的切分 本文采用文字投 影的分割算法下面介绍其原理 待处理的文字图像为一个二值点阵 f x y 设其大小为 M N 分割算法可以分 为两个步骤 先行分再纵分 字分 或者反之 1 行分 计算文字图像横向投影序列 g 1 g 2 g 3 g N 其中 g j 为 f x y 在 j 行上的投影 4 2 1 1 M j jifjg 1 Mj 3 2 1 然后对 g j 进行处理 4 2 1 2 0 1 g jTj g j g jTj 这样投影序列中连续为 1 的子列称为行段 连续为 0 的子列称为间段 在每个 间段第一次出现 0 的列进行切分 即完成了行分操作 其中阈值 Tj 可以根据需要自 行设定 如果要精确分割 则可以把 Tj 定小一点 反之 若只需要模糊分割 则可以 把 Tj 值定大一些 贵州大学毕业设计 第 19 页 图 4 5 上到下左到右依次为原图像 二值化图像 行分割后第一行图像及第二行图像 2 纵分 字分 纵向分割的原理同行分的原理基本相同 只是不是将整个文字图像纵向投影 而 是在行分割的基础上 将分出来的每一行文字分别纵向投影 即在 i 列上投影 贵州大学毕业设计 第 20 页 4 2 1 3 N j jifig 1 Ni 3 2 1 然后对 g i 进行处理 4 2 1 4 0 1 g iTi g i g iTi 同样 根据投影出来的列段和间段进行字分割 通过这种算法实现的子分割如图 4 2 1 和图 4 2 2 图 4 6上到下左到右依次为行分割后第一行图像 列分割后第一字 第二字 第三字 4 3去噪 归一化 切分后的文字图像难免会有一些噪声而且大小不一 位子也不同 这样提取的特 征就不规范 就很不容易识别出来 所以我们有进行了去噪和归一化 让待识别字大 小一样位子一样 去掉噪声对识别率的影响 贵州大学毕业设计 第 21 页 4 3 1平滑滤波器去噪处理 图像在生成和传输过程中常常受到各种噪声源的干扰和影响而使图像处理变差 有时抽样效果差的系统也同样给图像带来噪声 反映在图像上 噪声使原本均匀和连 续变化的灰度突然变大或减小 形成一些虚假的物体边缘或轮廓 因此 有必要抑制 或消除这类噪声 改善图像质量 有利于抽取对象特征进行分析 这个过程就称为图 像的平滑过程 图像平滑的思想是通过一点和周围几个点的运算 通常为平均运算 来去除突然 变化的点 从而滤除噪声 但图像会有一定程度的模糊 一幅图像往往受到各种噪声 源的干扰 这种噪声常常为一些孤立的像素点 它们像雪花使图像被污染 噪声往往 是叠加在图像上的随机噪声 而图像灰度应该相对连续变化的 一般不会突然变大或 变小 这种噪声可以用领域平均法使它得到抑制 图像在拍摄 扫描或者传输过程中 添加的噪声 进行中值滤波可以去掉 空间滤波增强方法分为四类 线性 非线性平滑滤波器 线性 非线性锐化滤波器 按空域滤波处理效果来分类 可以分为平滑滤波器和锐化滤波器 平滑的目的在于消 除混杂图像干扰 改善图像质量 强化图像表现特征 从信号分析的观点来看 图像 平滑本质上是低通滤波 它通过信号的低频部分 阻截高频的噪声信号 但由于图像 边缘也处于高频部分 这样往往带来另外一个问题 在对图像进行平滑操作时 往往 对图像的细节造成一定程度的破坏 15 根据模板的特点 空域滤波一般分为线性滤波和非线性滤波两类 线性空域滤波 常常是基于傅里叶分析的 非线性空域滤波则直接对邻域进行操作 按照空域滤波器的功能又可以将空域滤波器分为平滑滤波器和锐化滤波器两种 平滑滤波器可以用低通滤波实现 目的在于模糊图像 提取图像中的较大图像而消除 小图像或将对象的小间断连接起来 或消除图像噪声 锐化滤波器可以使用高通滤波 来实现的 目的在于强调图像被模糊的细节 以下是介绍平滑滤波的两种方法 1 邻域法去噪处理 平滑邻域法处理 就是将一个 n n 的像素窗口 依次在二值化字符图像的每个像 素点上移动 利用逻辑表达式来消除孤立像素的一种技术 汉字字符图像经过平滑处 理 能去掉孤立的噪声 干扰 平滑笔画边缘 假设有一个 3 3 窗口 如图 2 2 所示 贵州大学毕业设计 第 22 页 如果要用新值来替换原来的值 那么新值的逻辑表达式为 图 4 4 3 3 窗口 由此式可以看出 如果 3 3 窗口的中心点值为 0 而其它相邻点都为 1 那么的新值必为 1 因此 原来的值 0 将被的值 1 来代替 从而消 除了笔画上的孤立白点 如果中心点值为 1 同时的相邻点至少有一点为 1 则新值仍保持为 1 不变 从而减少了黑白噪声干扰 2 中值滤波去躁 上述领域平均法去噪在消除噪声的同时会将图象中的一些细节模糊掉 如果既要 消除噪声又要保持图象的细节可以使用中值滤波器 一种非线性平滑滤波器 它的工 作步骤如下 1 将模板在图中漫游 并将模板中心与图中某个象素位置重合 2 读取模板下各对应象素的灰度值 3 将这些灰度值从小到大排成 1 列 4 找出这些值里排在中间的 1 个 5 将这个中间值赋给对应模板中心位置的象素 具体选择一定尺寸大小的窗口 然后把此窗口在图象上移动 用窗口内各象素灰 度值的中间值代替该窗口中心的象素灰度值 中值滤波器的主要功能是让与周围象素灰度值的差比较大的象素改取与周围接近 的值 从而可以消除孤立点 中值滤波的效果比领域处理的低通滤波效果好 主要特 点是滤波后图象中的轮廓比较清晰 所以该论文对切分出来的 小 严 雨 字 采用中值滤波去噪 MATLAB 可以用 B medfilt2 A 3 3 一条语句来实现 程序见 附录三 贵州大学毕业设计 第 23 页 图 4 7 左到右依次为噪声图像和中值后图像 4 3 2归一化 汉字扫描输入 经二值化和平滑后 经常需要归一化处理 所谓归一化就是把汉 字尺寸变换成统一大小 汉字位置 旋转 平移 纠正 汉字笔划粗细变换等汉字图形的 规格化处理 所以 归一化有位置归一化 尺寸 大小 归一化二种 1 位置归一化 为了消除汉字点阵位置上的偏差 即将整个汉字点阵图形移到规定的位置上来 称为 位置归一化 位置归一化的方法有两种 一种是基于重心的位置归一化 另一种是基 于外框的位置归一化 前者是先求出文字质心 参见公式 2 2 再把质心移到规定的位 置上 后者是先求出文字的外框 找出中心 再把文字中心移到规定的位置上 一般 来讲 大多数字笔划分布左 右 上 下比较均匀 文字的重心和文字字形的中心相 差不多 重心归一化不会造成字形失真 但对个别文字如甲 丁等字 上下分布不匀 贵州大学毕业设计 第 24 页 重心归一化使字形向下移动 以致字形下端超出点阵范围而造成失真 因此 在此 我们选用的是外框归一化 f i j 是字切割的结果图像 对 f i j 的外接边框检测方法如图 4 14 所示 如图 4 6 文字外接矩形框的检出 将 f i j 向 x y 方向投影 得到 A i B j 取 A i 若 A i 1 0 且 A i 0 则 y1 i 若 A i 0 且 A i 1 0 则 y2 i 同理 若 B j 1 0 且 B j 0 则 x1 j 若 B j 0 且 B j 1 0 则 x2 j x2 x1 即为外接矩形框的宽度 y2 y1 即为外接矩形框的高度 这样就检 测出了切割后的汉字图像的边界 2 尺寸归一化 不同尺寸大小的汉字 归一化后成为同一尺寸大小的汉字 称为尺寸归一化 许多统计识别的方法 都需要尺寸归一化 经过尺寸归一化 使一种特征字典可以识 贵州大学毕业设计 第 25 页 别不同字号混排的汉字 尺寸归一化的方法也有两种 一种是