自由手写体数字识别系统的设计与实现

自由手写体数字识别系统的设计与实现自由手写体数字识别系统的设计与实现 摘要摘要 本文论述并设计实现了一个脱机自由手写体数字识别系统 文中首先对待识别数字的预处理进行了 介绍 包括二值化 平滑滤波 规范化 细化等图像处理方法 其次 探讨了如何提取数字字符的结构特 征和笔划特征 并详细地描述了知识库的构造方法 最后采用了以知识库为基础的模板匹配识别方法 并 以 MATLAB 作为编程工具实现了具有友好的图形用户界面的自由手写体数字识别系统 实验结果表明 本 方法具有较高的识别率 并具有较好的抗噪性能 关键词关键词 手写体数字 预处理 模式识别 特征提取 AbstrctAbstrct This paper describes and designs a free handwritten number recognition system Firstly the pretreatment of the character to be recognized is introduced including binarization smoothing normalization and thinning Next how to extract the structural features of the numbers is discussed and we describe the constructing method of repository Finally we use the method of template matching based on repository to recognize the digital number Matlab is used as a program tool to realize this free handwritten digital recognition system with friendly graphical user interface The experimental results show that the rate of the recognition system is high and the proposed method is robust to noise Keywords Keywords handwritten number pretreatment pattern recognition feature extraction 1 1 引言引言 OCR Optical Character Recognition 即光学字符识别技术 是通过扫描仪把印刷体或手写体文稿 扫描成图像 然后识别成相应的计算 机可直接处理的字符 OCR 是模式识 别的一个分支 按字体分类主要分为 印刷体识别和手写体识别两大类 对 于印刷体识别又可以分成单一字体单 一字号和多种字体多种字号几类 而 手写体识别又可分为受限手写体和不 受限手写体两类 按识别方式可分为 在线识别和脱机识别两类 字符识别处理的信息可分为两大 类 一类是文字信息 处理的主要是 用各国家 各民族的文字 如 汉字 英文等 书写或印刷的文本信息 目 前在印刷体和联机手写方面技术已趋 向成熟 并推出了很多应用系统 另 一类是数据信息 主要是由阿拉伯数 字及少量特殊符号组成的各种编号和 统计数据 如 邮政编码 统计报表 财务报表 银行票据等等 处理这类 信息的核心技术是手写数字识别 因 此 手写数字的识别研究有着重大的 现实意义 一旦研究成功并投入应用 将产生巨大的社会和经济效益 在整个 OCR 领域中 最为困难的 就是脱机自由手写字符的识别 到目 前为止 尽管人们在脱机手写英文 汉字识别的研究中已取得很多可喜成 就 但距离实用还有一定距离 而在 手写数字识别这个方向上 经过多年 研究 研究工作者已经开始把它向各 种实际应用推广 为手写数据的高速 自动输入提供了一种解决方案 本文首先介绍了自由手写体数字 识别的基本原理 包括数字图像预处 理 特征提取和模式识别的基本原理 和方法 其次介绍了 最后通过基于 MATLAB 的实验结果 对本系统的性能 进行了分析 2 2 手写体数字识别的基本原理手写体数字识别的基本原理 本系统主要由手写体数字识别的 训练过程和识别过程组成 训练过程 和识别过程均包括预处理 特征提取 和模式识别三部分 系统构成如图 2 1 所示 图图 2 12 1 系统流程图系统流程图 下面分别介绍各部分工作的基本原理 2 12 1 预处理预处理 预处理主要由二值化 平滑去噪 规范化 细化等组成 本文采用了基于阈值的二值化算 法 通过最大类间方差法即 OTSU 方 法 统计图像的灰度直方图选取全局 阈值 然后进行二值化处理 其次 在二值化后利用均值滤波 的方法消除孤立点 线的噪声 这样 图中就只剩下手写体数字 在滤波中 本文采用的是 3 3 大小的模板 平滑去噪后 对图像进行规范化 处理 找出图像中数字的边界 然后 提取出数字把它居中放置在正方形方 框中 再对此正方形图像进行线性插 值缩放 使它变为统一规格大小的图 像 本文中归一化图像的大小是 36 36 识别过程 训练过程 数据采集 预处理 特征提取 与选择 分类识别 数据采集 预处理 分类识别 改进数据采集 预处理 改进分类识别 待识对象 训练样本 人工干预 特征提取 与选择 改进特征提取 与选择 正确率 测试 在提取特征之前 要对手写体数 字进行细化 本文是采用的基于数学 形态学的细化算法 细化可用两步腐 蚀来实现 第一步是正常的腐蚀 但 它是有条件的 也就是说 那些被标 为可除去的像素点并不立即消去 在 第二步中 只将那些消除后并不破坏 连通性的点消除 否则保留 以上每 一步都是一个 3 3 邻域运算 细化是 将一个曲线性数字细化为一条单像素 宽的线 从而图形化地显示出其拓扑 性质 数字图像预处理前后效果比较如 下图所示 图 2 2 为数字 5 的原 始图像 图 2 3 为对图 2 2 预处理后 的结果图 类似地 图 2 4 为数字 6 的原始图像 图 2 5 为对图 2 4 预处理后的结果图 图图 2 22 2 原始图像原始图像 图图 2 32 3 预处理后图像预处理后图像 图图 2 42 4 原始图像原始图像 图图 2 52 5 预处理后图像预处理后图像 2 22 2 特征提取特征提取 特征提取的目的是从原始数据中 抽取出用于区分不同类型的本质特征 无论是识别过程还是学习过程 都要 对研究对象固有的 本质的重要特征 或属性进行量测并将结果数值化 形 成特征矢量 通常能描述对象的元素很多 为 了节约资源 节省计算机存储空间 处理时间 特征提取的费用 有时更 是为了可行性 在保证满足分类识别 正确率要求的条件下 按某种准则尽 量选用对正确分类识别作用较大的特 征 使得用较少的特征就能完成分类 识别任务 这项工作表现为减少特征 矢量的维数或符号字符数 在本系统 中采用对待识别数字图像进行行列扫 描与数字起点结合的方法提取特征 2 2 12 2 1 结构特征的提取结构特征的提取 首先对经预处理后的图像进行分 割 如图 2 6 所示 图图 2 62 6 图像分割图像分割 对图像分割后 结构特征提取的 算法如下 1 对细化后的数字图像取竖直的三 条直线 分别取在 5 12 1 2 7 12 处 记下这三条 竖直直线与数字笔段的交点数 2 再取水平三条直线 分别取在 1 3 1 2 2 3 处 分别记下这三 条水平直线与数字笔段的交点数 3 再取对角两条直线 分别记下这 两条对角直线与数字笔段的交点 数 2 2 22 2 2 笔划特征的提取笔划特征的提取 经细化后的数字图像其特征较为 稳定 且笔划简单 因此对其抽取的基 本结构组件能反映数字的本质特征 从而可快速有效地识别数字符 并达 到较好的分类效果 数字端点如图 2 7 所示 提取笔划特征的算法如下 1 按从上到下 从左到右的顺序扫 描预处理后图像并选择黑像素点 P 2 计算像素 P 的 8 邻域之和 N 3 若 N 1 则像素 P 为端点 端点计 数器加一 4 重复步骤 1 3 直到遍历整个 图像 图图 2 72 7 数字端点数字端点 2 2 32 2 3 数字的特征向量说明数字的特征向量说明 依据上述特征提取方法 本系统中 的特征矢量由 9 个分量组成 其排列 如下所示 DATA 竖直中线交点数 竖直 5 12 处 竖直 7 12 处 水平中线交点数 水平 1 3 处交点数 水平 2 3 处交点数 左对角线交点数 右对角线交点数 端点数 2 32 3 知识库的建立知识库的建立 由于本文采用的是基于模式知识 库的识别方法 所以对字符的结构特 征的分析以及字符模型的构造是一个 十分重要的环节 图 2 8 就是对识别 数字的标准形态进行具体分析而构造 的模板 图图 2 82 8 规范手写体数字形态规范手写体数字形态 DATA01 2 2 2 2 2 2 2 2 0 DATA11 1 0 0 1 1 1 1 1 2 DATA21 3 3 3 1 1 1 1 1 3 DATA31 3 2 3 1 1 1 2 2 3 DATA41 1 1 1 2 2 1 3 2 4 DATA51 3 3 3 1 1 1 2 2 4 DATA61 3 3 2 1 1 2 3 2 1 DATA71 2 2 2 1 1 1 1 1 2 DATA81 4 4 4 2 2 2 2 2 0 DATA91 3 3 3 1 2 1 3 1 1 由于本系统是对自由手写体进行 识别 因而要考虑数字书写体的多变 性 通过对图 2 9 所示数字变体的分 析来对知识库进行补充 图图 2 9 手写体数字变体手写体数字变体 DATA02 1 1 2 2 2 2 1 2 2 DATA22 3 2 2 1 1 1 1 3 2 DATA32 3 1 4 2 1 1 2 2 3 DATA42 1 2 2 3 3 1 2 2 2 DATA52 3 3 3 1 1 1 2 2 4 DATA62 3 1 3 1 1 2 2 2 2 DATA82 4 4 4 2 1 2 1 2 2 DATA92 3 2 3 2 1 1 3 1 3 最后得到知识库由上述两套模板 所组成 2 42 4 本系统的模式识别方法本系统的模式识别方法 在本次设计过程中 我们选择了模板 匹配的识别方法 通过计算欧氏距离来衡 量匹配程度 本系统中的特征矢量有 9 个 分量 其计算距离公式如下 公式公式 2 1 2 1 1 22 9 1 ii i dxy 但在本次设计中我们计算距离时 对上述公式进行了改进 对于可靠性 较高的端点数即最后一维特征值加大 了权重 改进后的距离计算公式如下 1 82 22 99 1 3 ii i dxyxy 公式公式 2 2 2 2 在识别过程 分别计算待识别图 像的特征值与知识库中两个模板的距 离 与 10 个数字逐个比较 距离最 小的对应的数字就是最后识别结果 该算法具有特征提取和模板建立都比 较直观 时间复杂度低 易于实现等 优点 其缺点是在建立知识库时需要 进行大量的训练 当知识库中的模板 增多时 特征矢量间的距离会减小 3 3 MATLABMATLAB 程序设计程序设计 本次设计使用 MATLAB 语言实现 该系统 其用户界面分别介绍如下 1 读入图像 读入图像的用户界面如图 3 1 所示 图图 3 13 1 读入图像读入图像 2 对图像进行各种处理 选择对图像的各种操作的用户 界面如图 3 2 所示 对图像取反的用 户界面如图 3 3 所示 对图像平滑去 噪的用户界面如图 3 4 所示 对图像 进行二值化操作的用户界面如图 3 5 所示 对图像进行规范化处理的用户 界面如图 3 6 所示 对图像进行细化 操作的用户界面如图 3 7 所示 图图 3 2 选择对图像的各种操作选择对图像的各种操作 图图 3 33 3 图像取反图像取反 图图 3 4 平滑去噪平滑去噪 图图 3 5 二值化二值化 图图 3 6 规范化规范化 图图 3 7 细化细化 3 数字图像的识别 对手写体数 字进行识别的结果显示界面如 图 3 8 所示 图图 3 83 8 识别结果显示识别结果显示 在上述界面中 系统可根据用户 对识别结果正误的选择 自动计算识 别率 识别率结果显示在图像界面上 方 4 4 实验结果及分析实验结果及分析 在实验过程中我们以两组样本作 为训练样本对知识库的参数进行调整 这两组训练样本分别为 100 个规范手 写体样本和 100 个自由手写体样本 规范手写体样本训练结果如表 4 1 所 示 自由手写体样本训练结果如表 4 2 所示 表表 4 14 1 规范手写体训练结果规范手写体训练结果 数字 类别 正识样 本数 误识样 本数 识别率 0100100 1100100 29190 39190 49190 59190 6100100 7100100 8100100 99190 合计 95595 表表 4 24 2 自由手写体训练结果自由手写体训练结果 数字 类别 正识样 本数 误识 样本数 识别率 0100100 1100100 28280 39190 49190 58280 6100100 7100100 8100100 99190 合计 93793 在测试实验中 我们以 200 个规 范手写体和 200 个自由手写体共两组 样本作为测试样本 识别实验结果分别 如表 4 3 4 4 所示 表表 4 34 3 规范手写体识别实验结果规范手写体识别实验结果 数字 类别 正识样 本数 误识 样本数 识别率 0200100 1200100 217385 318290 418290 517385 618290 7200100 819195 918290 合计 1851592 5 由上表可以看出 本系统对规范的 手写体有较好的识别效果 识别率达 到 92 5 表表 4 44 4 自由手写体识别结果自由手写体识别结果 数字 类别 正识样 本数 误识 样本数 识别率 019195 1200100 216480 318290 418290 517385 618290 7200100 819195 917385 合计 1821891 由上表所示 字符 2 和 5 的误识 率较高 常误识别为对方数字 对待 识别数字要求严格 这是由于它们的 标准特征向量距离较小 需要通过增 添标准库或参数调整对此情况进行改 进 5 5 结论结论 本文对自由手写体数字识别的基 本原理及方法作了介绍 并用 MATLAB 工具实现了自由手写体数 字识别系统 实验结果表明 基于所 用结构模型和知识库的识别方法对规 范手写体数字是可行的 具有较高的 识别率及较好的抗噪性能 也可以识 别一定条件下的自由手写体数字 为 了提高识别率和可靠性 除了要增强 对噪声的滤除能力外 还要增大知识 库 以解决细化中出现的结构畸变问 题 这些都有待我们进一步的研究 参考参考文献文献 1 张平等 matlab 基础与应用简明 教程 M 北京 北京航空航天大 学出版社 2001 2 飞思科技产品研发中心 matlab6 5 辅助图像处理 M 北京 电子工 业出版社 2003 3 章毓晋 图象处理和分析 北京 清华大学出版社