印刷体数字识别方法的研究---周初洪.doc

中国仿真科技论坛电子期刊 NO.9印刷体数字识别方法的研究周初洪（上海交通大学医学院资产管理处，上海，2006.2）摘要：在信息化飞速发展的今天，光学字符识别是一个重要的信息录入与信息转化的手段。其中数字的识别有着非常广泛的应用。本文中作者结合工作实际，分别分析了十个阿拉伯数字的不同特征，设计了具有通用意义的可能性，着重研究探讨该技术的应用可行性，并且尝试将向其他方面推广该技术。本文首先探讨数字识别技术的现实意义，然后转向技术层面，重点研究图像处理、特征识别、算法推敲等环节。在特征识别技术中提出了“伤口”算法。在结合相关硬件进行的实际操作中，识别效果良好。关键词：OCR、数字识别、编号扫描、图像处理Research of Printed Digit RecognitionZHOU Chu-hong(Asset Dept , Medical College of Shanghai Jiao Tong University, Shanghai, 2006.2)ABSTRACT: OCR(Optical Character Recognition) has become one of the important method in gathering information and information transformation. Printed digit recognition has a promising business feature in many fields in society. The author found something in practice, analyzed the different characteristic of ten Arabic numerals respectively, designed to the possibility of the in general use meaning, emphasizing that technical applied possibility of the research study, and trying to expand that technique toward other aspects.This text inquiries into numeral recognition to realistic meaning first, then turns to the technique level, the point is to research picture processing, characteristic identification and recognition, calculate way deliberation etc. Put forward wound calculate way in the characteristic identification.We have got a good result combined with related hardware on the database of MNIST and practice.Key Words: OCR printed digit recognition image processing1 绪论1.1问题的由来作为光学字符识别技术（Optical Character Recognition, 简称OCR）的一个分支，数字识别（Numeral Recognition），它的研究对象是：使计算机能够自动识别写在传统载体（纸、标牌等）上的数字。在条形码普遍使用和条码扫描技术日益成熟的今天，脱机印刷体数字的识别仍然具有非常重要的意义和不可代替的作用，比如：邮政编码、统计报表、银行票据、车牌监管、纸币编码识别等等。近几年，我院开始大力推广设备管理的网络化在很大程度上要依赖原始数据信息的输入，如果能通过对设备标牌上编码的识别技术带动设备普查、设备变更等日常工作的同步数字化，无疑会促进这一项目的进一步发展。在以往浩如烟海的标牌中虽然没有使用条形码，但是却有着非常规范的印刷体设备编码，所以作者就开始着手利用现有资源，尝试着用OCR技术组建设备管理网络。图1.1两种款式的现役设备编号标牌1.1.1传统设备检查中普遍存在的问题1、设备较少的部门实现了设备普查，设备多的部门只能抽查。而抽查率由于人力和时限等原因普遍都不高。2、各部门的设备保管员与设备检查人员重复检查。设备检查前一般都要求各保管员事先进行自查，然后我们再复查。自查的目的是让各保管员熟悉设备状况和安置地点，这样可以便于复查。但现在复查的时候还是需要双方人员反复走。这样既有碍各部门人员的正常工作，也极大地降低了检查效率，间接伤害了保管员的工作热情。3、一些非常个人化的物品，比如笔记本电脑、移动硬盘等，往往检查不到。保管员对一些敏感人员也有难言之隐。4、传统的账本正逐步取消，原先的“帐物卡”体系正向“网物卡”的现代管理模式过渡。管理模式的变革要求我们开发出一套全新的设备检查方式，与时俱进，克服上述不足，适应科学的、以人为本的管理理念。1.1.2设想方案1、开发设计手持式设备检查仪。它能像条形码阅读器那样识别阅读标签上的设备编号，并能通过USB等接口与电脑相连。2、检查某部门前一段时间（具体看该部门设备数量多少）把手持检查仪下发给该单位，让保管员拿着它先自查。这样一些正常、完好的设备大都能覆盖。有些未贴标牌、标牌残损或者手工书写的情况就能暴露出来。3、自查结束后我们进驻该部门进行复查。从检查仪上导出已检查的设备编号，对照网上账本，对其中的一部分可以再次复查，重点对没有检查到的设备进行检查，重点听取保管员对某些设备出现问题的描述，重点填写好大型设备效益表等。1.1.3预期效果1、设备检查率大大提高。在人力投入增加不多的情况下，实现了精细管理，更好了适应了设备众多化、复杂化的趋势。2、认真的考核促进科学的管理。考核制度的变革可以引发管理模式的进步。比如规范贴牌、防止标牌污损等。3、由于设备检查是一年一度的，所以作为管理部门，我们有半年左右的时间进行前期准备，包括检查仪的开发和适应性校验，对各部门保管员的培训等等。4、对一些特殊设备，如空调或无法贴牌的移液器、狗笼兔笼等还是需要实地查看的。对个人化很强的物品，可以让保管员在自查阶段找到，这也比在几次复查内获得的效果好。5、检查仪的识别率做不到百分百，面对数以万计的设备编号，它也许会出现比例很小的识别错误或者无法识别的情况。这可能缘于它自身，也可能是标牌污损或者使用不当。这时也需要一定的人工介入。1.2OCR方法简介对多数OCR系统，其一般步骤如图1.2所示。识别后处理识别判断特征提取预处理图像采集图1.2一般识别过程1、图像采集阶段，是取得要识别所要的原材料，即各个字符集的图像。主要利用光学仪器，如照相机、摄像机、扫描仪等等。2、预处理阶段，是对上述采集到的图像进行识别前所必要的一些处理工作，主要包括：对原始图像进行几何校正、去噪声、复原、二值化，对二值图像进行滤波处理，单字的分割、笔画提取等等，必要时修补缺口。3、特征提取阶段，经处理过的图像包括很多特征，识别时就需要这些利用经过挑选、行之有效的特征。4、在识别判断阶段，有些特征无法直接为计算机接受，所以需要经过特定处理。5、识别后处理阶段，对错误识别、拒绝识别的部分进行挽救性识别。1.3阿拉伯数字识别方法简介本文主要着眼于从0到9十个阿拉伯数字的识别，因此在此简单介绍一下目前流行的数字识别方法。在过去几十年中，人们提出了许多方法用于阿拉伯数字的识别，这些方法可分为两类，即所谓的全局方法和结构方法。1、模板匹配法2、从像素点统计分布的角度来抽取特征，主要方法有采样点方法，矩方法、特征轨迹方法等。这类方法能有效应付扭曲和变形的字符、有较好的稳定性、计算复杂度小，但是在一般情况下，特征的模板难以构成。3、用全局变换和级数展开的方法抽取特征。此法可以减少特征向量的维数，且对于一些全局变量的形变，如平移和旋转，具有一定的不变性。这类方法主要有：Fourier变换、Walsh变换、Harr变换、Hadamard变换、K-L变换、Hough变换以及投影变换等。虽然一般而言此法的计算量较大，单特征抽取和模板生成都比较简单。对结构方法而言，它一般是通过分析字符的轮廓或骨架来取得字符的几何和拓扑特征，它所关注的特征包括字符笔画端点，交叉点，笔画的交角，凹凸性等。这类方法对数学要求较少，对各种特征的定义和获取大都依赖研究者的直觉和经验，因此这一领域还是开放的，研究者可以不断提出新的特征和方法以达到更好的识别效果。一般来说，结构方法有较高的识别速度，而且对于字符的变形具有良好的抗干扰能力，同时对字符的旋转，平移和伸缩具有较好的稳定性，但是这类方法的特征抽取过程比较复杂，由于特征定义和抽取都直接依赖于研究者的直觉，对图像预处理要求较高。对于印刷体阿拉伯数字的识别，上述两类方法都各自的优缺点。结构方法对细节变化较为敏感，对噪声大的图像识别率不高，同时结构法一般使用句法分类器进行分类，由于训练样本的限制，总有部分待识字符无法分类，拒识率高但是错误率很低。此法一般适用与印刷体数字或者规范数字的识别。统计方法对噪声不敏感，在噪声较大时还是有较好的稳定性，但这类方法对图像细节上的细微差别不灵敏，难以区分字符之间的细微差异，因此在待识字符比较相似时容易产生错误识别而且资源消耗先对前者较大。因此对于规范的印刷体数字，第一种方法比较合适，所谓宁愿拒绝识别也不要乱识别，没有识别的数字可以通过人工的方法再识别，但一旦误识别的就可能无法挽回了。另外神经网络的方法也渐渐在数字识别领域得到广泛应用。神经网络方法的优点是：特征抽取较为简单，在神经网络的结构确定以后由通用的软件用于训练和识别，可通过更大的训练样本集来取得更高的识别率，同时由于它使用了统计性的特征，因此和统计方法一样有较高的抗干扰能力，又由于神经网络变换的非线性，使得它也和结构方法一样能区别出不同类别之间的细微差别。因此在实用的手写体阿拉伯数字识别器中都有神经网络部分。但它同样有缺点：当训练样本数量很大时，训练所用的时间太长；当更换待识字符集后，往往需要重新训练这一网络；另外，神经网络的动力学原理尚未完全揭示，进一步提高识别率的思想受到限制。由于我们的设备标签有两种模式，一种是五位的宋体数字编码，一种是九位的新罗马体数字编码。神经网络的方法也就无法随机地适应不断变化着的识别对象。1.4研究的难度数字的类别只有十种，笔画又简单，其识别问题似乎不是很困难。但实际上，一些测试结果表明，数字的正确识别率并不如汉字识别率高，甚至也不如联机的手写汉字识别率高，而仅仅优于脱机手写体汉字识别。其中的主要原因是：1、某些数字的相似性很大，字形相差不大，使得准确区分某些数字变得相当困难。2、由于数字没有上下文的关系，每个单字都代表特定的意义，所以对数字识别单字识别正确率的要求要比文字要苛刻得多。在金融、统计等领域其严格性更是不言而喻。3、大批量数据处理对系统速度一般都有颇高的要求，很多理论上很完美但速度过低的方法都是行不通的。4、由于标牌所处环境不同，标牌上的数字也存在千差万别的污损情况，除了传统的背景污染，可能还会有字体磨损，笔画中断，意外折痕入侵等等。标牌本身也可能存在编号中数字上下跳动，不规则旋转等情况。1.5识别系统性能的评价作为一个识别系统，最终要用某些参数来评价其性能的高低，印刷体数字识别也不例外。评价的指标除了借用一般文字识别里的通常做法外，还要根据数字识别的特点进行修改和补充。对一个印刷数字识别系统，可以用三方面的指标表征系统的性能：正确识别率A=(正确识别样本数/全部样本数)100替代率（误识率）S=(误识样本数/全部样本数)100拒识率R=(拒识样本数/全部样本数)100三者的关系：A+S+R=1数字识别的应用中，人们往往很关心的一个指标是“识别精度”，即，在所有识别的字符中，除去拒识字符，正确识别的比例有多大，定义为：识别精度P=A/(A+S) 100一个理想的系统应该是R，S尽量小，而P，A尽可能大。而在一个实际系统中，S和R是相互制约的，拒识率R的提高总伴随着误识率S的下降，与此同时识别率A和识别精度P的提高。因此，在评价本识别系统时，必须综合考虑这几个指标。2 主要预处理方法的研究和分析2.1引言字符识别时，首先将印在纸上、标签上的字符，经光电扫描产生模拟电信号，再通过模数转换为带灰度值的数字信号输入处理终端。字符载体的厚度、洁白度、光洁度、弯曲程度、油墨深浅、印刷或书写质量都会造成字形畸形、产生污点、飞白、断笔、交连等干扰。输入设备的鉴别率、线性度、量化过程也会产生噪声。所以，在单个字符识别之前，要对带有随机噪声的字符灰度值数字信号进行预处理（Preprocessing）。预处理一般包括二值化、行字切分、平滑、去噪声、规范化和细化等。不同的识别方法，对预处理的项目和要求有所差别。基于结构原理的识别方法对预处理尤其有着较大要求，所以本章就予以明确的阐述。2.2二值化把字符灰度图像处理成二值（0和1）图像的过程，称为对字符图像的二值化（Binarization）。对灰度图像二值化能显著减小数据存储的容量，降低后续处理的复杂度。设扫描、A/D转换后的字符图像点阵为：C=f(i,j)i=1,2,p；j=1,2,q式中f(i,j)式像素（i,j）的灰度值。有黑笔画的部分，f(i,j)较小；而白背景部分，f(i,j)较大。最简单的二值化通过设定固定灰度阈值T来完成，即当f(i,j)值笔预定阈值T大，看成背景，赋值为“0”；反之看成文字笔画，赋值为“1”。1f(i,j)TB=（g(i,j)）即为字符二值化后的图像点阵。对于字符图像二值化，要求二值化后的图像能忠实的再现原字符。基本要求如下：1、笔画中不能出现空白点；2、二值化的笔画基本保持原来文字的结构特征。二值化的关键在于阈值T的选择，下面介绍本设计中采用的阈值选取方法。2.2.1整体阈值处理仅由像素点（i,j）的灰度值f(i,j)确定阈值的方法称为整体阈值选择法。阈值T表示为：T=Tf(i,j)。常用的集中整体阈值选择方法为：1、人工设定整体阈值根据实验或人的预想和经验，预先给定一个固定的阈值T。这是一种最简单且最快速的二值化方法。当文字清晰，轮廓明显，干扰很小的情况下，它非常行之有效。人工设定整体阈值的缺点也同样显而易见，如不能根据每个文字确定它最佳的阈值；一旦光源等外界条件改变时，无法使事先设定的阈值适应新的识别环境，通用性差。2、由灰度直方图确定整体阈值这是一种根据图像和背景的灰度值自动确定整体阈值的方法。如图所示，图2.1是一副被污损过的文字图像，图2.2是该图像的灰度直方图。图2.1带有随机背景污染的原图图2.2原图的灰度直方图从直方图上可以观察到如下几点：1、原图中的文字和少量的污染大都集中在单点灰度为0到50的区间内，大多数的污染和几乎全部的正常背景都集中在单点灰度为100到255的区间。2、根据不同原图上字符和背景关系的不同，其灰度直方图的分布是不同的。但是一般印刷体的原图，其字符一般而言清晰可见，它们的灰度都远远小于正常背景和绝大多数的污染，所以印刷体原图的灰度直方图分布一般都呈现“两头高，中间低”的所谓“盆地”形态。3、由灰度直方图确定整体阈值所指的就是根据不同图像的不同灰度直方图，确定其“盆地”位置，如50到100，把“盆地”两边的灰度全都归为0和255。这样就能去掉绝大多数污染的干扰，为下一步的特征判断做准备。如图2.3所示。4、整体阈值处理法的优点就在于它能根据不同灰度直方图，自行探察到“盆地”所在区间，从而确定合适的阈值。这就意味着它能把图像中的有效字体清晰地强化表现，把污染和背景普遍地弱化。同时它也有一些不可回避的问题，那就是当图像中背景污染明显深于字体，污染的灰度等同于或者高于字体灰度时，那么此法就难以胜任了。此时的图像可能就需要人工介入进行预处理，不过人工处理的难度也已经是不言而喻了。图2.3经整体阈值处理后的图2.2.3平滑平滑处理，就是将一个nn的像素窗口，依次在二值化图像的每个像素点上移动，利用逻辑表达式来消除孤立像素的一种技术。通过平滑处理，能够去掉孤立的噪声、干扰，使笔画边缘连续和平滑。本设计中采用了如图2.4的平滑窗口：？1？1？00？000101101011011？1？00100100？（1） （2）（3） （4）图2.4四个33的平滑窗口（？表示0或1都可以）上述这些窗口包括将每个窗口旋转90，180和270以后得到的新窗口以及0、1互换后的所有情况。在印刷体数字图像中，如果某像素p的33邻域窗口（1）或（2）或这两者的旋转窗口相匹配（即完全一样），则将像素p的值改为1，使它成为黑像素；如果某像素p的33邻域窗口（3）或（4）或这两者的旋转窗口相匹配（即完全一样），则将像素p的值改为0，使它成为白像素；对于处在图像边缘的像素，可按背景色（0值）向外扩张一个像素。从某种意义上讲，字符识别是一种实验性科学，因此我们可以根据实践对实验做一些有利于识别结果的修补，只要这种修补不影响一般性前提并且是合理的，那么这种处理就是可行的。对平滑窗口（1）而言，中心像素p的四个4邻居都是黑像素，由于字体的书写带有某种随机性，因而有充分的理由认为中心像素p也应是黑像素。如果p是白像素，那么很可能在图像采集过程中，由于某种噪声或其它原因使得本该是黑像素的点变成了白像素，所以将p改为黑像素具有相当的合理性。3 各个数字特征分析与识别方法基于十个阿拉伯数字的结构，本设计在不断研究中发现，人工辨别阿拉伯数字时，并不注重每个数字的细节，所以即使数字图像质量很差，人们也能比较准确地读出数字。那么我们就得出一个结论，人们识别数字只看数字的一些最基本结构，只要目标数字与之大体吻合，那么就能做出较为准确的判断。在实际操作中也发现，即使被测试人员仅仅得到一些数字的残体或者是扭曲变形的数字，他们也大都能顺利辨认。可见特征识别的重要意义。3.1轮廓跳变判断法根据上述情况，本设计提出了轮廓跳变判别法。左右轮廓定义：假设一个二值图像四周一圈像素都是背景，如果不是可在周围增添一圈背景像素。在所有有效行中有一个最高有效行和最低有效行分别标记为有效行Top和有效行Bottom，对于整个图像的第Top行到Bottom行从左到右扫描每一行第一个碰到的目标像素构成这个图像的左轮廓。相应的可定义右轮廓。所有的左轮廓点或者由轮廓点构成一个序列。由定义可知左右轮廓点序列的长度相等，且等于目标的高度。本文的主要识别部分和编程环节都将围绕上图和上表展开，根据实际图像质量情况、图像采集质量等客观因素，可以对上表做适应性修改。同时为了更为明显地表示出左轮廓、右轮廓等特征，在下列各图中，蓝线表示左轮廓，绿线表示右轮廓。3.1.11的特征分析与识别方法1的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、左轮廓在20到40之间存在跳变，尤其是30附近尤为明显，其跳变幅度几乎占到整个字符幅度的75；2、右轮廓基本光滑，在整个过程中没有任何跳变迹象。3.1.22的特征分析与识别方法2的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、左轮廓在20到40之间存在跳变，尤其是40附近尤为明显，其跳变幅度几乎占到整个字符幅度的80；2、右轮廓在100到120之间存在跳变，尤其是110附近尤为明显，其跳变幅度几乎占到整个字符幅度的85。3.1.33的特征分析与识别方法3的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、左轮廓在20到40之间和80到100之间存在两处跳变，尤其是35到40区间和80到90区间尤为明显，其跳变幅度都超过了到整个字符幅度的70；2、右轮廓基本光滑，在整个过程中没有任何跳变迹象。3.1.44的特征分析与识别方法4的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、左轮廓在80到100存在跳变，尤其是80到90区间尤为明显，其跳变幅度几乎占到整个字符幅度的65；2、右轮廓在60到80之间和80到100之间存在两处跳变，尤其是70到80区间和80到90区间尤为明显，两处跳变幅度几乎占到整个字符幅度的25。3.1.55的特征分析与识别方法5的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、左轮廓在60到80之间和80到100之间存在两处跳变，尤其是60附近和80到90区间尤为明显，两处跳变幅度都几乎占到整个字符幅度的80；2、右轮廓在0到20之间存在跳变，尤其是10附近尤为明显，跳变幅度几乎占到整个字符幅度的65。3.1.66的特征分析与识别方法6的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、左轮廓基本光滑，在整个过程中没有任何跳变迹象。2、右轮廓在20到40之间和40到60之间存在两处跳变，尤其是30附近和40到50区间尤为明显，跳变幅度分别占到整个字符幅度的75和50。3.1.77的特征分析与识别方法7的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、左轮廓在0到20之间存在跳变，尤其是10附近尤为明显，跳变幅度几乎占到整个字符幅度的80；2、右轮廓基本光滑，在整个过程中没有任何跳变迹象。3.1.88的特征分析与识别方法8的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、右轮廓基本光滑，在整个过程中没有任何跳变迹象；2、右轮廓基本光滑，在整个过程中没有任何跳变迹象。3.1.99的特征分析与识别方法9的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、左轮廓在60到80之间和80到100之间存在两处跳变，尤其是80附近和90到100区间尤为明显，跳变幅度分别占到整个字符幅度的50和75； 2、右轮廓基本光滑，在整个过程中没有任何跳变迹象。3.1.100的特征分析与识别方法0的左右轮廓图像：观察轮廓化后的图像，我们不难发现：1、右轮廓基本光滑，在整个过程中没有任何跳变迹象；2、右轮廓基本光滑，在整个过程中没有任何跳变迹象。3.1.11轮廓跳变分析流程图由于字体、图片质量等综合问题，理论值和实际值之间有不小的差距，直接导致很多左右轮廓跳变数不是默认的理论值，导致拒识率上升很大。为此在做流程图时需要根据实际情况做一些调整。数字左/右轮廓跳变数左轮廓跳变位置左轮廓跳变幅度右轮廓跳变位置右轮廓跳变幅度1103075-21140801108532037.5、8570、70-412856575、8525、2552160、85801065602-30、4575、507101080-800-92080、9550、75-000-表-3.1.11各数左右轮廓跳变分布经过预处理的数字轮廓化计算左右轮廓跳变数左右跳变数（x, y）(1,1)(0,2)26(1,2)45(2,1)或(2,2)(1,0)(0,0)(2,0)或(3,0)1或70或83或9拒识其它跳变位置判断139右轮廓平均斜率大小先跳变后跳变7较大较小中央区域灰度值累计大小8较小0较大图3.1.11轮廓跳变分析流程图3.2伤口理论如果把数字看成一个竖放着的容器，容器最上部开个小口子，我们往里面注水。水面会沿着容器壁，也就是数字的边缘自下向上不断上升。注满水后，我们密封注水口，并且从中向容器加压。试想该容器最容易被突破、最容易漏出水、最容易出现伤口的地方在哪里？显然，由于同等受力情况下截面小压强大的原理，伤口最容易出现在数字的笔画的起始和终止处，而不是容器的容器壁上。其实伤口理论本可以简单地描述成找出各数的起止位置，但是为了编程的需要和为后期神经网络训练提供样本，我们还是需要把各数理解为各种形状的密闭注水模型。1245678903图3.2各数的伤口分布情况通过仔细观察各数伤口的分布情况，我们可以得到如下结论：数字伤口数伤口位置伤口朝向13中上、左上、中下向上、向左、向下22左上、右下向下、向右33左中、中中、左中向下、向左、向上42右中、右下向右、向下53右上、左中、左中向右、向下、向上61右中向下72左上、中下向左、向下8091左中向上001、这些伤口大都集中在各数的边缘，只有数字3存在一个中央伤口；2、如果仅仅给出每个数字的伤口位置和伤口朝向，人工判断时，只需沿着伤口朝向画反向延长线，就可以大致描绘出数字的大体轮廓，根据所绘轮廓就能判断出数字。这是因为伤口大都是数字的起始和终止位置，这些地方一旦确定，那么数字基本就确定了。3、数字1的上部伤口非常容易受字体的影响，所以不宜使用该法。建议一开始就利用数字1是十个数字中的长宽比最小这一特性入手，辨别出该数；4、数字0和数字8没有伤口，所以不宜使用该法。建议放到最后根据中央区域像素求和来判别。3.3综合识别和试验结果本文所用的试验数据库由因特网上得到，是NEC研究中心的MNIST数字数据库，它由60000个训练样本和10000个测试样本构成。图像已经经过归一化处理。MNIST由NIST的SD-3和SD-1重组得到。原NIST的图像被归一化为2020像素的二值图像，然后被至于2828像素图像的中间得到MNIST。实验用的字符集是MNIST训练库中的第