【字符分割与图像处理识别系统的设计及探析9200字（论文）】

引言 11.1研究的目的及意义 11.2字符识别研究现状 12图像预处理 12.1图像处理发展概况 12.2图像灰度化 22.3图像增强 22.4图像二值化 22.5梯度锐化 32.6去除离散的杂点噪声 32.7图像的倾斜校正 32.8归一化处理 33字符分割 33.1投影法分割字符 33.2连通域法分割字符 44图像处理识别系统的设计及分析 54.1总体设计 54.2硬件设计 54.3软件设计 54.4视频读取与转码模块 64.5预处理模块 64.6图像特征提取模块 74.7字符识别模块 84.8样本字符识别的过程 95字符识别识别过程 105.1统计特征字符识别技术 115.2结构特征字符识别技术 115.3基于神经网络的字符识别技术 12结论 13参考文献 141引言1.1研究的目的及意义人类社会己开始进入信息时代，信息产业的发展将对国家的发达和民族的兴旺产生重大的影响。因此，世界各国对信息产业的发展都给予了极大的关注和重视。人类社会的不断进步带来了信息空间的增长和积累，而计算机的出现为现代化信息处理提供了有效的手段。但是，在信息技术高速发展的同时，一个难题也摆在我们面前，那就是计算机数据处理和网络传输的高速度与数据输入的低速度之间的矛盾。目前，人类的许多信息是记录在纸上的文字图像，将这些信息输入计算机是非常繁琐而低效率的工作，这在一定的程度上减缓了社会信息化的进程。因而，作为信息化基础的数据输入成了计算机应用中的瓶颈问题。人们接受信息最频繁的是视觉通道.在日常学习和生活中，所处理的信息有75%-85%是视觉信息，其中文字信息愈来愈占重要地位.比如对各种期刊文献的阅读、查找、翻译:对各种统计报表的汇总、计算、分析;对各种函件票证的分拣、传送、验核等。要实现对这些文字信息处理过程的机械化、自动化，其先决条件就是利用计算机对这些文字信息进行识别。1.2字符识别研究现状最早的文字识别始于50年代初期的欧美，1955年出现了印刷体数字OCR产品，此后转向手写体英文和数字的识别。对汉字识别研究最早的是美国IBM公司的Casey和Nagy。1966年他们发表了第一篇关于汉字识别的文章，用模板匹配法识别1000个印刷体汉字，从此在世界范围内拉开了汉字识别研究的序幕.而手写体汉字识别的研究最早始于70年代中期的日本。我国则在80年代初期开始进行手写体汉字识别的研究。目前进行手写体汉字识别研究的国家和地区主要集中在中国、日本、中国台湾、美国和加拿大，实际应用水平最高的首推日本。2图像预处理2.1图像处理发展概况数字图像处理（DigitalImageProcessing）又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。2.2图像灰度化图像样本目前大都是通过摄像头等设备捕获的，因而未处理的图像都是彩色图像。彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常讲彩色图像转变为灰度图像，以加快处理速度。由彩色转换为灰度的过程叫灰度化处理。灰度图像就是只有强度信息而没有颜色信息的图像，存储灰度图像只需要一个数据矩阵，矩阵每个元素表示对应位置像素的灰度值。2.3图像增强图像增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。采用图像灰度拉伸的方法可有效地增强图像对比度，增强后的图像中字符清晰、区域分明，便于图像二值化和字符分割处理。对比度增强是一种比较简明但又十分重要的空域法图像增强。这种处理只是逐点修改输入图像每一个像素的灰度，图像各像素的位置并不改变，是一种输入与输出像素间一对一的运算。对比度增强又叫点运算。对比度增强一般用来扩大图像的灰度范围。2.4图像二值化二值图像是指整幅图像画面内尽黑、白二值的图像。在数字图像处理中，二值图像占有着非常重要的地位。在实际的图像处理系统中，进行图像二值变换的关键是要确定合适的阈值，使得字符与背景能够分割开来，二值变换的结果图像必须要具备良好的保形性，不丢掉有用的形状信息，不会产生额外的空缺等等。字符识别系统要求处理的速度高、成本低、信息量大，采用二值图像进行处理，能大大地提高处理效率。二值化的阈值选取有很多方法，主要分为三类：全局阈值法、局部阈值法和动态阈值法。2.5梯度锐化由于需要处理的图像由拍摄而来，所以在很多情况下字符模糊，对识别造成了一定的困难，所以要对图像进行锐化处理时模糊的图像变得清晰，图像锐化的实质就是增强图像的边缘或轮廓，其锐化后的结果通过微分而使图像边缘突出、清晰。图像锐化的方法有两种：微分法和高通滤波法。2.6去除离散的杂点噪声图像可能在扫描或者传输过程中夹带了噪声，去噪声是图像处理中常用的手法。通常去噪声用滤波的方法，比如中值滤波、均值滤波。但是那样的算法不合适用在处理字符这样目标较长的图像中，因为在滤波的过程中很有可能会去掉字符本身的像素2.7图像的倾斜校正因为读进来的图像可能存在倾斜，所以必须对它进行调整，使得字符都处于同一水平位置，那样既有利于字符的分割也可以提高字符识别的准确率。调整的算法主要是根据图像上左右两边的黑色像素的平均高度来的。一般来说，众多的字符组成的图像它的左右两边的字符像素的高度应该是处于水平位置附近的，如果两边字符像素的平均位置有比较大的起落，那就说明图像存在倾斜，需要进行调整。2.8归一化处理因为扫描进来的图像中字符大小存在较大的差异，而相对来说，统一尺寸的字符识别的标准性更强，准确率自然也更高，标准化图像就是要把原来各不相同的字符统一到统一尺寸，在系统实现中是统一到同一高度，然后根据高度来调整字符的宽度。3字符分割3.1投影法分割字符传统的字符分割方法是使用投影法来进行分割。字符图像二值化后，以像素点为单位逐列扫描图像，累加该列值为1的像素点，累积的结果即为该列的垂直投影。对图像的所有列扫描完毕后即得到整幅图像的垂直投影。在垂直投影直方图中由于字符的分界处灰度为1的像素点很少，故投影后该处表现为很低的波谷，将统计值等于零的列最为字符分割的界限。但简单的垂直投影法也存在很大的缺陷，由于字符中经常存在空洞，导致字符的垂直投影有多处波谷，在进行分割时难以依据波谷来确定字符的分界点。而且当获取的图像质量不高时二值化后字符会粘连在一起，这时垂直投影基本上不会出现十分明显的波谷。对传统投影法的一种改进是使用上下边缘投影。上下边缘投影是指字符上边缘与下边缘间的距离，其中“字符上边缘”指以像素为单位沿图像某列自上而下搜索直到遇到字符区域的第一个点，“字符下边缘”指以像素为单位沿图像某列自下而上搜索直到遇到字符区域的第一个点，则上下边缘投影即为字符上边缘与字符下边缘两者之差。3.2连通域法分割字符字符连通域发既从一定程度上避免了预处理效果不好带来的影响，又可以从根本上解决倾斜字符分割的问题。对字符进行研究发现，其根本的特征在于其连通性，无论字符如何倾斜或者变形，连通域这个根本特征是不会改变的。如果把书写的笔画作为连通域看待，那么数字和英文字母都是由一个连通域构成，而汉字则是由多个连通域构成，这多个连通域又由于汉字本身的结构特征相距很近。依据字符的这一特点，我们认为连通域方法可以实现对字符的精确分割。对连通域的定义涉及到像素的连通，文中我们采用的是八连通定义。经典的连通域方法是连通域生长法，使用的是递归算法。首先扫面图像，找到没有标记的像素点，进行标记。其次递归标记该点的临点，如果不存在未标记的点则停止并循环往复。这种递归算法形式很简单，但效率很差，主要用于并行机上，这里我们使用了一种新的算法，可以在较小的时间复杂度内完成连通域生长法的计算。首先自左向右，自上而下扫描整幅图像，找到第一个未标记的像素点，接着初始化像素队列为空，把该像素点标记，加入队列。其次搜索队列头像素点周围八领域的像素并标记、加入队列并删除队头元素以此重复直到队列空为止。使用该算法可以快速准确定位图像中的所有连通域，由于噪声干扰以及二值化时可能出现的误差，我们必须去掉区域中一些明显不可能是字符区域的连通域，例如宽度过大或是连通域中像素的个数过小的区域。再找出图像中的连通域后，再做出各个连通域的外接矩形。4图像处理识别系统的设计及分析4.1总体设计本题中通过摄像头对视频显示界面进行信息采集，对视频中关注的数据进行识别并记录。4.2硬件设计对显示视频的字符提取与识别系统的硬件要求为整机结构设计合理，扩展能力强，易于安装维护，同时要求其外形合理，重量轻，在便携性方面具有一定的优势，此外要求训练系统具有良好的环境适应性，可耐高低温、抗振、抗冲击等，运行稳定可靠。根据上述要求，在实际设计显示视频的字符提取与识别系统硬件时采用一体成型技术构建框架，系统的硬件主要有视频采集装置、数据传输线及视频分析处理设备三部分组成，视频采集装置。该装置采用静态分辨率为1280960、动态分辨率为1280720的视频采集设备，最大帧频为30FPS，输出的格式静态时为BMP/JPEG，动态时为AVI/YUY2，感光元件为CMOS。数据传输线。采用传输速率为800Mbps的FireWire（火线）1394传输线。视频分析处理设备。其芯片组选用IntelQ77ChipsetCPU选用INTELCoreI7-3770，内存选用DDR3/4G，显卡显存选用1G，显示屏选用20.1寸液晶显示器（分辨率16001200），配备2个USB接口，2个千兆光纤网口。在选择硬盘时，考虑到显示视频的字符提取与识别软件运行的可行性问题，采用80G2.5英寸固态硬盘作为系统安装盘，采用4T3.5英寸硬盘用于存储应用软件和必要数据。4.3软件设计整个系统的软件设计，主要包括视频读取与转码模块、预处理模块、特征提取模块及字符识别模块四个主要模块，通过以上模块功能的实现，最终得出识别的结果。各模式的主要作用为：视频读取与转码模块：通过MATLAB读取将视频读入系统并将不同压缩格式的视频文件转换为MATLAB易于识别及处理的AVI格式。预处理模块：将转码得到的视频文件处理为可供特征提取的图像。特征提取模块：为了获取字符间差异的本质特征，为字符识别提供前提条件。字符识别模块：选用适用性强的识别方法，通过MATLAB编程最终实现本题的字符识别功能。4.4视频读取与转码模块随着科技的飞速发展，人们对视频清晰度的要求越来越高，高质量的视频图像同时也会占用大的存储空间，另外不同品牌的视频采集装置采集到的视频会有不同的格式。本系统应用的是MATLAB进行系统的实现，此软件主要支持AVI格式的视频文件，所以系统在软件设计的时候，设计了其它格式的视频图像转码为AVI格式的模块。4.5预处理模块此模块主要实现的是对系统程序读取到的视频信息进行处理，目的是做好图像处理前一切准备工作。此模块主要包括视频预处理和图像预处理两个部分。视频镜头分割。若干个镜头在一起有序的衔接成为一个视频，所以镜头也是视频检索的基本单元。镜头间的衔接也称为镜头的切换，有些视频为了增加观看效果有意地进行了编辑，为的是镜头间切换更加美观、紧密。镜头的切换方式通常分为渐变和突变两种。顾名思义，渐变就是镜头在切换的时候是一个逐渐的过程，没有明显的跳跃；突变就是一个镜头的结束直接切换到另一个镜头的开始，两个镜头间的切换没有过渡，切换是一个瞬间完成的过程。镜头边界检测是视频结构化的重要工作，也是代表帧选取的前提。其方法根据视觉特征的不同，主要有边缘差值法、像素差值法、压缩域方法、运动矢量法等，不同方法的运用主要取决于视频流镜头切换方式的不同。代表帧的选取。代表帧概括地表示了所属镜头的内容，是视频流中提取的静止图像。通常情况下，一个镜头中的帧所含的内容不会是完全一样的。代表帧一般要选取最能代表镜头的帧，此帧要具有尽可能强的镜头概括力。根据摄像头采集视频特征的不同，可以采用时间自适应算法、平均法及大运动变化镜头的代表帧提取方法等算法进行代表帧的选取。对获取的视频图像一般要灰度化、二值化、边缘检测等图像的预处理过程。图像灰度化。AVI格式的视频为BMP格式的彩色图像，所以对提取帧图像的处理首先要进行灰度化、二值化等帧图像的预操作。图像的灰度化又称灰度的归一化，顾名思义就是将读取的图片由彩色转为灰度颜色，因为选取的代表帧一般都是调色板内容比较复杂的彩色图像，这样很多算法都无法适用于图像的处理，所以使图像有一致的灰度尺度，便于下一步对图像进行二值化处理。图像二值化。图像的二值化是数字识别中重要的一步，上一步得到的灰度图像通过二值化将变为黑白两种颜色的二值图。这步很大程度地方便了最后的数字识别的实现。关于图像的二值化成熟的算法比较多，比如可以在处理时应用特定阈值法，也可应用自适应阈值法。整体倾斜度调整。采集到的视频信息会因为视频采集装置相对于显示界面角度的不同，图像发生倾斜的问题，这不利于对图像中的字符进行识别，所以对它进行倾斜度的调整是十分必要的，处理后得到的字符均在同一水平位置，这样便于下部的图像边缘检测，更不利于提高字符识别的准确率。（4）图像边缘检测。在复杂背景下的文字提取过程中，首先必须将彩色复杂背景变换为灰度图像，然后运用边缘检测方法提取出边缘信息。Roberts，Sobel和Canny算子等都属于常见的边缘检测算子。当Roberts算子运用到彩色图像时，与灰度化彩色图像不同，它是将彩色图像中两个像素的RGB颜色空间的三个分量（r，g，b）的偶数距离代入Roberts算子中计算，确定图像边缘，最终获得文本区域。在检测视频字符的算法中，利用其边缘检测和线条特征，将Canny算子进行改进，然后应用于图像边缘检测中。一旦候选图像的边缘被检测出，用连通扫描算法追踪相邻的边缘像素，形成线条，然后过滤线条，再将相邻的线条聚集起来，从而候选文字区域获得，最后依照文本特征确定文本区域。各个尺度下沿着边界的模极大曲线是由沿边界方向将该尺度下的边缘连接起来而获得，通过检测二维小波变换的模极大点可确定图像的边缘点。当图像经小波变换分解成多个尺度，对每个尺度上的成分采用相应的时域或空域取样步长，能不断地聚焦到对象的任意微小细节。正因为小波变换所具备的这种多尺度特性，恰好将其用于检测图像边缘。字符归一化处理。图像中字符的大小一般是不同的，视频采集装置与显示界面距离的不同，也会造成字符在被系统识别的时候出现大小不一的问题，所以有必要对字符进行归一化的调整。顾名思义，结字符进行归一化就是将像素值不同的字符归一化为相同的尺寸，在本系统中指的是归一化为相同的宽度和高度。本系统设定的字符归一化值为1625个像素。4.6图像特征提取模块特征提取为的是获取字符间差异的本质特征。在整个字符的识别过程中，需要将图像的固有属性或本质特征进行量测，形成数值化的特征向量。图像特征的选择和提取直接影响识别过程。如果选择的特征对不同的类别有大的区分度，这样设计的分类器的性能就会比较好，这样会直接影响到字符识别的效果。根据不同的情况会选择不同的特征提取方法，现阶段使用较为普遍的方法有：骨架特征提取法、逐像素特征提取法及弧度梯度特征提取法等。4.7字符识别模块复杂背景就是指图像的背景中蕴含着丰富纹理信息。图像中的字符有时候是嵌入在纹理之中的，有时候字符本身就是一种纹理，它所具备的信息包括可能出现的位置、字体、大小和颜色也不尽相同，而且这些信息在字符定位前都是不知道的。一般的字符识别的方法都有很强的局限性，当识别的样本发生一定的变形或环境发生变化等干扰时，几种方法的识别准确率和抗干扰性都不是很理想。基于BP神经网络的数字识别方法对于复杂的视频数字识别环境有较强的自适应性，该方法的决策区域由自身的学习机制形成，不需要事先给出判别函数和经验知识，神经元的拓扑结构决定了此方法的特征，通过训练得到可以进行识别的映射。另外神经网络的基本成果几乎均被MATLAB所包括，所以在应用MATLAB实现本系统的设计中，采用神经网络的字符识别方法可以很大程度地减少工作量。鉴于基于BP神经网络在字符识别中的特点优势，本系统识别模块采用此方法实现。神经网络由神经元、电子元件、处理元件及光电元件等处理单元互连组成的网络。它反映的基本特征类似于人脑的功能，但它只是人脑的某种简化、抽象与模拟，并不是人脑的真实描写。神经元间的互相作用实现了网络的信息处理。对不同字号的印刷体数字在清晰的背景下进行识别，基于BP神经网络的方法，能取得较好的识别率。此方法也可用于文本分类、手写体数字的识别等领域。用此方法进行字符的识别，视频帧图像首先要进行预处理，之后要对图像的特征进行提取，接着根据需要识别的实际设计BP神经网络，将事先得到的特征向量输入神经网络，网络会进行迭代训练一直到网络稳定。另外也要相应地处理测试的图像，网络训练完成后，把得到的特征向量输入到神经网络中，对字符进行识别，并记录识别得到的结果。4.8样本字符识别的过程样本以及待识别的样本的处理过程。首先二值化，阈值100时的效果图。第一步：检测图像Blob块，去掉图像左上端的黑快，如图1。方法：直接对二值图像进行从左上开始的像素扫描，连续的黑色像素值，遇到白像素时停止扫描，然后对扫描遇到的黑色像素点赋值为白色像素。图1样本字符识别第二步：确定字符在竖直方向上的跨度：将图像对竖直方向上做投影，确定竖直方向上的像素区间，根据区间，可以将字符分成三块。这样得到竖直方向的区域。水平区域类似处理：第三步：针对序列号进行细分割，做向下方向的投影，由于数字和汉子的宽度不一样，通过阈值可以区分出一个一个的数字。图2阈值100时的效果图第四步：对分割出来的数字在分别做水平方向和垂直方向的一阶差分，进一步得到单个字符区域的图像。这里比如可能会出现中间断裂的情况，这时候可以通过先验知识，数字的大致长宽作为阈值，分割得到3第五步：对要识别的数字进行样本归一化处理，比如都取20*10的像素比。图3将样本分成8*4共32块第六步：对归一化后的待识别样本提取特征，这里由于识别的内容比较简单，直接采取像素值作为特征即可，这里的方式很多种，比如采用将样本分成8*4共32块，统计每一块中的黑色像素所占的每一块中总像素值的比率，作为特征值，这样，每一个待识别的样本就有一组一行32列的数组作为特征。第七步：样本制作以及样本的库的处理：样本的前期处理和对待测样本的处理思路一样，同上4-6步。这里样本集的大小尽量为待测样本特征的5—10倍。识别数字3，我们制作32*5个的样本集，10个数字就是10*32*5个样本集。第八步：对样本集和待测的样本提取的特征进行PCA主成分分析，根据贡献率提取主要的特征即前m个分量。第九步：将待测样本与样本集比较，做识别。5字符识别识别过程首先使识别设备学习、记忆将要辨识字符的特征，使这些特征成为识别系统自身的知识，然后再利用这些先验知识对输入图像进行判决，得到字符的识别结果。字符的特征不仅仅局限于平而上的点阵位置信息，在频率空间、投影空间，甚至语义空间字符都有各自的特征。这些特征在识别字符时又有各自的特点及优势。根据识别字符所采用具体特征的不同便衍生出了不同的识别技术。通常，根据不同的技术策略，识别方法可以分为如下3类：统计特征字符识别技术、结构字符识别技术和基于神经网络的识别技术。5.1统计特征字符识别技术这种识别方法一般选取同一类字符中共有的、相对稳定的并且分类性能好的统计特征作为特征向量。常用的统计特征有字符二维平而的位置特征、字符在水平或者垂直方向投影的直方图特征、矩特征和字符经过频域变换或其它形式变换后的特征等。大量字符的统计特征经过提取、学习、分类形成关于字符原型知识，构成识别字符的模板信息，这些模板信息存储在识别系统中。未知图像在识别时首先提取相同的统计特征，然后与识别系统存储的字符原型知识匹配比较，根据比较结果确定字符最终分类，达到识别的目的。衡量匹配程度的指标常采用各种向量间的距离指标，例如欧式距离、绝对值距离等，为了表达方式的统一，以这些距离为基础，以得到归一化匹配程度。其中，基于字符像素点平而分布的识别算法，因为算法简单、实现方便的特点而成为最常用的匹配方法。这种算法一般先将字符图像归一化为模板的几何维数，然后根据像素点的位置逐个匹配，求出模板和图像的某种距离指标。由于要对每个像素点逐个匹配，造成算法实现计算量大，且对噪音、字符的偏移和变形非常敏感，因此对输入的待识别图像要求较高。5.2结构特征字符识别技术实际应用中，更一般的情况是相近字符的识别和像手写字符那样字型变化很大的字符的识别，因此，发展出了基于结构的字符识别技术。这种技术首先要提取字符的结构。根据识别策略的不同，结构的选择也有所不同。可以选择字根、笔划，也可以选择比笔划更小的笔段。提取出的结构又称作字符的子模式、部件、基元，所有基元按照某种序排列起来就成了字符的特征。基于结构的文字识别实际上是将字符映射到了基元组成的结构空间进行识别。识别过程是在提取基元的基础上，利用形式语言和自动机理论，采取词法分析、树匹配、图匹配和知识推理的方法分析字符结构的过程。常用的结构特征有：笔划的走向、孤立的点，以及是否含有闭合笔画等。由于汉字自身具有很强的结构性，利用汉字的结构特点进行识别同样可以达到很好的效果。传统识别方法中，对输入图像采取统一分辨率进行识别，分辨率由系统的计算和存储资源先期决定，造成了系统资源的浪费和识别效率的降低。5.3基于神经网络的字符识别技术迄今为止，人类识别文字的能力远远胜于计算机，无论是变形的字符、模糊的字符，甚至是破损的字符，人类都能很好地识别。基于人工神经网络的字符识别技术目的就是力图通过对人脑功能和结构的模拟来实现字符的高效识别。经过近几年的迅速发展，人工神经网络在字符识别方而得到了广泛的应用。在OCR系统中，人工神经网络主要充当分类器的功能。网络的输入是字符的特征向量，输出是字符的分类结果，即识别结果。由于识别策略的不同和对问题理解水平的限制，输入的特征向量所包含的信息常常是冗余的，甚至是矛盾的。

结论本课题以印刷体字符为研究对象，通过研究图像处理、字符分割、字符识别方法，探究了整个系统的实现方法。这一课题对减轻人工识别的劳动强度，提高识别速度及识别准确率，适应计算机数据输入的要求具有积极的促进作用。参考文献[1]陈虎,周朝辉,王守尊.HYPERLINK"/kcms/detail/detail.aspx?filename=GCTX200402020&dbcode=CJFQ&dbname=CJFD2004&v="\t"/kcms/detail/frame/_blank"基于数学形态学的图像去噪方法研究[J].工程图学学报.2004(02)[2]吕同富,刘宝军,毕秀芝.HYPERLINK"/kcms/detail/detail.aspx?filename=JSJZ200304031&dbcode=CJFQ&dbname=CJFD2003&v="\t"/kcms/detail/frame/_blank"图像边缘提取的简单方法及应用[J].计算机仿真.2003(04)[3]饶秀勤,应义斌.HYPERLINK"/kcms/detail/detail.aspx?filename=NYGU200301033&dbcode=CJFQ&dbname=CJFD2003&v="\t"/kcms/detail/frame/_blank"基于机器视觉的水果尺寸检测误差分析[J].农业工程学报.2003(01)[4]关贞珍,霍晓静,钱东平,杨世凤.HYPERLINK"/kcms/detail/detai