（无线电物理专业论文）手写数码的ica方法分析与识别.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立送行研究所取得的成果。除文中已经注明引用的内容夕卜，本论文不 包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均己在文中以明确方式标明。本人完 全意识到本声明的法律责任由本人承担。 论文作者签名：叠堡塑】 曰 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校 保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅：本人授权山东大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保 存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 敝作者签名：坳导师签最距日期： 沁 歹、乙 山东大学硕士学位论文 _ _ - _ _ _ _ _ - _ _ 日l - _ 日_ _ - t _ _ - _ - _ _ _ _ - - _ _ _ _ - _ _ - i i _ _ _ _ _ _ _ _ _ _ - - l _ l _ _ _ - _ _ - - 一 中文摘要 本文通过对独立分量分析( i c a ) 方法的研究以及对手写数码图像的分析，提 出了一种基于i c a 的手写数码图像的识别方法。实验采用了国际上通用的手写数 码样本库m n i s t ，对本方法的有效性进行了检验。 实验首先对手写数码样本进行预处理，然后利用i c a 方法得到不同数码的独 立分量特征，通过最小二乘法计算测试样本在不同基函数空间的残余量，选取判 别系统的最佳闽值，从而完成手写数码的识别。对于采用1 0 0 个学习样本的实验 系统，十类手写数码的平均识别率达到9 5 0 8 。 实验结果初步表明，该方法有着良好的可行性。 关键词：手写体数码，独立分量分析，最小二乘法，模式识别 山东大学硕士学位论文 a b s t r a c t t h es t u d yo ft h i s p a p e ri s f o c u so nu s i n gi n d e p e n d e n tc o m p o n e n t a n a l y s i s t or e a l i z eh a n d w r i t t e nd i g i t sr e c o g n i t i o n t h ee x p e r i m e n t a t i o nu s e i n t e r n a t i o n a lc u r r e n tm n i s th a n d w r i t t e nd i g i t sd a t a b a s e t h ef i r s t s t e p o fh a n d w r i t t e n d i g i t sr e c o g n i t i o n i st od e a lw i t ht h e s p e c i m e n so fh a n d w r i t t e nd i g i t s s e c o n d l y ，w e u s ei c at oo b t a i nt h e i n d e p e n d e n tc o m p o n e n t s o fe v e r y d i g i t t h e n w eu s et h e l e a s t s q u a r e m e t h o dt oo b t a i nr e s i d u a l so ft h et e s ts e t ，b yc a l c u l a t i n gp l e n t yo fr e s i d u a l s ， w ec h o o s ea o p t i m a lf i g u r e a st h r e s h o l da n do b t a i nab e s ta c c u r a c y f o r10 0 t r a i n i n gs e t s ，t h ea c c u r a c y i s9 5 0 8 t h e e x p e r i m e n t r e s u l t si n d i c a t e t h a tt h i sm e t h o dh a ss u b s t a n t i a l f e a s i b i l i t i e s k e y w o r d s ：h a n d w r i t t e nd i g i t s ，i c a ，l e a s t s q u a r e m e t h o d ， p a t t e m r e c o g n i t i o n 4 山东大学硕士学位论文 第一章引言 文字是人们进行书面交流的主要工具，而数码又是文字的一项重要组成部分。 如何实现数码的自动识别，尤其是手写体数码的自动识别，是很多科研工作者一 直在攻关的一个课题。 我们经常需要填写各种证件，如填写身份证、填写工作证、填写信用卡、填写 邮政编码等，而填写的数码因场合不同，书写人的习惯不同，笔画深浅粗细的不 同会给自动识别带来不同程度的困难。 谈到字符识别就不能不提到o c r 的概念，o c r ( o p t i c a lc h a r a c t e r r e c o g n i t i o n ，光学字符识别) 是属于图形识别( p a t t e r nr e c o g n i t i o n ，即p r ) 的 一种技术。其目的就是要让计算机知道它到底看到了什么，尤其是对于文字资料。 一个o c r 识别系统，其目的是要把影像作一个转换，使影像内的图形继续保 存，有表格的则表格内资料及影像内的文字一律变成计算机文字，使得系统能达 到影像资料的储存量减少、识别出的文字可再使用及分析。 早在6 0 年代，世界各国就开始了字符识别的研究，而研究的初期，就多以简 单字符的识别方法研究为主，且重点研究的识别字符仅为0 至9 的数码。以同样 拥有方块文字的日本为例，1 9 6 0 年左右开始研究字符识别的基本识别理论，初期 以数码为对象，直至1 9 6 5 至1 9 7 0 年之间开始有一些简单的产品，如印刷文字的 邮政编码识别系统，识别邮件上的邮政编码，帮助邮局做区域分信的工作；也因 此邮政编码至今一直是各国所倡导的地址书写方式。 经过多年科研同人深入的研究，目前通过扫描仪等光学识别工具已经能够从纸 张、书本和其他书写有字符的物品上获得信息，并将数据送入计算机。这种技术 大大扩展了计算机的应用领域，为研究手写体数码的识别建立样本数据库打下了 基础。 字符识别处理的信息可分为两大类：一类是文字信息，处理的主要是用各国 家、各民族的文字( 如：汉字、英文等) 书写或印刷的文本信息，目前在印刷体 山东大学硕士学位论文 和联机手写方面技术已趋向成熟，并推出了很多应用系统；另一类是数据信息， 主要是由阿拉伯数码及少量特殊符号组成的各种编号和统计数据，如：邮政编码、 统计报表、财务报表、银行票据等等，处理这类信息的核心技术是手写数码识别。 这几年来我国开始大力推广的“三金”工程在很大程度上妥依赖数据信息的输入， 如果能通过手写数码识别技术实现信息的自动录入，无疑会促进这一事业的进展。 因此，手写数码的识别研究有着重大的现实意义，一旦研究成功并投入应用，将 产生巨大的社会和经济效益。 手写数码识别作为模式识别领域的一个重要问题，有着重要的理论价值： 1 阿拉伯数码是唯一的被世界各国通用的符号，对手写数码识别的研究基 本上与文化背景无关，这样就为各国、各地区的研究工作者提供了一个施展才智 的大舞台。在这一领域大家可以探讨，比较各种研究方法。 2 由于数码识别的类别数较小，有助于做深入分析及验证一些新的理论。 这方面最明显的例子就是人工神经网络，相当一部分的人工神经网络模型都以手 写数码识别作为具体的实验平台，验证理论的有效性，评价各种方法的优缺点。 尽管人们对手写数码的识别已从事了很长时间的研究，并已取缛了很多成果， 但到目前为止机器的识别本领还无法与人的认知能力相比，如何获得高识别率仍 是一个有难度的开放问题。 本文采用的独立分量分析( i c a ) 方法是9 0 年代逐渐兴起的一种全新的分析 方法，它能够提取信号在统计定义下的独立成份，这种方法在盲源分离方面已经 有一些成功的研究。论文的主要内容就是通过对i c a 方法的研究，提出一种基于 i c a 方法的手写数码的识别方法，并通过实验检验该方法的有效性。 论文共分五个部分。第一部分是引言；第二部分是手写数码识别概述；第三 部分是基于i c a 的手写数码识别；第四部分是实验与讨论；第五部分是结束语。 6 山东大学硕士学位论文 第二章手写数码识别概述 2 1 手写数码识别 手写数码识别技术是字符识别技术中的一个重要分支。它研究的对象是：如 何利用电子设备或计算机自动辨认人手写在纸张上或其它媒质上的阿拉伯数码。 经过多年研究，手写数码识别技术已经取得了许多可喜的成就，并开始应用于实 际之中，如邮政编码自动识别系统等。 被识别的手写数码经过数据采集、转换、输入之后，从模式识别的角度看， 要识别的文字便变成了一种二维图形，一种具有不同特征量的十个特殊二维图形。 虽然数码识别相对于文字识别来说比较简单，易于处理和分类，但是类别只有十 类、笔划又简单的数码之间由于不存在象文字一样的前后关联关系，所以从实际 识别率要求高的角度讲，手写体数码的准确识别在实际情况下又是很难实现的。 虽然各种新的识别算法不断的推出，但是其识别率和误识率仍距实用有相当距离。 这也是经过这么多科研工作者一直在不断研究的一个重要原因。 比如目前国外采用的线性分类器法( 1 i n e a rc l a s s i f i e r ) 可以实现9 1 6 的识别 率，最邻近k 值法( k - n e a r e s t - n e i g h b o r s ) 可以实现9 5 的识别率，两层神经网 络法( 2 1 a y e rn n ) 可以达到9 6 左右的识别率。但是由于手写体数码的几个特 殊性原因以及新的好方法的出现，目前手写体数码的研究仍在进行。 分析手写数码识别尚不够准确的具体原因有； 1 、在0 9 十类数码中，一些数码字形相差不大，使得准确区分某些数码相 当困难； 2 、数码虽然只有十类，但同一数码写法千差万别。不同的人写出的同一个 数码都有差别，即使同一个人在不同的时候也会有不同的写法： 3 、在实际的应用系统中，对数码的单字识别率的要求是很高的。没有上下 文关系的每一个单字的识别都至关重要。 在分析完手写体数码识别的特征和现状之后，我们可以得到这样一个结论：高 山东大学硕士学位论文 正确率和极低的误识率是对手写数码识别系统的基本要求。 2 2 模式识别简介 模式识别是指识别事物与哪个供模仿的标本相同或相似，有时也可以把模式识 别理解成模式分类，即先把需要模仿的标本分成若干类别，再来判断给出事物属于 哪一类。 而模式是指存在于时间和空间中可以观察的事物只要我们可以区别它们是否 相同或相似，都可以称之为模式。但模式所指的不是事物本身，而是我们从事物中 获得的信息。因此，模式往往表现为具有时间或空间分布的信息。信息在识别之前 被进行取样和量化，变成具有特殊意义的数组或向量后才可以被计算机系统进行操 作，从而达到识别的效果。 模式识别般两种方法，分别是统计模式识别方法和结构模式识别方法。模式 识别有设计和实现两个环节，设计是用一定数量的样本迸行分类器的设计，实现是 指用所设计的分类器对待识别的样本进行分类决策。在这里只讨论统计模式识别方 法。 基于统计方法的模式识别系统主要由四个部分组成，即由数据获取、预处理、 特征提取和选择以及分类决策组成。 图2 - 1统计模式识别系统的构成 下面我们对这几部分进行简单的说明 l 、信息获取 为了能使计算机能够对各种现蒙进行识别，首先要使用计算机可以识别的符号 来表示要研究的对象。根据输入对象的不同，信息可以分成三种类型，即 8 山东大学硕士学位论文 a 一维波形，如脑电图、心电图、机械震动波等 b 二维图像，如文字、指纹、图画等 c 物理参数和逻辑值，如人的体温、身高等为参数，感觉疼与不疼可以用逻 辑值0 或l 表示。 通过测量、采样、量化，可以用矩阵表示二维图像或其它等信息，这就是数据 获取过程。 2 、预处理 预处理的作用是去除噪声、加强有用信息的读取，有时也包括对输入过程中 造成的信息丢失进行复原。对于手写数码识别，即指图像的增强、边缘的修正以 及归一化处理等等。 3 、特征提取与特征选择 通过预处理之后的数据量也是相当大的，例如一个文字图像就可以有几千个 数据，为了有效的实现分类、识别，就要对数据进行变化，同时只提取最能反映 分类本质的特征，这个过程就是特征提取与特征选择的过程。 我们一般把原始数据组成的空间称为测试空问，把分类识别赖以进行韵空问 称为特征空间，通过变换把维数较高的测试空间中表示的模式转变为维数较低的 特征空间中表示的模式。经过转变后的在特征空间中的一个模式被称作一个样本 ( 通常为一个向量) 。特征提取和选择的过程是一个重要的环节，只有提取出便于 识别利用的、可以直接进行操作的特征量，才有可能把信息量很大的原始数据或 物件识别出来。 4 、分类判决 这个过程即是在特征空间中用统计方法把被识别的对象判归为某一类别的过 程。 最常用的做法是在样本训练集上确定某个判断规则，然后按这种判断规则对 被识别对象进行分类，同时要使得所造成的误识率最小。分类器的设计对于识别 9 山东大学硕士学位论文 结果是非常重要的，一个好的分类器可以在一定算法下获得最小误识率。 2 3 基于手写数码识别的典型应用 手写数码识别有着极为广泛的应用前景，这也正是它受到世界各国的研究工作 者重视的一个主要原因。下面我们将介绍基于手写数码识别的应用系统的特殊要 求，以及一些以手写数码识别技术为基础的典型应用。 ( 一) 手写数码识别在大规模数据统计中的应用： 在大规模的数据统计( 如：行业年鉴、人口普查等) 中，需要输入大量的数据， 以前完全要手工输入，则需要耗费大量的人力和物力。近年来在这类工作中采用 o c r 技术已成为一种趋势。 因为在这种应用中，数据的录入是集中组织的，所以往往可以通过专门设计表 格和对书写施加限制以便于机器的自动识别。目前国内的大多数实用系统都要求 用户按指定规范在方格内填写。另外，这些系统往往采用合适的用户界面对识别 结果傲全面的检查，最终保证结果正确无误。可以看出，这是一类相对容易的应 用，对识别核心算法的要求比较低，是目前国内很多单位应用开发的热点。 ( 二) 手写数码识别在财务、税务、金融领域中的应用 财务、税务、金融是手写数码识别大有可为的又一领域。随着我国经济的迅速 发展，每天等待处理的财务、税务报表、支票、付款单等越来越多。如果能把它 们用计算机自动处理，无疑可以节约大量的时间、金钱和劳力。与上面提到的统 计报表处理相比，在这个领域的应用难度更大，原因有：l 、对识别的槠度要求更 高：2 、处理的表格往往不止一种，一个系统应能智能地同时处理若干种表格；3 、 由于处理贯穿于整个日常工作之中，书写应尽量按一般习惯( 如：不对书写者的 写法做限定，书写时允许写连续的字串，而不是在固定的方格内书写) 。这样对识 别及预处理的核心算法要求也就相应提高了。 ( 三) 手写数码识别在邮件分拣中的应用 随着人们生活水平的提高，经济活动的发展，通信联系的需求使信函的互换 量大幅度增加，我国函件业务量也在不断增长，预计到2 0 0 4 年，一些大城市的中 心邮局每天处理量将高达几百万件，业务量的急剧上升使得邮件的分拣自动化成 o 山东大学硕士学位论文 为大势所趋。在邮件的自动分拣中，手写数码识别( o c r ) 往往与光学条码识别、人 工辅助识别等手段相结合，完成邮政编码的阅读。目前使用量最大的o v c s 分拣 机的性能指标：o c r 拒分率3 0 ，o c r 分拣差错率1 1 。 随着国家信息化进程的加快，手写数码识别的应用需求将越来越广泛，应用 系统的性能的关键在于手写数码识别算法的性能上，最终目标是研究低误识率和 低拒识率的高速识别算法。此外，尽早建立反映中国人书写习惯的、具有国家标 准性质的手写数码样本库的工作也是当务之急。 山东大学硕士学位论文 - l _ 目_ i _ _ 自_ _ _ _ l 自j _ e _ _ _ _ _ | 目_ _ _ _ _ _ l | _ _ _ _ 日l _ _ _ e _ _ 自日_ _ l - _ t t j _ e - _ _ _ _ 目 第三章基于l o a 的手写数码识别 3 1 独立分量分析方法概述 一、 独立分量分析( i c a ) 的基本概念 i c a 即独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 的英文缩写。它是 近来在国外刚刚发展起来的一种方法，可用于盲源分离、模式识别等方面。下面 举一个实例来说明一下i c a 。 假设在一个酒吧里面同时有说话声音、钢琴音乐声音，放置两个话筒在两个 不同的位置，两个话筒记录了两个时变信号，我们用x 1 ( t ) 、x 2 ( t ) 表示这两个信号， 其中x t 、x z 表示振幅，t 是时间变量。每一个信号记录了两个声源所发出的声音信 号的加权和。假设两种发出的声音信号用s l ( t ) 、s 2 ( t ) 表示，我们可以将上述描述写 成线性方程： x l ( t ) = a is l ( t ) + a 1 2 s 2 ( t ) 。( 3 - i ) x 2 ( t ) = a 2 1 s l ( t ) + a 2 2 s 2 ( t ) ( 3 - 2 ) 这里a l l 、a 1 2 、a 2 l 、a 2 2 是4 个参数，它们取决于话筒和声源之间的距离如 果你仅用已记录的信号x i ( t ) 、x 2 ( t ) 就可以估计出原始语言信号s l ( t ) 、s 2 ( t ) ，这将 是十分有应用价值的。 作为例证我们可以看图3 - 1 和图3 2 所示的波形，图3 - 1 可以看作原始的说话 声音信号和钢琴音乐信号，图3 2 是混合后的声音信号，假设我们仅知道图3 - 2 的 波形，如何得到图3 1 的波形是我们研究的问题。 如果我们知道参数a u ，我们就可以用经典方法解线性方程，然而问题在于如 果我们不知道a m 问题就显的更加困难了。 解决该问题的一种常识是用信号s i ( t ) 的统计属性所含信息来估计参数8 u ，也 许令人惊奇，实际上在每一个瞬时t ，我们可以假设s l ( t ) 、s 2 ( t ) 是统计独立的，在 许多情况下，这个假设在实际中很容易实现，而且在实际中假设也不必精确成立。 这样，利用独立分量分析就可以计算得到如图3 - 3 所示的信号。 山东大学硕士学位论文 01 02 03 0 4 05 0叫 7 08 09 d1 0 0 01 02 03 0枷5 0t o 8 0 9 01 0 0 图3 - 1 原始的信号 图3 - 2 混合后的信号 01 02 0 3 0柏5 06 07 08 09 01 0 0 卜、：令二、n o102 03 04 05 0 6 07 08 09 01 图3 - - 3i c a 分析得到的信号 二、i c a 的定义 假设我们观测到n 个独立分量的n 个线性混合值x t ，x z ，x 。有： x j = a jj s i + a ”s 2 + + a j 。s 。j = l ，2 ，n ( 3 3 ) 现在不考虑时间变量t ，在i c a 模型中，我们假设每一个混合值x j 和每一个独立分 2 o 2 0 2 0 2 2 o 2 山东大学硕士学位论文 量s 。都是随机向量，利用向量矩阵的形式来代替式( 3 - 3 ) 式如下： x = as(34) 其中，x 表示可观测到的随机向量，它的元素即为前面提到的线性混合值，随机向 量s 即为待估计的独立分量，a 表示各元素为a 。的矩阵。式( 3 4 ) 的统计模型就是 独立分量分析或i c a 模式。i c a 模式是种通用模式，它描述了怎样通过分量a 的 混合形式的观测值x ，来计算相应的独立分量s i 和及混合矩阵a 。 三、i c a 的实现条件 i c a 的一个基本限制是独立分量是非高斯分布的。假设混合矩阵a 是正交的， s 。满足高斯分布，那么x ，和x 。也是高斯分布的、非相关的，它们的联合是： p ( x l , x 2 ) = 1 2 万e x p ( 一半) 这种分布如图3 4 所示，说明分布完全对称。因此对于估计混合矩阵a 的列向量不 含任何有用信息，这样混合矩阵a 是无法推出的。也就是说，任何独立高斯分布的 正交变换的分布与其分布完全相同，所以对于高斯分布的独立分量，其混合矩阵a 是不可能推出的。 图3 4 两个高斯向量的多元分布 山东大学硕士学位论文 四、i c a 算法的原理 如前所述，估计i c a 模型的关键在于独立分量为非高斯分布。根据概率论中心 极限定理，在特定条件下，独立随机变量之和的分布更趋向于高斯分布，因此，两 独立随机向量之和通常比两个原始随机向量更接近高斯分布。 由于独立变量的非高斯分布在i c a 的应用中至关重要，因此我们必须首先考虑 以下非高斯变量的定量量度问题。为了简化问题，我们假设非高斯分布的定量度量 为y ，且其是中心化的、方差为1 。进行非高斯分布的定量度量量度的方法较多。在 此主要介绍负熵近似法和最大似然法。 a 、负熵近似法 负熵近似法是在负熵法的基础上发展产生的，对于负熵的典型近似法是运用高 阶近似如下式： j o ) = 壶e p3 2 + 去h h ( ( 3 6 ) 其中随机变量y 假设是零均值且有单位方差。然而这种近似的适用性相当有限，特 别是这些近似由于k u r t 带来的非鲁棒性有不足之处，为了避免上面负熵的近似遇到 的问题。h y v a r i n e n 发展了基于最大熵原则的近似方法。 j ( y ) z 壹女，暖 g ，( y ) ) - e g 。( v ) 】2 一( 3 7 ) 其中k i 是一些正常数，变量y 和v 是零均值且单位方差，方程g 是一些非二次函 数，即使在近似并不十分精确的条件下，式( 3 - 7 ) 也可以用于构成非高斯度量。 在我们仅应用一个非二次方程g 的情况下。近似式可以表示为： j ( y ) * e g ( y ) ) 一e g ( v ) ) 】2 ( 3 8 ) 这里进行近似的关键是合理的选择g ，特别是选择的g 不要增长得太快，就可以得 到更鲁棒的估计器，下列关于g 的选择被证明是非常有效的。 g 1 ( “) ：i l o g c o s h d 。“g 2 ( “) = - e x p ( 一“2 2 ) 一( 3 9 ) 口1 山东大学硕士学位论文 e _ l _ _ _ - _ _ - 目- _ _ _ _ _ - - l l _ - _ - _ i_ 这里1 a ，2 ，是固定常数。 至此我们得到了受熵的近似值，这种方法在概念上简单，计算速度快，还具有 统计特性和鲁棒性。 b 、最大似然估计法 最大似然估计是一个估计i c a 模型的非常流行的方法。在无噪i c a 模型中直接 公式化是可实现的。通过最大可能性法估计的模型表示如下： 上：壹窆l 。g 工( w j t x ( f ) ) 十r l 。g i d e t f ( 3 - 1 0 ) 在这里f j 是s ，( 在此假设已知) 的密度函数，x ( t ) 是x 的描述( 其中t = l ，2 。t ) 。 术语l o g d e t w i 在可能性中来自一些典型法则，该法则作用于线性变换随机变量和 它们的密度。 3 2i c a 算法与实现 一、一个单元的快速i c a 算法 首先，我们说明快速i c a 的单个单元形式，通过一个单元，我们选择一个计算 单元，最终是一个人工神经元，具有权向量w ，神经元可以通过适当的学习法则来 升级快速i c a 算法准则，找到一个方向，即一个单元向量w ，使得推算w t x 成最大化 非高斯分布。在这里非高斯分布由式( 3 7 ) 给出的负熵j ( w 7 x ) 的近似值计算得出， 它也可以用近似的牛顿迭代获得，用g 来表示： g ，( u ) = t a n h ( a 。u )9 2 ( u ) = u e x p ( 一u 2 2 ) ( 3 - 1 1 ) 这里1 a 2 ，是适当的常数，经常取1 ，快速i c a 的算法的基本形式如下： 1 选择一个初始权向量r ( 例如可随机选) 2 令w + = e xg ( w t x ) 卜e g ( w 7 x ) ) w 3 令w = 旷矿j j 4 如不收敛，回到步骤2 山东大学硕士学位论文 这里收敛是指点w 的新旧值有相同的方向，即它们的点积等于1 ，而向量不必收敛 于一点，因为w 和一w 定义同一方向。 快速i c a 的获得如下：首先注意负熵w x 的近似值，最大值由e g ( w l x ) 的特定 值获得，根据k u h n - t u c k e r 条件，在约束条件e 咿x ) 2 ：i l 旷l i2 ：l 的条件下， 台适的值可以在下列点获得： e ( x g ( w x ) 卜b w = o 二、若干单元的快速i c a 算法 前面介绍的单个单元算法只能估计一个独立分量，为了估计多个独立分量，我 们要运用单元快速i c a 算法得到许多单元，它们的权重向量为w = ( w ，：w ：w 。) ， 并且w 、毗w 。的相关属性尽可能的低。在特定应用中，需要对称地降低相关性， 其中矩阵平方根法是一种典型的方法： 平 一上 令：w = ( w w l ) 2 w 这里w 是矩阵( w i ：w 2 w 。) t 的向量，逆平方根 ( w w t ) 一专由特征值提取得到。一个简单的迭代算法如下： 1 、w = w 厢丽 重复步骤2 至收敛 2 、令w ：1 5 p o 5 w w t w 3 、快速i c a 和最大可能性 最后我们总结给出快速i c a 的表示式： w ：w + d i a g ( 。) f d i a g b 。+ e ( g ( y ) y t ) 霄( 3 1 5 ) 这里y = w x ，b i - 一e y 。g ( y 。) ，a = - i b t + e g ( y ，) ，矩阵w 在每一步后都被正 1 7 山东大学硕士学位论文 交化。 上述快速i c a 的表示可以与最大似然做比较如下式： w + = w + j l i + g ( y ) y 1 w ( 3 一1 6 ) 这里p 是学习效率，在不同的时刻不必为常数。g 是一个独立分量概率密度函数的 函数，g = f ；f ，这里f ，是独立分量的p d f 。比较式( 3 - 1 4 ) 和( 3 1 5 ) ，可见， 快速i c a 可以认为是一个i c a 数据模型中作用于最大似然估计的固定点运算法则。 在快速i c a 中，收敛速度由矩阵d i a g ( 。) 和d i a g ( b 。) 的选择得到，快速i c a 的另一个改进是它可以估计超、亚高斯独立分量。而一般的池算法只适用于给定类 分布。 三、快速i c a 算法的特点 同i c a 的己知方法相比较，快速i c a 有如下特点： 1 ) 良好收敛性能。收敛是三次方的( 至少是二次方的) ，在i c a 数据模型的假设 条件下，这和一般的基于梯度下降法的i c a 不同，i c a 只是线性收敛，这意味着快 速i c a 有着很快的收敛速度。 2 ) 对于基于梯度算法的快速i c a ，其步骤、参数选择简单，说明算法易于应用。 3 ) 快速i c a 算法用任意非线性g ，可直接找到任何非高斯分布的独立分量，这 与许多算法不同。 4 ) 运用快速i c a 算法可以逐一估计出独立分量，大致等于将其作了投影逼近。 5 ) 快速i c a 算法具有神经计算的大多数特点，它是并行的、分布的，易于计算， 并且只需少量的存储空间。 总之，i c a 是一种可以用来进行模式识别的技术，在此，被测随机向量被线性地 转换为最大独立分量，同时有“恰好”分布。i c a 可以作为估计潜在变量模型被公式 化，直觉的想法最大非高斯可用于得到不同的函数，该数值符合i c a 模型的估计，另 外，我们可以应用更典型的方法如最大似然法、最小互信息估计i c a 。这些方法大致 上是相同的，快速i c a 算法给出了进行实际估计时个计算上很有效的方法 本文利用i c a 技术对手写数码进行模式识别，提取数码符号的独立源特征 山东大学硕士学位论文 3 3i c a 分析与图像预处理 在进行模式识别之前，通常要对样本进行各种预处理。相对于其它方法，i c a 算法进行识别对预处理的要求更少。这就使得我们在实验中对样本的处理变得简化， 而由于预处理丢失的信息对结果的影响就变得更小，这也是基于i c a 的手写体数码 识别的优点。 手写数码具有其特殊性，手写数码识别的预处理通常包括数码图像的提取、数 码图像的二值化处理、细化处理、归一化处理等步骤。我们下面仅对实验中需要的 归化和中心化进行介绍。 一、归一化处理 我们抽取任意图像点( x 。y 。) 进行说明，取向右为横坐标正方向，向下为纵坐 标正方向，( x ) 表示x 的最小值。( y ，) 和( y ，) 。，分别表示y ，的最小值和最大 值，通过归一化公式( 3 - 1 7 ) 与( 3 - 1 8 ) 把每一个点转换成大小一样的图像中的 个点。 x = n x ，一( x ) 。 ( y ，) 。，一( y 。) 。 ( 3 - 1 7 ) y 7 = n y 一( y ) ( y ，) 。：一( y ，) ( 3 - 1 8 ) 即得到归一化数据( x 4 ，y ，) 。 公式( 3 1 7 ) ( 3 1 8 ) 中i 取图像从1 ( 即最左端) 到最右端所有像素点，j 取图像从l ( 最上端) 到最下端所有像素点。 二、中心化处理 实验采用的样本是2 5 6 灰度图像，把归一化后的有用信息( 即笔画) 的上下左 右边界值加以确定，通过上下或左右移动实现“质心”中心化，也就是加减一定倍 数的横像素或加减一定倍数的列像素来实现数码图像的中心化n 预处理过程是模式识别的一个重要环节，它的好坏直接影响到结果的输出，如 山东大学硕士学位论文 何简化信息量、保证有用信息量不被丢失同时方便下一个环节特征提取是预处理特 别要解决的问题。在实际情况下，预处理还可能包括图像提取、二值化转化等。比 如在二值化的过程中，由于人们手写的浓淡不均会影响二值化的正确输出，书写较 淡的笔迹可能会被转换成背景而造成笔划断开或丢失，也或者是周边书写较浓的小 孔会转化为一团黑点。所以要采用一定方法，尽可能杜绝类似问题出现。 3 4 最小二乘法判别 在确定了基空间后，我们要做的是对于训练样本以外的测试样本由基来表示， 但是，基中的独立分量不正交。为了表示训练集合外的图像信息，我这儿采用找方 程的最小二乘解法，实验证明这是一种很好的方法。 设基空间为s ，其中包括了m 个独立分量。对于每个训练样本以的信号x 我们 有x = a ，s ，这里a = ( a ，a 。，a 。) 是一个向量。矩阵s 的秩为m ，因为所有的 独立分量都是线性独立的，虽然超定方程x = a s 没有精确解，我们可以得到最小 二乘解，即得到a 属于群，且 | | a s x ，ii ：= m i n i | b s - x 。il ：；b 属于甜) 等式x i = a ，s 有唯一的最小二乘解a i = a 。= ( a 。a 。a ) ，那么信号可以表示 为a i * s 。对于与训练样本同属一类的测试信息，由于基空间是由该类信号的特征向 量构成，所以对于此类信号的残余量应该小于其它类信号，从而达到手写数码的模 式识别。 实系数方程组：s xa 。= x 。( 3 - 1 9 ) s x a l + s 12 a 2 + + s 1 。a m - - x l ， s z l a l + s 2 2 a 2 + + s 2 。x a m = x 2 ， - s 。l a l + s 。2 x a 2 + s 。a m 2 x n ，( 3 2 0 ) 可能无解，即对任何一组实数a l ，a 2 ，a m ，都使 i ls a i 一x 。ll2 0 我们希望找到一组实数幽。a 蛆，使上式最小。这样的一组实数 a 。，a 。2 ，一，a o , 称为方程组的最小二乘解。 山东大学硕士学位论文 根据线性代数的理论知道，求最小二乘解所满足的代数条件为： s * s 卓a = s 术x ， 在得到最小二乘解a ；后，残余量s x a ，一x 。 l ：为向量的二阶范数， 是向量各元素的平方和的平方根；对测试样本求得残余量，该值与独立分量的次序 和相位无关，再根据该值来进行手写数码的模式识别。 2 1 山东大学硕士学位论文 第四章实验与讨论 本文采用国际学术界普遍采用的州i s t 手写数码样本数据库进行实验，州i s t 手写数码库的全部样本均采自实际的邮政填写号码或在校学生，具有很高的信服度。 下载后的标签文件为t l o k - l a b e l s i d x l u b y t e t ，图像文件为 l o k - i m a g e s i d x 3 一u b y t e ，实验中仅使用了其中5 0 0 组( 即每类数码各有5 0 0 个样本) 手写数码作为实验样本。数码图像的尺寸为2 8 2 8 像素，色彩为2 5 6 级灰度。 实验分别选取不同数量的学习样本对手写数码图像的i c a 特征分量进行提取， 利用最小二乘法求得不同情况下的测试样本的残余量，通过画图比较误判率和拒判 奉的曲线选取最佳闽值，求得在不同学习样本下的误判率和拒判率。并通过实验数 据分析学习样本数量对独立特征提取及识别率的影响，选取合适的学习样本数量， 进行最佳i c a 特征提取及判断。 4 1 数码图像的预处理 一、图像归一化处理 由于手写习惯不同或者实际采样像素不同，各个样本往往大小尺寸很不相同， 实验需要对不同大小的样本先做归一化处理。采用第三章中介绍的方法进行数据归 一化，图4 一l 是随机样本“8 ”的原始样本，图4 2 是其归一化后的样本。 二、图像中心化处理 根据前文内容，图像中有用信息，即数码图像的中心要统一e 即根据图像边值 进行上下或左右的调整。 图4 3 为调整前的样本，图4 4 为中心点统一化处理后的样本。 山东大学硕士学位论文 图4 - 4中心化处理后的样本 4 2 手写数码图像的i c a 特征分析 实验分别选取2 0 组、5 0 维、1 0 0 组、1 5 0 组样本作为学习样本，经预处理后通 过i c a 算法得到每一类数码的i c a 特征分量及特征图- 首先，实验选取2 0 个学习样本分析其i c a 特征分量 本国|本囝图眦卧 山东大学硕士学位论文 汐0 d 0pp 图4 - 52 0 个学习样本 图4 5 是实验中选取2 0 个0 作为提取i c a 独立特征分量的学习样本。图4 - 6 、 图4 7 分别是i c a 提取的学习样本“0 ”的特征分量及特征图。 通过分析i c a 独立特征分量，可以知道对应于2 0 个学习样本，得到2 0 个独立 特征分量，这也就是我们下面要引入的基空间的特征分量的值。 图4 - 6 “0 ”的独立特征分量 同样，我们通过2 0 个其它数码样本可以得到其它九类数码的独立特征分量及特 征图。由于篇幅关系我们只是把其它九类数码的特征图依次列出，省去其独立特征 分量图。如图4 8 、图4 - 9 、图4 - 1 0 、图4 - 1 1 、图4 1 2 、图4 - 1 3 、图4 - 1 4 、图4 - 1 5 、 图4 一1 6 所示。 0 d 0 d o 0 玲 。 卷 。 0 p 山东大学硕士学位论文 图4 7“0 ”的特征图 图4 - 8 “1 ”的特征图 山东大学硕士学位论文 图4 - 9“2 ”的特征图 图4 - 1 0“3 ”的特征图 山东大学硕士学位论文 图4 - 1 14 的特征图 图4 - 1 2“5 ”的特征图 山东大学硕士学位论文 图4 1 3 “6 ”的特征圈 图4 一1 4 “7 ”的特征图 山东大学硕士学位论文 图4 - 1 5 8 的特征图 图4 - 1 6 “9 4 的特征圈 山东大学硕士学位论文 以上是十个数码在选取2 0 个学习样本时通过计算得到的i c a 特征图，每一幅特 征图都是对一个手写体数码的特征描述。同样，可以选取5 0 个、1 0 0 个、1 5 0 个学 习样本得到相对应的i c h 独立特征及特征图，其它数量的学习样本得到的特征图将 在本章随后部分中再做描述。 4 3数码判别系统最佳阈值的确定 通过前文中介绍的最 j , - - 乘法，可以求得5 0 0 组( 即5 0 0 0 个) 测试样本在不同 基空间( 或称为“0 ”一“9 ”九个不同模式) 下的残余置的值。残余量可以反映测试 样本与各种数码的特征相似程度，残余量的数值越小说明它越符合这个数码的特征。 比如一个测试样本0 在“0 ”的基空间下残余量值较小，在“1 ”至“9 ”等几种 基空间下的残余量值较大。同样的，测试样本“l ”在“1 ”的基空间下残余量值较 小，在“0 ”、“2 ”至“9 ”等几种基空间下的残余量值较大。 表4 一l 至表4 - 1 0 分别给出了从“0 ”至“9 ”十类数码的1 6 0 个测试样本在数码 “0 ”的基空间下计算的最小二乘残余量值。数码“0 ”的函数基空间是通过1 0 0 个 学习样本计算得到的。选择1 0 0 个学习样本下的残余董数值表进彳亍说明，是因为比 较2 0 、5 0 、1 0 0 、1 5 0 等不同学习样本建立的基空间下的残余量的值以及对应的误判 率和拒判率图，发现取1 0 0 个学习样本识别率更佳( 4 5 会通过图表数据进行详 细分析) 。 山东大学硕士学位论文 表4 一l ：1 6 0 个测试样本0 在“0 ”模式下的残余量 c y l o a n s = 1 o e + 0 0 3 c o l u m n s1 t h r o u g h1 6 0 0 8 3 0 00 8 9 1 30 8 9 6 50 6 3 4 10 7 1 9 60 9 5 2 60 7 7 1 60 6 1 3 2 0 7 7 1 90 5 0 0 70 5 3 2 80 7 6 7 40 5 9 8 10 4 8 3 50 8 0 7 7 0 5 1 9 0 0 5 5 4 30 5 4 1 60 7 5 1 50 6 3 3 20 4 9 3 10 5 0 7 5 0 6 9 0 70 6 1 1 1 0 6 2 9 20 7 1 9 50 5 3 8 00 6 1 6 90 4 8 7 00 7 3 2 70 6 7 1 80 6 0 7 9 0 9 3 8 20 9 0 4 80 5 4 7 40 5 3 2 70 5 2 2 40 6 4 4 70 7 3 6 5 0 4 7 9 7 0 8 7 3 90 5 4 9 60 4 3 7 20 4 6 6 5 0 6 2 3 60 4 3 7 60 5 2 8 70 4 7 1 5 0 4 7 6 20 4 6 4 8 0 5 3 0 10 7 3 3 20 6 0 4 40 6 7 4 90 6 2 4 3 0 4 9 5 2 0 4 7 1 90 7 0 3 70 4 8 1 0 0 7 4 4 80 4 3 2 90 6 4 7 10 5 7 3 40 5 1 8 9 0 5 3 0 00 7 1 0 30 3 8 7 81 0 8 7 3 0 5 2 1 50 5 6 3 50 5 1 8 30 6 7 8 3 0 8 6 8 70 5 5 0 10 6 9 1 30 4 9 9 9 0 5 6 6 30 4 4 2 10 5 7 4 60 5 5 9 8 0 5 7 1 20 5 1 3 00 8 2 4 30 6 9 3 2 0 5 4 3 00 5 1 3 00 5 6 0 00 7 6 0 7 0 4 0 7 20 4 8 3 00 4 6 8 70 8 0 7 30 5 4 1 8 0 7 1 3 30 5 1 1 90 6 9 9 4 0 4 6 2 30 6 1 1 8 0 。5 3 9 3 0 5 1 4 30 4 0 5 00 6 1 2 70 5 2 2 30 5 7 2 1 0 4 9 5 50 7 1 5 40 9 7 8 9 0 8 8 1 80 5 9 9 90 5 9 3 20 3 8 5 6 0 6 0 9 5 0 9 7 8 60 4 9 1 10 5 6 4 50 5 3 6 70 6 3 2 60 4 7 9 8 0 9 2 0 90 5 9 4 7 0 5 4 3 40 5 2 8 10 5 3 7 80