（控制理论与控制工程专业论文）高维复杂模式特征提取与识别研究.pdf

高维复杂模式特征提取与识别研究 摘要 随着计算机及计算机网络的飞速发展和广泛应用，对模式识别技术的使用更加广泛，而 希望识别的问题也更为复杂( 例如字符识别、手写体数字识别、人脸识别、物体识别等图像 识别) 。为了能更加精确、完整地描述对象，总是尽可能地多采集数据，这就造成了模式空 间的“维数灾难”，乡i 一方面，由于对物体检测手段的现代化和多样化，在维数增大的同时， 各自变量间的相关性也更为复杂，造成了分类处理时间和费用的巨大消耗，甚至不能直接进 行分类，因此，在处理这类高维复杂模式识别问题时，有效的特征提取和选择就显得尤为重 要，而对于图像识别，提取有效的图像特征是完成图像识别的关键，它强烈地影响到分类器 的设计及其性能。 线性判别分析是最有效的线性特征提取方法之一，它提取样本的最优判另i j 特征集，该特 征集更利于模式的分类。但是，在利用线性判别分析提取特征时，会遇到两种情况：一、当 大样本情形时，样本集可能不满足正态分布的条件，利用现有的方法直接求解最优判别矢量 集会带来较大误差；二、当小样本情形时，类内散度矩阵不可逆，不能直接求解最优判别矢 量集。论文针对上述两类情况，分别给出了有效的求解方法，与文献中的方法相比，识别正 确率有了明显的提高。 在分类器设计方面，论文从几何的角度重新诠释了经典的b p 网络与r b f 网络的含义， 分别提出了新的学习算法，克服了它们固有的一些不足，网络性能得到了进步提高。 本文的主要工作和贡献有以下几个方面： 针对大样本的情形，在分析了儿种经典的线性判别分析方法的特点与不足的基础上，通 过引入高斯混合模型的概念，本文提出了一种新的基于高斯混合模型的线性判别分析方 法，同时也给出了在该模型下具有统计不相关性的最优判别矢量集的直接求解方法，较 好地解决了高维复杂模式特征提取与选择的问题，与j i n 等提出的迭代算法相比，本文 算法具有计算速度快、识别率高等优点。 _ - 夺 针对高维小样本问题，采用与f i s h e r f a c e s 相似的处理方式，即所谓的“p c a + l d a ”处 理方法，但与f i s h e r f a c e s 法有本质上的区别。首先，在利用p c a 降维的过程中，与文 i 、 献中提到的各种算法不同的是，我们选取主元的原则是使得f i s h e r 准则函数取得较大 值，即可分性最好，而不是使得投影后样本在投影空间里的方差最小。其次，我们根据 训练样本在模式空间的几何分布情况，对f i s h e r 准则函数的定义做了修改，重新定义了 f i s h e r 准则的类内散度矩阵s 。，使之更准确地反映类内样本间的分布关系，提高了准 则模型的精确性。最后，我们选用f i s h e r 准则函数的推广形式来获得最优判别矢量集， 因为总体散度矩阵s 在投影空间里是可逆的，即使类内散度矩阵s 。在低维的投影空间 里是奇异的，也不影响最优判别矢量的求解，从而简化了最优判别矢量集的求解。另外， 最重要的是，本文的方法在求解最优判别向量集的全过程只需要在一个低维的变换空间 内进行，这一点与以往的一些算法有着本质的不同。 令 在神经网络覆盖学习算法思想的基础上，本文提出了一种新的基于最大密度“球领域” 覆盖的三层前向神经网络学习算法。该算法首先把训练样本向上投影到一个超球面上， 然后在超球面上寻找可以对训练样本集进行正确分类的最优“球领域”覆盖来实现对样 本空间的划分，并根据由训练集得到的“球领域”覆盖来判断待识别样本的类别，从而 把神经网络的最优设计问题转换为某种最优覆盖的问题，有效克服了传统神经网络训练 时间长、学习复杂等不足。对训练样本有1 0 0 正确识别率，而且能实现对多类别、大 规模的模式分类。 夺 在传统的r b f 神经网络的基础上，从r b f 神经元的几何意义的角度出发，提出了一种 新的用于模式分类的c r b f 神经网络结构，并给出了确定该网络结构核函数个数及其 中心和宽度的学习算法。该算法具有能够根据样本分布情况，自动决定隐层节点数以及 核函数的中心与宽度的能力，整个神经网络的结构及其参数是在学习过程中逐渐形成 的。同时，由于引入了竞争层，省掉了传统r b f 神经元输出层的线性连接权的计算， 从而简化了网络的学习过程，大大缩短了训练时间，且不存在收敛问题。 关键词：模式识别，特征提取，线性判别分析，最优判别矢量，高斯混合模型，覆盖算法， b p 网络，r b f 网络 r e s e a r c ho nf e a t u r ee x t r a c t i o na n dr e c o g n i t i o no f h i g h d i m e n s i o n a lc o m p l e x p a t t e r n s a b s t r a c t al o n gw i t ht h es p e e d yd e v e l o p m e n ta n dt h ew i d ea p p ii c a t i o no fc o m p u t e r sa n dc o m p u t e r n e t w o r k s ，t h et e c h n o l o g i e so fp a t t e mr e c o g n i t i o na r eu s e dm o r ew i d e l y a tt h es a m et i m e ，t h e p r o b l e m so fr e c o g n i t i o nd e s i r e d a r eb e c o m i n gm o r ea n dm o r ec o m p l e x i no r d e rt od e s c r i b e o b j e c t sm o r ep r e c i s ea n dm o r ec o m p l e t e ，p e o p l ea r ea l w a y si n c l i n e dt oc o l l e c tm u c hm o r ed a t a a n dt h u st h ed i m e n s i o no ft h ep a t t e mb e c o m e sm u c hh i g h er 0 nt h eo t h e rh a n d ，b e c a u s eo ft h e d i v e r s i f i c a t i o na n dt h em o d e m i z a t i o no fi n s t r u m e n t si nm e a s u r j n gt h eo b j e c t s ，t h er e l a t i v j t y b e t w e e nt h ec o m p o n e n t so ft h ep a t t e mi sb e c o m i n gm o r ec o m p l e xa st h ed i m e n s i o ni n c r e a s e s ， w h i c hm a k e st h ec o n s u m p t i o no fc i a s s 讯c a t i o nc o s t l ya n de v e nm a k et h ep a t t e mn o tt o b e c l a s s 讯e dd i r e c t i y s oi ti se s p e c i a l l yi m p o r t a n tt o6 n das u i t a b i em e t h o dt oe x t r a c ta n ds e l e c tt h e f e a t u r e so fp a t t e mi nd e a lw i t ht h ep r o b l e mo fh i g h d i m e n s i o n a lc o m p l e xp a t t e mr e c o g n i t i o n a s f o ri m a g er e c o g n i t i o n ，i ti st h ek e yt h a tf e a t u r e so ft h ei m a g ea r ee x t r a c t e de f f e c t i v e ly ，w h i c h g r e a t l ya f f - e c tt h ed e s i g na n dt h ep e r f b n n a n c eo f t h ec l a s s i f i e r i ti sw e l lk n o w nt h a tl i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a ) h a sb e e nc o n s i d e r e da so n eo ft h e b e s ta p p r o a c h e sf o r l i n e a rf 色a t u r ee x t r a c t i o n ，b yw h i c ht h eo p t i m a ld j s c r j m i n a n tf e a t u r e se x t r a c t e d a r em o r es u i t a b i ef o rc l a s s i f i c a t i o n h o w e v e r ，t h e r ea r et w od i f 葡c u l t i e si nc o u r s eo fe x t r a c t i n gt h e f - e a t u r e su s i n gl d a ：t h ef i r s ti st h a tt h et r a i n i n gs a m p l e sa r el i k e l yt od i s s a t i s f yt h ec o n d i t i o no f n o r m a ld i s t r i b u t i o nw h e nt h e r ea r el a 唱en u m b e r so fs a m p l e s i nt h i sc a l s e ，i tw i l lc a u s eg r e a t d i v e r g e n c ei ft h el d ai su s e dd i r e c t l y t h es e c o n di st h a tf i s h e ro p t i m a ld i s c r i m i n a n tv e c t o r s c a n tb ec o m p u t e dd i r e c t l yf o rt h es m a i ls a m p l es i z ep r o b l e mb e c a u s et h ew i t h i n c i a s ss c a t t e r m a c r i xo ft h ef i s h e rc r i t er i o ni ss i n g u l a r i no u rw o r k ，as e “e so fe f 诧c t i v ea p p r o a c h e sa r e p r e s e n t e ds u c c e s s f u l l yt od e a lw i t ht h ea b o v ep r o b i e m sa n dc o m p a r e dw i t hm e t h o d si n t e r a t u r e s ， ： ：一、： t h ef e 己o g h i t i o nc o r r e c tr a t e sa r ei m p r o v e do b v i o u s l y i nt h ea s p e c to fd e s i g nm e t h o d sf - o rc l a s s i n er ，i no u rw o r k ，t h ec l a s s i c a lb pn e u r a ln e t w o r k s 一 a n dr b fn e u r a ln e t w o r k sa r ei n t e r p r e t e df r o mt h e p o i n to fg e o m e t r i c sa n dt h en e wl e a m i n g a l g o r i t h m sa r ep r o p o s e dr e s p e c t i v e l y ，w h i c ho v e r c o m es o m ei n h e r e n td r a w b a c ko ft h ec i a s s i c a ib p n e t w o r k sa n dr b fn e t w o r k sa n dm a k et h ep e r f o r m a j l c eo fn e t w o r k si se n h a n c e dg r e a t l y t h e m 萄o rc o n t r i b u t i o n so ft h i st h e s i sa r es u m m a r i z e d a sf o l l o w s 夺f o rt h el a 唱es a m p l es i z ep r o b l e m ，an e wl i n e a rd i s c r i m i n a n ta u l a i y s j sb a s e do ng a i j s s i a n m i x t u r em o d e l ( gm m d a ) i sp r o p o s e da n da na l g o r i t h mt os 0 1 v et h eo p t i m a lv e c t o r so f g m m d ai sa l s od e r i v e d ，w h i c hi ss u p e r i o rt ot h em e t h o dp r o p o s e db yji ni nt e m so fs p e e d a n dc o r r e c tr e c o g n i t i o nr a t e 夺f o rt h es m a i ls a m p l es i z ep r o b l e m ，aw e l l - k n o w n p c a + l d a m e t h o di sa l s oa d o p t e d ， w h i c hs e e m st ob es i m i l a rt ot h e m e t h o do ff i s h e r f a c e ，b u tt h e ya r ed i f f 色r e n t 讯n a t u r e f i r s t l y ， i nt h ep r o c e s so fr e d u c i n gt h ed i m e n s i o n a l i t yo ft h ef e a t u r es p a c eu s i n gp c a ，t h ew a y s e l e c t i n gt h ep r i n c i p a lc o m p o n e n t so fp c ai nt h i st h e s i si st h a tt h ep r i n c i p a lc o m p o n e n t sh a v e 4 s t r o n g e rf i s h e rd i s c r i m i n a t i o nc a p a b i l i t i e st h a nt h er e s t s e c o n d i y ， an e wd e a n i t i o no f w i t h i n c l a s ss c a t t e rm a t “xi s p r e s e n t e da c c o r d i n gt ot h eg e o m e t r i c a ld i s t r b u t i o no fs a m p l e s ， w h i c hc a nm o r ee x a c t l yr e f l e c tt h ei n h e r e n td i s t r i b u t i n gr e l a t i o no fs a m i j l e si ns a m ec l a s sa n d i m p r o v et h ea c c u r a c yo ff i s h e rc r j t e r i o n l a s t l y ，a ne q u i v a l e n tv a r i a n to ft h ef i s h e rc r i t e r i o n i sa d o p t e dw h e r eu s i n gsi n s t e a do f u s j n gs w h e n c e ，f i s h e rd i s c r i m i n a t i o nc a nb ee x t r a c t e d ju s tf r o mt h en o n z e r os p a c eo f s o b v i o u s l y e v e nw h e ns w i ss i n g u l a r ，o u ra p p r o a c hc a n e f r e c t i v e l ye x t r a c tt h ed i s c r i m i n a t i o ni n f o m a t i o n i na d d i t i o n ，i ti st h em o s ti m p o n a n tt h a t t h ew h o f ep r o c e s so fs o i v i n gt h e o p t i m a l d i s c “m i n a n tv e c t o r s p r o c e e d s i naj o w e r d im e n s i o n a ls p a c e ，w h i c hi sd i f f 色r e n tf r o mt h ea p p r b a c h e si nl i t e r a t u r e 夺b a s e do nt h ec o v e r i n g1 e a m i n ga l g o r i t h m ，an e wl e a m i n ga l g o r i t h mf o rf e e d f o n v a r dn e u r a l n e t w o r k sb a s e do nt h em a x d e n s i t yc o v e r i n gi sp r o p o s e d t h es a m p l e sa r en r s t l yp r o j e c t e d u p w a r do nas u p e rs p h e r e ，a n dt h e nt h eo p t i m a i s p h e r en e i g h b o r h o o d s c o v e r i n g s ，w h i c h c a np a r t i t i o nt h et r a i n i n gs a m p l e sc o r r e c t iy ，a r es e a r c h e do nt h es u p e rs p h e r e s ot h et r a i n i n g p r o b l e mo fn e u r a ln e t w o r k sc a nb et r a n s f o r m e di n t ot h eo p t i m a lc o v e r i n gp r o b i e mo fap o i n t s e t ，w h i c hc a nr e d u c et h el o n gt r a i n i n gt i m ea n dl e a m i n gc o m p l e x i t yo ft r a d i t i o n a ln e u r a n e t w o r k sa n dr e a c ht ot h e10 0 r e c o g n i t i o nr a t ef o rt r a i n i n gs a m p l e s ，m o r e o v e r ，w h i c hc a n i v 簟 r e a l i z et h el a 唱es c a l ep a t c e mc i a s s 讯c a t i o np r o b l e m s 令b a s e do nt h ec l a s s i c a lr b fn e u r a ln e t w o r k s ，f o r mt h eg e o m e t r i c a lp o i n to fr b fn e u r o n ，a n e wc r b fn e u r a ln e t w o r k sf o rp a f t e mc l a s s i 6 c a t i o nj sp r o p o s e d ， a n da na l g o r i t h mt os o l v e t h ec o n s t r u c t i o no ft h en e t w o r k sa u t o m a t j c a i l yi sa l s op r o p o s e d t h ea l g o r i t h mh a st h ea b i l i t y o fs e l f d e t e r m i n i n gt h en u m b e ro fh i d d e nu n i t sa n dt h ec e n t e r sa n dw i d t h so fc h eb a s i s f u n c t i o n sa c c o r d i n gt ot h eg e o m e tr j c a jd i s t b u t i o no ft r a i n i n gs a m p i e si nt h ep a t t e r ns p a c e t h ea l g o r i t h me l i m i n a t e st h ec o m p u t a t i o no ft h ei i n e a rc o m b i n a t i o no ft h eo u t p u t s0 fa l lt h e r b fn e l ：l r o n s t h ee n t i r en e t 、v o r ka n di t sp a r a m e t e r se v o l v eg r a d u a l l yi nt h el e a m i n gp r o c e s s k e y w o r d s ： p a t t e mr e c o g n i t j o n ， f e a t u r ee x t r a c t i o n ，l i n e a rd i s c r i m i n a n t a n a l y s i s ，o p t i m a l d i s c r i m i n a n tv e c t o r s ，g a u s s i a nm i x t u r em o d e l ，c o v e r i n ga i g o r i t h m ，b pn e u r a ln e t w o r k s ，r b f n e t w o r k s v 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：黄t 曰是 日期：埘年，2 月7 目 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和电 子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“”) 学位论文作者签名；违j 司应 醐：加于引堋7 日 精 秀日 了r、， 万月 名 ， 签 年 币 ， 捌寸 导指 期 日 上海交通大学博士学位论文 1 1研究背景与意义 第一章绪论 随着计算机及计算机网络的飞速发展和广泛应用，人们希望用计算机帮助甚至代替人来 完成更多复杂的脑力劳动，以提高自动化水平和工作效率，这促使自动控制与人工智能两个 学科交叉融合，形成了智能控制这一学科。人工智能是以计算机为工具，模拟人的职能行为， 研究解决信号处理、模式识别、系统辨识、故障分析、预报、控制等复杂任务如何实现自动 化的科学技术，具有非常广泛的应用背景，是当代国际高科技竞争的重要领域之一。 模式识别( p a n e mr e c o 鲫i t i o n ) 技术是六十年代初发展起来的一门新型学科，是机器学 习和机器视觉研究中最具挑战性的领域之一，现已发展成为一门独立的新学科，其目的是试 图通过计算机使机器具有类似人的分类和辨别能力，从而执行感知任务，完成人类的模式识 别的功能。可见它的目标同人工智能范畴的其它分支的目标是一致的，都是要用机器来代替 人类的部分智力活动。它的产生与发展，增强了计算机对外部世界的感知能力，开拓了计算 机的应用领域，在图像检测与识别、图形、文字识别、地质探矿、指纹识别及机器人等领域 取得了重大的成果，成为当前高科技研究和应用重要领域之一。同时，它也是信息化时代进 行海量多媒体数据自动处理和分类的关键技术之一。 1 2模式与模式识别系统 我们在生活中时时刻刻都在进行模式识别。环顾四周，我们能认出周围的物体是桌子、 椅子，能认出对面的人是张三、李四：听到声音，我们能区分出是汽车驶过还是玻璃破碎， 是谁在说话，说的是什么内容；闻到气味，我们能知道是炸带鱼还是臭豆腐。我们所具备的 这些模式识别的能力看起来极为平常，谁也不会对此感到惊讶，更低等的动物也能区别食物 和敌害。因此过去的心理学家也没有注意到模式识别的能力是个值得研究的课题，就像苹果 落地一样见惯不惊。只有在计算机出现以后，当人们企图用计算机来实现人和动物所具备的 模式识别的能力时，它的难度才逐步为人们所认识。我们讨论的模式识别是指用计算机实现 。： 人的模式识别能力。识别能力是人和动物的一种基本能力，但用计算机来模拟人的这种感知 能力，却面临着巨大的困难。由于目前计算机的模式识别在多数方面还远不如人，因此研究 人脑中的模式识别过程对提高机器的能力是有益的；反之，研究机器模式识别的能力对于理 - 第一章绪论 解人脑中的过程也有很大帮助，认知心理学的很多新模型即得益于此。 什么是模式呢? 广义地说，模式是一组信息，用以充分、必要地描述所关注的对象，从 而在所研究的问题中，将它区别于其它对象。模式不是事物本身，而是我们从事物获得的信 息。模式往往表现为具有时间或空间分布的信息。由于我们主要讨论的是用计算机进行模式 识别，信息进入计算机之前通常要经过采样和量化，在计算机中具有时空分布的信息表现为 向量即数组。数组中元素的序号可以对应时间与空间，也可以对应其它的标识。例如，医生 根据各项化验指标判断疾病种类的模式识别过程中，各种化验项目并不对应实际的时间或空 间。因此，我们对于上面所说的时间和空间应作更广义、更抽象的理解。 人们为了掌握客观事物，按事物相似的程度组成类别。模式识别的作用和目的就是在于 面对某一具体事物时将其正确地归入某一类别。例如，数字“4 ”可以有各种不同的字体或 写法，但它们都属于同一类，即使我们看到从未见过的某种写法的“4 ”，也能正确地将其分 到“4 ”这一类别中去：从不同角度看人脸，视网膜上的成像也不同，但我们可以识别出这 个人是谁，把所有不同角度的像都归入某个人这一类。如果给每个类命名，并且用特定的符 号来表达这个名字，那么模式识别可以看成是从具体时间和空间分布的信息向着符号所作的 映射。 模式往往表示为一个向量，所有模式的向量数据则构成模式空间，向量的维数即为模式 空间的维数。模式空间的维数虽多，但有些并不能揭示模式的实质。对模式空间里的各坐标 元素进行综合分析，获得最能揭示模式或样本属性的观测量作为主要特征，这些主要特征即 构成特征空间，显然，特征的维数大大压缩了。由模式空间到特征空间所需要的综合分析， 适当的变换和选择，这一过程称之为特征提取和选择。模式识别就是对模式正确分类，根据 适当的判决规则，把特征空间里的模式区分成不同的模式类，它是具有某些共同特征的模式 的集合。模式类别空间就是由所有模式类别集合所构成的空间。因此，模式识别的技术途径 可以描述为：由模式空间经过特征空间到类型空间的过程。 一般来说，模式识别系统都由两个过程所组成，即设计和实现。设计是指用一定数量的 样本进行分类器设计；实现是指用所设计的分类器对待识别的样本进行分类决策。模式识别 系统的基本结构如图1 1 所示。它由以下几个基本环节组成： ： 。 2 上海交通大学博士学位论文 一、样本获取阶段 分类器设计 图1 1 模式识别系统的基本结构 f i g i 1t _ h eb a s i cs t r u c t u r co fp a n e mr e c o g n i t i o ns y s t e m 获取训练样本是模式识别的第一步。训练样本是由已知模式类的模式组成的( 这里指的 是监督模式识别) ，且这些模式能在最大限度上表达总体样本的特征。通常采用光学的办法 ( c c d 摄像机，光学扫描仪等) ，得到的是图像的象素描述。象素描述的重要参数是分辨率， 分辨率包括空间分辨率和灰度分辨率，前者反映了象素描述在空间上的精细程度，而后者则 反映了象素描述在灰度空间的精细程度。由于空间分辨率对模式的识别影响较大，因此要认 真选择。 二、预处理阶段 预处理阶段在实用系统中是一个很重要的阶段。预处理效果的好坏会直接影响到整个识 别系统的性能，其包含的内容非常广泛。一般而言，预处理的目的是为了滤除噪声增强有用 信息，对退化的信息进行复原，对样本进行规范化以减少同类样本的差异等。 三、特征提取和选择阶段 在模式采集时，人们总是尽可能的多采集样本数据，往往造成模式空间维数的“维数灾 难”，即模式维数很大，知识分类处理时间和费用的消耗很大，甚至不能直接进行分类。因 此，特征的选择和提取是重要的环节，其目的是选取对分类贡献较大的特征，剔除贡献微小 的特征，从而降低特征向量的维数，将信息集中到有代表性的几个特征上来的过程，特征的 ：一 选择和提取与待识别模式的类别及采用的识别方法密切相关，直接影响到模式识别的效果。 一般来说，要求选择出来的特征能够代表这个模式j 另一方面要求它们的数量尽量少， 3 第一章绪论 从而能有效的进行分类和描述。模式特征的选择对识别的效果有直接的影响，选择稳定的、 有代表性的特征往往是一个识别系统成功的关键。按照统计理论的观点，好的特征提取方法 必须满足三个条件：一是提取的一组特征相互独立或者不相关；二是特征提取能有效减小类 内距离，增大类间距离；三是特征向量的维数尽量小。 四、分类识别阶段 分类识别是依据特征提取阶段所提取特征，用事先确定的某个判决规则或决策函数对待 识别对象的类别作出判断。获取判决规则或决策函数的过程称为训练或学习。训练或学习的 过程既可以由机器自动完成，也可以由手工方法进行，或者两者结合。分类器可分为模板匹 配分类器、统计决策分类器、句法结构分类器、模糊判决分类器、神经网络分类器和逻辑推 理( 或人工智能) 分类器等六种。 1 3 模式识别研究的发展现状 模式识别的研究是起始于上世纪5 0 年代，作为一门新兴的学科，在过去的几十年，模 式识别研究获得了重大的进展。特别是最近十几年，模式识别不仅在理论上逐步完善，而且 其应用领域迅速扩展，已在天气预报、卫星航空图片解释、工业产品检测、字符识别、语音 识别、指纹识别、人脸识别、医学图像分析等方面得到了成功应用。所有这些应用都是和问 题的性质密不可分的，至今还没有发展成统一的有效的可应用于所有的模式识别的理论。 在国际上，模式识别受到极大重视，许多不同领域的科技工作者都致力于这方面的研究。 1 9 7 3 年1 0 月，i e e e 在华盛顿发起召开了以模式识别为专题的第一次国际学术会议。1 9 7 6 年的第三次国际模式识别会议上，成立了国际模式识别协会( i a p r ) 。现在，国际上已成立 了模式识别与人工智能的专业委员会，几乎每年都有学术活动。除了会议报告集和专著外， 目前世界上有几十种杂志都刊登模式识别及有关领域的论文。在当今信息化社会中，模式识 别的研究和应用已经得到世界范围的关注。 在理论方面，模式识别最初处理方法主要是统计( 或决策理论) 模式识别( s t a t i s t i c a l p a t t e mr e c o g n i t i o n ) 方法( c h c h e n ，1 9 7 3 ；p d e v j v er j k i t t i e r ，1 9 8 2 ；n a b r a m s o n ，d b r a v e m a n ，gs s e b e s t y e n ，l9 6 3 ：r d b r a v e r m a n ，l9 6 4 ；y c h o ，a k a g r a w a l a ，l9 6 8 ) 和结构模 式识别( s t r u c t u r a lp 甜e mr e c o g n i t i o n ) 方法( k s f u ，l9 7 4 ；19 7 7 ；r c g o n z a l e z ，m g t h o m 2 l s o n ，1 9 7 8 ：l m i c l e t ，1 9 8 6 ) 。随着数学的发展，1 9 6 5 年美国控制论专家z a d e h 开创了 4 l 上海交通大学博士学位论文 一门新的数学分支模糊数学( l - a z a d e h ，1 9 6 5 ) ，它是研究和处理模糊现象的数学。模 糊现象就是自然界和人类生活中，那种处于差异的中介过渡状态的现象。由于模糊现象广泛 而大量地存在着，且在模式识别中很多问题也带有模糊性，因此出现了用模糊集合论的观点 与方法来进行模式识别的研究和应用，产生了模糊模式识别方法( 冯晋臣等，1 9 8 4 ；李安 华，1 9 8 4 ：王小东等，1 9 9 9 ；肖健华等，1 9 9 9 ：王国利等，1 9 9 8 ) 。8 0 年代以来， 随着神经科学家对大脑信息处理的深入了解，以及计算机科学和人工智能发展的需要，以非 线性大规模并行分布式处理为基础的神经网络系统得到了迅速发展，用神经网络的方法来进 行模式识别，已成为模式识别领域中又一研究的热点，并且取得了许多传统方法所难以达到 的，令人瞩目的成就( 程瑞琪，1 9 9 9 ；胡步超等，1 9 9 9 ；李春梅等，2 0 0 0 ：荆涛，1 9 9 9 ： 高志明等，2 0 0 0 ) 。近来，王守觉( 王守觉。2 0 0 2 ) 提出了一种模式识别理论的新模型。被 称为“仿生模式识别”，它是基于“认识”事物而不是基于“区分”事物为目的。它的数学 方法在于研究特征空间中同类样本的连续性( 不能分裂成两个彼此不邻接的部分) 特性，与 传统以“最佳划分”为目标的统计模式识别相比，它更接近于人类“认识”事物的特性。 在实际应用方面，随着模式识别理论和计算机的发展，其应用范围不断扩大，几乎涉及 人类生活的各个领域，应用包括语言识别，字符识别，指纹识别，人脸识别，遥感图像分析， 生物医学信号和图像分析，医疗诊断，检测污染，产品的可靠性分析，考古( 罗耀光等， 1 9 8 6 ) 等方面。随着人类社会对安全可靠性的需求的增加，尤其是从美国9 1 1 事件以后， 人的身份确认问题不再仅仅是为了银行存款、电子商务、家庭安全等服务了，而是提升到了 国家安全的角度。人的生物特征识别( 如指纹、人脸、虹膜、掌纹等) 是确认人的身份的有 效手段，因此，对生物识别技术的研究越来越受到广泛的关注，如何利用人体的生物特征迅 速判断并确定一个人的身份成了现在各个国家重点研究的技术，这就迫切需要生物识别技术 的发展和完善。生物识别技术是指通过对人体特征的数字化测量来进行身份鉴别的技术，指 纹、人脸、声音、虹膜、掌纹等特征都可被用来尝试进行身份的鉴别研究。而人脸识别是生 物识别技术中的尤为重要的课题之一，目前是一个非常活跃的研究方向，在心理学、神经科 学、模式识别和计算机视觉等方面涌现出大量的成果。 1 4 模式识别的研究方法 ：。 针对不同的对象和不同的目的，可以采用不同的模式识别理论、方法，目前主流的模式 识别方法主要有统计模式识别方法、句法结构模式识别方法、模糊模式识别方法、逻辑推理 5 _ 第一章绪论 方法和人工神经网络方法五种( 沈清，汤霖，1 9 9 1 ) 。 一、统计模式识别方法 统计模式识别是一种相对成熟的理论( t o u 和g o n z a i e z ，1 9 7 4 ；d u d a 和h a n ，1 9 7 3 ； f u ，1 9 7 7 ；f u k u n a g a ，1 9 9 0 ：p a o ，1 9 8 9 ) ，它把模式识别问题表示成多维空间中密度函数的 估计问题，并且把这个超空间分成多个类别或分类区域。在这种情况下，判决是使用合适的 判别函数来完成的，从而数理统计成为这个领域的基础。统计模式识别作为机器学习的核心 方法之一，试图从已有的经验和观察数据中综合和抽象出分类规则，进而利用所得规则实现 对更广大的未见数据的预测和分类。 传统的统计模式识别方法通常包括以下几种方法：模板匹配和互相关处理、基于多变量 的高斯线性分类器、f i s h e r 线性判决规则、分段线性差别函数法、判决树分类器、k 均值聚 类算法、势函数法等。 然而，传统的统计模式识别技术是建立在样本足够多的前提下进行研究的，所提出的各 种方法只有在样本数趋于无穷多时其性能才有理论上的保证。在许多实际问题中，由于样本 特征空间的类条件概率密度的形式很难确定，利用p a 陀e n 窗等非参数方法估计分布又需要 大量样本，而且随着特征空间的维数增加所需的样本数急剧增加。因此，在实际问题中并不 是去恢复类条件概率密度，而是利用样本集直接设计分类器。具体说就是，首先给定某个判 别函数，然后利用样本集确定出判别函数中的未知参数。贝叶斯分类器，可以看成以错误率 或风险为准则函数的分类器，它使错误率或风险达到最小，我们称这种分类器为最优分类器， 而在其他准则函数下得到的分类器称为“次优”的，此处的“次优”只是相对错误率和风险 而言的，而对所提出的准则而言，则是最好的。众所周知，最简单的判别函数是线性函数， 最简单的分界面是超平面，采用线性判别函数所产生的错误率或风险虽然可能比贝叶斯分类 大，但其结构简单，容易实现，而且需要的计算量和存储量小。因此，线性判别函数是统计 模式识别的基本方法之一，也是实际应用中最常用的方法之一。 二、句法结构模式识别方法 句法结构法的理论基础是形式语言和自动机技术，也是模式识别中发展较为成熟的一种 方法，其基本原理是：用一个句法来描述一个模式类，门个类就有 个句法，句法也称为文 法或语法，对一个未知样本，通过基元抽取构造该样本的描述即句子，然后分析该句子遵循 哪个句法从而推断改样本所属的类别。句法结构法的优点是能够反映模式的结构特征，而且 6 - 上海交通大学博士学位论文 对模式结构的畸变不敏感。句法结构法的缺点是基元抽取较为困难以及抗噪声干扰能力较 弱，因此限制了它的使用范围。 三、模糊模式识别方法 模糊模式识别方法的理论基础是模糊数学，其基本原理是：用模糊集合来描述模式类， 用隶属度将模糊集合划分为若干子集，月个类就有玎个子集，然后根据择近原则进行分类。 由于隶属度函数度量未知样本与标准模式间的相似程度，因此模糊判决法往往能反映整体的 主要的特征，从而允许样本有相当程度的干扰与畸变，但是建立准确合理的隶属度函数非常 困难，因此限制了它的应用。 四、逻辑推理法 逻辑推理法的基础是人工智能技术，而人工智能的理论基础是演绎逻辑和布尔代数。逻 辑推理法是一种智能分类法，其基本原理是：用知识描述模式类，从事实出发运用知识库中 的一系列规则推理得到不同的结果，规则不同就能得到不同的结果。从某种意义上说逻辑推 理法是句法结构法的人工智能实现，如果把句法结构法中的句法换成知识，把句法分析过程 换成推理过程，就会发现这两种方法非常相似。逻辑推理法对需要通过众多规则的推理达到 识别目的的问题，有很好的效果。但缺点是由于事实的获取较为困难，因此限制了它的应用。 五、神经网络模式识别方法 一 神经网络法的基础是神经网络理论。在该方法中，模式类的描述方法一般还是特征向量 ( 有的直接把整个图像作为神经网络的输入，这相当于把图像的每个象素都当作特征向量的 一维) ，只是在分类时，利用了神经网络的自动学习和记忆功能，通过对样本的训练建立起 记忆，然后将未知样本作为