（电路与系统专业论文）优化核方法[电路与系统专业优秀论文].pdf

摘要 从上世纪6 0 年代初人们开始对基于数据的机器学习进行研究至今，机器学习 领域已经取得了长足的发展。v a p n i k 等人提出的基于统计学习理论的支撑矢量机， 同时结合了统计学习理论和核技术，有效地控制了假设函数集的容量，成为一种 通用的学习枫：由于支撑矢量机的成功，促使了这一时期薪的核机器的出现和快 速发展，涌现出了众多优秀的学习机，如核f i s h e r 分类器、核主分量分析及相关 向量机等。近年来，p a s c a lv i n c e n t 等人又提出了一种非常有效的学习机：核匹配 追踪，该学习机同经典的支撑矢量机相比，其性能相当，同时具有更为稀疏的解。 目前，这些学习机均已成功的应用于模式识别，回归估计，函数逼近等领域中。 本论文主要包括五个方面的内容：预选取支撑矢量，支撑矢量机稀疏性的自适应 控制，m e r c e r 核函数的构造，模糊核匹配追踪及集成核匹配追踪学习机，主要的 工作有： 1 提出了基于向量投影的支撑矢量预选取方法。已有的支撑矢量机分类学习 算法的优化过程不仅包含了对支撑矢量的优化，也包括了对非支撑矢量的优化， 这无疑大大增加了不必要的计算量。我们提出的方法是在给定的样本中提取出一 个包含了支撑矢量的边界矢量集合作为新的训练样本。如果选取适当的预选取参 数，边界矢量集能够包括所有的支撑矢量，这样，在保证支撑矢量机的分类性能 不变的前提下，该方法能够大大地减少了训练样本的个数，提高支撑矢量机的训 练速度。 2 在提高支撑矢量稀疏性方面，提出了一种自适应的控制策略。支撑矢量机 的决策速度( 即反映速度) 取决于支撑矢量的个数，当决策系统含有大量的支撑 矢量时，测试时间就会变得异常缓慢。将一个已设计好的s v m 学习机应用于在线 问题( 实时问题) 时，学习机的判决速度常常不能满足问题的需要，这是因为s v m 的决策系统不够稀疏。在本论文中，我们提出了一种自适应的简化策略，能够根 据具体问题的识别要求自适应的简化支撑矢量机解的复杂度，在保证满足任务检 测性能的要求下最大化的削减支撵矢量，提升s v m 的在线检测速度。 3 在核函数构造方面，提出了两种允许m e r c e r 核函数：子波核函数和多分辨 核函数。通常核机器中所采用的核函数并不能构成特征空间中一组完备的基，从 而学习机的决策函数并不能以任意精度逼近特征空间中任意的目标函数，在大多 数情况下，它只是对目标函数的一个近似。子波基函数不仅具有良好的时间一尺 度( 时频、时空) 多分辨特性，而且还具有良好的逼近性能和降噪能力，为此我们构 造并证明了子波核函数和多分辨核函数，并成功的将其应用于核匹配追踪学习机 中 4 在核机器的拓展方面，提出了模糊核匹配追踪学习机。在实际的应用中常 常碰到对非平衡样本和特征目标的检测问题，而对这一类信息的检测通常是困难 的由于传统的智能机器在处理模式识别的问题中均是平等的对待所有的训练 数据，并不能对某一类指定的数据或某一些特殊的信息进行有针对性的检测，而 对这类信息的有效识别往往成为任务的关键环节。在本论文中，我们提出了模糊 核匹配追踪学习机( f u z z yk m p ) ，预先根据任务的要求对采集的数据设定不同的 权重因子( 即重要性因子) ，使学习机根据样本之间的重要性进行程度不同的训练， 最终得出基于特征目标的判决准则， 5 建立了集成核匹配追踪分类器。在实际工程中，当要求较高的识别精度时， 一般采用单一的学习机器并不能达到期望的性能，而集成方法则给出了另一种提 升性能的途径一即将一个识别问题划分为多个子任务进行学习得到多个训练好 的智能机器，最后采用一定的策略将这多个智能机器集成起来得出最后的决策； 采用集成策略同时能够解决另一个更为重要的问题：大规模样本的训练问题。当 所采集到的数据非常庞大时，由于计算机的存储空间及计算速度的限制，使得学 习机器根本无法处理这些海量的数据，集成策略的采用，先将原始训练数据分裂 成一些小的子训练问题，然后对这些子问题分别进行处理。最好通过集成得到最 终的判决。集成策略的优势在予不损失原始数据所包含信息的前提下，迸一步提 升系统的推广能力。 关键词：统计学习理论，核机器，支撑矢量机，核匹配追踪，支撑矢量预选取 简化支撑矢量，m e r c e r 核，模糊核匹配追踪，集成核匹配追踪 a b s t r a c t i nt h ee a r l yo f1 9 6 0 s ，t h et h e o r yo fm a c h i n el e a r n i n gb a s e do i lt h ed a t ah a sb e g u n t ob er e s e a r c h e d i th a sm a d eg r e a tp r o g r e s sa f t e r4 0y e a r sr e s e a r c h 。i nt h en i n e t i e so f t h el a s td e c a d e , v a p n i ka n dh i sg r o u pc o m p l e t e dt h es t a t i s t i c a ll e a r n i n gt h e o r ya n d c o n s t r u c t e dag e n e r a la n de f f e c t i v em a c h i n el e a r n i n ga l g o r i t h n s u p p o r tv e c t o r m a c h i n e ( s v m ) s v mc o m b i n e st h ea d v a n t a g e so fb o t hs t a t i s t i c a ll e a r n i n gt h e o r ya n d k e r n e lm e t h o d ，a n de f f e c t i v e l yc o n t r o l st h ec a p a c i t yo ft h eh y p o t h e s i sf u n c t i o ns e t , w h i c hd i r e c t l yr e s u l t i n t ong o o dg e n e r a l i z a t i o np e r f o r m a n c e m a n yn o v e lk e r n e l m a c h i n e sa p p e a ri nt h i sp e r i o ds u c ha sk e r n e lf i s h e rd i s c r i m i n a t i o n ( k f d ) ，k e r n e l p r i n c i p l ec o m p o n e n ta n a l y s i s ( p c a ) ，r e l e v a n tv e c t o rm a c h i n e ( r v m ) ，e t c ，w h i c hi s m a i n l ye n l i g h t e n e db yt h es u c c e s s f u la p p l i c a t i o n so fk e r n e lf u n c t i o n si ns v m i nt h e n o w a d a y s , r e s e a r c h e r sp r o p o s e d t h eo t h e rs u c c e s s f u l l e a r n i n gm a c h i n e ，k e r n e l m a t c h i n gp u r s u i t ( k m p ) ，b a s e d 0 i it h ek e r n e lt e c h n o l o g y k m pc o u l da l m o s tr e a c ht h e e q u i v a l e n tp e r f o r m a n c ec o m p a r e dw i t ht h ec l a s s i c a ls v m w h i l eh a st h es p a r s e r s o l u t i o n a tp r e s e n t , a l lo ft h e s el e a r n i n gm a c h i n e sh a v eb e e ns u c c e s s f u l l yu s e d n p a t t e r nr e c o g n i t i o n ，r e g r e s s i o ne s t i m a t i o n ，f u n c t i o na p p r o x i m a t i o n ，d e n s i t ye s t i m a t i o n ， e t c f r o mt h ev i e w p o i n t so ft h eo p t i m a lk e r n e lm e t h o d ，t h i sd i s s e r t a t i o ni n c l u d e sf i v e p a r t sw o r ka sf o l l o w s ： 1 w ep r o p o s e dam e t h o dt op r e e x t r a c ts u p p o r tv e c t o r sb e f o r et h et r a i n i n go f s u p p o r tv e c t o rm a c h i n e a sa nw ek n o w , t r a i n i n gas u p p o r tv e c t o rm a c h i n e ( s v m ) w i l l c o s tq u i t em o r et i m e , w h i c hi se q u i v a l e n tt os o l v i n gal i n e a r l yc o n s t r a i n e dq u a d r a t i c p r o g r a m m i n g ( q p ) p r o b l e mi nan u m b e ro f v a r i a b l e se q u a lt ot h en u m b e ro f d a t ap o i n t s t h i so p t i m i z a t i o np r o b l e mw i l lb ec h a l l e n g i n gw h e nt h en u m b e ro fd a t ap o i n t se x c e e d s f e w t h o u s a n d s a l s o ，i ti sw e l lk n o w nt h a tt h er a t i oo f s u p p o r tv e c t o r s ( s v s ) i sf a rl o wi n m a n yp r a c t i c a lc i r c u m s t a n c e s ，a n dt h ed e c i s i o nm a d eb ys v mi so n l yr e l a t et ot h e s e s u p p o r tv e c t o r sa n dh a sn o t h i n gw i t ht h eo t h e rd a t a s ot h em e t h o do fh o wt o p r e e x t r a c t i n gs v sb e c o m e san o v e lt a s ki ns v mf i e l d s i nt h i sd i s s e r t a t i o n , w e i n t r o d u c ean e wm e t h o df o rp r e e x t r a c t i n gs v sb a s e do nv e c t o rp r o j e c t i o na n dt h e g e o m e t r i c a lc h a r a c t e r i s t i co fs v s ，w h i c hc o u l dr e d u c e st h et r a i n i n gs a m p l e sg r e a t l ya n d s p e e d su pt h es v ml e a r n i n g , w h i l er e m a i n st h eg e n e r a l i z a t i o np e r f o r m a n c eo f t h es v m 2 f o rt h ei m p r o v e m e n tt h es p a r s i t yo ft h es v m n i la d a p t i v es i m p l i f i c a t i o n ： 塑：! ：塑：! ：当 s t r a t e g yi sp r o p o s e dt os i m p l i f yt h es o l u t i o no ft h es v m i nu s u a l l y , s v mi sc u r r e n t l y c o n s i d e r a b l ys l o w e ri nt e s tp h a s ec a u s e db yn u m b e r so ft h es u p p o av e c t o r s , w h i c hh a s b e e nas e r i o u sl i m i t a t i o nf o rt h er e a lt i m ea p p l i c a t i o n s s oh o wt os i m p l i f yt h es o l u t i o n s o fs v mb e c o m e sak e yp r o b l e mw h e nu s i n gs v mi nt h eo n l i n et a s k t oo v e r c o m et h i s p r o b l e m ，w ep r o p o s e da l la d a p t i v ea l g o r i t h mn a m e df e a t u r ev e c t o r ss e l e c t i o n ( f v s ) t o s e l e c tt h ef e a t u r ev e c t o r sf r o mt h es u p p o rv e c t o rs o l u t i o n s ，w h i c hi sb a s e do nt h ev e c t o r c o r r e l a t i o np r i n c i p l ea n dg r e e d ya l g o r i t h m m o r e o v e r , t h es e l e c t i o no fn u m b e ro ft h e f e a t u r ev e c t o r sc a l lb ec o n t r o l l e dd i r e c t l yb yt h er e q u i r e m e n t s ，s ot h eg e n e r a l i z a t i o na n d c o m p l e x i t yt r a d e - o f f c a nb ec o n t r o l l e da d a p t i v e l y 3 ，t w oe f f i c i e n tm e r c e rp e r m i t t e dk e r n e l sa l ec o n s t r u c t e di n t h i sd i s s e r t a t i o n t h e c o m m o nu s e dk e r n e lf u n c t i o n si nt h ek e r n e ll e a r n i n gm a c h i n e sa l en o tt h eo r t h o g o n a l b a s i si nt h eh i l b e r ts p a c e ，w h i c hw i l ld i r e c t l yd e g r a d et h el e a r n i n gm a c h i n e s a c c u r a c y w a v e l e tt e c h n i q u eh a sb e e ns u c c e s s m l l yu s e di nt h es i g n a lp r o c e s s i n gf o ri t se x c e l l e n t a p p r o x i m a t i o np e r f o r m a n c e ，w h i c hi sa l s oac o m p l e t eo r t h o g o n a lb a s i si nt h eh i l b e r t s p a c e i no r d e rt om a k eu s eo ft h ea d v a n t a g e so ft h ew a v e l e t , w eh a v ec o n s t r u c t e dt h e w a v e l e tm e r c e rk e r n e la n dm r am e r c e rk e r n e l c o m b i n i n gt h em a c h i n e sw i t ht h e s e t w ok e r n e l sc a nm a k eu pt h ed e f e c t so f t h et r a d i t i o n a lk e r n e lf u n c t i o n sa n di m p r o v et h e p e r f o r m a n c eo f t h el e a r n i n gm a c h i n e 4 an e wk i n do fm a c h i n en a m e df u z z yk e r n e lm a t c h i n gp u r s u i ti s p r o p o s e d i n t h ep r a c t i c a l t h er e c o g n i t i o n so ff o l l o w i n gp r o b l e m sa r cm u c hi m p o r t a n t o n ei st o i d e n t i f yt h es p e c i a lt a r g e t , s u c ha st h ed e t e c t i o no f t h ec a n c e r , a g g r e s s i v ep l a n e ，e r e t h e o t h e ri st or e c o g n i z et h em i n o rt a r g e tf r o mt h el a r g ed a t a y e tt h ec o n v e n t i o n a lk m p m a c h i n et r e a t sa l lt r a i n i n gd a t aw i t h o u td i f f e r e n c e ，a n dg i v e st h em i n i m a le r r o r so ft h e w h o l ed a t a s e t t h e r e f o r e ，i td o e s n tp r e s e n th i g hp e r f o r m a n c et ot h es i g n i f i e dp a t t e r n s i no r d e rt os o l v es u c hp r o b l e m s ，w ep r o p o s e da ne f f e c t i v em a c h i n e ，f u z z yk e r n e l m a t c h i n gp u r s u i t ( f k m p ) ，w h i c hi m p o s e saf u z z yf a c t o ro ne a c ht r a i n i n gd a t as u c ht h a t d i f f e r e n tp o i n t sc a l lm a k ed i f f e r e n tc o n t r i b u t i o n st ot h el e a m i n gd e c i s i o n t h ef u z z y f a c t o rc a nb ep r e c h o s e na c c o r d i n gt ot h et a s k sr e q u e s t a st h er e s u l t ，t h ed e t e c t i o n so f t h e s es p e c i a lp a t t e r n sa t ew e l ls o l v e d 5 i nt h es o l u t i o no ft h el a r g es c a l ep r o b l e m s ，w en e e dt or e s o l v ei tq u i c k l ya n d h o p et 0o b t a i nt h eh i g hp e r f o r m a n c es i m u l t a n e o u s 1 1 1 ec u r r e n tc o m p u t e r sa r es t r o n g e n o u 【g it od e a lw i t ht h ec o m p l e xs c i e n c ec o m p u t a t i o n s ，w h i l et h e ys t i l lw i l lb ei n v a l i d w h e nt h es c a l eo ft h ep r o b l e me x c e e d ss o m el i m i t o t h e r w i s e ，p r o c e s s i n gl a r g es c a l e p r o b l e mi s a l li m p o r t a n tp r o b l e mi nt h er e a le n g i n e e r i n ga p p l i c a t i o n i no r d e rt od e a l w i t hs u c hp r o b l e m s , w ep r o p o s et oc o m b i n et h ee n s e m b l es t r a t e g yw i t ht h em a c h i n e s d o c t o r a ld i s s e r t a t l o l l u n i v e f s l t y o fx l d l a n a n dc o n s t r u c t e dt h ek e r n e lm a t c h i n gp u r s u i tc l a s s i f i e re n s e m b l e t h ee n s e m b l es y s t e m s e p a r a t e st h eo r i g i n a li m a g e si n t os e v e r a ls m a l ls u b p r o b l e m sf i r s t l y , a n dt h e np r o c e s s e s t h e s ei n d i v i d u a lp r o b l e m so n eb yo n e f i n a l l y , i ta g g r e g a t e sa l lt h ep r e d i c t i o n sa n d a c q u i r e st h es y n t h e t i cp r e d i c t i o n t h eg r e a t e s ta d v a n t a g eo fs u c hs t r a t e g yi st h a tt h e s y s t e md o e sn o tl o s ea n yi n f o r m a t i o ni n c l u d e di nt h eo r i g i n a ld a t aa n dg r e a t l yi m p r o v e t h er e c o g n i t i o np e r f o r m a n c es i m u l t a n e o u s k e y w o r d s ：s t a t i s t i c a ll e a r n i n gt h e o r y , k e r n e lm a c h i n e , s u p p o r tv e c t o rm a c h i n e ， k e r n e lm a t c h i n gp u r s u i t , p r e - e x t r a c ts u p p o r tv e c t o r , s i m p l i f i c a t i o no fs u p p o r tv e c t o r , m e r c e rk e r n e l ，f u z z yk e r n e lm a t c h i n gp u r s u i t , k e m e lm a t c h i n gp u r s u i te n s e m b l e 独创性( 或创新性) 声明 人声明所呈交的论文是我个人在导坪指导下连行的研究工作及取得的研究成果尽我 所知，酴了文中特别加以拓注和致谢中所罗列的内容以外，论文中不包含其他人已经发表戍 曩写迁的研究成暴；也不包寺为荻得西安屯子科技大孝或其它教育机构的学位或证书而使用 过的材料。与我一一工作的一志对本研竞所微的任何黄妖均已在论文中微了明确的说舅并表 示7 谢意。 申请学位论文与蛋料若有不实之处，本人承担一切相关夤任。 本人签名： 日期 关于论文使用授权的说明 本人完全了解西安电子科挂大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安屯子科技大学。拳人保证毕 业离较后，发表论文或使用论文f 与学驻碴文抽关j 工作成呆时暑名单红仍然为 西安屯子拜楚夫学。擎较有祆保留遣交论文斡复印辞，允许查阅和镑竭论文；学 较可以公布论文的全部或部分内容，可以允许采甩影印缩印式其它复制手段保 存论文。f 保密的论文在解密后遵守此规定j 本人签名 导师签名 日期： 日期 第一章绪论 从1 9 5 6 年正式提出人工智能( a r t i f i c i a li n t e l l i g e n c e ，a i ) 学科算起，5 0 多年 来，人工智能已经取得了长足的发展，成为一门广泛的交叉和前沿科学。人工智 能的目的就是设计一台超级机器，使这台机器能够象入一样思考、行为”捌。当计 算机出现后，人类开始真正有了一个可以模拟人类思维的工具，在以后的岁月中， 无数科学家为了这个目标丽努力着。现在人工智能已经不再是几个科学家的专利 了，全世界几乎所有大学的计算机系都有人在研究这门学科；众多学者的研究， 使得现在的计算机似乎已经变得十分聪明了：例如，1 9 9 7 年5 月，i b m 公司研制 的深蓝( d e e pb l u e ) 计算机战胜了国际象棋大师卡斯帕洛夫( k a s p a r o v ) 。大家或 许不会注意到，在一些地方计算机帮助人进行其它原来只属于人类的工作，计算 机以它的高速和准确为人类发挥着它的作用。人工智能始终是计算机科学的前沿 学科，计算机编程语言和其它计算机软件都因为有了人工智能的进展而得以存在。 1 1 人工神经网络的发展 人工神经网络的特点和优越性，主要表现在三个方面：第一，具有自学习功 能。例如实现图像识别时，先把许多不同的图像样板和对应的识别结果输入人工 神经网络，网络就会通过自学习功能，慢馒学会识别类似的图像。自学习功能对 于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预 测、市场预测、效益预测，其前途是非常远大的。第二，具有联想存储功能。人 的大脑是具有联想功能的，例如如果有人和你提起你幼年的同学张某某，你就会 联想起张某某的许多事情；用人工神经网络的反馈网络就可以实现这种联想。第 三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的 计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速 运算能力，可能很快找到优化解。人工神经网络是未来微电子技术应用的新领域。 智能计算机的构成，可能就是作为主机的冯诺依曼计算机与作为智能外围机的人 工神经网络的结合。 现在人们认为关于神经网络最早的论述之一，源自于现代计算机科学的先驱 者阿兰图灵( a l a nt u r i n g ) ，他在1 9 4 8 年的一篇论文中描述了“b 型非组织 机器”，它由与非门网络组成p j 。m c c u l l o c h 和p i t t s 首先提出了描述简单神经元网 络行为的基本的算术和逻辑方法1 4 j 。这篇早期著作提出了非递归和递归网络，但并 不是关于学习。它对神经元的“全或无”、或者某个阈值函数的集中讨论，问接推 迟了人们对后来将占领这个领域的具有连续值的神经元的讨论。这些专家后来写 了一篇极其重要的关于神经系统中特征映射、不连续性以及学习的论文，从而使 得模式识别的概念发展有了大飞跃p j 。 r o s e n b l a t t 的关于( 两层) 感知器的著作 6 , 7 1 可以说是最早从事学习并且第一个 包含有关收敛性证明的文章。大量的随机方法，包括著名的“群鬼堂”算法 ( p a n d e m o n i u m ) s g l ，都被提出来训练具有几个层次或处理器的网络，这些算法 均保持了阈值函数的主导地位，处理器一般只有逻辑运算功能( “与”或者“或”) ， 而不是后来在神经网络中较受欢迎的连续函数。执行线性判决的网络线性机 的局限性在2 0 世纪5 0 年代和6 0 年代众所周知，并且被它的提倡者1 7 1 和反对 者【i o l 都讨论过。通过上述研究，许多学者认为决定机器推广能力的因素就是经验 误差最小化准则( e m p i r i c a lr i s km i n i m i z a t i o n ) 。他们认为，经验误差最小化准则 是不证自明，不言而喻的。这样对统计机器学习的研究分化为两个学派；应用分 析学派和理论分析学派。应用分析学派主要研究统计机器学习的方法、模型和应 用等，主要包括神经网络，b a y e s 网络等。w i d r o w 等人提出了权值连续的三层自 适应神经网络，该网络具有固定的输入层到隐含层的权值，通过训练来学习隐含 层到输出层的权值【l l 】。上述时期的网络模型由于受到计算机计算能力的限制，基 本上都是线性的。然而，在1 9 6 9 年，m i n s k y 和p a p e r t 提出即使像x o r ( 异或) 这样简单的函数也不能用单层的感知器网络学习或表示 1 2 1 ，并且发表了 p e r c e p t t o n ) 一书，受此影响，在整个2 0 世纪7 0 年代，人工神经网络的研究衰 退了。在2 0 世纪8 0 年代初期，人工神经网络的研究经历了第一次复兴，随着计 算机计算能力的加强，在神经网络终进一步引入了动力系统和非线性函数，使得 神经网络的处理能力和范围大大加强。1 9 8 2 年h o p f i e l d 提出了h n n ( h o p f i e l d 神 经网络) ，引入了能量函数的概念，给出了网络稳定性判据以及网络的硬件电子线 路实现，有力的推动了神经网络的研究。几年后，人工神经网络的研究再一次经 历了复兴，这主要是由于训练多层神经网络的反向传播算法( b a c k p r o p a g a t i o n ，或 b p ) 的发明。应用于控制领域的k a l m a n 滤波器 1 3 , 1 4 | 利用模拟误差来调整预测器中 的参数，这一自适应的算法可以看作是最初反向传播算法的原型【1 5 1 。b r y s o n 等人 具体将拉格朗日( l a g r a n g e ) 法应用于训练多层网络【l “。w i d r o w 、h o f f 等人将模 拟信号及l m s 准则用于两层网络的模式识别中【l l ”】。w e r b o s 基于样本的集合提出 了计算导函数的思想【1 9 触。p a r k e r 在早期独立发展的“学习逻辑”思想【2 。刀l 。1 9 8 6 年，l c c u n 2 3 与r u m e l h a r t 2 4 j 等同时独立的提出构造感知器中所有神经元权值向量 的方法一反向传播算法，该算法的思想就是将m p 神经元中符号函数替换成非 西喜e l 于科技大掌博士学位论文 线性的s i g m o i d 函数，从而可以在算法中采用剃度卜降法来优化所有的权值向量。 在此后一段时期，神经网络得到了迅速的发展，学者们提出了大量的网络模型， 并在许多领域中得到了广泛的应用。但是随着神经网络的快速发展，有几个问题 已经越来越尖锐的体现在研究者面前，这几个问题就是“维数灾难问题”，“推广 能力问题”和“过拟合问题”：“维数灾难问题”主要是由于研究系统的不断增大， 作用的因素众多，关系错综复杂，这就要求假设的系统或者网络规模不断扩大， 即求解问题的假设空间不断增大，这样由于系统或者网络的不断增大，使得所要 训练的样本数也不断增加。由于系统的复杂度和所要求的样本数与求解问题的精 度成指数关系，一些学者也称该问题为“n p 问题”。“推广能力”和“过拟合”实 际上是同问题，是指网络训练在何时停止，才能保证训练得到的网络对测试集 误差最小，获得最好的推广能力? 1 2b a y e s 理论 模式识别领域中的贝叶斯( b a y e s ) 理论由于其权威性、一致性和典雅性而被 列入最优美的科学公式之一1 2 5 。贝叶斯理论的根基源于r e v e r e n db a y e s 本人，但 是他是在相等先验概率的条件下阐述其理论的，拉普拉斯( l a p l a c e ) 在更一般的 离散情况下阐述了贝叶斯理论1 2 6 】。因为贝叶斯理论是建立在公理理论的基础上， 它可以保证定量的相容性，而其他一些方法并不具备。c h o w 最早将贝叶斯判决理 论应用于模式识别，并且建立了误差率和拒绝率之间的基本关系1 2 ”。文献【2 8 】对正 态密度的误差率进行了探索。1 9 4 3 年，首次提出了c h e r n o f f 和b h a t t a e h a r y y a 界 2 9 , 3 0 ，并用大量的统计实验对这些错误界进行了探索p ”。1 9 8 2 年，p e a r l 正式提出 了具有父母和一个孩子的三条弧树状结构的简单b a y e s 网络学习方法1 3 ”，之后 1 9 8 7 年，l a u r i t z e n 等人在简单b a y e s 网络中引入了g i b b s 能量函数p ”，提出了因 果概率推理系统，到1 9 9 0 年，v k 发展了通用的b a y e s 算法i j 4 j 。h a d a r 等人给 出了贝叶斯误差概率的边界积分的数值逼近i j ”，n e y m a n 和p e a r s o n 也在给定约束 条件下对分类做了研究p 6 l 。随着对b a y e s 网络的进一步发展，同样受到了一个关 键问题的困扰，即“网络规模爆炸”或者“规则爆炸问题”。该问题同样是由于系 统中起作用的因素众多，相互问又关系复杂，从而造成了网络规模和规则数的急 剧膨胀引起的。 1 3 统计学习理论的发展 统计学习理论是- - f l 研究基于数据的机器学习理论的科学，它的发展丰富了 现代数理统计学的内容p ”。统计学习理论基础的创立是在6 0 年代至7 0 年代期 间。对于无穷大的样本，根据统计学中的大数定理：对经验误差( e r m ) 的最小 化就可以保证对测试误差的最小化，然而对于有效样本( 尤其是小样本问题时) ， 统计学习理论的学者认为最小化训练误差准则并不是自证的，他们认为对于有限 样本或许还存在另外的学习准则以获得更好的范化性能。1 9 6 8 年，v a p n i k 和 c h e r v o n e n k i s 对指示函数集( 即模式识别问题) 提出了v c 熵和v c 维数的概念， 通过它们发现了泛函空间的大数定律( 频率致收敛于其概率的充分必要条件) ， 研究了它与学习过程的联系，并得到了关于收敛速率的非渐近界的主要结论【的i 。 他们在1 9 7 1 年对这些工作进行了完整的证明 4 1 】，并在1 9 7 4 年得到一个全新的归 纳厥则：结构风险最小化( s t r u c t u r a lr i s km i n i m i z a t i o n ) 归纳原i u t 4 ”。在1 9 7 6 年 到1 9 8 1 年问，他们把最初针对指示函数集的这些结论推广到了实函数集，主要内 容有：大数定律( 泛函空间均值一致收敛于期望的充分必要条件) ，完全有界的函 数集和无界函数集一致收敛速率的界，以及结构风险最小化原则【4 3 j 。在1 9 8 9 年， v a p n i k 和c h e r v o n e n k i s 发现了经验风险最小化归纳原则和最大似然方法一致性的 充分必要条件，完成了对经验风险最小化归纳推理的分析i j 。 1 4 核方法的进展 核方法从理论上为训练学习机提供了一种系统而有原则的方法。核机器是基 于统计学习理论和核技术建立的，以支撑矢量机为代表的一类统计学习机器陋”j 。 粗略地说，在任何一种含有点积运算的算法中，用核函数来代替点积就可以称作 是核方法。 早在1 9 0 9 年，m e r c e r 就从数学上给出了有关正定核函数和再生核h i l b e r t 空 间的结论，并给出了正定核函数即再生核存在和判定的充分必要条件，这就是著 名的m e r c e r 定理，这些条件现在通称为m e r c e r 核允许条件1 5 ”。核方法包括再生核 和再生核h i l b e r t 空问的应用十分广泛，它是实函数分析的一个分支，不仅在微分 方程求锯、微分几何，群论、调和分析等许多数学学科中有十分巧妙的应用，近 些年来在机器学习、信号处理、g a u s s i a n 过程分析等许多领域获得了重要的应用。 1 9 6 4 年a i z e r m a n 等人利用核方法来证明学习算法的收敛性吲。1 9 9 2 年b o s c r 、 g u y o n 和v a p n i k 用核方法来构造支撑矢量机【”。采用核方法的支撑矢量机可以应 用于模式识别【5 5 ，划，回归估计( 5 7 捌l ，以及新颖性检测唧1 中。1 9 9 8 年，s c h 0 1 k o p f 等 人把核方法进一步推广至任何包含点积运算的算法中【6 i l ，并在核方法中引入了主 分量分析，形成了核主分量分析。1 9 9 9 年，m i l ( a 等人把核方法用在线性的f i s h e r 判决准则中，形成了核f i s h e r 判决准m 阱i 。w e i n e r t t 6 3 1 ，w a h b a t “l ，w i l l i a m s t 6 5 1 以 及m a c k a y 删还将核函数用于g a u s s i a n 过程预测，取得了较好的结果。总之，目 前核方法已经在许多应用领域得到了成功应用，并取得了相当不错的结果。在此 基础上，从1 9 9 2 年到1 9 9 5 年期间构造了一种普适而有效的学习机：支撑矢量机 ( s u p p o r tv e c t o rm a c h i n e s ) 1 6 3 6 1 。 基于结构风险原则的支撑矢量机与其他学习机相比具有良好的推广能力，更 强的普适性：支撑矢量机的最终求解可以化为一个具有线性约束的二次凸规划问 题，不存在局部极小；通过引入核方法，可以将线性支撑矢量机简单地推广到非 线性支撑矢量机，而且对于高维样本几乎不增加额外的计算量。目前支撑矢量机 正以其显著的优点吸引了越来越多人的兴趣。单从模式识别的情况来说，支撑矢 量机已经被c o r t e s 和v a p n i k l 4 ”，s e h s l k o p lb u r g e s 和v a p n i k l 6 7 1 用在手写体数字识 别上，b l a n z 等人用在目标识别中f 踟，s c h m i d t 用在语音辨识上1 6 9 1 ，o s u n a 、f r e u n d 和g i r o s i 用在人脸图象检测中i 埘，j o a e h i m s 用在文本分类中川，雷达目标一维像 识别l “，以及通讯系统c d m a 中的多用户检测中【7 3 】。在回归估计方面，支撑矢 量机被用在m u k h e r j e e 、o s u n a 和g i r o s i 7 4 】以及m u l l e