（计算机应用技术专业论文）竞争学习向量量化和支持向量机的关键技术研究.pdf

摘要 摘要 基于数据的机器学习问题是现代化智能技术中十分重要的一个方面，主要研 究如何从一些观测数据( 样本) 出发得出目前尚不能通过原理分析得到的规律，利用 这些规律去分析客观对象，对未来数据或无法观测的数据进行预测。而学习方法 基本上可以分为监督学习和非监督学习两种方法。 本文研究内容也分为两部分，第一部分主要对非监督学习中基于竞争网络的 学习量化，特别是广义学习量化算法进行的研究，在论文的第二章叙述。第二部 分主要对基于统计学习理论的支持向量机的一些关键问题进行的深入研究：包括 算法、核函数和模型选择研究，主要在论文的第三、四、五、六、七、八章介绍。 本文所有研究工作可以分为以下6 个方面： 1 对非监督学习中基于竞争网络的学习量化的研究，特别是广义学习量化 算法的研究。分析了已有算法的性质和存在的问题，提出一种修正的广 义学习向量量化算法，该算法不但简单，而且改进了已有算法的一些缺 陷：克服了一些算法对数据的“s c a l e ”问题，并且对初始点和初始学习 率都不敏感。进一步引入激励因子，利用模拟退火思想，给出提高一般 学习向量景化算法的措施。 2 对标准支持向量机的算法研究。这部分给出了三个算法：1 ) 针对线性分 类问题，将原二次规划转化为低维无约束非光滑规划，采用合适的光滑 函数给出求解该问题的低维n e w t o n 算法；2 ) 对一般分类问题，通过分 析二次规划的占扰动规划的最优解和二次规划的无约束l a g r a n g e 对偶问 题的光滑熵函数的极小点的关系，提出求s 支持向量的极大熵算法；3 1 对一般分类问题，同样讨论了其无约束、非光滑l a g r a n g e 对偶问题，而 采用h u b e r 鲁棒回归函数将其近似为可微光滑分片二次函数，采用快速 收敛的精确n e w t o n 型算法求解，给出训练支持向量机的h u b c r 近似算法， 由于目标函数的梯度是分片线性函数，所有过程可以快速完成。 3 对变形s v m 问题的研究( 1 ) 。针对o l m a n g a s a r i a n 及其学生、合作者 提出的一种简化变形s v m ，利用l a g r a n g e 对偶技术，将高维二次规划转 化极小化低维的可微分片二次函数。注意到该目标函数的梯度连续但二 阶导数在一些区域不存在，采用精确线搜索的无约束共轭梯度算法求解， 提出共轭梯度支持向量机，其中处理非线性问题时需要对核矩阵进行 c h o l e s l c y 分解或非完全c h o l e s k y 分解。 西安电子科撩巍攀鞴藿攀盘论文 i l竞争学习向量量化和支持向量机的关键技术研究 4 对变形s v m 问题的研究( 2 ) 。同样对o l m a n g a s a r i a n 及其学生、合作 者提出的简化变形s v m ，将其转化为极小化低维的分片二次函数后，引 入半光滑方法，指出极小化该函数相当于求解一个半光滑方程组。结合 分片二次函数性质的研究，提出精确半光滑n e w t o n 算法求解该半光滑方 程组，得到精确半光滑n e w t o ns v m 。由于有高效的精确线搜索方法、 快速的n e w t o n 矩阵更新和二次收敛性等好的特点，该算法和其他同类算 法相比，具有相当的优势。 5 对s v m 几何算法的研究。基于s v m 的几何特性和已有的几何算法研究， 如最近点算法、s k 算法等，提出一种新的可行方向算法。充分利用到 在寻求最近点过程中得到的所有有用信息，构造了一个下降性更强的可 行下降方向，和同类算法如s k 算法相比减少了算法的迭代次数，提高 了训练效率。同时利用v - s v m 的几何解释和提出的占一不可分的概念，将 算法推广处理不可分问题。 6 关于核函数和模型选择的研究。给出核函数的变换伸缩率的概念，利用 它分析常用的高斯核函数的性质，进一步提出一种新的核函数，它具有 很好的性质：它将数据映射到特征空间后不会放大包含所有样本的最小 超球半径、同时在局部范围放大了任意两个样本间的距离、基于该核函 数的s v m 对参数c 不敏感等。最后给出确定核函数参数的一般方法， 提出两个准则：基于总体距离的准则和基于核矩阵夹角的准则，二者的 组合可以进一步改进方法的效果。 关键词：模式识别，统计学习理论，支持向量机，二次规划，样本，迭代算法， h u b e r 回归函数，熵函数，n e w t o n 算法，l a g r a n g i a n 对偶，下降可行方向， 几何特性，f i s h e r 投影，几何算法，模型选择 西安电子科技大学博士学位论文 t h em a c h i n el e a r n i n gp r o b l e mi sa ni m p o r t a n ta s p e c ti nm o d e mi n t e l l i g e n c e t e c h n o l o g yb e c a u s ed a t aa r cm o r ea n dm o r ei m p o r t a n tt oo u rl i f e t h em a i nr e s e a r c h o b j e c t i v eo ft h em a c h i n el e a r n i n gi st of i n dt h er u l e st h a tc a n n o tb eg o t t e na n a l y t i c a l f r o ma n ys a m p l e dd a t a t h er u l e sa r eu s e dt oa n a l y z et h er e s e a r c ho b j e c t i v ea n dt o f o r e c a s tt h ef u t u r ed a t ao rt h ed a t at h a tc a n n o tb eo b s e r v e d t h e r ea r et w ok i n d so f l e a r n i n gm e t h o d sb a s i c a l l y ：s u p e r v i s e dl e a r n i n gm e t h o da n du n s u p e r v i s e dl e a r n i n g m e t h o d t h em a i nr e s e a r c h e si n t h i sd i s s e r t a t i o ni n c l u d et w op a r t sa l s o o n ei so nt h e u n s u p e r v i s e dl e a r n i n gm e t h o d ，w h 眦t h el e a r n i n gv e c t o rq u a n t i z a t i o n ( l v q ) ， e s p e c i a l l yt h eg e n e r a l i z e dl e a r n i n gv e c t o rq u a n t i z a t i o n ( g l v q ) ，i ss m d i e d t h em a i n r e s u l t sa r ed e s c r i b e di nc h a p t e rt w o a n o t h e ri so ns o m ek e yp r o b l e m so ft h es u p p o r t v e c t o rm a c h i n e ( s v m ) ，i n c l u d i n gt h et r a i n i n ga l g o r i t h m so fs v ma n dm o d e ls e l e c t i o n o fs v m t h em a i nr e s u l t sa r ei n t r o d u c e di nc h a p t e rt h r e et oc h 印t e re i g h t a l lo ft h e r e s e a r c hr e s u l t sc a 且b ed i s e r i b l e di nt h ef o l l o w i n gs i xp a r t s ： 1 t h es t u d yo nt h eu n s u p e r v i s e dl e a r n i n gm e t h o da s p e c t m a n yl e a r n i n gv e c t o r q u a n t i z a t i o nm e t h o d sa r ea n a l y z e da n ds o m ep r o b l e m sa r ep o i n t e do u t t h e n an e wr e v i s e dg e n e r a l i z e dl e a r n i n gv e c t o rq u a n t i z a t i o n ( r g l v q ) i s p r o p o s e d t h en e wm e t h o dn o to n l yi sv e r ys i m p l eb u ta l s oo v e r c o m e ss o m e b u g so ft h ec u r r e n tm e t h o d s ，s u c ht h e “s c a l e p r o b l e ma n ds e n s i t i v i t yt ot h e i n i t i a l p o i n t sa n di n i t i a ll e a r n i n gr a t e f u r t h e r m o r e ，b yi n t r o d u c i n ga s t i m u l a t i n gc o e f f i c i e n ti nc o m p e t i n gs t e p ，an e wc o m p e t i n gt e c h n i q u et o i m p r o v et h ep e r f o r m a n c eo f t h el v qn e u r a ln e t w o r ki sp r o p o s e da l s o 2 t h es t u d yo nt h es t a n d a r ds u p p o r tv e c t o rm a c h i n e t h r e ea l g o r i t h m sf o r t r a i n i n gs v ma r ep r o p o s e d 1 ) f o rl i n e a rc l a s s i f i c a t i o np r o b l e m ，t h ep r i m e q u a d r a t i cp r o g r a m m i n gi st r a n s l a t e di n t o a nu n c o n s t r a i n tn o n d i f f e r e n t i a b l e o p t i m a lp r o b l e mw i t hl o w e rd i m e n s i o n ap r o p e rs m o o t h i n gf u n c t i o ni su s e dt o d e a lw i t ht h ep r o p o s e do p t i m a lp r o b l e m ，a n dt h en e w t o na l g o r i t h mi ss e l e c t e d t os o l v et h es m o o t h i n go p t i m a lp r o b l e m 2 ) u s i n gt h et e c h n o l o g yo ft h e l a g r a n g i a nd u a l ，a nu n c o n s t r a i n tn o n d i f f e r e n t i a b l eo p t i m a lp r o b l e mw i t h l o w e rd i m e n s i o ni s p r o p o s e d 勰t h ed u a lo ft h eq u a d r a t i cp r o g r a m m i n go f s v m as t r i c t l yc o n v e x e n t r o p y f u n c t i o ni su s e dt od e a lw i mt h e 蕊襄懑子科簸爨辨鬻攀经论文 i v竞争学习向量量化和支持向量机的关键技术研究 n o n d i f f e r e n t i a b l eo p t i m a lp r o b l e m ，a n dt h e nt h ep e r t u r b a t i o ns o l u t i o no fs v m i sa c h i e v e db ym i n i m i z i n gt h es t r i c t l yc o n v e xe n g o p yf u n c t i o n 3 ) b yt h e m e t h o do ft h el a g r a n g i a nd u a l ，a nu n c o n s 扛a i n ta n dn o n d i f f e r e n t i a b l eo p t i m a l p r o b l e mi ni n p u ts p a c ei sp r o p o s e da st h ed u a lo ft h eq u a d r a t i cp r o g r a m m i n g o fs v m u s i n gt h eh u b e ra p p r o x i m a t i o nf u n c t i o n ，t h en o n d i f f e r e n t i a b l e p r o b l e mi sa p p r o x i m a t e db ym i n i m i z i n gap i e c e w i s eq u a d r a t i cf u n c t i o n a n d p r o v e t h a tm i n i m a ls o l u t i o no ft h e p i e c e w i s eq u a d r a t i c f u n c t i o ni s c o r r e s p o n d i n gt h eg - s u p p o r tv e c t o ro fs v m t 1 l ep r o b l e mi ss o l v e db yaf a s t n e w t o n - t y p ea l g o r i t h mw i t he x a c tl i n es e a r c h a l lt h o s eb e i n gd o n es p e e d i l y o w e st ot h ec h a r a c t e r i s t i co f t h ep i e c e w i s eq u a d r a t i cf u n c t i o nw h o s eg r a d i e n ti s a p i e c e w i s el i n e a rf u n c t i o n , a n d t h el i n es e a r c h p r o c e s s i sc o m p l e t e d e f f e c t i v e l y 3 t h es t u d yo nt h er e f o r m a t i o no fs v m ( 1 ) a nu n c o n s t r a i n td i f f e r e n t i a b l e c o n v e xp r o g r a mi sp r o p o s e d 船t h el a g r a n g i a nd u a lo fas i m p l es v m s r e f o r m u l a t i o nw h i c hi sp r o p o s e db yo l m a n g a s a r i a na n dh i ss t u d e n t s t h e r e s u l t i n gp r o b l e mm i n i m i z e sad i f f e r e n t i a b l e c o n v e xp i e c e w i s eq u a d r a t i c f u n c t i o ni nt h ei n p u ts p a c e b yt h ec h a r a c t e r i s t i co ft h ep i e e e w i s eq u a d r a t i c f u n c t i o n ，a n dc o m b i n i n gt h es p e e d ye x a c tl i n e s e a r c hm e t h o d ，ac o n j u g a t e g r a d i e n t ss u p p o r tv e c t o rm a c h i n e ( c g s v m ) i sp r o p o s e dt os o l v et h ep r o b l e m q u i c k l y t h en o n l i n e a rc l a s s i f i c a t i o np r o b l e mi sd e a l tw i t ha l s ob yf a c t o r i z i n g t h ek e r n e lm a t r i x 4 t h es t u d yo nt h er e f o r m a t i o no fs v m ( 2 ) ap r o b l e mw h i c hm i n i m i z e sa c o n v e xp i e c e w i s eq u a d r a t i cf u n c t i o ni sa l s og o t t e na st h el a g r a n g i a nd u a lo f m a n g a s a r i a ne ta l sr e f o r m u l a t i o n t h es e m i s m o o t hm e t h o di si n t r o d u c e dt o s h o wt h a tt h eu n i q u em i _ r l i n l as o l u t i o no ft h er e s u l t i n gp r o b l e mi sj u s t c o r r e s p o n d i n gt ot h es o l u t i o no f t h es y s t e mo ft h es e m i - s m o o t he q u a t i o n s b y t h ec h a r a c t e r i s t i co ft h ep i e c e w i s eq u a d r a t i cf u n c t i o n ，a ne x a c ts e m i s m o o t h n e w t o ns u p p o r tv e c t o rm a c h i n e ( e s n s v m ) i sp r o p o s e d b e c a u s eo ft h e s p e e d ye x a c tl i n e s e a r c hm e t h o d ，s i m p l eu p d a t eo ft h en e w t o nm a t r i xa n dt h e q q u a d r a t i cr a t eo fc o n v e r g e n c e , t h ep r o p o s e dm e t h o di sv e r yc o m p e t i t i v e w i t ht h es i m i l a ra l g o r i t h m s 5 t h es t u d yo nt h eg e o m e t r i ca l g o r i t h m b a s e do nt h eg e o m e l a i ci n t e r p r e t a t i o n o fs v ma n ds o m eg e o m e t r i ca l g o r i t h ms u c ha sn e a r e s tp o i n ta l g o r i t h m s - k a l g o r i t h m se t a 1 an e wf e a s i b l ed i r e c t i o n a l g o r i t h mi sp r o p o s e d t w o 西安电子科技大学博士学位论文 a b s l r a c t v w e l l - c h o s e np o i n t sa r cu s e dt ou p d a t i n gt h ec u r r e n ts o l u t i o np e ri t e r a t i o n ，b u t n o tt h es a m ea ss - ka l g o r i t h m so n l yo n eo f t h e mi su s e d t h ea l g o r i t h mc a nb e u s e dt ol e a r n i n gt h es e p a r a t i n gs v ma n dt h en o n - s e p a r a t i n gs v mw i t hl 2l o s t f u n c t i o n a l s of r o mt h ep l a i ng e o m e t r i ci n t e r p r e t a t i o no fv - s v ma n dt h e d e f i n i t i o no ft h er e d u c e dc o n v e xh u l l t h ep r o p o s e da l g o f i t h r ni sg e n e r a l i z e d t ot r a i nt h ev s v mw i t h c o m m o n l yl i l o s t f u n c t i o n c o m p a r a t i v e c o m p u t a t i o n a le v a l u a t i o no fo u ra l g o r i t h ma g a i n s ts i m i l a rs v m m e t h o d ss u c h a ss - k a l g o r i t h m sa n dg e n e r a l i z e ds - ka l g o r i t h m ss h o w st h a t0 1 1 1 - a l g o r i t h mi s v e r yc o m p e t i t i v e 6 t h es t u d yo nk e r n e lf u n c t i o n sa n dm o d e ls e l e c t i o no fs v m t h es t r e t c h i n g r a t i oo ft h ek e r n e lf u n c t i o ni sd e f i n e di no r d e rt oa n a l y s i st h ep e r f o r m a n c eo f t h ek e r n e lf u n c t i o n a n dt h e nan e wf o r mk e r n e lf u n c t i o ni si n t r o d u c e da s r e f o r m a t i o no fg a u s s i a nk e r n e lf u n c t i o n t h en e wk e r n e lf u n c t i o nh a sm a n y p r o p e r t i e sa sg o o da so rb e t t e rt h a ng a u s s i a nf u n c t i o n ，s u c ha st h en e wk e r n e l f u n c t i o ni sa l w a y sm a g n i f y i n gt h ed i s t a n c eb e t w e e nv e c t o r si nl o c a la r c ab u t w i t h o u tl a r g e n i n gt h er a d i u so ft h ec i r c u m s c r i b e dh y p e r s p h e r ee n v e l o p i n ga l l o ft h et r a i n i n gs a m p l e s e s p e c i a l l y , t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h e g e n e r a l i z a t i o ne r r o r sg o t t e nb yt h en e wk e r n e lf u n c t i o ni sn o ts e n s i t i v et ot h e t r a d e o f fp a r a m e t e rct w oc r i t e r i o n sa r ep r o v i d e dt oc h o o s et h eb e t t e r p a r a m e t e rf o rag l v e nk e r n e lf u n c t i o n t h ef i r s ti st h ed i s t a n c ec r i t e r i o nw h i c h m i n i m i z e st h es u m s q u a r ed i s t a n c eb e t w e e nt h el a b e l e dt r a i n i n gs a m p l ea n di t s o w nc e n t e r ，a n dm a x i m i z e st h es b n l - s q u a r ed i s t a n c eb e t w e e nt h et r a i n i n g s a m p l ea n dt h eo t h e rl a b e l e d - c e n t e r t l l i si se q u i v a l e n tt ot h ef a m o u sf i s h e r r a t i o t h es e c o n di st h ea n g l ec r i t e r i o nw h i c hm i n i m i z e st h ea n g l eb e t w e e nt h e k e r n e lm a t r i xa n dt a r g e t sm a t r i x 皿ee x p e r i m e n t ss h o wt h a to u rm e t h o di s e 伍c i e n t k e yw o r d s p a t t e r nr e c o g n i t i o n , s t a t i s t i c a ll e a r n i n gt h e o r y , s u p p o r tv e c t o rm a c h i n e ， q u e d r i cp r o g r a m m i n g , s a m p l e , i t e r a t i v ea l g o r i t h m s ，h u b e rr e g r e s s i o nf u n c t i o n ， e n t r o p yf u n c t i o n ，n e w t o na l g o r i t h m s ，l a g r a n g i a nd u a l ，d e s c e n tf e a s i b l ed i r e c t i o n ， f i s h e rp r o j e c t i o n , g e o m e t r i ci n t e r p r e t a t i o n , g e o m e t r i ca l g o r i t h m , m o d e ls e l e c t i o n 西赞斑予科蓑巍獭旗鎏攀控论文 创新性( 或独创性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 d 本人签名：j 粒日期二丛皿 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证 毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大 学。学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论 文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保 密的论文在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名 导师签名 i 弛生 鲤 日期述i 幺! j 日期鱼吐孚丞 第一章绪论 第一章绪论 1 1引言 人类在认识自然、改造自然的过程中，总是通过对已知事物的分析总结出规 律，利用这些规律进一步的认识自然、改造自然。这个过程体现了人类文明和人 类智慧学习发展历程。数据已是数字化时代必不可少的研究对象，大量甚至海量 的各式数据到底提供了什么样的规律? 对我们以后认识更多数据或实际对象有那 些指导? 这就需要基于数据的学习，特别是基于数据的机器学习。 基于数据的机器学习问题是现代化智能技术中十分重要的一个方面，主要研 究如何从一些观测数据( 样本) 出发得出目前尚不能通过原理分析得到的规律，利用 这些规律去分析客观对象，对未来数据或无法观测的数据进行预测。 基于数据的学习方法基本上可以分为脏督学( s u p e r v i s e dl e a r n i n g ) 方法和非 蝤督学习( u n s u p e r v i s e dl e a r n i n g ) 方法。作为监督学习的研究对象的样本数据所属 的类别及类条件总体概率密度函数的形式为已知，而标识概率密度函数的某些参 数是未知的。针对这类样本的学习就是监督学习，或称有教师的学习，比如模式 识别问题。而非监督学习的对象样本数据所属的类别是未知的，其分布密度可以 做适当的假设。学习的目的是从一组数据中提取有意义的特征或某种内在的规律 性。非监督学习又称无教师的学习，比如聚类分析。 本文对这两方面都作了一定的研究。在非监督学习方面主要涉及了竞争网络中 的学习向量量化【1 埘】，特别是广义学习向量量化的研究；而在监督学习方面涉及到 统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ) 及其支持向量机( s u p p o rv e c t o rm a c h i n e ， s v m ) 1 2 7 - 1 6 6 1 ，特别是s v m 的算法研究。 1 2 竞争学习期络及其商量化的研究背景及现状 1 2 1 竞争学习 竞争学习是人工神经网络的一种重要的学习方式，竞争学习时网络各输出单 元相互竞争，最后达到只有一个最强者激活，或每组输出单元中只有一个激活。 这和大脑皮层对外界信息的感知和处理分区相对应。 简单的竞争学习是胜者全取w t a ( w i n n e ft 呔e - a 1 1 ) 网络 1 】o1 9 8 2 年，芬兰学 者k o h o n e n l 2 提出了一种学习算法，使得输入信号可以映射到低维空间，并保持相 同特征的输入信号在映射后的空间中对应邻近区域，类似人脑皮层形成视觉、听 觉、语言、动作等不同分区，称为自组织特征映射( s e l f - o r g a n i z i n gf e a t u r em a p 。 蓠裳髓手槲瓣豢攀懈肇举位论文 竞争学习向量量化和支持向量机的关键技术研究 s o m f ) ，后经迸一步完善3 棚，已取得成功的应用，包括对s o m f 进行适当“微调h 5 1 形成的典型算法如l v q l 、l v q 2 己在常用应用程序m a f l a b 的神经网络工具包中集 成。m a l s b u r g t t l 给出自组织系统中局部作用要遵循的基本原则，而b n d i n i c h 和 t a y l o r 8 1 研究了s o m f 的次序问题。a m a r i t 9 提出一种统一的学习过程，包容了其它 学习过程，称为学习的一般方程。 1 2 2 学习向量量化 向量量化( v e c t o rq u a n t i z a t i o n ，v q ) 是标量量化的扩展，是用称为聚类中心或码 书( c o d e b o o k ) 的含c 个标准向量的集合矿= v 】，k 1c 飒“来量化一个特征向量 集xc 飒”，是种有效的、重要的图象压缩技术【1 0 - 阍。码书矿可用聚类算法产生， 常用的聚类技巧是基于均值的算法包括争均值算法、模糊c 均值算法( f c m ) 等。 l i m e ，b u z o 和g f a y 【1 3 l 提出的著名l b g 算法是c 均值算法的变形，实现过程中计 算量较大。如果s o f m 中不考虑邻域或邻域只有一个获胜单元，实际就是一种向 量量化算法。l u t t r e l l t l 4 】提出一种分级量化算法，p a l 等讨论l v q ( s o m f ) 与一般 聚类算法的关系，c o h a 【1 6 】研究了小样本问题训练v q 的问题。g e r s h o 和g r a y 的 专著d o l 对v q 及其在信号、图像压缩中的应用进行了较为系统、全面的研究和介 绍。 k o h o n e n 在c 4 - 6 1 中对s o f m 作了微调，提出了一种称为学习向量量化算法 ( l e a r n i n g v e c t o r q u a n t i z a t i o n ，l v q ) ，它基于 w i n n e r - t a k e a l l ”的竞争策略。s o f m 和l v q 用于聚类时，初始聚类中心对聚类效果有很大影响，常常得不到合理的聚 类结果。 p a l 等在【1 5 】中通过研究l v q 和聚类算法的关系提出一种改进算 “w i n n e r - t a k e - m o s t ”策略，即在较大幅度改进获胜单元权值的同时。对非获胜单 元的权值也进行一定程度的调整，调整量与输入样本到获胜单元的距离有关。这 样一定程度上克服了l v q 算法对初聚类中心敏感的问题。 但又出现了新问题，g a n z a l e z 等 1 7 】指出：若g l v q 算法对样本向量集并能 得到合理的结果，则对由z 的所有样本同除以某足够大的数必得到的向量集卫时 可能得到不合理的结果。这称为的“s c a l e ”问题。k a r a y i a n n i s 等【”。2 1 1 提出g l v q 算 法的改进算法f g l v q ( f u z z yg l v q ) 来克服此问题通过引入不同模糊隶属度函数 得到的f g l v q l 、f g l v q 2 、f g l v q 3 算法解决了“s c a l e ”问题，但该算法的初始学 习率对求解问题的规模( 量化类别) c 又具有依赖性：类别数c 较小时初始学习率可 以取得较大，而类别数较大时初始学习率要取得很小，否则算法不收敛。初始学 习率选择不合适会产生非常差的结果：如小类别问题初始学习率太小，算法将在 西安电子科技泰爨搏出学箍谂文 竞争学习向量量化和支持向量机的笑键技术研究 s o m f ) ，后经迸一步完善3 “，己取得成功的应用，包括对s o m f 进行适当“微调”h 5 1 形成的典型算法如l v q l 、l v q 2 已在常用应用程序m a t l a b 的神经网络工具包中集 成。m a l 8 b u 暗7 1 给出自组织系统中局部作用要遵循的基本原则，而b n d i n i c h 和 t a y l o r i ”研究了s o m f 的次序问题。a m & d f 提出一种统一的学习过程，包容了其它 学习过程，称为学习的一般方程。 1 2 2 学习向量量化 向量量化( v e c t o ro u m d z a t i o i l v q ) 是标量量化的扩展，是用称为聚类中心或码 书( c o d e b o o k ) 的含c 个标准向量的集合v = m ，屿，k c 吼1 来量化一个特征向量 集x c 盟8 ，是一种有效的、重要的图象压缩技术【1 “。码书y 可用聚类算法产生。 常用的聚类技巧是基于均值的算法包括d 均值算法、模糊c - 均值算法( f c m ) 等。 l i n d e ，b u z o 和g r a y 【”幌出的著名l b g 算法是c 均值算法的变形。实现过程中计 算量较大。如果s o f m 中不考虑邻域或邻域只有一个获胜单元，实际就是一种向 量量化算法。l u 舒e l l 【14 】提出一种分级量化算法，p a l 等【1 8 讨论l y q ( s o m f ) 与一般 聚类算法的关系，c o h an 埘研究了小样本问题训练v o 的问题。g e r s h o 和g r a y 的 专著【10 1 对v q 及其在信号、图像压缩中的应用进行了较为系统、全面的研究和介 绍。 k o h o n e n 在 4 _ 6 】中对s o f m 作了微调，提出了一种称为学习向量量化算法 ( l e a r n i n gv e c t o rq u a n t i z a t i o n ，l v q ) ，它基于 w i n n e r - t a k e a l l ”的竞争策略。s o f m 和l v q 用于聚类时，初始聚类中心对聚类效果有很大影响，常常得不到合理的聚 类结果。 p a l 等在f 1 5 中通过研究l v q 和聚类算法的关系提出一种改进算 “w i n n e r - t a k e m o s t ”策略，即在较大幅度改进获胜单元权值的同时，对非获胜单 元的权值也进行一定程度的调整，调整量与输入样本到获胜单元的距离有关。这 样一定程度上克服了l v q 算法对初聚类中心敏感的问题。 但又出现了新问题，g a n z a l o z 等 1 7 】指出：若g l v q 算法对样本向量集肖能 得到合理的结果，则对由z 的所有样本同除以某足够大的数m 得到的向量集工时 可能得到不合理的结果。这称为的“s e a l e ”问题。k a r a y i a n n i s 等【】8 _ ”1 提出g l v q 算 法的改进算法f g l v q ( f u z z y g l v q ) 来克服此问题，通过引入不同模糊隶属度函数 得到的f g l v q i 、f g l v q 2 、f g l v q s 算法解决了“s c a l e 问题，但该算法的初始学 习率对求解问题的规模( 量化类别) c 又具有依赖性：类别数c 较小时初始学习率可 以取得较大，而类另数较大时初始学习率要取得很小，否则算法不收敛。初始学 习率选择不合适会产生非常差的结果：如小类别问题初始学习率太小，算法将在 习率选择不合适会产生非常差的结果：如小类别问题初始学习率太小，算法将在 西安电子科技炎攀瓣澎学越谁变 第一章绪论 3 初始值附近徘徊，而对大类别问题，初始学习率太大算法不收敛。 基于以上讨论的问题，本文在这方面做了一些工作 2 2 , 2 3 , 2 4 】，提出新的算法克服 了以上问题，同时在训练时间、网络结构等方面又具有一定的优势。接着还就提 高竞争网络性能的问题进行了研究，给出有意义的结果 2 5 0 翻。 1 3 统计学习理论及其s 研究背景及现状 1 3 1 统计学习理论的发展 1 9 5 9 年r o s e l l b l a t - t 2 7 , 2 8 1 提出的感知器( p 既c 咄o n ) 学习机器模型，标志着对学习 过程进行数学研究的开始，r o