已阅读5页,还剩126页未读, 继续免费阅读
(控制理论与控制工程专业论文)基于支持向量机的集成学习研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
j e n s e m b l el e a r n i n gb a s e do n s u p p o r tv e c t o rm a c h i n e s a u t h o r :l iy e a d v i s o r :p r o f x ux i a o m i n g s p e c i a l t y :c o n t r o lt h e o r y & c o n t r o le n g i n e e r i n g s h a n g h a ij i a ot o n gu n i v e r s i t y j u n e3 ,2 0 0 7 一、r i 土 r 上海交通大学 学位论文原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独 立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论 文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定, 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版, 允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密函在三年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“ ) 学位论文作者躲茑) 哗 日期:沙叼年月弓日 指剥币躲印毗呜 日期:。年占月多日 一r_一el。j 摘要 支持向量机是建立在统计学习理论基础上的一种新型的机器学习方法,由于具有良好的 泛化能力,目前已经在许多领域得到了成功的应用。然而在应用过程中,支持向量机仍然存 在一些不足:首先,为了降低求解优化问题的时间,需要采用逼近算法;其次,往往凭经验 选择核函数,采用交叉验证法确定分类器参数,并不能保证参数的最优性,但目前仍然没有 很好的解决办法;第三,支持向量机本质是两类分类工具,为解决多类问题需要进行扩展, 但是无论采用组合多个两类支持向量机的方法,还是在同一个优化问题中考虑所有类别,其 分类性能并不如解决两类问题时显著,有些方法在实现上也过于复杂。这些缺点降低了支持 向量机的稳定性和泛化能力。 集成学习通过训练和组合多个准确而有差异的分类器,为提高分类系统的泛化能力提供 了一条新的途径,成为近十年来机器学习领域最主要的研究方向之一。目前,国内外以神经 网络、决策树等为基分类器的集成学习研究已经取得了很大的进展,但是对支持向量机集成 的研究起步较晚,还需要大量的工作。本文从这一现状出发,研究有效的支持向量机集成学 习方法,主要研究工作及创新性成果包括: 1 )介绍了支持向量机的原理、算法以及多类扩展方法,从基分类器构造和基分类器组 合两个方面详尽地总结了集成学习的一般方法,综述了当前国内外支持向量机集成学习研究 的发展现状。 2 )提出了基于属性约简的集成学习方法。粗糙集理论中的属性约简方法可以作为学习 算法的一种对冗余数据的预处理手段,但是由于数据噪声和离散化的影响,在许多情况下会 降低支持向量机等学习算法的分类性能。对一个包含冗余属性的决策表进行约简可以获得多 个不同的约简属性子集,这些子集通常具有较好的分类能力,而且彼此具有一定的差异性, 因而可以用来构造支持向量机集成。属性约简集成学习方法能有效利用训练数据中的互补和 冗余信息进行融合分类,克服数据噪声和离散化对支持向量机分类性能的不良影响。 3 )提出了基于属性离散化的基分类器构造方法,指出了三种可能的实现策略:随机选 择断点;采用某一种离散化算法,并选择不同数量的断点;或者采用多种离散化算法获得不 第1 页 摘要 同的断点集。本文采用第一种策略,首先基于r s b r a 离散化算法构造支持向量机集成。进 一步地,针对r s b r a 离散化结果可能可能较人程度降低支持向量机分类性能的缺点,引入 粗糙集理论的数据一致性指标,对r s b r a 算法进行改进,使得离散化结果能保留足够的分 类信息。然后,在此基础上提出基于改进r s b r a 算法的集成学 - j 方法。 - 4 )在当前基丁搜索技术的集成学习方法中,通常需要一类指标对基分类器的性能进行 评估,但是这些指标很难在准确性和差异性之间取得良好的折衷,或者不能直接反映集成的 泛化性能。针对这一问题,提出直接遗传集成学习方法,利用遗传算法直接在集成所在的空 间搜索分类性能优良的集成。直接遗传集成很容易实现分类器的选择性集成,研究表明,在 组合较少分类器的情况下获得了比传统集成学习方法b a g g i n g 和a d a b o o s t 更好的分类效果。 5 )研究了多类分类问题中的分类器组合架构,为克服已有架构的不足,提出简化的架 构,避免分类器组合过程中不必要的信息损失。在此架构下研究基于证据理论的度量层组合 方法,利用支持向量机的后验概率输出和分类精度,定义基本概率分配函数,然后采用一定 的规则进行合成。特别地,当采用一对一的多类扩展方法时,可能出现严重的证据冲突,经 典的d e m p s t e r 组合规则不再适用。因此,基于冲突信息部分可用的思想提出新的证据组合 方法,根据全体证据的整体有效性确定冲突信息的有用部分,然后将有用部分根据基本概率 分配的加权平均在焦元中进行分配,有效地解决了证据冲突的问题。 关键词:支持向量机,集成学习,分类,多类,粗糙集,离散化,遗传算法,证据理论,故 障诊断 夺 本文研究获得国家9 7 3 重点基础研究项目( 2 0 0 2 c b 3 1 2 2 0 0 ) “复杂生产制造过程实时、 智能控制与优化理论和方法研究”和国家自然科学基金项目( 6 0 5 7 5 0 3 6 ) “基于多信息 融合的复杂工业过程广义知识模型与优化控制”资助。 第1 i 页 i :海交通人学博i :学位论文 e n s e mb l el e a r n i n gb a s e do ns u p p o r tv e c t o r m a c h l n e s a b s t r a c t s u p p o r tv e c t o rm a c h i n ei san e wm a c h i n el e a r n i n gm e t h o db a s e do nt h es t a t i s t i c a ll e a r n i n g t h e o r y b e c a u s eo fi t sg o o dg e n e r a l i z a t i o np e r f o r m a n c e ,s u p p o r tv e c t o r m a c h i n eh a sb e e n s u c c e s s f u l l ya p p l i e di n av a r i e t yo ff i e l d s h o w e v e r , t h e r ea les o m ed e f e c t sw i t hs u p p o r tv e c t o r m a c h i n ed u r i n gt h ep r o c e s so fa p p l i c a t i o n f i r s t ,a p p r o x i m a t i o na l g o r i t h m sa l ea d o p t e dt or e d u c e t h et i m ea n ds p a c ec o m p l e x i t i e si ns o l v i n gt h eo p t i m i z a t i o np r o b l e m s e c o n d ,u s u a l l yt h ec h o i c e o fk e m e lf u n c t i o nd e p e n d so no n e se x p e r i e n c ea n dt h ec h o i c eo fp a r a m e t e r si sd o n eb yc r o s s v a l i d a t i o n t h o u g ht h eo p t i m a l i t yo ft h e mh a sn og u a r a n t e e ,t h e r ei sn ob e t t e rs o l u t i o ns of a r t h i r d , s u p p o r tv e c t o rm a c h i n ei si nn a t u r ea t o o lf o rb i n a r y c l a s sc l a s s i f i c a t i o na n ds h o u l db ee x t e n d e di n o r d e rt os o l v em u l t i - c l a s sp r o b l e m s u n f o r t u n a t e l y , e i t h e rb yc o m b i n i n gs e v e r a lb i n a r ys u p p o r t v e c t o rm a c h i n e so rb yc o n s i d e r i n ga l lc l a s s e si no n eo p t i m i z a t i o np r o b l e m ,t h ec l a s s i f i c a t i o n p e r f o r m a n c ed o e sn o ti m p r o v ea sm u c ha si nt h eb i n a r yc l a s s i f i c a t i o n ;m o r e o v e r , s o m em e t h o d s a r et o oh a r dt ob ei m p l e m e n t e d t h e s ed e f e c t sd e g r a d et h es t a b i l i t ya n dg e n e r a l i z a t i o n p e r f o r m a n c eo fs u p p o r tv e c t o rm a c h i n e b yt r a i n i n ga n dc o m b i n i n gs o m ea c c u r a t ea n dd i v e r s ec l a s s i f i e r s ,e n s e m b l el e a r n i n gp r o v i d e s an o v e la p p r o a c hf o ri m p r o v i n gt h eg e n e r a l i z a t i o np e r f o r m a n c eo fc l a s s i f i c a t i o ns y s t e m s i nr e c e n t t e ny e a a s ,e n s e m b l el e a r n i n gh a sb e c o m eam a i nr e s e a r c ht o p i ci nt h ef i e l do fm a c h i n el e a r n i n g n o w , t h er e s e a r c ha th o m ea n da b r o a d o fe n s e m b l el e a r n i n gb a s e do nn e u r a ln e t w o r k sa n d d e c i s i o nt r e e sh a v em a d eg r e a tp r o g r e s s ,w h i l et h er e s e a r c ho ns u p p o r tv e c t o rm a c h i n ee n s e m b l e s t a r t sr e l a t i v e l yl a t ea n dn e e d sm u c hf u r t h e rs t u d i e s t h i sd i s s e r t a t i o nf o c u s e so nd e v e l o p i n g e f f e c t i v ee n s e m b l el e a r n i n gm e t h o d sw i t hs u p p o r tv e c t o rm a c h i n ea n dt h em a i nc o n t r i b u t i o n sa l e p r e s e n t e da sf o l l o w s : 1 ) f i r s tt h ep r i n c i p l ea n da l g o r i t h m so fs u p p o r tv e c t o rm a c h i n ea sw e l la st h ee x t e n s i o n m e t h o d sf o rm u l t i - c l a s sc l a s s i f i c a t i o na lei n t r o d u c e d t h eg e n e r a lm e t h o d so fe n s e m b l el e a r n i n g 第1 l i 页 a b s t r a c t a r es u m m a r i z e di nd e t a i lf r o mb o t ht h ec o n s t r u c t i o na n dc o m b i n a t i o na s p e c t so fb a s e t h ec u r r e n td e v e l o p m e n t so fe n s e m b l el e a r n i n gr e s e a r c ho ns u p p o r tv e c t o rm a c h i n ea t a b r o a da r er e v i e w e d 2 ) a ne n s e m b l el e a r n i n gm e t h o db a s e do na t t r i b u t er e d u c t i o ni s p r o p o s e d r e d u c t i o nm e t h o d si nt h er o u g hs e tt h e o r yc a l lb eu s e da sap r e p r o c e s s i n gt e c h n i q u eo fr e d u n d a n t d a t af o rl e a r n i n ga l g o r i t h m s h o w e v e r ,i tm a yr e d u c et h ec l a s s i f i c a t i o np e r f o r m a n c eo fl e a r n i n g a l g o r i t h m si nm a n yc a s e sd u et ot h ei n f l u e n c eo fd a t an o i s ea n dd i s c r e t i z a t i o n r e d u c t i o no fa d e c i s i o nt a b l ew i t hr e d u n d a n ta t t r i b u t e sc a np r o d u c em o r et h a no n ed i f f e r e n tr e d u c to fa t t r i b u t e s t h er e d u c t su s u a l l yh a v er e l a t i v eg o o dc l a s s i f i c a t i o nc a p a b i l i t i e sa n da r ed i f f e r e n tf r o me a c ho t h e r t h e r e f o r e ,t h er e d u c t sc a nb eu t i l i z e dt oc o n s t r u c ts u p p o r tv e c t o rm a c h i n ee n s e m b l e s r e d u c t i o n b a s e de n s e m b l ec a nu t i l i z ee f f e c t i v e l yt h ec o m p l e m e n t a r yo rr e d u n d a n ti n f o r m a t i o ni nt h et r a i n i n g d a t af o rf u s i o nc l a s s i f i c a t i o na n do v e r c o m et h eh a r m f u li n f l u e n c eo fa t t r i b u t er e d u c t i o no nt h e c l a s s i f i c a t i o np e r f o r m a n c eo fs u p p o r tv e c t o rm a c h i n e 3 ) ac o n s t r u c t i o nm e t h o do fb a s ec l a s s i f i e r sb a s e do nd i s c r e t i z a t i o no fa t t r i b u t e si s p r o p o s e d t h r e ep o s s i b l ei m p l e m e n t a t i o ns t r a t e g i e sa r ep o i n t e do u t :c h o o s i n gc u t sr a n d o m l y ; a d o p t i n gs o m ed i s c r e t i z a t i o na l g o r i t h ma n dc h o o s i n gd i f f e r e n tn u m b e r so fc u t s ;o ra d o p t i n g s e v e r a ld i s c r e t i z a t i o nm e t h o d s i nt h i sp a p e r ,t h ef i r s ts t r a t e g yi su s e dt oc o n s t r u c ts u p p o r tv e c t o r m a c h i n ee n s e m b l eb a s e do nt h er s b r ad i s c r e t i z a t i o nm e t h o d a i m i n ga tt h ed i s a d v a n t a g eo f r s b r at h a ti tm a ye x c e s s i v e l yd e g r a d et h ec l a s s i f i c a t i o np e r f o r m a n c eo fs u p p o r tv e c t o rm a c h i n e , t h el e v e lo fc o n s i s t e n c 5w h i c hi sc o i n e df r o mt h er o u g hs e tt h e o r y , i si n t r o d u c e dt om o d i f y r s b r as oa st op r e s e r v ee n o u g hi n f o r m a t i o nf o rc l a s s i f i c a t i o n a f t e r w a r d s ,a ne n s e m b l el e a r n i n g m e t h o db a s e do nt h em o d i f i e dr s b r ad i s c r e t i z a t i o nm e t h o di sp r o p o s e d 4 ) i n p r e s e n te n s e m b l el e a r n i n gm e t h o d sb a s e d o ns e a r c h t e c h n i q u e s ,m e a s u r e so f p e r f o r m a n c ea r en e e d e dt oe v a l u a t et h eb a s ec l a s s i f i e r n e v e r t h e l e s s ,t h e s em e a s u r e se i t h e ra r e h a r dt ob ea d j u s t e dt om a k ear e a s o n a b l et r a d e o f fb e t w e e na c c u r a c ya n dd i v e r s i t y , o rc a l ln o t r e f l e c td i r e c t l yt h eg e n e r a l i z a t i o np e r f o r m a n c eo fa ne n s e m b l e a i m i n ga tt h i sp r o b l e m ,w e p r o p o s ead i r e c tg e n e t i ce n s e m b l em e t h o dw h i c hs e a r c h e sf o rag o o de n s e m b l ei nt h ee n s e m b l e s p a c eb yg e n e t i ca l g o r i t h m s t h ep r e s e n t e dm e t h o dc a nb ei m p l e m e n t e dt op r o d u c es e l e c t i v e e n s e m b l e so fc l a s s i f i e r s r e a d i l y t h es t u d ys h o w st h a t s e l e c t i v ee n s e m b l e sg a i nb e t t e r c l a s s i f i c a t i o np e r f o r m a n c et h a nt r a d i t i o n a le n s e m b l el e a r n i n gm e t h o d ss u c ha sb a g g i n ga n d 第1 v 页 、 i , 5 ) t h ec o m b i n a t i o ns t r u c t u r e so fc l a s s i f i e r si nm u l t i c l a s sc l a s s i f i c a t i o np r o b l e m sa r e s t u d i e d as i m p l i f i e ds t r u c t u r ei sp r o p o s e dt oo v e r c o m et h ed e f e c t so f e x i s t e n ts t r u c t u r e s b a s e do n t h es t r u c t u r e ,t h em e a s u r e m e n t - l e v e lc o m b i n a t i o nm e t h o d so fc l a s s i f i e r sb a s e do nt h ee v i d e n c e t h e o r ya r es t u d i e d i nt h ee v i d e n c et h e o r ym e t h o d t h eb a s i cp r o b a b i l i t ya s s i g n m e n tf u n c t i o n sa r e d e f i n e db yu t i l i z i n gt h ep o s t e r i o ro u t p u t sa n dp r e d i c t i v ea c c u r a c i e so fs u p p o r tv e c t o rm a c h i n e sa n d t h e nc o m b i n e db ys o m er u l e i np a r t i c u l a r , w h e nt h eo n e a g a i n s t - o n em e t h o di su s e df o r m u l t i - c l a s se x t e n s i o n ,t h ee v i d e n c em a yc o n f l i c th e a v i l ya n dt h ec l a s s i cd e m p s t e rc o m b i n a t i o n r u l ei sn o ta p p l i c a b l e t h e r e f o r e ,w ep r o p o s ean e we v i d e n c ec o m b i n a t i o nr u l eb a s e do nt h e t h o u g h tt h a tt h ec o n f l i c t i n gi n f o r m a t i o ni sp a r t l yv a l u a b l e t h ev a l u a b l ep a r ti sd e t e r m i n e d a c c o r d i n gt ot h eg l o b ee f f e c t i v e n e s so ft h ee v i d e n c ea n dt h e nd i s t r i b u t e da m o n gt h ef o c u s e l e m e n t sa c c o r d i n gt ot h ew e i g h t e ds u mo fb a s i cp r o b a b i l i t ya s s i g n m e n t s t h er u l et a c k l e st h e p r o b l e mo fe v i d e n c ec o n f l i c t i n ge f f e c t i v e l y k e y w o r d s :s u p p o r tv e c t o rm a c h i n e ;e n s e m b l el e a r n i n g ;c l a s s i f i c a t i o n ;m u l t i - c l a s s ;r o u g hs e t t h e o r y ;d i s c r e t i z a t i o n ;g e n e t i ca l g o r i t h m s ;e v i d e n c et h e o r y ;f a u l td i a g n o s i s t h i s p a p e ri ss p o n s o r e db yt h en a t i o n a lk e yb a s i cr e s e a r c hp r o j e c to fc h i n au n d e rt h eg r a n t 2 0 0 2 c b 312 2 0 0a n dt h en a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n au n d e rt h eg r a n t 6 0 5 7 5 0 3 6 第v 页 a b s t r a c t 第v i 页 一 上海交通人学博十学位论文 摘要 a b s t r a c t 目录 第一章绪论1 1 1 支持向量机l 1 1 1 理论基础1 1 1 2 两类分类3 1 1 3 多类分类6 1 1 4 支持向量机的优点lo 1 2 集成学习1l 1 2 1 分类器集成概述。l1 1 2 2 基分类器的构造方法。1 3 1 2 3 基分类器的组合方法16 1 3 支持向量机集成。2 0 1 3 1 必要性与可行性2 0 1 3 2 研究进展。2 0 1 4 本文主要研究内容2 3 第二章属性约简集成2 5 2 1 引言2 5 2 2 粗糙集理论一2 6 2 2 1 基本概念。2 6 2 2 2 知识约简2 8 2 2 3 知识表达系统一3 0 2 2 4 粗糙集的优缺点3l 2 3 基丁属性约简的集成学习一3 1 2 3 1 属性约简3l 2 3 2 约简集成3 3 2 4 实马佥3 5 2 4 1 属性约简对s v m 性能的影响3 5 2 4 2 集成学习3 7 2 5 本章小结4 1 第三章基于r s b r a 离散化方法的集成学习4 3 3 1 弓l 言4 3 3 2 离散化问题描述4 4 3 3r s b r a 离散化方法4 6 3 3 1 最人分辨能力启发式一4 6 3 3 2 高效实现算法4 7 3 4 基于r s b r a 的集成学习4 8 3 4 1 实现方法4 8 目录 3 4 2 多e 验 3 5 改进的r s b r a 3 6 基于改进r s b r a 的集成学习 3 6 1 实现方法一 3 6 2 实马佥 3 7 本章小结 第四章直接遗传集成 4 1 引言一 4 2 遗传算法 4 2 1 概要介绍 4 2 2 基本方法。 4 2 3 遗传算法的优缺点。 4 3 赢接遗传集成 4 3 1 实现方法 4 3 2 实验 4 4 基于d g e 的选择性集成 4 4 i 实现方法 4 4 2 实粤佥 4 5 本章小结 第五章基于证据理论的多类分类支持向量机集成 5 1 引言 5 2 证据理论7 3 5 2 1 证据的不确定性一7 3 5 2 2 证据组合规则7 5 5 2 3 证据理论的优缺点7 5 5 3 基于证据理论的度量层融合7 6 5 3 1 一对多7 6 5 3 2 一对一7 8 5 4 实验一8 2 5 4 1 实验方法8 2 5 4 2u c i 数据集8 4 5 4 3 故障诊断一8 6 5 5 本章小结一8 8 第六章总结与展望 6 1 全文r 作总结8 9 6 2 后续研究工作展望9 1 参考文献 攻读博士学位期间已发表或完成的论文。 攻读博士学位期间参与的科研项目 致谢 1 1 1 1 1 3 一 f :海交通人学博f j 学位论文 1 1 支持向量机 1 1 1 理论基础 第一章绪论 机器学习的目的是根据给定的训练样本求取对系统输入输出之间依赖关系的估计,使它 能够对未知输出作出尽可能准确的预测。 一般地,变量y 与x 存在一定的未知依赖关系,即遵循某一未知的联合概率f ( x ,y ) ,y 与x 之间的确定性关系可视作是其特例。机器学习问题就是根据m 个独立同分布观测样本 ( x ,”) ,f = 1 ,m ) 在一组函数 ( x ,w ) ) 中求一个最优的函数 f ( x ,w o ) ) 对y 与x 之间的依 赖关系进行估计,并最小化期望风险 尺( w ) 2j ( y ,( x ,w ) ) d f ( x ,y ) ( 1 - 1 ) 其中, f ( x ,w ) ) 称作预测函数集,w 为函数的广义参数,l ( y ,f ( x ,w ) ) 为损失函数,衡量 由于采用f ( x ,w ) 对y 进行预测而造成的损失,不同类型的学 - 3 问题有不同形式的损失函数。 对模式识别问题而言,y 是类别标签,预测函数也称作指示函数,其损火函数可定义为 三c y ,c x ,w ,= o ,;二; 二:; c - 2 , 对函数逼近问题而言,y 是连续变量,损火函数可定义为最小平方误差 ( y ,( x ,w ) ) = ( y f ( x ,w ) ) 2( 1 3 ) 对概率密度估计问题而言,学习的目的是根据训练样本确定x 的概率密度。若记估计的 密度函数为p ( x ,w ) ,则损失函数可以定义为 l ( p ( x ,w ) ) = - l n p ( x ,w )( 1 - 4 ) 机器学习的目标在于使期望风险尉w ) 最小化,但由于可利用的信息只有样本,因此根 据( 1 一1 ) 式无法计算期望风险。传统的学习方法采用所谓的经验风险最小化( e m p e r i c a lr i s k m i n i m i z a t i o n ,e r m ) 原理,即基于样本定义如下经验风险 ( w ) = 吉喜地胞,w ) ) ( 1 - 5 ) 第l 页 第一章绪论 作为对期望风险的估计,通过设计学习算法使足咖( w ) 最小化。对于( 1 2 ) 式,经验风 训练样本错误率;对t - ( 1 3 ) 式,经验风险就是平方训练误著;而对于( 1 4 ) 式,e r m 价于最人似然方法。 e r m 原理的思想在多年的机器学习方法研究中【叶据了主要地位,人们将人部分注意力 集中到如何更好地最小化经验风险上。但是实际上,在样本有限的情况下,经验风险小并不 意味着真实风险也小。神经网络的过拟合( o v e r f i t t i n g ) 现象就反映了这个问题,臣i j i j i l 练误 差小,并不能保证好的预测能力。 统计学习理论是一种研究小样本情况下机器学习规律的理论,不仅考虑了对渐进性能的 要求,而且寻求在有限信息的条件下获得最优结果。其主要内容包括4 个方面i i , 2 1 : 1 )经验风险最小化原理下统计学习一致性的条件,即经验风险收敛于实际风险的充要 条件; 2 )学习机推“能力界的理论,即结构风险理论; 3 )在推广能力界的基础上针对小样本的归纳推理原理,即结构风险最小化( s t r u c t u r a l r i s km i n i m i z a t i o n ,s r m ) 原理: 4 )实现结构风险最小化原理的实际方法。 统计学习理论的一个核心概念是v c 维,它是描述函数集或学习机器复杂性或者说学习 能力的重要指标,在此基础上,发展出了一系列关于统计学习的一致性、收敛速度、推广性 能等问题的重要结论。在模式识别方法中,对一个指示函数集,若存在h 个样本能够被函数 集中的函数按所有可能的2 6 种形式分开,则称函数集能够把h 个样本打散。函数集的v c 维就是它能打散的最大样本数目h 。若对任意数目的样本都有函数能将它们打散,则函数集 的v c 维是无穷人。有界实函数的v c 维可以通过刚一定的阂值将它转化成指示函数米定义。 v c 维反映了函数集的学习能力,v c 维越大则学习机器越复杂,学习能力越强。 基于v c 维的概念,可以推导出与分布无关的学习机器推广能力的界,即在给定样本数 量的情况下,学习机器的实际风险将在这个界的范围内。对丁两类问题,经验风险和实际风 险之间以至少1 7 7 的概率满足如下关系 尺( w ) ( w ) + 1 h ( i n 2 m h + 1 ) - i n ( r 4 ) ( 1 - 6 ) 其中h 为函数集的v c 维,m 为样本数。因此,学习机器的实际风险是由两部分组成的:第 一部分是经验风险,另一部分是置信范围,与学习机器的v c 维和样本数有关。在有限样本 第2 页 :海交通人学博l :学位论文 条件下,学习机器的v c 维越高,置信范嗣就越人,导致真实风险与经验风险之间可能的差 别越人,从而出现过学习。机器学习过程不仅要使得经验风险最小,还应尽量缩小置信范围, 才能降低实际风险,使得学习机器具有良好的推j “能力。 结构风险最小化原理正是这样一种j 1 纳原理。该原理首先定义一种函数集的嵌套结构: sc 足c c 最c ( 1 - 7 ) 这些函数集的v c 维从d , n 人排列,这样函数集的v c 维就成为了可控参数。对给定的训练 集,s r m 原理在使风险上界最小的子集s 中选择使经验风险最小的函数。s r m 原理定义了 在对给定数据的逼近精度和逼近函数的复杂性之间的一种折衷。s r m 的一般原则可以用不 同的方法实现。在实际的算法中,神经网络是通过选择一个适当构造的机器米保持同定的置 信范围并最小化经验风险:支持向量机是保持经验风险同定并最小化置信范围。 1 1 2 两类分
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2027届黑龙江省牡丹江市高三第四次模拟考试高考物理试卷(含答案解析)
- 十五五智能人体感应传感器:赋能智慧农业非接触式监控实践
- 前沿融合:区块链赋能无人机编队表演版权确权与NFT交易
- 中东市场:智能CO2监测器助力石油炼化满足高标合规新需求
- 双碳约束下:智能护肩枕绿色制造如何成为企业ESG新名片
- 中国医药在股市中的发展潜力与风险剖析
- 一点就到家观后感心得
- 2026年儿童主题公园行业报告:多孩家庭游玩需求与市场前景
- 2026年医疗健康行业患者信用评估与反欺诈研究报告
- 2026年钢铁行业市场供需分析报告
- 北京科技大学辅导员招录考试真题与答案2026
- 2026年环保中级工程师模拟试题(含答案)
- 2026-2030年中国出租车行业发展趋势及发展前景研究报告
- 2023年自考03709马克思主义基本原理概论重点笔记
- 2027届高三语文10月名校模拟试题汇编之修改病句题(学生版+教师版)
- 糖尿病的中医护理知识培训汇报
- 2026中国新能源汽车保险产品创新及理赔风险控制与大数据定价模型报告
- 耳鼻喉科临床诊疗指南(2025版)
- 2026年中国电信笔试题库
- 小学四年级英语沪教牛津版上册期末综合复习教案
- (2026年)米格列醇与阿卡波糖比较分析课件
评论
0/150
提交评论