（计算机应用技术专业论文）基于支持向量机的网络应用层故障诊断研究.pdf

硕士论文基于支持向量机的网络应用层故障诊断研究 摘要 支持向量机作为一种基于统计学习理论的新型学习算法，能很好的解决有限样 本情况下的学习问题。这种方法从理论上控制了机器学习的复杂性，同时具有良好 的收敛速度和推广能力。它应用最优化理论，最终将算法转化为一个二次型优化问 题，从理论上得到的是全局最优解，并通过核函数技巧克服了“维数灾难”问题。 这些在有限样本情况下表现出来的优势使其成为了当前机器学习领域研究的热点。 由于故障诊断是有限样本学习问题在实际中的体现，因此可以将支持向量机方 法引入到网络应用层的故障诊断中来，本文涉及的内容主要包括： ( 1 ) 详细深入的分析了支持向量机的理论特点及其与网络应用层故障诊断的 关联，并就构建的基于支持向量机的网络应用层故障诊断模型，阐述了该模型的处 理流程以及其中各个模块的功能、机制。 ( 2 ) 针对故障诊断中经常出现的正常样本和异常样本数目不均衡的情况，从 理论上分析了在这种情况下标准支持向量机分类错误倾向于小类别的原因，并通过 类别加权的方法解决这一问题。 ( 3 ) 分析了在各样本对于分类影响的重要性不同情况下支持向量机的处理方 式，并给出一种样本权值的确定方法，通过模糊隶属度函数给各样本确定不同的权 值，减小噪声数据等离群点对分类的影响，提高支持向量机的检测精度。 关键词：支持向量机，网络故障诊断，不均衡样本，样本加权 硕士论文 基于支持向量机的网络应用层故障诊断研究 a b s t r a c t s u p p o r t v e c t o rm a c h i n ei san e wm a c h i n e = l e a r n i n g a l g o r i t h mb a s e d o nt h e s t a t i s t i c a ll e a r n i n gt h e o r y , w h i c hh a sat i mp e r f o r m a n c ew i t ht h el i m i t e ds a m p l e s t h e s v mn o to n l yc o n n o l st h ec o m p l e x i t yo ft h em a c h i n el e a r n i n g , b u ta l s oh a sn i c e c o n v e r g e n c es p e e da n dg e n e r a l i z i n ga b i l i t y n es v mw a n s f o r m sm a c h i n el e a r n i n gt o s o l v ea q u a d r a t i cp r o b l e ms ot h a ta l lt h eg l o b a lo p t i m a ls o l u t i o n sc a nb ef o u n di nt h e t h e o r ya n dc o n q u e rt h e “c o u r s ed i m e n s i o n a l i t y w i t ht h ek e r n e lf u n c t i o n i th 勰b e c o m e a ni n c r e a s i n g l yp o p u l a rt e c h n i q u ei nm a c h i n e l e a r n i n g a sf a u l td i a g n o s i si sal i m i t e ds a m p l es u b j e c t , w ec a nu s et h es v mm e t h o dt os o l v e t h ep r o b l e mo ft h ef a u l td i a g n o s i si nt h en e t w o r ka p p l i c a t i o nl a y e r 1 1 l em a i nr e s e a r c h w o r ki nt h i sp a p e ri sa sf o l l o w s ： ( 1 ) ad e t a i l e da n a l y s i sa b o u tt h et h e o r yo ft h es v mi sg i v e ni nt h ep a p e r a n do i l e f i a m e w o r ko ft h en e t w o r kf a u l td i a g n o s i s s y s t e mb a s e do ns v mi nn e t w o r k a p p l i c a t i o nl a y e ri sp r o p o s e d t h eh a n d l ep r o c e s sa n dt h ef u n c t i o n , m e c h a n i s mo ft h e c o m p o n e n t so f t h i sf r a m e w o r k 眦d i s c u s s e di nt h ep a p e r ( 2 ) w h e nt h es i z eo ft h et r a i n i n gs e t si su n e v e n , t h ec l a s s i f i c a t i o ne r r o rr a t eo ft h e r e s u l t sb a s e do nt h et r a d i t i o n a lc s u p p o r tv e c t o rm a c h i n ei su n d e s i r a b l yb i a s e dw i t ht h e l e s ss a m p l ei nt h et r a i n i n gs e t s t h er e a s o no f t h i sp h e n o m e n o ni sd i s c u s s e di nt h ep a p e r , a n dam e t h o do f u s i n gd i f f e r e n tw e i g h t so f t h e p e n a l t yp a r a m e t e rf o re a c hc l a s s e si su s e d t or e d u c et h i su n d e s i r a b l ee f f e 瓯 ( 3 ) o n es v m a l g o r i t h mw h i c ht os o l v et h ep r o b l e mw h e ni n p u ts a m p l e sm a k et h e d i f f e r e n tc o n t r i b u t i o n st ot h ed e c i s i o ns u r f a c ei sd i s c u s s e di nt h i sp a p e r a n do n om e t h o d i sp r e s e n t e dt o g i v ee a c hs a m p l ed i f f e r e n tw e i g h to ft h ep e n a l t yp a r a m e t e rb yu s i n ga f u z z ym e m b e r s h i p t h i sm e t h o dc a l lb eu s e dt or e d u c et h ee f f e c t so fo u t l i e r sa n dt h e n o i s e s ，a n di m p r o v et h ea c c u r a t ep r e c i s i o no f t h es v m k e yw o r d s ：s u p p o r tv e c t o rm a c h i n e ，n e t w o r kf a u l td i a g n o s i s ，u n e v e n s a m p l e s ，w e i g h t e d w i t ht h es a m p l e 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名： 箍盈；口。年莎月垆日 学位论文使用授权声明 南京理工呔学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名： 童金盗z a 。7 年月罗日 硕士论文 基于支持向量机的网络戌用层故障诊断研究 1 1 选题背景及意义 1 绪论 随着计算机的普遍应用和信息技术的飞速发展，计算机网络逐渐成为全世界最重 要的基础设施之一网络已深入到人类社会生活和经济生活的方方面面，人们日常的 各项活动几乎都可以通过它来完成。然而，由于网络技术越来越复杂，以及网络中所 使用的软硬件种类和数目的不断增加，网络的管理和维护变的愈加困难 按照国际标准化组织( i s o ) 的定义，网络管理主要有五大功能：故障管理、配 置管理、性能管理、安全管理和计费管理。其中，网络的故障管理是重中之重，如果 网络中出现的故障不能被快速诊断和排除，往往会给网络使用者带来难以估量的损 失网络故障诊断问题( n e t w o r k sf a u l td i a g n o s i s , n f d ) 可以被定义为啪：当网络中的诊 断对象发生某种或某些故障时，其输出或系统的行为将与正常状态时不同或失调，诊 断的任务就是要寻找引起这些异常征兆的可能原因。目前，网络故障诊断问题已经受 到了众多网络从业人员和研究者的重视和关注。 由于网络中可能产生故障的因素很多，信息量又相当大，而且各种新的网络故障 层出不穷，光凭借网络管理人员的经验和现有的网络诊断工具并不能很好解决在网络 运行中出现的所有问题。因此，将智能方法引入到网络故障诊断领域，通过创建和维 护故障诊断知识库，对知识库中网络故障的表现形式和故障类型进行学习，以达到能 快速准确的判断新出现故障原因的目的，成为了一个新的研究方向。 支持向量机( s u p p o r t v e c t o r m a o h i n e ，s v m ) “1 是由v l a d i m i r n v a p n i k 于1 9 9 5 年 提出的种机器学习方法，它基于统计学习理论，实现了结构风险最小化原则，能很 好的解决有限样本情况下的学习问题，并且具有良好的收敛速度和推广能力。这些特 点均符合网络故障诊断学习的要求，本文将主要研究将s v m 运用到网络应用层故障 诊断时需要考虑的问题和具体的算法实现。 1 2 网络故障诊断的研究内容与现状 1 2 1 故障诊断概述 所谓故障诊断，就是在一定的检测策略的指导下实施对被诊断系统的自动检测。 通过检测获取诊断对象的故障模式，提取故障特征。在此基础上，根据预定的推理原 则，对故障信息做出综合评估，并向系统操纵者或控制者提示所要采取的措施叫。 故障诊断的具体研究最早可以追溯到上世纪6 0 年代，美国的宇航局和海军研究 所共同组织成立了美国机械故障预防小组( m f p g ) ，开始有计划的对故障进行分专题 的诊断研究，随后在7 0 年代中期，欧洲和日本也相继开始对各种设备的故障诊断迸 1 硕士论文 基于支持向量机的网络应用层故障诊断研究 行研究和应用。我国对于故障诊断的研究起步较晚，广泛的研究从2 0 世纪的8 0 年代 才开始发展起来。回顾故障诊断技术的发展历史，大致可以将其划分为两个阶段旧： 第一阶段是以传感器技术和动态测试技术为基础，以信号处理技术为手段的常规诊断 技术发展阶段，目前这种诊断技术比较成熟，被广泛用于各个领域。第二阶段则是近 年来刚刚发展起来的、以人工智能技术为核心的智能诊断技术发展阶段。在这一阶段， 原来以数值计算和信号处理为核心的诊断过程被以知识处理和知识推理为核心的诊 断过程所取代。诊断过程的每个步骤，包括从信息的检测到特征的抽取、从状态识别 到故障分析、从干预决策到维修计划全部通过知识的引导，并开始涉及到模式识别、 计算机科学、系统科学、管理科学、控制理论、统计数学等诸多学科 1 2 2 智能诊断技术 目前，以人工智能技术为核心的智能诊断技术是故障诊断研究的热点，逐渐在各 个领域广泛应用，并与不同的学科相结合，产生了多种常用的智能诊断方法，具有较 大影响力的包括御删： ( 1 ) 基于专家系统的诊断方法：这种方法主要通过汇集领域专家的知识，进行分 析、比较和推理，最终得出正确的结论。它大致经历了两个发展阶段：基于浅知识( 领 域专家的经验知识) 的故障诊断系统和深知识( 诊断对象的模型知识) 的故障诊断系 统这种方法主要通过研究领域专家知识进行推理，解决大型的专业性问题。 ( 2 ) 基于案例的诊断方法：通过修订相似问题的成功结果来求解新问题。它通过 将获取新知识作为案例来进行学习，不需要详细的诊断对象模型。这种方法适用于某 些领域定理难以表示成规则形式，而易于表示成案例并且已经积累了丰富的案例的领 域，如医学诊断等。 ( 3 ) 基于人工神经网络的方法：人工神经网络是由大量简单元件( 如人工神经元 等) 相互连接而成的复杂系统，它根据对生物神经元工作机制的研究，通过对已知 实例和输入数据的学习和训练，模拟人的形象思维来实现智能诊断。神经网络由于其 独特的容错、联想、推测、记忆、自适应、自学习和处理复杂多模式等优点，在故障 诊断领域有着广泛的应用，但也存在着诸如网络结构选择缺乏理论性、存在局部极小 点和可能导致“维数灾难”等问题。 ( 4 ) 基于模糊数学的方法：许多被诊断对象的故障状态是模糊的，诊断这类故障 的一个有效方法是应用模糊数学的理论。基于模糊数学的诊断方法不需要建立精确的 数学模型，适当的运用隶属函数和模糊规则，进行模糊推理就可以实现模糊诊断的智 能化。由于故障诊断系统中经常包含有不确定性的信息，因此将模糊数学方法与其他 方法结合使用，往往能得到很好的效果。 ( 5 ) 基于故障树的方法：故障树方法是由计算机依据故障与原因的先验知识和故 2 硕士论文基于支持向量机的网络应用层故障诊断研究 障率知识自动辅助生成故障树，并自动生成故障树的搜索过程基于故障树的诊断方 法类似于人类的思维方式，易于理解，在实际中应用较多，但大多与其他方法结合使 用。 1 2 3 网络应用层故障诊断与检测 由于目前互联网的规模不断扩大、各种网络设备不断增加、网络的结构愈加复 杂，对于网络故障的管理也愈加困难。一般把网络故障分为两类：即连通故障和性 能故障。连通故障包括网络连接设备的故障、网络共享设备的故障等，性能故障则 包括系统软件运行出错、性能出现衰退、网络出现拥塞、遭受网络攻击等。 网络故障管理的目标就是在出现上述故障时能快速的检测、定位和排除。故障 管理主要包括以下内容”1 ： ( 1 ) 网络故障状态的监测：收集检测到的故障事件报告，以及配置管理中的 信息，将这些故障状态信息存入监视状态数据库。 ( 2 ) 网络故障的诊断：通过分析涉及被管对象的故障和事件报告，执行诊断 测试程序，对故障进行检测和诊断。 ( 3 ) 网络故障的修复：通过配置管理工具或人工干预的方法，使得被管对象 恢复到正常工作状态。 ( 4 ) 网络故障的纪录：以日志的方式记录告警信息、诊断信息和处理结果。 其中，核心内容如何就构建一个好的故障诊断模型，目前，大多网络管理系统 主要基于s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c o l ，简单网络管理协议) 并依 靠m i b ( m a n a g e m e n ti n f o r m a t i o nb a s e ，管理信息库) 变量所提供的信息来实现网 络管理的功能。在这种情况下，网络故障诊断的基本思想是嘲：对故障的状态信息 进行提取，采集网络设备中最能表达特定网络故障特征的m i b 变量，将这些变量 与其他故障诊断所需的参数一起，建立故障诊断的模型，当网络发生故障时，程序 实时搜集状态信息，将其与诊断模型的故障状态信息相比较，得出诊断结果。 由于网络各层的故障原因和表现不尽相同，因此在实际的故障诊断中，通常采 用分层的方法，沿着o s i 七层模型从物理层开始逐层向上进行诊断首先检查物理 层，接着检查数据链路层，以此类推，以达到对网络中的故障准确定位、检测并排 除，使网络恢复正常工作的目的。对于不同类型的设备也需要采取不同的诊断方法。 网络应用层作为o s i 七层模型的最高层，其故障诊断的内容主要是对网络服务 性能问题和故障问题的检测。近年来，很多研究者对于网络层的故障诊断提出了相 关的算法，例如文献埘提出了网络服务正常与异常的概念，通过建立网络相关参数 的基线，给出一定的容许范围，利用异常检测的方法对网络应用层故障进行检测。 文献m 利用小波分析的方法检测网络性能。文献“”对基于电子商务的网上流量强度 3 硕士论文基于支持向量机的阿络应用层故障诊断研究 统计从而检测电子商务服务器故障。 在网络的应用层，各种网络协议和网络服务不断更新，配置方法也非常多样， 因此对于它的故障诊断变得非常困难，一般将其转化为模式识别的问题来解决，使 用这种方法的难点在于：( 1 ) 在为应用层的故障建立数学模型时，由于故障类型和 表现形式的多样性以及易变性，用一个函数来明确地表示应用层的所有故障显得很 困难；( 2 ) 网络中除了正常通信的数据流以外，还存在着大量用于控制和纠错的数 据流，这些噪声数据有可能会造成决策函数的偏差；( 3 ) 由于一旦网络中出现故障， 就会造成较大的损失，因此在应用层所能获得的用于学习的检测数据不可能很多， 这时的故障诊断问题属于小样本问题。应用层故障的这些特点，使得传统的基于渐 进理论的方法，比如神经网络方法，在这一层的故障诊断中遇到了困难。 1 3 支持向量机与网络故障诊断 1 3 1网络故障诊断中的小样本问题 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据( 样本) 出 发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测“目前现有的机 器学习方法共同的重要理论基础之一是统计学。 传统的统计学方法大多采取的是经验风险最小化归纳原则( e r m ) ，通过最小化 训练集上的经验风险来优化学习机器的参数，然而这种用经验风险来近似代替实际风 险的方法只有在样本数目趋于无穷大的情况下才有理论上的保证。在实际情况下，样 本数目往往是很有限的，因此些理论上很优秀的学习方法在实际运用中的表现可能 不尽如人意。 网络故障诊断是一种典型的有限样本学习情况，可以想象，在现实中网络一旦出 现故障，往往意味着巨大的经济损失的发生，因此在网络故障诊断过程中，不可能获 得很多的训练样本，在实际的学习过程中，能用于机器学习的训练数据与实际应用中 的检测数据相比，肯定是小样本的问题。 以神经网络为代表的学习方法，虽然在很多领域的故障诊断中表现出了优异的性 能，但面对小样本的学习问题时，由于其渐进性的前提条件不能保证，因此在学习样 本不完备的情况下难以得到良好的学习结果，并显现出诸如推广能力不足、出现过学 习问题等缺陷。同时神经网络方法还存在着诸如存在局部极小值、可能导致维数灾难、 学习机器结构难以控制等不足。以上这些都迫使人们开始寻找一种能更好的解决有限 样本情况下学习问题的方法。 与传统统计学相比，统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ，s t l ) 是一种专 门研究小样本情况下学习规律的理论方法。它引入了v c 维的概念和结构风险最小化 4 硕士论文基于支持向量机的网络应用层故障诊断研究 原则，拥有一套完整的理论框架，其中有关学习过程一致性的理论和推广性的界的理 论，使得统计学习理论在样本数有限的情况下仍然具有良好的推广性能。显然这种理 论比传统的学习方法更适合于网络故障诊断这种小样本的学习问题。 1 3 2 支持向量机的理论分析 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是一种基于统计学习理论的机器 学习算法，它建立在v c 维理论和结构风险最小化原则的基础上。这种方法根据有限 的样本信息，在模型的复杂度和学习能力之间寻找一种折衷，并在理论上给出了推广 误差的界，该推广误差的界分为两部分；经验风险和置信区间。经验风险的意义是指 学习机器在训练样本集上的误差，而置信区间是一个基于v c 维理论的概念，它的大 小决定着学习机器的复杂性。支持向量机寻求在二者之问做出权衡，从而达到总的推 广误差最小，并得到良好的推广能力和收敛速度。 支持向量机通过使用内积核函数定义的非线性变换将输入空间变换到一个 h i i b e r t 高维空间，把原空间的非线性可分问题转变为高维空间的线性可分问题，并在 这个空间求最优超平面。只要选择一个适当的核函数，就能将高维空间的内积运算转 化为原始输入空间的核函数的运算，从而避免了在高维空间处理数据可能导致的“维 数灾难”问题。 由于应用了最优化理论，s v m 最终将算法转化为一个二次规划问题，因而从理 论上保证得到的是全局最优解，避免了神经网络等方法可能出现的局部极小点问题。 同时，支持向量机通过最大化分类间隔的方法确定最优分类超平面，这种决策函 数的确定方法使得最优超平面仅由离它最近的样本点所决定。而与其它样本无关，这 些样本点即所谓的支持向量。这意味着支持向量机拥有一个简单而固定的结构，它类 似一个三层前馈型神经网络，输出是隐含层节点的线性组合，每个隐含层结点对应一 个支持向量，其隐含层能随着所需解决问题的规模和具体形式自动调节，从而使机器 学习的复杂度始终能和实际问题保持一致，因此具有良好的自学习和自适应能力。 1 3 3 支持向量机在网络故障诊断中的应用 从上面的分析可以看出，支持向量机算法从理论上控制了机器学习的复杂性， 同时使其具有良好的收敛速度和推广能力。作为一种解决有限样本问题的专用算 法，它克服了神经网络等传统方法中可能出现的“维数灾难”问题，而且从理论上 保证了通过s v m 求出的最优解是全局最优解，因此一经提出，便受到了机器学习 界的广泛重视。 由于s v m 的提出至今仅1 0 年左右，与其理论研究相比，其应用研究相对滞后， 硕士论文基于支持向量机的同络应用层故障诊断研究 目前主要的研究还处在实验阶段，比较著名的应用研究包括美国贝尔实验室对于美 国邮政信封手写体数据库进行的实验，用s v m 方法得到的结果优于采用决策树和 神经网络得到的结果“】【1 ”。在其他领域成功的运用包括人脸检测“”，文本自动分类 “”，三维物体识别“锄”，遥感图像分析“”等。 网络故障诊断作为一种典型的有限样本学习情况，非常适宜使用s v m 方法对 其进行研究。目前国内已经有很多学者开始关注支持向量机在网络故障诊断中的研 究。比如吴静等人“”对s v m 在网络故障诊断的应用进行了研究；李千目等人o ”提 出了一种基于粗糙集支持向量机的网络故障诊断系统；刘国光嘲对基于多类s v m 的网络故障诊断进行了探讨。这些针对网络故障诊断进行的研究在理论和仿真方面 都取得了比较令人满意的效果，这些研究成果说明了s 、，m 方法是完全适用于网络 故障诊断这种有限样本情况的机器学习领域的 1 4 论文的研究内容和所做工作 支持向量机( s v m ) 作为一种基于统计学习理论的学习算法，能很好的解决有 限样本情况下的学习问题，然而人们在研究中发现，标准的c 一支持向量机算法当 不同类别的样本数量差距较大时，其分类错误会倾向于较小的类别，而且也没有考 虑到实际中各样本重要程度不同对分类结果的影响，因此本文通过对加权的研究， 改进这些缺陷，并将这种学习方法引入网络应用层的故障诊断中去，本文所做的主 要工作包括： ( 1 ) 详细深入的分析了支持向量机的理论特点及其与网络应用层故障诊断的 关联，并就构建的基于支持向量机的网络应用层故障诊断模型，阐述该模型的处理 流程以及其中各个模块的功能、机制。 ( 2 ) 针对故障诊断中经常出现的正常样本和异常样本数目不均衡情况，从理 论上分析了标准支持向量机出现的分类错误倾向于较小的类别的现象，并通过类别 加权的方法来解决这一问题。 ( 3 ) 分析了在各样本对于分类影响的重要性不同情况下s v m 的处理方法，并 给出一种样本权值确定方法，通过模糊隶属度函数给样本确定不同的权值，减小因 噪声等原因引起的离群点对分类的影响，提高s v m 的检测精度。 ( 4 ) 通过大量实验验证了支持向量机算法运用在网络应用层故障诊断领域中 的可行性和有效性，实验证明，支持向量机方法在网络故障诊断中具有很高的检测 率，而本文通过加权方法对算法的改进，进一步提高了故障诊断的检测率。 6 硕士论文基于支持向量机的网络应用层故障诊断研究 1 5 论文的组织结构 本文全文有5 个章节组成，各章节的内容是这样安排的： 第一章介绍了论文的背景及意义、网络故障诊断的研究内容和发展现状，以及 将s v m 算法引入到网络故障诊断领域的优势。 第二章详细论述了统计学习理论这一专门针对有限样本问题的学习理论，以及 在这一理论上发展起来的新型通用机器学习方法一支持向量机，并从理论上说明 了其在解决高维、非线性、小样本问题上表现出优异性能的原因。 第三章对类加权支持向量机和样本加权支持向量机进行深入研究，从理论上分 析c 一支持向量分类机在样本数目不均衡情况下分类错误倾向于较小类别的原因， 并通过类别加权的方法来解决这一问题。同时还对各样本的重要性不同情况下的 s v m 算法进行了研究，并给出一种样本权值的确定方法，通过给各样本赋予不同 的权值，来达到区别对待各样本点对分类结果的影响，从而提高支持向量机的检铡 率。 第四章针对网络应用层故障诊断这一有限样本的学习情况，构建一个基于加权 支持向量机的网络应用层故障诊断模型，并利用第三章提到的类加权和样本加权方 法，通过实验验证这两种加权方法在网络故障诊断中的可行性和有效性 第五章对本文进行总结，并对文中未能完成的工作和下一步的研究提出设想和 展望。 7 硕士论文 基于支持向量机的网络应用层故障诊断研究 2 统计学习理论和支持向量机 2 1 机器学习问题的基本理论 基于数据的机器学习是现代智能技术的重要方面，主要研究如何从输入样本出 发得出目前尚不能通过原理分析得到的规律，利用这些规律来分析客观对象，对未 来数据或无法观测的数据进行。机器学习的目的就是根据给定的训练样本求对某系 统输入输出之间函数关系的估计，使其能对未知输出做出尽可能准确的预测瑚嘲 2 1 1 机器学习问题的表示 一般来说，学习的目的是根据给定的训练样本来获取某系统输入输出之间依赖 关系的估计，从而使其能够对未知输入输出做出尽可能准确的预测“。v a p n i k 在其 关于统计学习理论的著作 t h e n a t u r e o f s t a t i s t i c a l l e a r n i n g t h e o r y 中给出了一个 机器学习的一般模型： 该模型包括三个部分： ( 1 ) 产生器g ，根据某个固定但未知的概率分布函数，b 1 进行随机采样，产 生向量x r ”。 ( 2 ) 训练器s ，对于每个输入向量x ，根据某个同样固定但未知的条件分布函 数f ( y l x l ，返回一个输出值y ( 3 ) 学习机器l m ，l m 能够实现一定的函数集 ，( 墨- ，) ，w e a ，其中a 是参 数集合。 ， 图2 1 1 机器学习一般模型示意图 ) ， 学习的问题实际就是对于产生器g 产生的某个输入向量x ，学习机器l m 从给 定的函数集合 厂( 工，w ) ，w a 中，选择一个能最好地逼近训练器响应y 的函数 f ( x ，w 0 1 。如果用形式化的语言，机器学习问题可以表示为“：已知变量工和y 存 在一定的未知依赖关系，即遵循某个未知的联合概率f ( x ，y ) ( x 和y 间的确定性关 系可以看成是其中的一个特例) ，机器学习就是根据，个独立同分布的观铡样本 ( 而，y 1 ) ，【恐，咒) ，乃) ( 2 1 ) 在一组预测函数集 ，( 工，w ) ( w 为预测函数，的广义参数) 中求一个最优的函数 8 硕士论文基于支持向量机的网络应用层故障诊断研究 f ( x ，w 0 ) 对依赖关系进行估计，使基于损失和概率分布的期望风险 詹( 川= p ( y ，厂( 而w ) ) c 扩( x ，y ) ( 2 2 ) 最小。r ( w ) 是风险泛函，工( 墨，( 善，w ) ) 是一个损失函数，用来度量采用预测函数 i ( x ，w ) 对y 进行预测而造成的损失。 上述对学 - jf - j 题的形式化的表述方式，实际包括了很多种学习类型。当损失函 数三定义为 上( j ，“五呦= o 矿c j ，y 圳：1 ( x , w ) ) y o 1 ) o ，) ，e l - i , 1 ( 2 3 ) 时，这样的学习问题是一个模式识别问题。 当损失函数三定义为 l ( y ，厂似w ) ) = ( ) ，一，似w ) ) 2y e r ”，( x ，) = j ：妒( yj x ) ( 2 4 ) 时，这样的学习问题是一个回归函数估计问题。 当损失函数三定义为 三( p ( x ，w ) ) = 一l o g p ( x , w ) ( 2 5 时，其中p ( x , w 1 为估计的密度函数，这样的学习问题是一个密度估计问题 2 1 2 经验风险最小化原则( e r m 原则) 在上面的问题描述中，学习的目标在于根据损失函数和概率分布，寻找使其期 望风险最小的预测函数。然而在实际问题中，已知的一般只是有关训练样本自q 信息， 并不知道联合概率分布f ( x ，) ，) 的具体形式，而期望风险是依赖于，( 善，y ) 的，因此 无法直接采取考察期望风险大小的方法来评价八力的预测能力。 传统的学习方法根据概率论中大数定律的思想，通过评价训练集上的经验风险 大小的方法来评价厂( 工) 的预测能力，这就是所谓的经验风险最小化归纳原则 ( e m p i r i c a lr i s km i n i m i z a t i o np r i n c i p l e ，e r m 原则) ： 根据给定的训练集 r = ( 而，乃) ，( 而，乃) ( x y y ( 2 6 ) 其中五x c r “，只y = 一1 ，l ，i = 1 ，z ，适当选择由预测函数，o ) 构成的集 g f c f ( x ，w ) ，w 人。在f 中，选择使r e 叩( w ) 最小的八力r e m p ( w ) l t 旨f ( x ) 在r 上的经验风险 r e m p ( w ) = 三( 卫，厂( ，w ) ) ( 2 7 ) 9 硕士论文 基于支持向量机的网络戍用层故障诊断研究 对于模式识别问题，经验风险就是在训练样本上的错误率；对于回归估计问题， 经验风险就是平方训练误差；对于密度估计问题，e r m 原则就相当于最大似然方 法。 2 1 3e r m 原则下的一致性概念 本小节引入e r m 原则下一致性的概念，来说明经验风险最小化归纳原则的适 范围。在经验风险最小化归纳原则下的一致性可以这样理解： 设 “，期) ，( 而，乃) 是按照联合概率分布f j ，) 得到的独立同分布的样本点 集合，l f y ，m ) ) ( = l ，2 ，) 是预测函数集，中使经验风险 r e 唧( w ) = 工( 只，( 而，d ) ( 2 8 ) 最小化的损失函数，若对任意的s 0 ，有 融p ( r ( 啦) 一撼r ( ，) ) 占 = o ( 2 - 9 ) 融p ( r c 叩( w ) 一礤冗( w ) ) 占 = o ( 2 1 0 ) 此时称经验风险最小化归纳原则对于预测函数集，和联合概率分布，( x ，y ) 是一致 的。 一致性概念的示意图如下，它说明了在一致的情况下矗( ) 和r e m p ( w ，) 都依 概率收敛于蝶r ( w ) i n f r ( w 、 ，一， r e m p ( w ，) z 图2 1 2 经验风险最小化归纳原则下一致性概念 由上述定义可知，经验风险最小化归纳原则提供了一个预测函数的序列 工o ，f ( x ，) ) ，7 = 1 ，2 ，对这个序列来说。若期望风险和经验风险都收敛于最小可 能的风险值，则这时e r m 原则是一致的。如果对于一个机器学习过程，它的经验 风险最小化归纳原则是一致的，而此时的经验风险又比较小，则可以用经验风险 1 0 硕士论文基于支持向量机的网络应用层故障诊断研究 r e 厅妒( w ) 来近似代替期望风险矗( 叼。传统的机器学习方法，如神经网络等，就是 基于经验风险最小化原则的具体实现。 2 1 4 学习过程中的复杂性与推广性矛盾 评价学习机器好坏的一个因素是推广能力，它是描述一个学习方法“推广”优 劣的一种度量，即经训练后的预测函数对未在训练集中出现的样本做出正确反应的 能力 由上节可见，e r m 原则实际上就是在分布函数未知的条件下，利用训练集上 的经验风险泛函r c 口妒( w ) 去逼近期望风险泛函r ( w ) 。虽然这种思想在长期的机器 学习研究领域占据着主要的地位，但实际上并不能在理论上保证学习机器l m 在样 本无限大的假设条件下得到的预测函数f ( x , w o ) ，在样本有限的情况下仍然具有好 的推广能力。 一个典型的例子是神经网络中的过学习问题。人们在实验中发现，小的训练误 差并不一定必然导致良好的预测效果，甚至出现在某些情况下( 特别是在有限样本 的情况下) ，训练误差过小反而导致推广能力的下降。 之所以出现这种情况，主要由两个方面的原因“”：一是因为样本不充分； 二 是学习机器设计不合理，这两个问题是互相关联的。设想一个简单的例子，假设有 一组实数样本 五y ，y 取值在0 和l 之间那么不论样本是依据什么模型产生的， 只要用函数厂( 五口) = s i n 缸x ) 去拟合它们( 口是待定参数) 。总能够找到一个口使训 练误差为零，但显然得到的“最优”函数并不能正确代表真实的函数模型。究其原 因，是试图用一个十分复杂的模型去拟合有限的样本，导致丧失了推广能力在神 经网络中，若对有限的样本来说网络学习能力过强，足以记住每个样本，此时经验 风险很快就可以收敛到很小甚至零，但却根本无法保证它对未来样本能给出好的预 测。 由于在样本有限的情况下，经验风险最小并不能保证期望风险最小，因此需要 在算法的复杂性和推广性之间找到一个折衷，统计学习理论引入了v c 维的概念和 结构风险最小化原则，能很好的解答这一问题。 2 2 统计学习理论 统计学习理论( s t a t i s t i c a ll e a r n j n gt h e 0 吼s t l ) 是研究有限样本情况下统计估 计和预测的理论，主要内容包括四个方面“3 ： ( 1 ) 经验风险最小化准则下统计学习一致性的条件； ( 2 ) 在这些条件下关于统计学习方法推广性的界的结论； 硕士论文基于支持向量机的舟络应用层故障诊断研究 ( 3 ) 在这些界的基础上建立的小样本归纳推理准则： ( 4 ) 实现新的准则的实际方法( 算法) 。 其中，最有指导性的理论是推广性的界理论，与此相关的一个核心概念是v c 维理论。 2 2 1v c 维 统计学习理论中的一个核心概念就是由v a p n i k 和c h e r v o n e n l d s 提出的v c 维概 念，它是描述学习机器的复杂性和学习能力的重要指标，统计学习理论的几个重要 组成部分，比如学习过程中一致性的理论，收敛速度的非渐进理论，推广性的界的 理论，都是在这个概念的基础上发展起来的。 v c 维的概念是建立在点集被打散的基础上的，所谓打散“，即对于一个指示 函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2 种形式分开，则 称函数集能把h 个样本打散。图2 2 1 是一个二维空间的函数集被3 个样本点打散的 情况。 囚圈目囫 囚圈目团 图2 2 1 二维空间的函数集被3 个样本点打散 从直观上看，v c 维就是一个预测函数集f 能打散的样本点的最大个数。如果 存在 个点组成的集合能被f 打散，且任意h + 1 个点的集合不能被打散，则f 的 v c 维就是h ，如果任意个数的点组成的集合都能被，打散，则f 的v c 维是0 0 。 对于一个以维实数空间中的预测函数集，它的v c 维是n + l 。 v c 维描述了函数集的丰富程度和表达能力，的v c 维越大，说明函数集或学 习机器越复杂。 2 2 2 学习理论的关键定理 v a p n i k 和c h e r v o n e n k i s 于1 9 8 9 年提出了学习理论的关键定理，它给出了经验风 险最小化归纳原则具有一致性的条件： 顸士论文 基于支持向量机的网络应用层故障诊断研究 设 “，咒) ，“，j ) 是按照联合概率分布，( x ，) ，) z i o 的独立同分布的样本点 集合，预测函数集，= ( x ，w ) ) ，w e a ，若对任意的占 o ，均有 般p k ( r ( d r e m p ( w ) ) 占 = 。 ( 2 1 1 ) 则经验风险最小化归纳原则对预测函数集，和联合概率分布，( 五y ) 是一致的。 文献证明，如果预测函数集，的v c 维h 是有限值，则经验风险最小化归纳 原则对预测函数集，和联合概率分布f 似j ，) 是一致的。 2 2 3 推广性的界理论 从2 1 小节的分析可知，当预测函数集，的v c 维有限时，e r m 原则是一致的。 然而这个性质只有当样本数，趋于无穷大的时候才成立，而大多的实际运用均是基 于有限样本的情况，在这种情况下用经验风险来近似期望风险就没有理论上的保证 了。为此统计理论提出了推广性的界的理论，从而找到了一个能更好的表达实际风 险和经验风险关系的公式。 对于一个二分类问题，结论是：对预测函数集中的所有函数( 包括使经验风险最 小的函数) ，经验风险r e m p ( w ) 和实际风险r ( w ) 之间以至少以l 一刁的概率满足如下 关系： r ( w ) g r e m p ( w ) + ( 2 1 2 ) 其中h 是函数集的v c 维，栉是样本数 对这个公式进行定性的分析，一般把式( 2 1 2 ) 右端第二项称作置信区间w ( h n 1 ， 其中v ( h ) - - ，而将式( 2 1 2 ) 右端两项之和称为结构 风险，可以看出结构风险是期望风险r ( w ) 的上界，而这个上界是经验风险和置信区 间之和即 胄( 叫 r e m p ( w ) + v ( h n ) ( 2 1 3 ) 从上面可以看出，w ( h n 1 是一个关于v c 维h 的增函数，因此在有限样本的情 况下，如果学习机器过于复杂，甲( h n ) 就会很大，从而导致经验风险和期望风险的 差很大，此时就不能用经验风险近似表达期望风险了。这就是为什么传统学习机器会 出现过学习的原因。 另外还可以看出，经验风险r e m p ( w ) 与预测函数，的选择有关，当预测函数集f 比较大时，如果选择了比较适当的f ，r e 彬p ( w ) 就会比较小；此时f 的v c 维 会 1 3 硕士论文 基于支持向量机的网络应用层故障诊断研究 比较大，由于置信区间与h 是成正比的关系，因而置信区间会比较大。反之，当预测 函数集，比较小时，的v c 维 比较小，置信区间会比较小，而此时的r - c j ，妒( w ) 会 比较大。也就是说，构成结构风险的经验风险和置信区间这两项之间有种互相矛盾的 倾向，因此需要在这两者之间找到一个较好的折衷，为此引入结构风险最小化原则。 2 2 4 结构最小风险化原则( s r m 原则) 统计学习理论提出了一种新的策略来实现推广性的界的理论，即把函数集构造 为一个函数子集序列，使各个子集按照v c 维的大小进行排列，这样在同一个子集中 置信区间就相同；在每一个子集中寻找最小经验风险，通常它随着子集复杂度的增加 而减小。在子集中选择经验风险五( ，) 和置信区间w ( h n ) 之和最小的子集，作为期 望风险最小的函数模型。这种思想称作结构风险最小化归纳原则( s t r u e t m a l 础s k n f i n i m i z a ：f i o np r i n c i p l e ) ，简称s r m 原则。 风险 实现s r m 原则可以有两个思路n 1 ： ( 1 ) 在每个子集中求最小经验风险，然后，选择使最小经验风险和置信区间之 和最小的子集。显然，对于子集数目不大的情况，这种方法尚能应付，当子集数日趋 于无穷时，这种方法是不可行的。 ( 2 ) 设计函数集的某种结构使每个子集中都能取得最小的经验风险( 如经验风 险为零