基于支持向量机的故障诊断

基于支持向量机的故障诊断摘要在化工生产过程中，为了准确检测故障，减少机械的损失和人员的伤亡，提出了支持向量机算法。支持向量机是基于统计学理论的方法，具有较强的逼近能力和泛化能力。但是在最近几年中，一种基于主元分析的过程监控方法已在工业过程中得到应用，主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生。本文主要就这两种方法展开运用。在实际生产过程中，一方面，主元分析方法故障诊断能力有限；另一方面，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。本文首先运用传统支持向量机算法对历史数据进行分类，分类结果说明该方法对于简单的数据比较容易区分，但是在数据复杂，可辨性较低的情况下，效果不明显。然后运用改良了的传统支持向量机算法对历史数据进行分类，即运用主元分析方法提取各数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，从而提高故障诊断能力。本文对传统支持向量机算法和改良支持向量机算法进行了仿真比较，仿真结果表达了改良支持向量机算法的优越性；改良支持向量机算法提高了传统支持向量机算法分类的正确率。该种方法在实际工程中能够提高系统的诊断性能，减少不必要的损失。关键词：支持向量机；故障诊断；主元分析方法；田纳西-伊斯曼过程；FaultDiagnosisBasedonSupportVectorMachineAbstractInordertodetectfaultsaccurately,reducemechanicallossesandcasualtiesinthechemicalproductionprocess,thealgorithmofsupportvectormachineswasproposed.Basedonthestatisticstheories,supportvectormachineisamethodofapproximationabilityandgeneralizationability.Recently,anewmethodofprocessmonitoringbasedonprincipalcomponentanalysisisappliedinindustrialproductionprocess.Thestatisticalmodelbuiltbyprincipalcomponentanalysismethodusinghistoricdatacoulddetectunusualchangesandfaultshappeningintheprocessaccurately.Thisresearchisontheapplicationofthesetwomethods.Intheactualproductionprocess,principalcomponentanalysishascertainlimitationsindiagnosingfault.Besides,thevastvolumeofhistoricaldatawascollectedinbothnormalandunusualconditions.Itisofgreatimportancetomakefulluseofthedatatoimprovethecapacityoffaultdiagnosis.Firstly,thispaperclassifiedthehistoricaldatabyapplyingthetraditionalsupportvectormachinealgorithm.Theresultsshowedthattraditionalmethodworkswellonsimpledatasets.However,itshowedinsignificanteffectsunderacomplexandlow-differentiabilitycondition.Insuccession,anadvancedapproachwasusedtoimprovethetraditionalmethod,whichwasapproachedtoenhancetheabilityoffaultdiagnosisbyusingprincipalcomponentanalysistoextractthemainfeaturesofthedata,thenwiththeuseofsupportvectormachinewhichhastheadvantagesofonlinediagnosticonprocessdatatoclassify.Inthispaper,thetraditionalsupportvectormachinealgorithmandadvancedsupportvectormachinealgorithmwerecomparedinsimulationprocess,theresultsindicatesthesuperiorityoftheadvancedmethodwhichimprovedthecorrectnessofthetraditionaloneonclassification.Itcouldalsoimprovethediagnosticperformanceintheactualprocessandreduceunnecessarylossesconsequently.Keywords:SupportVectorMachine;FaultDiagnosis;PrincipalComponentAnalysis;TennesseeEastmanProcess目录论文总页数：49页1引言 11.1课题背景 11.2故障诊断技术及其开展 11.3国内外研究现状 21.4本课题研究的意义 41.5本文主要内容 42机器学习理论与方法 52.1机器学习简述 5机器学习的主要学习问题 5机器学习的经验风险最小化原那么与推广能力 62.2统计学习理论 7统计学习理论开展历史 7统计学习理论的核心内容 82.3支持向量机(SVM)理论 10支持向量机简述 10支持向量机算法 102.4主元分析方法(PCA)理论 13主元分析方法简述 13主元分析方法降维 143机器学习的故障诊断方法 153.1专家系统 153.2人工神经网络 153.3基于支持向量机的故障诊断方法 16支持向量机的求解 16核函数 17支持向量机故障诊断方法 184基于PCA支持向量机的故障诊断方法 224.1基于PCA支持向量机的故障诊断 224.2数据预处理 234.3求特征值与特征向量 244.4选取主成分 244.5新建故障特征向量 244.6基于支持向量机的分类 245仿真研究 255.1田纳西-伊斯曼过程(TennesseeEastmanProcess) 25田纳西-伊斯曼过程简述 25过程工艺流程图 26过程变量 27过程故障 285.2本文所用数据故障分析 29TE数据提取 29故障1的个案研究 30故障5的个案研究 32故障11的个案研究 325.3基于支持向量机故障诊断 33数据预处理 33支持向量机(SVM)对故障诊断 34仿真结果 345.4基于PCA支持向量机故障诊断 35TE数据提取 35数据预处理 35主元分析方法(PCA)特征提取 36支持向量机(SVM)的分类 36仿真结果 365.5实验结果比照分析 38实验结果比照 38实验结果分析 38结论 1参考文献 2致谢 4声明 51引言1.1课题背景随着现代化工业大生产的不断开展和科学技术的进步，为了最大限度提高生产效率和产品质量，作为主要生产工具的机械设备不断朝着大型化、复杂化、高速化、连续化和自动化的方向开展。设备的生产效率越来越高，机械结构也日趋复杂，设备中不同局部之间的相互联系也更加紧密。一旦出现故障，可能引起整个流程的中断，造成巨大的经济损失，还可能导致灾难性的人员伤亡和严重的社会影响，使得人们对设备运行的可靠性、平安性提出了越来越高的要求。[1]于是，如何确保机械设备的平安可靠运行，就成为现代设备运行维护和管理的一大课题。故障诊断技术经过近几十年的研究，取得了长足的开展。毋庸置疑，基于知识的智能诊断方法是一种很有前途的方法，受到了普遍的重视，它的智能化技术和丰富的领域专家知识给用户提供了一个简单易用而又可靠的系统。学习室一切只能系统最根本的特征，机器学习是人工智能最具知识特征和最前沿的研究领域之一。[2]当前，虽然基于主元分析的过程监控方法已在工业过程中得到应用。一方面，主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生，然而其故障诊断能力有限。另一方面，在实际生产过程中，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。本课题将对历史数据进行分类，利用主元分析方法提取各数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，从而提高故障诊断能力。1.2故障诊断技术及其开展故障诊断学是20世纪60年代开展起来的一门新学科。随着现代科学技术水平的日益提高，尤其是计算机科学和控制科学的飞速开展，现代设备的结构日益复杂，功能越来越完善，规模也越来越庞大，人们对于设备的平安性、可靠性和有效性的要求也越来越高，因此机械设备的故障诊断技术愈来愈受到人们的重视。故障诊断技术是由于军事和航天的需要而开展起来的，而后又渗透到社会生产的各个领域[3]。上个世纪80年代，世界范围内发生的一系列重大事故对于设备诊断技术的开展提出了迫切的要求。例如我国1986年山西大同电厂和1988年山西秦岭电厂先后发生200MW汽轮发电机组由于运行失稳导致机组烈振、轴系断裂的严重断轴毁机事件，造成了巨大的经济损失。在这种情况下，系统的平安性就显得极其重要。提高系统可靠性和平安性的方法有多种，其中一个最重要的方法就是采用故障诊断技术。正是在这种市场迫切需求的鼓励下，促进了故障诊断技术的迅猛开展[3.4]。在故障诊断理论及应用方面，美、日以及一些西欧国家走在了世界的前列，统领着故障诊断的走向。在这方面开发最早的是美国，比较成功地应用在航天、航空、军事及机械等工业中;日本在钢铁、化工、铁路等民用工业部门的诊断技术方面开展也很快，并具有很高的技术水平;丹麦在振动监测诊断和声发射监测仪表方面有较高的水平。在我国，故障诊断技术的研究和应用起步较晚，1986年我国召开了第一次机械设备诊断技术国际会议。在工艺控制的诊断和控制中，国内已广泛地开展机械加工工艺质量的监视、诊断和控制，以及控制系统、电网输配等能源系统的故障诊断等。石油装备的故障诊断与状态监测方面的应用研究开展得比较晚，但也取得了一些有价值的研究成果，并在生产实际中收到了较好的经济效益，这方面的研究正在不断的深入[4-6]。故障诊断技术先后经历了三个阶段：第一阶段是依靠人的感官来获取故障特征信息的原始诊断阶段；第二阶段是基于传感器与计算机技术的诊断阶段；第三阶段是智能诊断阶段。在这一阶段，新的理论和方法不断涌现，为解决复杂系统的故障诊断问题提供了新的方法和思路，诸如：小波分析、遗传算法、模糊理论、神经网络、容错控制、模式识别、人工智能等，故障诊断技术开展迅速。诊断模式从以建立模型和信息处理为主要手段转变为以知识应用、知识处理和知识推理为根底，并由此产生新的学科分支--基于知识的诊断推理。在上世纪70年代末，故障诊断专家系统开始出现并开展。80年代中期，推理技术，知识获取、自然语言理解都成了研究的主流，不确定性推理、非单调推理、定性推理、机器学习等技术开始应用于故障诊断领域。从故障诊断的开展情况来看，以知识推理为理论根底和手段的专家系统已成为故障诊断的一个研究焦点。[7-9]1.3国内外研究现状虽然SVM是一种较新的机器学习算法，但随着时间的推移，越来越多的应用研究被见诸报道。支持向量机针对小样本情况所表现出来的优良性能引起了众多故障诊断领域研究人员的注意。Poyhonen等对SVM在电机故障诊断方面进行了应用研究；Worden等运用SVM进行球轴承故障分类[10]。Samanta分别用轴承和齿轮故障诊断比较神经网络和SVM的性能,并采用遗传算法优化各自的参数[11]。Chu等运用SVM进行故障检测和运行模式识别[12]。Chiang等分别用Fisher判别式和SVM进行故障诊断,发现SVM的误分率较低[13]。Shin等使用SVM对机电设备早期故障进行检测[14]。Poyhonen等使用SVM对电机进行故障诊断,取得较好的效果[15]。Thukaram等比较了神经网络和SVM在识别故障方面的差异[11]。Crampton等人发现当数据含有噪声时,用SVM检测故障比其它同类方法更有效[11]。Jemwa、Ribeiro等人用SVM进行生产过程故障和品质检测[11]。Hu等人结合经验模态分解、模糊特征提取和SVM,获得较高的故障诊断精度和速度[11]。Hu等基于Dempster-Shafer理论提出一种SVM多类算法,针对不同的信息源进行训练,分类性和鲁棒性更好[11]。Ren用SVM对往复式压缩机阀进行故障诊断和检测,发现其适应性和可靠性很好[16]。Zhang等结合粗糙集和SVM,其推广性和识别率比常规SVM高出很多[11]。肖健华对应用于故障诊断的SVM进行了理论研究,针对样本不对称情况进行了算法改良,并在齿轮故障诊断中进行了应用研究[17];胡寿松将SVM用于非线性系统故障诊断[18];马笑潇对SVM在智能故障诊断中的应用进行了详细的探讨[19];祝海龙在其博士学位论文中对统计学习理论在不同工程领域的应用进行了研究[20],涉及信号消噪、机械故障诊断和人脸检测,其中故障诊断方面研究了汽车发动机振动故障的自动诊断;张周锁[21]等对基于支持向量机的机械故障诊断方法进行了研究;杨云[22]在电子装备系统故障智能诊断中使用了SVM算法;朱凌云[11]等从数据挖掘的角度,运用SVM分类算法,进行自动缺陷识别的方法研究。王国鹏等结合模糊理论和支持向量机用于汽轮机故障诊断[11]。毛继佩等用多类支持向量机对汽轮发电机组进行故障诊断[11]。翟永杰等也用多类支持向量机对汽轮发电机组进行故障诊断[11]。李凌均[23-25]等证明SVM在具有少样本的故障诊断场合具有很强的适应性，SVM方法在少样本情况下的分类效果由于BP神经网络分类方法。他们还提出了一种利用支持向量机对机械系统故障进行分类的新方法,适合于机械故障诊断中的多故障分类。胡桥等提出了一种基于经验模式分解模糊特征提取的支持向量机混合诊断模型,应用于汽轮发电机组的三种工作状态的识别,有效地改善了分类的准确性;他们还提出一种基于改良灰色系统-支持向量机-神经模糊系统的智能混合预测模型,这是一种针对机电设备状态趋势预测比较有前途的方法[26]。段江涛和张周锁等分别研究了支持向量机多值分类器,利用齿轮箱和汽轮发电机组的振动信号进行验证,到达满意的效果,可以满足在线诊断的要求[27]。张周锁等利用固定迭代步长来实现核函数一个参数的优化,实现了二分类故障分类器的参数优化,采用在高压缸轴瓦座上直接采集的振动信号作为数据样本,应用于汽轮发电机组的蒸汽鼓励和轴瓦松动故障的分类,提高了支持向量机故障分类器的分类能力[28]。彭文季等提出了一种利用小波包分析提取水电机组的振动故障特征和基于支持向量机的水电机组振动故障诊断方法[11]。王胜春分别将模糊域和粗糙集与支持向量机相结合,取得很好的故障分类效果[29]。贾嵘等提出基于最小二乘支持向量机回归的Hilbert-Huang变换，应用于水轮发电机组故障诊断中，结果说明，该方法有效抑制了端点效应，实现了故障的准确识别[30]。除了在故障诊断领域，在控制、建模、预测、综合评价、知识获取等领域，SVM也得到很多应用，说明其应用非常广泛，是一项很有开展前途的分类方法[11]。支持向量机的应用研究虽然已经取得了阶段性研究成果，但还有一些问题需要进一步深入研究：(1)如何选择适宜的核函数及核函数参数。支持向量机的性能依赖核函数以及核函数中的参数的选择，在这方面，目前尚没有完整的理论依据。(2)如何选择适宜的多类算法以适应多故障分类器的需要。支持向量机是针对两类问题而言的，对于多类问题，目前还处于算法研究阶段。(3)还需要进一步研究改良支持向量机的训练速度慢的算法，以适应设备故障诊断的实时性要求。(4)将其它基于知识的故障诊断方法，如模糊诊断方法，神经网络诊断方法等，与支持向量机融合到一起的集成故障诊断有待进一步研究。(5)支持向量机在故障诊断领域的应用还有待继续推广。相信支持向量机在故障诊断方面将有很好的应用前景[31]。1.4本课题研究的意义从20世纪80年代开始，随着人工智能技术的飞速开展，智能化已成为故障诊断技术的主要开展方向。一方面故障智能诊断具有传统诊断方法无可比较的优点；另一方面，复杂设备的故障诊断在很大程度上需要依赖专家的经验知识。智能诊断技术由从专家诊断开展到机器学习，而作为机器学习的一个开展阶段和代表算法，人工神经网络(ANN)在获取十几年里获得了长足的开展，和较多的研究和应用。但是对于现实中的故障诊断问题，其故障样本的数目通常是有限的。在有限的样本情况下，往往训练效果很好的神经网络又可能表现出很差的泛化能力(Generalization)，即出现过学习问题。而在统计学习理论根底上开展起来的一种新的通用学习方法—支持向量机(SupportVectorMachine或者SVM)，是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优解。这一点特别适合于故障诊断这种小样本情况的实际问题解决。与人工神经网络相比，支持向量机不仅结构简单，而且泛化能力明显提高。从推广能力的角度来看，支持向量机更适合于故障诊断这种实际工程问题的解决。除了机器学习泛化能力的问题，在实际生产过程中，存在着大量的历史数据，既有正常工况下的数据，又有故障数据，如何充分利用各种类别数据，提高故障诊断能力，具有十分重要的意义。1.5本文主要内容本文通过对支持向量机的理论学习，使用MATLAB软件构造算法。接着，采用TE(TennesseeEastman)模型数据作为测试对象。利用主元分析方法提取各类数据的主要特征，再利用支持向量机具有的分类优势对过程数据进行在线诊断，进行仿真训练和测试。结合测试好的结果，进行评价分析，并提出相应的改良建议及措施。论文的主要内容如下:第一章概述了课题的背景知识，并对故障诊断和支持向量机的研究现状进行了综述。提出了本课题的研究目的及意义。第二章回忆了一些机器学习的理论知识，包括了统计学习理论、支持向量机理论以及主元分析方法根本理论。总结了机器学习和统计理论的主要问题，为后面的学习奠定根底。第三章介绍了机器学习的故障诊断方法，主要分析了支持向量机算法。对其分类构造的问题进行了阐述。第四章考虑变量之间具有较强的相关性，从而影响支持向量机的建模质量，使其分类精度变差，所以对传统的支持向量机算法进行了改良，引入了主元分析方法的特征提取优势，结合支持向量机的分类特点，详细表达了改良方法的实现步骤和实现原理。第五章对前两章提出的方法，应用于故障诊断中。利用田纳西-伊斯曼过程数据作为仿真对象，对其进行了仿真。结果说明改良后的方法较传统的支持向量机算法有较大优越性。最后对本文的工作进行了总结，对需要继续做的工作进行了展望。2机器学习理论与方法2.1机器学习简述机器学习的主要学习问题机器学习的根本问题可以用图1.1来描述：图2-1机器学习的一般框架对训练样本进行学习的模型可以包括三个局部，分别为:数据发生器(G)，从固定但未知的概率分布函数中产生随机样本;训练器(S)，对于每一个输入矢量，根据条件概率分布函数来返回一个值y;学习机器(LM)，实现一定的函数集为，，其中是函数的广义参数集合。机器学习就是从给定的函数集，选择处能够最好地逼近训练器响应的函数，其目的可以形式化地表示为:根据l个独立同分布的观测样本，在一组函数中求一个最优函数式对训练器的响应进行估计，使期望风险最小: (2-1)其中是未知的，对于不同类型的机器学习问题有不同形式的损失函数。而机器学习涉及到的两个主要学习问题分别是模式识别和回归函数估计。对于模式识别问题，令监控器输出y只取两类情况，这时的预测函数称作判别函数。考虑下面的损失函数: (2-2)此时期望风险(2-1)就是分类误差的概率。因此，模式识别问题就成为：在概率分布未知而数据的条件下，寻找一个最小化分类误差的函数。对于回归函数估计问题，监控器输出y为实数值，令，，是实数集合，其中包含回归函数(2-3)如果，那么定义损失函数 (2-4)因此，回归函数估计问题就成为：在概率分布未知而数据的条件下，寻找一个最小化风险泛函(2-1)的问题。机器学习的经验风险最小化原那么与推广能力对于未知的概率分布最小化风险函数式(2-1)，而样本信息却有限可用，这导致(2-1)式定义的期望风险是无法直接计算和最小化。因此，传统的学习方法用经验风险泛函替换式(2-1)(2-5)即所谓的经验风险最小化(ERM)准那么。ERM原那么具有一般性，许多传统的方法，如最小二乘方法、最大似然法都符合ERM原那么。对分类问题的损失函数(2-2)式，经验风险就是训练样本错误率;对于回归估计问题的损失函数(2-4)式，经验风险最小化准那么就是最小二乘方法。从期望风险最小化到经验风险最小化是一个基于直观的做法，因此存在学习的一致性问题:(1)和都是的函数，当样本无穷大时将在概率意义上趋近于，不能保证的最小值尺能够趋近于的最小值；(2)即使上述条件在样本无穷大时得到保证，也无法认定在这些条件下，得到的经验风险最小化方法在样本数有限时仍能得到好的结果。最初，人们总是把注意力放在如何使最小化，但不久就发现训练误差小并不能导致学习具有好的预测效果，过小的训练误差反而导致推广能力下降，这就是训练神经网络经常碰到的过学习问题。研究过学习现象，发现这里既有学习样本不充分的因素，也有学习机器不合理的因素。主要是试图用一个十分复杂的模型去拟合有限的样本，从而导致了推广能力的丧失，因此经验风险最小化原那么会导致过学习现象。人们将机器学习对未来输出进行正确预测的能力称为推广性(边肇棋等，2000)，因此机器学习需要同时最小化经验风险和推广性。传统方法的选择学习模型及算法也是一个调整推广性的过程，由于缺乏理论指导，选择比较适合的模型只能依赖先验知识和经验，造成传统方法对使用者‘技巧’的过分依赖，这就是有限样本下学习机器的复杂性与推广性之间的矛盾[32]。2.2统计学习理论虽然机器学习在各个方面问题较复杂，但是对统计学习领域的方法的借鉴，可以构造出新的方法，并解决一系列的问题。这里首先介绍统计学习的理论知识。统计学习理论开展历史受神经生理学领域感知器思想的启发，F.Rosenblatt(1956)将其作为一个学习机器模型，并以计算机程序的形式验证了该模型的推广性，标志着学习过程的研究进入数学方法的时代。为了从范围较宽的集合中估计概率密度，必须采用某种新的推理方法，Tikhonov(1963)提出关于解决不适定问题的正那么化技术。随后Chaitin(1966)提出算法复杂度的理论，开创了推理问题的信息论方法。针对指示函数集，1968年确Vapnik和Chervonenkis提出统计学习的核心概念—VC嫡和VC维，引申这些概念Vapnik提出了泛函空间的大数定理，将大数定理与学习过程的联系在一起，得到了关于收敛速度的非渐进界的主要结论。1974年，Vapnik与Chervonenkis提出结构风险最小化归纳原那么，从而完成了模式识别的学习理论。总结非参数问题方面的研究理论，Vapnik与Stefanyuk(1978)又将算法建立在解决不适定问题的标准做法上，提出了解决此类问题的一般途径，从而奠定了非参数统计学的根底，Vapnik等人的研究初步解决了机器学习的两个难题:学习过程收敛速度的界和控制学习过程的推广能力。上述研究都处于统计学习的理论探索阶段，一直没有得到充分的重视。直到90年代中期Vapnik提出支持向量机后，统计学习理论才开始受到重视，有限样本下的学习机器理论研究逐渐成熟起来，形成了较完善的统计学理论(StatisticalLearningTheory，SLT)。与传统统计学相比，统计学理论的推理规那么不仅考虑了收敛的渐进性要求，而且追求在有限样本下得到最优结果。统计学习理论的核心内容统计学习理论为提高学习的推广能力，在VC维(VapnikCherovnenkis)的理论根底上，提出结构风险最小化标准，因此与此相关的一个核心概念是VC维。(1)VC维为了研究学习过程的一致性收敛速度和推广性，统计学习理论提出衡量函数集的VC维指标。在模式识别方法中，VC维的直观定义是:对于一个指示函数集，如果存在h个样本能够被函数集里的函数按照所有可能的种形式分开，那么称函数集能够把h个样本打散;函数集的VC维就是能够打散的最大样本数目h。如果对任意的样本数，总有函数能打散它们，那么函数集的VC维就是无穷大。有界实值函数的VC维可以通过使用闭值将函数转化成指示函数来定义。VC维是统计学习理论的核心概念，它反映了函数集的学习能力，是函数集学习性能的最好描述指标。一般而言，VC维越大，学习机器的学习能力就越复。但遗憾的是，目前还没有关于计算任意函数集的VC维的通用方法，只有对一些特殊函数集的VC维可以准确知道，例如n维实数空间中线性分类器和线性实函数的VC维是n十1，而对于一些比较复杂的学习机器(如神经网络)，其VC维除了与函数集的选择有关外，通常也受学习算法等的影响。因此要确定其VC维将更加困难。对于给定的学习函数集，如何用理论或实验的方法计算其VC维是当前统计学习理论研究中有待解决的一个问题。(2)推广性的界推广能力是指学习机不仅对训练样本有良好的分类能力，而且对于新的识别数据分类其正确率也很高，即学习机的实际风险和经验风险都小。因此，对于各种类型的函数集，统计学习理论系统地研究了经验风险和实际风险之间的关系，也即推广性的界(张学工，2000)。它是分析学习机器的性能和开展新的学习算法的重要根底。根据统计学习理论中关于函数集推广性界的结论，对于分类器，实际风险和经验风险之间以至少以概率满足如下关系式:(2-6)其中h为VC维，l为样本数。从结论可以看出学习机器的实际风险由两局部组成:训练样本的经验风险和置信范围，它不仅同置信水平有关，而且与学习机器的VC维和训练样本数有关。可以把(2-6)简写为: (2-7)从(2-7)式可以看出，在训练样本有限的情况下，学习机器的VC维越高，那么置信范围就越大，导致实际风险与经验风险之间的差就越大。因此在设计学习机器时，不但要使学习机器的经验风险最小，还要使VC维尽量小，以缩小置信范围，从而到达使期望风险最小的目的，也即对未来样本有较好的推广性。(3)结构风险最小化传统机器学习方法普遍采用经验风险最小化原那么，选择机器学习模型和算法的过程就是优化置信范围的过程，如果选择了适合现有样本的学习模型，就可以取得比较好的效果。然而当样本数目有限时，易出现过学习和欠学习问题：学习过程中学习机对样本的经验风险很小，而实际应用时学习机对新样本的分类能力很差，称之为过学习；当经验风险和置信范围都很大时，称之为欠学习。因此由于缺乏理论上的知道，传统机器学习方法只能依靠先验信息和经验来选择模型和算法，造成了神经网络等学习方法对使用者“技巧〞的过分依赖。v图2-2SRM准那么示意图通过结构风险最小化来选取比较好的VC维，统计学习理论提出了一种新的策略。如图2.2所示，把函数集分解为一个函数子集序列(或叫子集结构) (2-8)在这个嵌套的假设空间中，满足下面的性质： (2-9)在每个S子集中寻找最小经验风险，并折衷考虑各子集间的经验风险和置信范围，从而使实际风险最小，这种思想称作有序风险最小化或结构风险最小化，简称SRM原那么，结构风险最小化原那么为我们提供了一种不同于经验风险最小化的更科学的机器学习设计原那么。在式(2-7)的两个求和项之间进行折衷，一般有两种思路:l)在每个子集中求经验风险最小化，然后选择使经验风险最小与置信范围之和最小的子集，当子集数目很大，这种方法不可行;2)设计函数集的某种结构使每个子集中都能取得最小的经验风险，然后选择置信范围最小的子集，那么这个子集中使经验风险最小的函数就是最优函数，支持向量机就是采用这种方法。2.3支持向量机(SVM)理论支持向量机简述支持向量机SVM(SupportVectorMachines)是由Vanpik领导的AT&TBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术,SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善,在解决模式识别问题中往往趋于保守,且数学上比较艰涩,因此这些研究一直没有得到充的重视。直到90年代,一个较完善的理论体系—统计学习理论(StatisticalLearningTheory,简称SLT)的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难,比方如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等,使得SVM迅速开展和完善,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其它机器学习问题中,从此迅速的开展起来。SVM的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。支持向量机算法支持向量机方法是从线性可分情况下的最优分类面[35]提出的。考虑图2-3所的二维两类线性可分情况，图中实心点和空心点分别表示两类的训练样本，图2-3最优分类面H为把两类没有错误地分开的分类线，H1，H2分别为过各类样本中离分类线最近的点且平行于分类线的直线，H1和H2之间的距离叫做两类的分类空隙或分类间隔。所谓最优分类线就是要求分类线不但能将两类无错误地分开，而且要使两类的分类空隙最大。前者是保证经验风险最小(为0)，而通过后面的讨论可以看到，使分类空隙最大实际上就是使推广性的界中的置信范围最小，从而使真实风险最小。推广到高维空间，最优分类线就成为最优分类面。考虑由训练集 (2-10)其中，，给出的线性可分问题，称超平面 (2-11)的表达式为关于训练集的标准形式，或称超平面 (2-12)为关于训练集的标准超平面，如果， (2-13)， (2-14)设由训练集给出的分类问题是线性可分的，那么任意正确分划训练集的超平面存在着关于训练集的唯一的标准形式，或者说，它可以用标准超平面表示，且表示它的标准超平面是唯一的。设线性可分样本集为 (2-15)其中，，是类别标号。空间中线性判别函数的一般形式为 (2-16)分类面方程为 (2-17)用如下形式描述与样本间隔为的分类超平面：， (2-18)(2-19)对于式(2-10),Vapnik给出了一个关于间隔分类超平面VC维上界的定理：如果向量x属于一个半径为R的球中，那么间隔分类超平面集合的VC维h有下面的界：(2-20)这样，支持向量机首先保证了一个小的经验风险(在训练样本可分时就是0)，并通过选择间隔最大的超平面的方式控制了函数集的VC维，这正是结构最小化原那么所要求的。将SVM最优化问题中的分类超平面做以下归一化:令=1，而和可以按比例缩放。离超平面最近的点(支持向量)满足：，假设y=1 (2-21)，假设y=-1 (2-22)支持向量到超平面的距离为。我们将判别函数进行归一化，使两类所有样本都满足。即使离分类面最近的样本的，这样分类间隔就等于，因此使间隔最大等价于使最小；而要求分类线对所有样本正确分类，就是要求它满足， (2-23)因此，满足上述条件且使最小的分类面就是最优分类面。过两类样本中离分类面最近的点且平行于最优分类面的超平面H1,H2上的训练样本就是式(3-14)中使等号成立的那些样本，它们叫做支持向量。因为它们支撑了最优分类面，如图2-3中在直线H1、H2用圆圈标出的点所示。这是一个不等式约束下二次函数极值问题，存在唯一解。且根据约束问题解的必要条件(Karush-Kuhn-Tucker,KKT)条件，这个优化问题的解须满足， (2-24)因此，对多数样本将为零，取值不为零的，i对应于使式(3-14)等号成立的样本即支持向量，他们通常只是全体样本中的很少一局部。求解上述问题后得到的最优分类函数是 (2-25)由于非支持向量对应的均为0，因此，式中的求和实际上只对支持向量进行。最优分类面是在线性可分的前提下讨论的，在近似线性可分的情况下，就是某些训练样本不能满足式(2-14)的条件，因此可以在条件中增加一个松弛项，变成： (2-26)的约束下求以下函数的极小值： (2-27)其中C为某个指定的常数，它实际上其控制对错分样本惩罚的程度的作用实现在错分样本的比例与算法复杂度之间的折衷。2.4主元分析方法(PCA)理论支持向量机方法运用较为广泛，同时，另一种基于主元分析的过程监控方法已在工业过程中得到广泛应用。主元分析方法通过正常工况下的历史数据建立的统计模型能很好地检测过程的异常变化和故障的发生。主元分析方法简述主元分析方法(PCA,PrincipalComponentAnalysis)是一种利用统计原理建立描述系统的低维模型的方法，经过几年的研究和开展，成功地应用于过程的分析和监测[38]。作为监控工业过程的一种降维工具，PCA的应用在学术界和工业界都进行了研究。上个世纪DuPont和其它公司就已经开展了PCA对工厂数据的应用，其大局部成果也已在会议论文集和期刊杂志中发表。PCA是一种线性降维技术，是按获取数据的变化度为最优的。它确定了一系列相互正交的向量，称为负荷向量(loadingvectors)，按照在负荷向量方向的方差大小来排序。给定一训练集，它有n个观测值(observations)，m个过程变量(variables)，那么负荷向量可通过奇异值分解(SingularValueDecomposition，SVD)来计算： (2-28)其中和都是酉矩阵(UnitaryMatrices),矩阵包含其沿主对角线递减的()。负荷向量是矩阵中的正交的列向量，训练集沿矩阵第列的投影的方差等于[39]。求解式(2-28)等价于求解样本协方差矩阵的特征值分解：(2-29)这里对角矩阵包含幅值递减的非负实特征值()，并且第个特征值等于第个奇异值的平方(即)。为了最优地获取数据的变化值，同时最小化随机噪声对PCA表示的影响，与个最大奇异值相对应的负荷向量被典型地保存。选择负荷矩阵的列，使其与前个奇异值相关联的负荷向量相对应，那么观测到低位空间的投影就包含在得分矩阵中： (2-30)并且，返回到维观测空间的投影为： (2-31)和的差就是残差矩阵: (2-32)这个残差矩阵获取了用与个最小奇异值相关联的负荷向量所张成的观测空间的变化量。由和张成的子空间分别称为得分空间和残差空间。包含在矩阵中的子空间具有小的性噪比，并且把这个空间从中去除就会产生一个更精确的过程表示，。主元分析方法降维通常认为，并且在某些假设下也可以从理论上正式，PCA空间中与较大奇异值相对应的局部描述了过程中所产生的大局部系统的或状态的变化，与较小奇异值对应的PCA空间的那局部那么描述了随机噪声。通过适当确定在PCA模型中保存的负荷向量的数目，系统变化就可以从随机变化中解耦，从而可以把两种类型的变化分类监控。有几种技术可以确定要降阶的值。例如百分比变化量测试、Scree检验、平行分析法以及PRESS统计。Ku、Storer和Georgakis推荐了平行分析法，因为在他们的经历中，这种方法在各方面表现得最好。进一步解释，平行分析法通过把方差轮廓线(VarianceProfile)与通过假设独立观测变量获得的轮廓线进行比较来确定维数。降阶有两个轮廓线的交叉点确定。这种方法确保在得分空间中获得显着的相关性，而且，由于它直观且容易自动实施，所以特别具有吸引力。3机器学习的故障诊断方法机器学习是研究如何使用计算机模拟或实现人类学习活动的人工智能研究领域。而故障诊断机器学习的目的是使状态检测与故障诊断知识库的只是规那么得以动态扩充。从数据资源中获取知识和发现知识。[44]3.1专家系统专家系统(expertsystem)是人工智能应用研究最活泼和最广泛的课题之一。自从1965年第一个专家系统DENDRAL在美国斯坦福大学问世以来，经过20年的研究开发，到80年代中期，各种专家系统已遍布各个专业领域，取得很大的成功。专家系统是一个智能计算机程序系统，其内部含有大量的某个领域专家水平的知识与经验，能够利用人类专家的知识和解决问题的方法来处理该领域问题。也就是说，专家系统是一个具有大量的专门知识与经验的程序系统，它应用人工智能技术和计算机技术，根据某领域一个或多个专家提供的知识和经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题，简而言之，专家系统是一种模拟人类专家解决领域问题的计算机程序系统。[43]但是应用专家系统又有着巨大的困难。一方面，对于那些独特的运行操作方案和那些新的设备，可能找不到相关的专家；另一方面，即使找到专家，他们也不一定理解或者可以解释自己是如何解决这些问题的。对于每个大型的系统来说，从头开发一个专家系统是耗时又耗力的事情。3.2人工神经网络人工神经网络是另一种机器学习的方法。它是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络〞或类神经网络。神经网络是一种运算模型[1]，由大量的节点(或称‘神经元’，或‘单元’)和之间相互联接构成。每个节点代表一种特定的输出函数，称为鼓励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重(weight)，这相当于人工神经网络的记忆。网络的输出那么依网络的连接方式，权重值和鼓励函数的不同而不通。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。它的构筑理念是受到生物(人或其它动物)神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法(LearningMethod)得以优化,所以人工神经网络也是数学统计学方法的一种实际应用,通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间,另一方面在人工智能学的人工感知领域,我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法,人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力),这种方法比起正式的逻辑学推理演算更具有优势。3.3基于支持向量机的故障诊断方法正如上文所述，训练神经网络经常碰到的问题就是过学习问题。而支持向量机可比解决高维度问题、非线性问题、小样本情况下的机器学习问题，防止神经网络结构选择和局部极小点问题，也可以提高返还性能。因此下文着重介绍支持向量机方法。支持向量机的求解假定训练 (3-1)其中，，可以被一个超平面 (3-2)没有错误的分开，那么与两类样本点距离最大的分类超平面会获得最正确的推广能力。最优超平面将由离它最近的少数样本点(称为支持向量)决定,而与其它样本无关。于是,这个最优化问题的数学提法为[35]： (3-3) s.t, (3-4)按照最优化理论中二次规划的解法,可把该问题转化为Wolfe对偶问题来求解。构造Lagrange函数: (3-5)式中：其中为Lagrange乘子。根据最优化原理有：(3-6) (3-7)求解式(4-15)和式(4-16)，得： (3-8)(3-9)将两式代回Lagrange函数中,消去和b,经运算得到原最优化问题的Wolfe对偶问题:(3-10) s.t (3-11)其解是原最优化问题的整体最优解。可采用优化算法解出;参数b可根据KKT条件求出： (3-12)于是最优超平面为： (3-13)需要注意的是只有支持向量所对应的Lagrange乘子才不是0.对于线性不可分的分类问题,可以将输入x通过非线性函数映射到高维特征空间H,在此空间再进行线性分类。如果用内积代替最优分类面中的点积，就相当于把原特征空间变换为新的特征空间，此时的优化问题成为： (3-13) s.t.(3-14)最终结果为,以核函数代替式(3-13)中的。即： (3-15)核函数现实世界的训练样本一般是线性不可分的。在线性不可分的情况下,SVM的思想是通过非线性变换将输入空间变换到一个高维特征空间，在这个新空间中求取最优线性分类面。为了防止在高维特征空间复杂的非线性运算,SVM采用了核函数方法,它把高维空间的内积运算转换为原始空间中的核函数的计算。采用了核函数后,不但防止了“维数灾难〞,并且没有必要知道非线性变换函数的形式,而且可以使得分类在维数甚至是无穷大的特征空间进行，因此核成为SVM方法的关键所在。目前常用的几种核函数主要有：线性核函数：多项式核函数：高斯径向基核函数：Sigmoid核函数：支持向量机故障诊断方法运用支持向量机的故障诊断方法实际上就是运用支持向量机方法来做分类处理。基于支持向量机的故障诊断流程如图3-1图3-1基于SVM的过程监控图标准支持向量机在分类问题上只考虑了二值分类的简单情况，而实际需要解决的一般是多类问题，因此将SVM应用于多类问题对挖掘SVM的应用潜力将具有非常重要的意义。目前，利用SVM处理多类分类问题的研究者们已提出一些卓有成效的方法，可以归纳为两大类：第一大类是直接的方法。该方法是以Weston在1998年提出的多类分类算法为代表,只使用一个SVM判别函数实现多分类输出。这个算法在二类SVM理论的根底上,直接在目标函数上进行改良,重新构造多类分类模型。通过对新模型的目标函数进行优化,“一次性〞地实现多类分类。这种算法的目标函数十分复杂,变量数目过多,计算复杂性也非常高,分类精度不理想。第二大类是组合的方法。这一大类方法是通过组合多个二值分类器来实现对多类分类器的构造。常见的构造方法是:一对一方法和一对多方法,以及在这二种方法根底上的改良算法:纠错编码支持向量机、层次支持向量机、有向无环图支持向量机和二叉树支持向量机等[36]。1)一对多方法[11]对于k类多类分类问题,一对多方法将第m类的训练样本作为一类,将除去m类之外的其余所有类别的训练样本作为另外一大类,构造一个二值分类器,并把这个分类器命名为序号为m的分类器,依此类推,一共需构造k个二值分类器。在对测试数据样本的识别时,采用“比较法〞。将测试样本x分别输入给k个两值分类器,可得k个输出结果,比较这k个输出结果,求出最大者,那么输出为最大的分类器的序号即为测试样本x所属的类别号。这种多分类算法的主要缺点是:1)在构造每个二值分类器时,所有k类的训练样本都要参加运算;在对测试样本进行测试时,所有k个二值分类器都对测试样本分类后,才能判定测试样本的类别,因此,当训练样本数和类别数较大时,训练和测试分类的速度较慢;2)当测试样本不属于k类中的任何一类,而属于其它类别时,会出现分类错误。因为按照“比较法〞,k个分类器中总有某一个的输出最大,这样就会将本来不属于这k类的测试样本误判为属于其中的一类。2)一对一方法[11]这种方法在k类中把每个类别样本和其它类别样本之间一对一地构建二值分类器,每个二值分类器只用相关的二类训练样本进行训练,这样一共可以构造出k(k-1)/2个二值分类器。在对测试样本进行识别时,采用“投票法〞。将测试样本x输入给由k类中的第m类样本和第n类样本构造的二值分类器。如果输出结果判定x属于第m类,那么给第m类加一票;如果输出结果判定x属于第n类,那么给第n类加一票。当所有k(k-1)/2个二值分类器对测试样本x分类后,k类中的哪一类得票最多,就判定测试样本x属于这一类。这种多分类算法的主要缺点是:1)二值分类器的数目k(k-1)/2随着类别数k的增加而增加,这样需要很大的运算量,导致在训练和测试分类时速度很慢。2)在测试分类中,当某两类所得的票数相同时,无法判定属于哪一类,可能造成分类错误。3)当测试样本不属于k类中的任何一类,而属于其它类别时,会出现分类错误。因为按照“投票法〞,k类中总有某一类得票最多,这样就会将本来不属于k类中的测试样本误分为其中的一类。3)有向无环图法[11]这种算法在训练阶段和一对一方法一样,但是在识别阶段将所有k(k-1)/2个二值分类器组成一种两向有向无环图的节点,k个类别是底层的“叶〞,如图5所示。当对一个测试样本进行分类时首先从顶层的二值分类器开始,根据顶部的二值分类器分类结果,确定采用下一层的左节点还是右节点的二值分类器继续分类,直到底层的某个“叶〞为止,该“叶〞就是测试样本所属的类别。虽然这种算法的训练阶段和一对一算法一样,但是在分类阶段只用了k-1个分类器,分类速度快于一对一算法。图3-1有向无环多类算法4)二叉树多类分类算法[11]这种算法把k类中的k-1类看作一大类,把余下的一类看作另外一大类,建立一个二值分类器。然后再在那k-1类中,取出(k-1)-1类来看作一大类,把那k-1类中余下的一类看作另外一大类,建立一个二值分类器。依此类推,直到对最后两类建立一个二值分类器,如图6所示。对于k类问题,一共需要建造k-1个二值分类器,比前面三种算法都少,重复训练样本量也少,训练和识别速度可以提高。图3-2二叉树多类分类算法5)纠错编码多类分类算法[11]纠错编码方法可以把多类问题转化为多个二类分类问题。对于k类分类问题,给每个类别赋予一个长度为L的二进制编码,形成一个k行L列的码本(如表1所示k=5,L=10的情况)。对于其中第i列(i=1,…,L)码字为“0〞的所有类别被看作一类,码字为“1〞的所有类别被看作另外一类,因此每列对应一个二类分类问题,k类分类问题就转化为L个二类分类问题。对于一个测试样本,L个分类器的分类结果构成一个码字s,k个编码中与s汉明距离最小的码字所代表的类别就是这个测试样本所属类别。有效的编码必须满足二个条件:(1)编码矩阵的行之间互不相关;(2)编码矩阵的列之间互不相关且不互补。这种算法的训练速度较一对多算法有明显的改良,有的文献把一对多算法作为纠错编码多类分类算法的一种特例。表3-1采用10bit编码,用于5类分类问题的码本类别码字SVM1SVM2SVM3SVM4SVM5SVM6SVM7SVM8SVM9SVM1010111111111210001111113111100001141011001100501010101016)基于层次结构的多类分类算法[11]这种方法首先将所有的类别分成二个子类,再将子类进一步分成二个次子类,如此循环下去,直到最后得到多个单独的类别为止,如图4-3所示。有的文献把这种算法和二叉树分类算法通称为“基于决策树或者分级聚类的多类支持向量机〞。这种方法具有理想的训练速度,同时分类时仅需要非常少量的分类器,在分类速度上具有明显的势。但是,如果一个属于第一个子类的样本,在开始时没有正确地被划分到第一个子类,那么接下来的次子类分类器无法识别这个样本,就没有时机再被分到第一个子类了。同样,原本不属于第一个子类的样本,如果被划分到第一个子类,以后也就无法再被划分到别的子类了。这样每一层上的误差会逐渐自上而下累积起来,影响这种方法的分类精度。图3-3基于层次结构的多类分类算法综合以上的几种方法优缺点，本文采用一对一算法。4基于PCA支持向量机的故障诊断方法虽然支持向量机方法有较强的泛化能力，但是样本数据的复杂性还是会导致直接用支持向量机方法故障诊断不理想。由此，本文引入主元分析方法。构成基于PCA的支持向量机故障诊断方法。4.1基于PCA支持向量机的故障诊断虽然基于主元分析方法的故障诊断技术在故障较多的时候作用甚小，但是值得肯定的是，其为统计学中分析数据的一种有效方法。正如前述，主元分析方法的目的是在数据空间中找到一组向量尽可能的描述数据的方差。通过一个特殊的向量矩阵，将数据从高维向量映射到一个低维空间，同时保存了数据的主要信息，从而使数据更易于处理。这里就利用主元分析方法的降维作用来对需要故障诊断的数据进行简化处理，以便支持向量机更好的分类。利用PCA支持向量机方法的步骤如下：图4-1基于PCA-SVM过程监控框架在实际的过程监控中，如图4-1，一般是先采集数据，然后对其进行消噪和校正。其目的是剔除一些明显的测量误差，同时使测量数据满足一些根本的关系式(如能量平衡、质量平衡)，确保每一传感器的测量数据都是有效的。这一步骤能检测出一些量值大且较明显的故障，同时也能增强后续步骤的故障检测能力。通过主元分析对每一时刻的测量数据进行提取特征，再利用支持向量机对故障进行识别分类。当SVM识别出故障源之后，由监督控制层产生相应的动作来做出对故障数据的改变，以使过程恢复到正常的工况。下面分别表达各个步骤。4.2数据预处理由于输入数据中有奇异样本的出现，即相对于其它输入样本特别大或特别小的样本矢量。奇异样本数据存在所引起的训练时间增加，并可能引起程序运行无法收敛，所以对于训练样本存在奇异样本数据的数据集在训练之前，应领先进行数据标准化处理。标准化处理就是将数据样本归一到单位方差和零均值，以保证训练速度加快，同时防止训练过程中的无法收敛现象。标准化处理可以通过以下算法得到： (4-1)其中，是需要被标准化的原始数据，是原始数据的平均值(mean)，是原始数据的标准差(standarddeviation)。和计算公式如下： (4-2) (4-3)值的量代表着原始分数和母体平均值之间的距离，是以标准差为单位计算。在原始分数低于平均值时那么为负数，反之那么为正数。[37]4.3求特征值与特征向量根据样本相关系数矩阵，求解样本协方差矩阵的特征值分解： (4-4)这里对角矩阵包含幅值递减的非负实特征值()，并且第个特征值等于第个奇异值的平方(即)。4.4选取主成分选取主成分是通过计算主成分的方差奉献率来求得的。选择前面k个最大特征值对应的主特征向量构成n维空间中的k维特征子空间，一般取得这k个主成分的累积奉献率到达85%以上，就说明对原数据保存了足够多的特征。4.5新建故障特征向量根据公式 (4-5)计算出所需要的故障特征主成分，组成新的数据集，从而消除了原始数据集属性之间的相关性，得到了更能反映本质的特征。因此，通过主元分析方法处理降低了数据集的维度，减少了运算量，同时也为后面的支持向量机分类提高效率做了铺垫工作。4.6基于支持向量机的分类按照第三章所述的故障诊断方法，对经过主元分析的新数据集进行故障分类处理，而首先就是要对支持向量机进行模型的选择。在SVM中，核函数类别选择、核函数参数选择、二次规划参数选择统称为模型选择。学习机器对未来输出进行正确预测的能力称作推广能力。对于SVM而言，要使其具有好的推广能力关键的问题就是选择恰当的SVM模型，也即选择恰当的参数。目前常用的估计方法是k-折交叉验证，它首先把所有l个样本随机地分成k个互不相交的子集，即k折,每个折的大小大致相等，共进行k次训练和测试，即对i=1,2,...,k进行k次迭代，第i次迭代的做法是，选择为测试集，其余的和集为训练集，算法根据训练集求出决策函数后，即可对测试集进行测试。记其中错分类的样本点数个数为，k次迭代完成后，便得到了，可以推想所有k次迭代中的错误分类数，和总样本点数l之比可以作为该算法错误率的一个估计，该值称为k-折交叉验证误差。k-折交叉验证法就是选择使k-折交叉验证误差最小的参数为模型的最终参数。但实践证明，这个方法有时候并不能获取最正确的SVM模型。一种比较可行的方法是:对每一种核用某种方法选出其对应的最正确核参数，然后比较哪种核最好。现在的论文中，绝大多数SVM分类器采用了高斯径向基(RBF)核函数。Vapnik等人在研究中发现，不同的核函数对SVM性能的影响不大，反而核函数的参数，如γ，和惩罚因子C，是影响SVM性能的关键因素，因此选择适宜的核函数，如参数γ，和惩罚因子C，对学习机器的性能至关重要。实际应用说明高斯径向基核具有良好的性能和很强的SVM学习能力，本文也将主要采用高斯径向基核。高斯径向基核函数确实定意味着要确定的参数主要有两类:C和γ。其中C控制着使间隔最大且错误率最小的折衷，用统计学理论的术语来说，就是在确定的特征空间中调节学习机的置信范围和经验风险的比例；而γ主要影响样本数据在高维特征空间中分布的复杂程度。因此怎样确定参数C，γ是决定分类器好坏的关键，而要想获得推广能力良好的SVM分类器，首先要选择适宜的γ将数据映射到适宜的特征空间，然后针对该确定的特征空间寻找适宜的C以使学习机的置信范围和经验风险具有最正确比例。目前关于如何确定SVM参数的文章相当少，其实SVM作为一种新兴的学习机器，确实存在一些有待完善的地方，其参数选取就是急待完善的问题之一。由于没有理论上的指导，传统的参数选取都是通过反复的试验，人工选取出令人满意的解[31]。接下来按照传统的支持向量机分类方法分类，如前章所述。5仿真研究在仿真研究局部，主要对上文所描述的支持向量机方法和PCA支持向量机算法通过田纳西-伊斯曼过程仿真。5.1田纳西-伊斯曼过程(TennesseeEastmanProcess)田纳西-伊斯曼过程简述本论文的过程监控方法是根据在田纳西-伊斯曼过程(TennesseeEastmanProcess,TEP)的过程仿真中采集的数据进行测试的。TEP作为比较各种方法的数据源，已在过程监控领域得到了广泛的应用。TEP是由伊斯曼化学品公司的Downs和Vogel根据该公司一个实际的化工联合反响过程开发的，其目的是为评价过程控制和监控方法提供一个现实的工业过程。测试过程是基于一个真实工业过程的仿真，其中的成分、动力学、运行条件等因为专利权的问题都作了修改。过程包括五个主要单元：反响器、冷凝器、压缩机、别离器和汽提塔；而且，它包括八种成分：A、B、C、D、E、F、G和H。过程工艺流程图图5-1TEP过程工艺流程图图5-1是该工业设备的工艺流程图。气体成分A、C、D和E以及惰性组分B被喂入反响器，液态产物G和H在反响器中形成。反响器的各种反响是：(5-1)物质F是反响的副产品。反响是不可逆、放热的，并且对反响物浓度来说，近似为一阶的。反响速度是温度的Arrhenius函数，其中生成G的反响比生成H的反响有更高的活化能，导致对温度具有更高的灵敏度。反响器的产品流通过冷凝器冷却，然后送入到汽/液别离器。从别离器出来的蒸汽通过压缩机再循环送入反响器。为了防止过程中惰性组分和反响副产品的积聚，必须排放一局部再循环流。来自别离器的冷凝成分(流10)被泵送到汽提塔。流4用于汽提流10中的剩余反响物，这些剩余反响物通过流5与在循环流结合。从汽提塔底部出来的产品G和H被送到下游过程。过程变量该过程包括41个测量变量和12个控制变量。控制变量在表5-1中列出。表5-2中列出了22个测量变量，从XMEAS(1)-XMEAS(22)，它们每3min被采样一次。表5-3中描述了19个成分测量值，从XMEAS(23)-XMEAS(41)。成分测量值是从流6、9和11中测出来的。流6和9的采样间隔和时间延迟都是6min；而流11为15min。所有的过程测量值都包含高斯噪声。表5-1控制变量变量描述变量描述XMV(1)D进料量(流2)XMV(7)别离器罐液流量(流10)XMV(2)E进料量(流3)XMV(8)汽提器液体产品流量(流11)XMV(3)A进料量(流1)XMV(9)汽提器水流阀XMV(4)总进料量(流4)XMV(10)反响器冷却水流量XMV(5)压缩机再循环阀XMV(11)冷凝器冷却水流量XMV(6)排放阀(流9)XMV(12)搅拌速度表5-2过程测量(3min采样间隔)变量描述单位XEMAS(1)XMEAS(2)A进料(流1)D进料(流2)km3/hkg/hXMEAS(3)E进料(流3)kg/hXMEAS(4)总进料(流4)km3/hXMEAS(5)再循环流量(流8)km3/hXMEAS(6)反响器进料速度(流6)km3/hXMEAS(7)反响器压力kPa(表值)XMEAS(8)反响器等级%XMEAS(9)反响器温度OCXMEAS(10)排放速度(流9)km3/hXMEAS(11)产品别离器温度OCXMEAS(12)产品别离器液位%XMEAS(13)产品别离器压力kPa(表值)XMEAS(14)产品别离器塔底低流量(流10)m3/hXMEAS(15)汽提器等级%XMEAS(16)汽提器压力kPa(表值)XMEAS(17)汽提器塔底流量(流11)m3/hXMEAS(18)汽提器温度OCXMEAS(19)汽提器流量kg/hXMEAS(20)压缩机功率kWXMEAS(21)反响器冷却水出口温度OCXMEAS(22)别离器冷却水出口温度OC表5-3成分测量变量描述流采样间隔/minXMEAS(23)成分A66XMEAS(24)成分B66XMEAS(25)成分C66XMEAS(26)成分D66XMEAS(27)成分E66XMEAS(28)成分F66XMEAS(29)成分A96XMEAS(30)成分B96XMEAS(31)成分C96XMEAS(32)成分D96XMEAS(33)成分E96XMEAS(34)成分F96XMEAS(35)成分G96XMEAS(36)成分H96XMEAS(37)成分D1115XMEAS(38)成分E1115XMEAS(39)成分F1115XMEAS(40)成分G1115XMEAS(41)成分H1115过程故障TEP问题的过程仿真包括21个预设定的故障(见表5-4)。这些故障中，16个是的，5个是未知的。故障1-7与过程变量的阶跃变化有关，如，冷水入口温度或者进料成分的变化。故障8-12与一些过程变量的可变性增大有关。故障13是反响动力学中的缓慢漂移，故障14、15和21是与粘滞阀有关的。[34]表5-4过程故障变量描述类型IDV(1)A/C进料比率，B成分不变(流4)阶跃IDV(2)B成分，A/C进料比率不变(流4)阶跃IDV(3)D的进料温度(流2)阶跃IDV(4)反响器冷却水的入口温度阶跃IDV(5)冷凝器冷却水的入口温度阶跃IDV(6)A进料损失(流1)阶跃IDV(7)C存在压力损失-可用性降低(流4)阶跃IDV(8)A、B、C进料成分(流4)随机变量IDV(9)D的进料温度(流2)随机变量IDV(10)C的进料温度(流2)随机变量IDV(11)反响器冷却水的入口温度随机变量IDV(12)冷凝器冷却水的入口温度随机变量IDV(13)反响动态慢偏移IDV(14)反响器冷却水阀门粘住IDV(15)冷凝器冷却水阀门粘住IDV(16)未知IDV(17)未知IDV(18)未知IDV(19)未知IDV(20)未知IDV(21)流4的阀门固定在稳态位置恒定位置5.2本文所用数据故障分析上文介绍了田纳西-伊斯曼过程，本文实验采用其中的故障数据1、5、11，下文对其分别进行了研究。TE数据提取训练集和测试集中的数据包含了所有的控制变量和测量变量(见表5-1～5-3)，除了反响器的搅拌器的搅动速度，总共有m=52个观测变量(不包括搅动速度是因为没有对它进行控制)。在某一特定时刻的观测向量表示为：(5-2)观测值使用1s的积分步长来仿真的，这不会产生任何的数值不准确度。虽然一些观测值是连续采样的，且其它变量包含时间延迟，但当采集的数据用于计算多变量过程的量度时，对每一个变量用相同的采样间隔那么会简化实现过程。用3min的采样间隔来采集训练集和测试集的仿真数据。训练集中的数据由22次不同的仿真运行数据构成，其中在每一次运行之间，都改变随机过程的随机种子(randomseed)。一次仿真运行(故障0)是在没有故障的情况下发生的；另一次仿真运行(故障21)是通过把流4的阀门位置固定在稳态的位置不变而发生的；而其它20次仿真运行(故障1～20)中的每一个都是在不同故障下发生的，每次运行对应着表5-4的一个故障。每次运行的仿真时间都是25h。仿真开始时没有故障情况，故障是在仿真时间1h的时候引入的。对于每一次运行所产生的观测数据总数是n=500，但只有480个观测数据是在引入故障后采集的，即只有480个观测值实际用于构建过程监控的量度。测试集中的数据也是由22次不同的仿真运行数据构成，其中在每一次运行之间，都改变随机过程的随机种子(randomseed)。这些仿真运行直接对应着训练集的运行(故障0～21)。每次运行的仿真时间都是48h。仿真在无故障情况下开始，故障在仿真时间8h的时候引入。每一次运行所产生的观测数据总数n=960[34]。我们这里选用故障0(即无故障状态)，故障1，故障5，故障11。故障1的个案研究当故障1发生时，在流4中的A/C进料比引起了一个阶跃变化。这致使在流4中C进料增加，而A进料减少。这又导致在循环流5中A进料的减少，并且控制回路作出反响使流1中的A进料增加(见图5-2)。随着时间的推移，这两种作用相抵销，这导致在足够长的时间之后流6中A进料的成分称为常数(见图5-3)。进入反响器的流6的流速和成分的变化引起反响器液位的变化(见图5-1)，这会通过串级控制回路影响流4中的流速(见图5-4)。流4的流速最后停留在一个低于正常运行状态值的稳态之上。由于反响物A和C的比例发生变化，与物质平衡有关的变量(例如液位、压力、成分)的分配关系也会跟着改变。因为超过半数的监控变量明显地偏离了它们的正常运行特性，这种故障可以很容易地被检测出来。对故障1表现拙劣的过程监控统计量，很可能对其他故障的表现也不好。图5-2XMEAS(1)对故障0和1的比较图5-3XMEAS(23)对故障0和1的比较图5-4XMEAS(4)对故障0和1的比较故障5的个案研究故障5包括冷凝器冷却水入口温度的一个阶跃变化(见图5-1)。这个故障的显著影响是引起冷凝器冷却水流量的阶跃变化(见图5-5)。当故障发生时，从冷凝器出口到汽/液别离器的流速也增加，这导致汽/液别离器的温度增加，并且别离器冷却水出口温度也是如此(见图5-6)。控制回路能够补偿这个变化，并使别离器中的温度返回到设置点。到达稳定状态所需的时间大约是10h。至于剩下的50个被监测变量，32个变量具有相似的过渡过程，大约在10h之后到达稳定。检测和诊断这样的一个故障不是一件很难的工作。图5-5XMV(11)对故障0和5的比较图5-6XMEAS(22)对故障0和5的比较故障11的个案研究类似故障5，故障11引起反响器冷却水入口温度的故障。这种故障是一种随机变化。如图5-7所示，该故障引起了反响器冷却水流速的很大震荡，这又使反响器的温度产生波动(见图5-8)。其他的50个变量能够保持在设定点附近，并且与在正常运行状态下表现类似。图5-7XMV(10)对于故障0和11的比较图5-8XMEAS(9)对故障0和11的比较5.3基于支持