基于神经网络的电力电子装置故障检测与诊断研究毕业论文.doc

基于神经网络的电力电子装置故障检测与诊断研究摘要：提出采用基于波形直接分析的神经网络故障诊断方法实现电力电子电路在线故障诊断,以三相整流电路为例,选用BP 网络对其进行了有效故障诊断。仿真和实验表明,其方法是有效的。电力电子电路模型具有很强的非线性，通常对其进行在线故障诊断比较困难，文章利用神经网络非线性映射特性，由神经网络来学习及存储电力电子电路的故障特征信号和故障类型（或原因）之间的映射关系，并将其用于在线诊断，从而达到对电力电子电路进行在线自动故障诊断的目的。关键词： 神经网络；电力电子；电路故障；诊断；故障诊断Abstract：Based on neural network theory ,a new online fault diagnosis method for power electronic circuits is presented. A neural BP network is founded ,which is able to diagnosis faults of three phase rectifier ef fectively. The method is verified by both simulation and experiment.The circuit model for electronic of electric power is with strong nonline arity, it is usually difficult to diagnose the accident online, by the mapping features of nonline arity on the nerve net, the essay will study and store the mapping relationship between the accident signs and accident types(causes) about the circuit for electronic of electric power, and put it into the diagnose online, which will be used to diagnose the accident automatically to the circuit of electronic of electric power.Keywords: nerve netelectronic of electric power; circuit accident; diagnose; fault diagnosisI毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 第1章 绪论1.1 神经网络概述人工神经网络(简称神经网络,NN)是由人工神经元(简称神经元)互联组成的网络,它是从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一条重要途径，它反映人脑的若干基本特征，如并行处理、学习、联想、模式分类、记忆等。它是根于神经学、数学、同统计学、物理学、计算机学及工程等的一种技术。人工神经网络是由简单的处理单元所组成的大量并行分布的处理机，这种处理机具有存储和应用经验知识的自然特性，它与人脑的相似之处概括为两个方面：一是通过学习过程利用神经网络从外部环境中获取知识；二是内部神经元（突触权值）用来存储的知识信息。神经网络是近年来的热点研究领域。涉及到电子科学和技术、信息与通信工程、计算科学和技术、电气工程、控制科学和技术等诸多学科。其应用领域包括：建模、时间序列分析、模式识别和控制等，并在不断的拓展。1.2 神经网络的研究发展史神经网络的研究可追溯到19世纪末，其发展历史可分为四个时期。第一个时期为启蒙时期，开始于1890年美国著名心理学家W.James关于人脑结构与功能的研究，结束于1969年Minsky和Papert发表感知器一书。第二个时期为低潮时期，开始于1969年，结束于1982年Hopfield发表“神经网络和物理系统”。第三个时期为复兴时期，开始于J.J.Hopfield的突破性研究论文。结束于并行分布式处理一书的发表。第四个时期为高潮时期，以1987年首届国际人工神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热。1.2.1 启蒙时期1890年，美国心理学家William James发表了第一部详细论述人脑结构及功能的专著心理学原理，对相关学习、联想记忆的基本原理做了开创性研究神经网络的著名文章。在这篇文章中，他们在已知的神经细胞生物学基础上从信息处理的角度出发，提出形式神经元数学模型，称M-P模型。为此，M-P 模型被认为开创了神经科学理论研究的新时代。启蒙时期的另一位重要学者是Donala O.Hebb，他首先建立了人们现在称为 Hebb算法的连接权训练法。1958年计算机科学家 Frank Rosenblatt发表一篇有名的文章，提出了一种具有三层网络特性的神经网络结构，称为“感知器”。启蒙时期的最后两位代表人物是电机工程师Bernard Widrow和Marcian Hoff 。1960年，他们发表了一篇为“自适应开关电路”的文章。Bernard Widrow和Marcian Hoff 不仅设计了在计算机上仿真的人工神经网络，而且还用硬件电路实现了他们的设计。1.2.2 低潮时期在20世纪60年代，掀起了神经网络研究的第一次热潮。由于当时对神经网络的学习能力的过高估计，而随着神经网络研究的深入开展，人们遇到了来自认识方面、应用方面和实现方面的各种困难和迷惑，使得一些人产生了怀疑和失望。使神经网络研究处于低潮时期的重要原因是，20世纪70年代以来集成电路和微电子技术的迅速发展，是传统的Von Neumenn型计算机进入发展的全盛时期，基于逻辑符号处理方法的人工智能的迅速发展并取得显著成就，他们的问题和局限性尚未暴露，因此暂时就掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性4。但仍有为数不多的学者在黑暗时期致力于神经网络的研究。1969年，美国波士顿大学自适应系统中心的S.Grossberg教授和他的夫人G.A.Carpenter提出了著名的共振模型。1972年芬兰的T.Kohonen教授，提出了自组织映射理论，并称其神经网络结构为“联想存储器”；另一位是美国的神经心理学家和心理学家J.Anderson提出了一个类似的神经网络，称为“交互存储器”。1.2.3 复兴时期 1982年美国加州理工学院优秀物理学家John博士总结与吸取前人对神经网络研究的成果与经验，把网络的各种结构和算法概括起来，塑造出一种新颖的强有力的网络模型，称为Hopfiled网络模型。在他文章发表的第三年，美国电话与电报公司的贝尔实验室利用Hopfiled理论首先在硅片上制成硬件的神经计算机网络，继而仿真出耳蜗与视网膜等硬件网络。在1986年贝尔实验室宣布制成神经网络芯片前不久，美国的David E.Rumelhart和James L.McCelld及其领导的提出了PDP网络思想，其中涉及到神经网络的三个主要特征，即结构、神经元的传递函数和它的学习训练方法， PDP这部书的最重要的贡献是发展了多层感知机的反向传播训练算法，把学习的结果反馈到中间层次的隐节点，改变其连接权值，以达到预期的学习目的。该算法已成为当今最大的一种网络学习方法。1.2.4 新时期1987年6月，首届国际神经网络会议在美国加州圣地亚哥召开，这标志着全世界范围内掀起神经网络开发研究的热潮。在会上成立了国际神经网络学会（International Neural Network Society）。这次会议不久，由世界三位著名的神经网络学家，主持创办了世界第一份神经网络杂志Neural Network。随后，IEEE也成立了神经网络协会并于1990年3月开始出版神经网络会刊。各种学术的神经网络特刊也层出不穷。从以上现象可以看到，神经网络的研究出现了新的高潮，进入了发展的新时期。从1987年来，神经网络的理论、应用、实现及开发工具均以令人振奋的速度快速发展。神经网络的应用已涉及到模式识别、图象处理、非线形优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域，并取得了令人瞩目的成果。与此同时，美国、日本等国在神经网络计算机的硬件实现方面也取得了一些实实在在的成绩。1.2.5 国内研究概况中国最早涉及人工神经网络的著作是涂序彦先生等于1980年发表的生物控制论一书，书中将“神经系统控制论”单独设为一章，系统地介绍了神经元和神经网络的结构、功能和模型。随着人工神经网络在世界范围内的复苏，国内也逐渐掀起了研究热潮。1989年10月和11月份别在北京和广州召开了神经网络及其应用学术讨论会和第一届全国信号处理-神经网络学术会议。1990年2月，由中国八个学会（即中国电子学会、计算机学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会、和心理学会）联合在北京召开“中国神经网络首届学术大会”。目前，人工神经网络已在中国科研、生产和生活中产生了普遍而巨大的影响。1.3 人工神经网络的主要应用领域1.3.1 信息领域神经网络作为一种新型智能信息处理系统，其应用贯穿信息的获取、传输、接接收与加工利用等各个环节，这里仅举三个方面的应用。（1）信号处理 神经网络广泛应用于自适应信号处理和非信号处理。前者如信号的自适应滤波、时间序列预测、谱估计、噪声消除等；后者如非线形滤波、非线形预测、非线形编码、调制/调解等。（2）模式识别 模式识别涉及到模式的预处理变换和将一种模式映射为其他类型的操作，神经网络在这两个方面都有许多成功的应用。神经网络不仅可以处理静态模式如固定图像、固定能谱等，还可以处理动态模式如视频图像、连续语音等。（3）数据压缩 神经网络可对待传送的数据提取模式特征。只将该特征传出，接受后在将其恢复成原始模式。1.3.2 自动化领域神经网络用于控制领域已经取得以下主要进展。（1）系统辨别 神经网络所有的非线形特性和学习能力，使其在系统辨别方面的有很大的潜力，为解决具有复杂的非线形、不确定性和不确知开辟了一条新的途径。（2）神经控制器 神经网络具有自学习和自适应等智能特点，因而非常适合于做控制器。对于复杂非线形系统，神经控制所达到的控制效果往往明显好于常规控制器。近年来，神经控制器 在工业、航空以及机器人等领域的控制系统应用中已取得许多可喜的成就。（3）智能检测 所谓智能检测一般包括干扰量的处理，传感器输入输出特性的非线形补偿、零点和量程的自动校正以及自动诊断等。1.3.3 工程领域（1）汽车工程 神经网络在汽车刹车自动控制系统中也有成功的应用，该系统能在给定刹车距离、车速和最大减速度的情况下，以人体感受到最小冲击实现平稳刹车，而不受路面坡度和车重的影响。神经网络在载重车柴油机燃烧系统方案优化中的应用有效地降低了油耗和排烟度，获得了良好的社会经济效益。（2）军事工程 神经网络同红外搜索与跟踪系统配合后可发现和跟踪飞行器。利用神经网络的联想记忆特性可设计出密钥分散保管方案；利用神经网络的分类能力可提高密钥的破解难度；利用神经网络还可设计出安全的保密开关，如语音开关、指纹开关等等。（3）化学工程 在谱分析方面，应用神经网络在红外谱、紫外谱、折射光谱和质谱与化合物的化学结构建立某种确定的对应关系方面的成功应用。此外，还有将神经网络用于判定化学反应的生成物；用于判定钾、钙、硝酸、氯等离子的浓度。（4）水利工程 近年来，我国水利工程领域的科技工作者已成功地将神经网络的方法用于水利发电过程辨识和控制、河川径流预测、河流水质分类、水资源规划、混泥土性能预估、预应力混凝土桩基等结构损伤诊断、沙土液化预测、岩体可爆破性分级及爆破效应预测等。此外，神经网络在宇宙飞船，汽车行业，银行业，国防领域，电子领域，娱乐领域，金融领域，制造业，医药领域 ，石油和天然气，机器人，语音领域，有价证券，电信领域，交通领域也有广泛的应用。1.4 毕业设计与要求及基本思路 针对经典控制理论及现代控制理论在电力电子装置故障检测的局限性，研究神经网络控制的可行性及优势；神经网络控制方案的实现方法；BP神经网络控制方法及其改进；神经网络控制系统的MATLAB仿真方法；神经网络的电力电子装置故障检测。为实现史密斯预估补偿控制，需要求取补偿器的数学模型。由于实验测试数据或处理不当均会引起模型与对象特征不一致，这时闭环系统特征方程还会存在纯滞后项。因此，严格的说，预估补偿器不能完全补偿纯滞后。当两者严重不一致时，甚至会引起系统稳定性变得更差，这也是史密斯预估补偿控制的一个缺点。第2章 模糊神经网络控制2.1 人工神经元模型人脑约由1011个神经元组成，神经元之间的联系多过10141015，每个神经元由两部分构成：神经细胞体及突起（树突和轴突）。神经细胞通过突触复杂的结合着，形成了大脑的复杂的神经网络系统。人工神经元是一个多输入、单输出的非线性元件，它有三个基本要素：（1）一组连接权（对应生物神经元的突触），连接强度由各连接权上的权值表示，权值为正表示激励，为负表示抑制。（2）一个求和单元，用于求取各输入信息的加权和（线性组合）。（3）一个非线性传递函数，起非线性映射作用并限制神经元输出幅度在一定的范围内（一般限制在0，1或-1，+1之间）。另外还有一个阀值q（或偏置b=-q）.神经元模型如图3.1所示： W1j W2j nj 图2.1 人工神经元模型其输入、输出关系可描述为: (2.1)式中是从其它神经元传过来的输入信号；是阀值；是表示从神经元i到神经元j的连接权值；f()为传递函数。有时为了方便，将统一表达成，式中=- ，。传递函数f(x)可为线性函数，或S状的非线性函数，或具有任意阶导数的非线性函数，常用的非线性函数有阀值函数、双向阀值函数、S型函数、双曲正切函数、高斯函数等。当f(x)为阶跃函数，且不考虑输入、输出之间的延时，只处理0和1二值信息时，这种阀值单元模型称为MP模型，是美国心理学家McCulloch和数学家Pitts在1943年提出的。2.2 人工神经网络结构人工神经网络是由大量的神经元互连而成的网络，按其拓扑结构来分，可以分成两大类：层次网络模型，互连网络模型。2.2.1 层次网络模型神经元分成若干层顺序连接，在输入层上加入输入（刺激）信息，通过中间各层，加权后传递到输出层后输出（图2.2(a)），其中有的在同一层中的各神经元相互有连接（图2.2(b)），有的从输出层到输入层有反馈（图2.2(c)）。图2.2(c) 图2.2(b) 图2.2(a) 2.2.2 互连网络模型在这类模型中，任意两个神经元之间都有相互连接的关系。在连接中，有的神经元之间是双向的，有的是单向的，按实际情况决定。若按连接方式，也可以分为：前馈型网络和反馈型网络。前馈型网络的第I层的输入只能与第I-1层输出相连，输入和输出节点和外界相连，而其它中间层则为隐层。反馈型网络的所有节点都是计算单元，同时可接受输入并向外。若按连接方式，也可以分为：前馈型网络和反馈型网络。前馈型网络的第I层的输入只能与第I-1层输出相连，输入和输出节点和外界相连，而其它中间层则为隐层。反馈型网络的所有节点都是计算单元，同时可接受输入并向外界输出，其中每个连接线都是双向的。从作用效果看，前馈型网络主要是函数映射，可用于模式识别和函数逼近。按对能量函数的所有极小点的利用情况，可将反馈网络分成两类：一类是能量函数的所有极小点都起作用，主要用做各种联想存储器；另一类只利用全局极小点，它主要用于求解优化问题9。若按神经网络的功能分类，目前常用的有如下分类：神经网络分类 双值输入 有教师 Hamming网络Hopfield网络连续输入 无教师Kohonen网络 有教师 单层感知器 多层感知器 无教师Grossterg网络，Carpenter网络2.3 神经网络学习方法学习和记忆是人类智能器官的最主要的功能，模拟人脑神经系统的学习功能是人工神经网络的核心任务。由人工神经元相连结的神经网络系统的全部“知识”，主要体现为网络中全部神经元之间的连结权值，调整权值也就相当于人类的学习过程。2.3.1 学习方式神经网络性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的，学习方式按环境提供信息量的多少分为三种：(1)无教师学习如图2.3(a)所示，无教师学习完全按照环境提供数据的某些统计规律来调节自身参数或结构，以表示外部输入的某些固有特性。(2)有教师学习如图2.3(b)所示，这种学习方式需要外界存在一个“教师”对给定输入提供应有的输出（即训练样本集），神经网络根据实际输出和预定输出的差值来调整系统参数。(3)强化学习如图2.3(c)所示，该方式介于上述两种情况之间，外部环境对系统输出结果只给出评价信息，学习系统通过强化那些受到好的评价的动作来改善自身的性能。环境 教师 学习系统应有 响应 实际 响应 误差信号 环境 学习系统 输入 动作 环境 学习 系统 评价 输出 图2.3(a) 图2.3(b) 图2.3(c) 2.3.2 学习规则神经网络是通过一定的规则,根据神经元的输入状态（或活性度）、当时的连接权及有无教师示教的信息来调整权值的，这个规则就称为学习规则。常用的学习规则有以下几种：（1）联想式学习Hebb规则心理学家Hebb在1949年提出突触联系的神经群体理论，他指出，突触前后两个同时兴奋（即活性度高，或称处于激发状态）的神经元之间的连接强度（权值）将增强，虽然他本人没有给出数学表达式，但后来许多研究者用不同的数学公式来表示这一基本思想。Hebb提出的这一原则被称为Hebb规则。图2.4表示了两个相连的神经元之间的信号联系，从神经元到神经元之间的联结权值为；与被“激活”的程度、称为活性度；与的输出分别为与；教师的示教信号为。 教师示教信号 图2.4 Hebb学习规则 输出、与活性度、有关，满足如下关系： （2.2）其中、是传递函数。对于神经元而言，其输入（即的输出）可以理解为学习的内容，连接权值可以理解为学习的基础，是教师的指导内容，的活性度可以理解为学习的“积极性”。易知学习的方式和结构与上述四个要素有关。在人工神经网络中，每一次学习，意味着一次权值的调整，因此权值变化可以用下列函数式表示：（2.3）采用不同的函数G和H，就有不同的学习规则。例如上述神经元无教师示教信号时，H函数仅与成正比，则上式改成简单形式：（2.4）式中是学习率常数（0）。上式表明，对一个神经元而言，若该神经元有较大的活性度或有较大的输入（即）时，他们之间的联结权值会变大。（2）误差传播式学习Delta学习法则此时，式2.4中的函数G采用下列形式：（2.5）式中为正数，把差值称为。函数H仍与神经元的输出成正比：（2.6）式中为正数。根据Hebb学习规则可得（2.7）式中为学习率常数（0）。在式（3.8）中，如将教师示教信号作为期望输出，而把理解为实际输出，则该式变为：（2.8）式中为期望输出与实际输出的差值。称式（2.8）为规则，又称误差修正规则。根据这个规则可以设计一个算法，即通过反复迭代运算，直至求出最佳的值，使达到最小。这个规则就是BP（反向传播）网络的算法基础。从上述简化过程可知，在选用简化的G函数时，我们实际上令，也就是用了线性可分函数。故式（2.8）不适合用于采用式（2.2）的非线性函数的情况，此时就需要采用广义的规则。不同状态时实现联结的概率来调整其间的权值：。式中为学习率，、分别是神经元和在输入、输出固定状态及系统为自由状态时实现联结的概率。调整的原则是：当时增加权值，否则减小权值。（3）竞争式学习这种学习是无教师示教学习，网络分成不同的层，网络中的神经元之间分成兴奋性联结和抑制性联结。在不同性的联结机制中引入竞争。竞争的实质是看哪个神经元受到的刺激最大，由此来调整权值： （2.9）式中是学习率，是外部刺激系列中第项刺激成分，是刺激激励输入单元的总数。在竞争中，与输入单元间联结权值变化最大的为优胜者，优胜者的联结权值按式（2.9）改变，而失败的单元，其为零。2.3.3 学习与自适应当学习系统所处环境平稳时（统计特性不随时间变化），从理论上讲通过监督学习可以学到环境的统计特征，这些统计特征可被学习系统（神经网络）作为经验记住。如果环境是非平稳的（统计特征随时间变化），通常的监督学习没有能力跟踪这种变化，为解决此问题，需要网络有一定的自适应能力，此时对每一不同输入都作为一个新的例子对待。模型被当作一个预估器，基于前一时刻输入和模型在时刻的参数，它估计时刻的输出，再将与实际值（作为应有的正确答案）比较，若其差值，则不修正模型参数6。2.4 前向神经网络前向神经网络中的神经元是分层排列的，每个神经元只与前一层神经元相连，最上一层为输出层，最下一层为输入层。输入层和中间层也称为隐层。隐层的层数可以是一层或多层，前向网络在神经网络中应用十分广泛，感知器、线性网络、BP网络都属于这种类型。2.4.1 感知器美国学者Rosenblatt于1957年提出一种用于模式分类的神经网络模型，称为感知器，它是一个单层神经网络，神经元模型为阀值模型。与MP模型不同之处在于其联结权值可变，因此它具有学习功能。感知器信息处理的规则为： 式中为时刻的输出，为输入向量的一个分量，为时刻第个输入的权重，为阀值，为阶跃函数。感知器的学习规则如下： (2.10)其中为学习率（01），为期望输出（又称教师信号），是实际输出。感知器的工作原理及学习规则可参见图2.5。 修正权值 _+d误差图2.5 感知器感知器只有一层神经元，这是由感知器学习规则所决定的，因为感知器学习规则只能训练单层神经网络。感知器神经网络这种结构上的局限性也在一定程度上限制了其应用范围。2.4.2 线性神经网络线性神经网络是最简单的一种神经网络，它由一个或多个线性神经元构成。1960年由B.Widrow和M.E.Hoff提出的自适应线性单元网络是线性神经网络最早的典型代表。线性神经网络采用线性函数作为传递函数，因此其输出可取任意值。线性神经网络可以采用Widrow-Hoff学习规则来调节网络的权值和阀值，其收敛速度和精度都有较大的改进。该模型的结构如图2.6所示： 图2.6 线性神经元模型 和感知器神经网络一样，线性神经网络只能反映输入和输出样本矢量间的线性映射关系，它也只能解决线性可分问题。线性神经网络在函数拟合、信号过滤、预测和控制方面都有着广泛的应用。2.5 BP控制方法BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差某种形式，通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号没，此误差信号即作为修正各单元权值的依据12。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。2.5.1 基于BP算法的多层前馈网络模型利用BP算法的多层前馈网络是至今为止应用最为广泛的神经网络。在多层前馈网络的应用中，已图3.15所示的单隐层网络的应用最为普遍。一般习惯将单隐层前馈网络称为三层前馈网或三层感知器，所谓三层包括了输入层、隐层和输出层。三层前馈网中，输入向量为,如加入,可为隐层神经元引入阀值；隐层输出向量, 如加入,可为输出层神经元引入阀值；输出层输出向量为;期望输出向量为。输入层到隐层之间的权值矩阵用V表示，,其中列向量为隐层第个神经元对应的权向量；隐层到输出层之间的权值矩阵用W表示，,其中列向量为输出层第个神经元对应的权向量。下面分析各层信号之间的数学关系。x1 x2 xi xi+1 i层 k层 j层 y1 y1 _ + 训练信号 调整权值 误差 输入层（n个）隐层（p个） 输出层（q个） 图2.7 BP网络结构及反向学习 对于输出层，有 （2.11） （2.12）对于隐层，有 （2.13） （2.14）以上两式中，转移函数均为单极Sigmoid函数 （2.15）具有连续、可导的特点，且有 （2.16）根据应用需要，也可以采用双极性Sigmoid（或称双曲线正切函数）（2.17）式（2.11） 式（2.17）共同构成了三层前馈网的数学模型。2.5.2 BP学习算法下面以三层前馈网为例介绍BP学习算法，然后将所得结论推广到一般多层前馈网的情况。网络误差与权值调整:当网络输出与期望输出不等时，存在输出误差E，定义如下（2.18）将以上误差定义式展开至隐层，有（2.19）进一步展开至输入层，有（2.20）由上式可以看出，网络输入误差是各层权值、，的函数，因此调整权值可改变误差E。显然，调整权值的原则是使误差不断地减小，因此应使权值调整量与误差的负梯度成正比，即 （2.21） （2.22）式中负号表示梯度下降，常数表示比例系数，在训练中反映了学习速率。可以看出BP算法属于学习规则类，这类算法通常被称为误差的梯度下降算法。2.5.3 标准BP算法的改进将BP算法用于具有非线形转移函数的三层前馈网，可以以任意精度逼近任何非线形函数，这一非凡优势使多层前馈网络得到越来越广泛的应用。然而标准的BP算法在应用中暴露出不少内在的缺陷：(1)易形成局部极小而得不到全局最优；(2)训练次数多使得学习效率低，收敛速度慢；(3)隐节点的选取缺乏理论指导；(4)训练时学习新样本有遗忘旧样本的趋势；针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。（1）增加动量项一些学者于1986年提出，标准BP算法在调整权值时，只按时刻误差的梯度降方向调整，而没有考虑时刻以前的梯度方向，从而使训练过程发生振荡，收敛缓慢。为了提高网络的训练速度，可以在权值调整公式中增加一动量项若用代表某层权矩阵， 代表某层输入向量，则含有动量项的权值调整向量表达式为（2.23）可以看出，增加动量项即从前一次权值调整量中取出一部分叠加到本次权值调整量中，称为动量系数，一般有。动量项反映了以前积累的调整经验，对于时刻的调整阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。目前，BP算法中都增加了动量项，以至于有动量项BP算法成为一种新的标准算法13。（2）自适应调节学习率学习率也称为步长，在标准BP算法中定为常数，然而在实际应用中，很难确定一个从始至终都合适的最佳学习率。从误差曲面可以看出，在平坦区域内太小会使训练次数增加，因而希望增大值；而在误差变化剧烈的区域，太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代此时增加。为了加速收敛过程，一个较好的思路是自适应调节学习率，使其该大时增大，该小时减小。（4）引入陡度因子前面的分析指出，误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元进入了转移函数的饱和区。如果在调整进入平坦区后，设法压缩神经元的净输入，是其输出退出转移函数的饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。实现这一思路的具体作法是，在原转移函数引入一个陡因子 01图2.8 压缩后的转移函数曲线当发现 接近零而 仍较大时，可判断已进入平坦区，此时令 ；当退出平坦区后，再令。从图3.21 可以看出，当时， 坐标压缩了倍，神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的退出饱和值。当时转移函数恢复原状，对较小的具有较高的灵敏度。应用结果表明该方法对于提高BP算法的收敛速度十分有效。2.5.4 基于BP算法的多层前馈网络设计基础（1）网络信息容量与训练样本数多层前馈网络的分类能力与网络信息容量相关。如用网络的权值和阀值总数 表征网络信息容量与训练误差之间应满足如下匹配关系 （2.24）上式表明网络的信息容量与训练样本之间存在着合理匹配关系。在解决实际问题时，训练样本常常难以满足以上要求。对于确定的样本数，网络参数太少则不足以表达样本中蕴涵的全部规律，而网络参数太多则由于样本信息太少而得不到充分训练。因此，当实际问题不能提供较多的训练样本时，必需设法减少样本维数，从而降低。（2）训练样本集的准备训练数据的准备工作是网络设计和训练的基础，数据选择的科学性以及数据表示的合理性对于网络设计具有极为重要的影响。数据准备工作包括原始数据的收集、数据分析、变量选择和数据预处理等诸多步骤，下面分几个方面介绍有关的知识。（3）输入输出的选择一个待建模系统的输入输出就是神经网络的输入输出变量。这些变量可能是事先确定的，也可能不够明确，需要进行一番筛选。一般来讲，输出量代表系统要实现的功能目标，其选择确定相对容易一些，。输入量必须选择那些对输出影响大且能检测或提取的变量，此外还要求各输入变量之间互不相关或相关性很小，这是输入量选择的两条基本原则。如果对某个变量是否适合作网络输入没有把握，可分别训练含有和不含有该输入的两个网络，对其效果进行对比14。（4）输入量的提取与表示在很多情况下，神经网络的输入量无法直接获得，常常需要用信号处理与特征提取技术从原始数据中提取能反映其特征的若干特征参数作为网络的输入。提取的方法与解决的问题密切相关，下面仅讨论几种典型的情况。文字符号输入 在各类字符识别的应用中，均以字符为输入的原始对象。BP网络的输入层不能直接接受字符输入，必须先对其进行编码，变成网络可以接受的形式。曲线输入 多层前馈网在模式识别类应用中常被用来识别各种设备输出的波形曲线，对于这类输入模式，常用的表示方法是提取波形在个区间分界点的值，以其作为网络输入向量的分量值。个输入分量的下标表示输入值在波形中的位置，因此分量的编号是严格有序的。函数自变量输入 用多层前馈网见建立系统的数学模型属于典型的非线形映射问题。一般系统已有大量输入输出数据对，建模的目的是提取其中隐含的映射规则，这类应用比较简单，一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。图象输入 当需要对物体的图象进行识别时，很少直接将每个像素点的灰度值作为网络的输入。因为图象的像素点常数以万计，不适合作为网络的输入，而且难以从中提取有价值的输入输出规律。在这类应用中，一般根据识别的具体目的从图象中提前一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。 （5）输出向量的表示所谓输出量实际上是指为网络训练提供期望输出，一个网络可以有多个输出变量，其表示方法通常比输入量容易得多，而且对网络的精度和训练时间影响不大。输出量可以是数值变量，也可以是语言变量。对于数值类的输出量，可直接用数据来表示，但由于网络实际输出只能是01或-11之间的数，所以需要将期望输出进行尺度变换处理，有关的方法在样本的预处理中介绍。 （6）输入输出数据的处理尺度变换 尺度变换也称归一化或标准化，是指通过变换的处理的将网络的输入、输出数据限制在0，1或-1，1区间类。进行尺度变换的主要原因有：网络的各个输入数据常具有不同的物理意义和不同的量纲；BP网的神经元均采用Sigmoid函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区。 Sigmoid转移函数的输出在01或-11之间，作为教师信号的输出数据如不进行变换处理，势必使数值大的输出分量误差大，数值小的输出分量绝对误差小，网络训练时只针对输出的误差的调整权值，其结果是在总误差中占分额小的输出分量相对误差较大，对输出量进行尺度变换后这个问题可迎刃而解。分布变换 尺度变换是一种线形变换，当样本的分布不合理时，线形变换只能统一样本数据的变化范围，而不能改变其分布规律。适用于网络训练的样本分布应比较均匀，相应的样本分布曲线应比较平坦。当样本分布不理想时，最常用的变换是对书变换，其他常用的还有平方根，立方根等。由于变换是非线形的，其结果不仅压缩了数据变化的范围，而且改善了其分布规律。（7） 训练集的设计训练样本数的确定 一般说来训练样本数越多，训练结果越能正确反映其类在规律，但样本的收集整理往往受到客观条件的限制。此外，当样本多到一定程度时，网络的精也难再提高，实践表明，网络训练所需的样本数取决于输入输出非线性映射关系的复杂程度，映射关系越复杂，样本中含的噪声越大，为保证一定映射精度所需要的样本数就越多，而且网络的规模就越多1314。样本的选择与组织 网络训练中提取的规律蕴涵在样本中，因此样本一定要有代表性。样本的选择要注意样本类别的均衡，尽量使每个类别的样本数量大致相等。即使是同一类样本也要照顾样本的多样性和类别的均匀性。按照这种“平均主义”原则选择的样本能使网络在训练是见多识广，而且可以避免网络样本数量的类别印象深，而对出现次数少的类别印象浅。样本的组织要注意将不同类别的样本交叉输入，或从训练集中随机选择输入样本。因为同类样本太集中会使网络训练时倾向于只建立与其匹配的映射关系，当另一类样本集中输入时，权值的调整又转向新的映射关系而将前面的训练结果否定。当各类样本轮流集中输入时，网络的训练会出现振荡使训练时间延长。2.5.5 初始权值的设计 网络权值的初始化决定了网络的训练从误差曲面的哪一点开始，因此初始化方法对缩短网络的训练时间至关重要。神经元的转移函数都是关于零点对称的，如果没个节点的净输入均在零点附近，则其输出均处在转移函数的中点。这个不仅远离转移函数的两个饱和区，而且是其变化最灵敏的区域，必然使网络的学习速度较快。从净输入的表达式可以看出，为了使个节点初始净输入在零点附近，有两种办法可采用。一种办法是，使初始权值足够小；另一种办法是，使初始值为+1和-1的权值数相等。2.5.6 多层前馈网络结构设计（1）隐层数的设计理论分析证明，具有单隐层的前馈网络可以映射所有连续函数，只有当学习不连续函数时，才需要两个隐层，所以多层前馈网络最多只需两个隐层。在设计多层前馈网时，一般先考虑设一个隐层，当一个隐层的隐节点数很多仍不能改善网络性能时，才考虑再增加一个隐层。（2）隐节点数的设计隐节点的作用是从样本中提取并存储其内在规律，每个隐节点有若干个权值都是增强网络映射能力的一个参数。隐节点数量太少，网络从样本中获取的信息能力就差，不足以概括和体现训练集中的样本规律；隐节点数量过多，又可能把样本中非规律性的内容也学会牢记，从而出现所谓过度吻合问题，反而降低了泛能力。此外隐节点数太多还会增加训练时间。确定最佳隐节点数的一个常用方法称为试凑法，可先设置较少的隐节点训练网络，然后逐渐增加隐节点数，用同一样本集进行训练，从中确定网络误差最小时对应的隐节点数。下面介绍几个公式（2.25） （2.26）以上个式中为隐层节点数，为输入层节点数，为输出节点数，为110的常数。2.5.7 网络训练与测试网络设计完成后，要应用设计值进行训练。训练时对所有样本正向运行一轮并反向修改权值一次称为一次训练。在训练过程中要反复使用样本集数据，但每一轮最好不按固定顺序取数据。网络性能的好坏主要看其是否具有很好的泛化能力，而对泛化能力的测试不能用训练集的数据进行，而用训练集以外的测试数据来进行检测。在隐节点数一定的情况下，为获得好的泛化能力，存在着一个最佳训练次数。为了说明这个问题，训练时将训练于测试交替进行，每训练一次记录一次训练均方误差，然后保持网络权值不变，用测试数据正向运行网络，记录测试均方误差。2.6 模糊控制系统2.6.1 模糊控制系统的组成所谓系统指的是两个以上彼此联系又相互作用的对象构成的具有某种功能的集体。而模糊系统是由那些现象引起的不确定性系统。也就是说一个模糊系统，它的状态或输入、输出具有模糊性。一般说来，模糊系统也是复杂过程的一种近似表示方式。该过程本身并不一定是模糊的。模糊控制系统是一种自动控制系统，它是以模糊数学、模糊语言形式的知识表示和模糊逻辑推理为理论基础，采用计算机控制技术构成的一种具有闭环结构的数字控制系统。它的组成核心是具有智能性的模糊控制器。无疑，模糊逻辑控制系统是一种典型的智能控制系统，在控制原理上它应用模糊集合论、模糊语言变量和模糊逻辑推理的知识，模拟人的思维方法，对复杂过程进行控制。模糊逻辑控制的基础是模糊逻辑。模糊逻辑从含义上比其他传统逻辑更接近人类的思想和语言，它能够对真实世界的近似的、不确切的特征进行刻划。实际上，模糊逻辑控制是利用模糊逻辑建立一种“自由模型”的非线形控制算法，特别是在那些采用传统定量技术分析过于复杂的过程、结构如图所示。从图中可以看出，模糊控制系统的主要部件是模糊化过程、知识库、推理决策和精确化计算16。很显然，模糊控制系统在结构上与传统的控制系统没有太大的差别，主要不同之处在于控制器采用了模糊控制器。由于模糊控制器是采用数字计算机来实现的，所以，它应该具备下列三个中重要功能：(1)把系统的偏差从数字量转化为模糊量（模糊化过程、数据库两块完成）。(2)对模糊量有给定的规则进行模糊推理（规则库、推理决策完成）。(3)把推理结果的模糊输出量转化为实际系统能够接受的精确数字量或模拟量（精确化借口）。知识库精确化接口推 理 决 策被 控 对 象Fuzzy化接口-给定FLC图2.9 FLC基本结构图因此，模糊控制器的设计问题就是模糊化过程、知识库（含数据库和规则库）、理决策和精确化计算四部分的设计问题。2.6.2 模糊化过程模糊化过程主要完成：测量输入变量的值，并将数字表示形式的输入量转化为通用语言表示的某一限定码的序数。每一个限定码表示论域的序数，每一个限定码表示论域内的一个模糊子集，并有其隶属度函数来定义，对于某一个输入值，它必定与某一个特定限定码的隶属度相对应。图给出了三种化函数。图给出了输入变量属于语言 的程度高。对于图b只有在点处的隶属度为1，其它输入对应的隶属度都为0。而图c所表示的隶属度曲线有点像高斯曲线，它是一条连续函数。除以上三种隶属度函数之外，其它类型的隶属度函数曲线只要符合一定的条件也是可以的。已有经验表明，通常选三角型和梯型函数的隶属函数在实际应用中带来很多方便。一旦模糊集设计完成，则对于任意的物理输入x，如何将其映射到模糊系统中去呢？映射的过程实际上是将当前的物理输入根据模糊子集的分布情况确定出此时此刻输入值对这些模糊子集的隶属度，因此，为了保证在所有论域内的输入量都能与某一模糊子集相对应，模糊子集（限定码）的数目和范围必须遍及整个论域。这样，对于每一个物理输入量至少有一个模糊子集的隶属程度函数大与零。图2.10 模糊化函数2.6.3 知识库知识库包括数据库和规则库，数据库提供必要的定义，包含了语言控制规则论域的离散化、量化和正则化以及输入空间的分区、隶属度函数的定义等。规则库根据控制目的和控制测略给出了一套由语言变量描述的并由专家或自学习产生的控制规则的集合，在建立控制规则时，首先要解决诸如状态变量的选择、控制变量的选择、规则类型的选择和规则数目的确定等事项。模糊控制的设计的主要任务是以被控系统的性能指标作为设计和调节控制器参数的依据。控制器的最终控制性能应该达到预期的目的。一般说来，模糊控制器设计需要考虑的设计参数:有采样频率（根据香农定理和被控过程控制的技术限制来选择）、量化等级（它严重影响系统的响应，如超调、上升时间、稳态精度等），隶属度函数的类型和不同隶属度函数之间的重叠率、规则的数目和精确化计算方法。实际上，模糊控制器设计的关键在于如何有效地建立知识库即数据库和规则库，决策逻辑控制实际上是依赖规则库实现的。2.6.4 推理决策逻辑推理决策逻辑是模糊控制的核心，它利用知识库的信息模拟人类的推理决策过程，给出适合的控制量。它的实质是模糊逻辑推理。2.6.5 精确化过程通过模糊推理得到的结果是一个模糊集合。但在实际使用中，提别是在模糊控制中，必须要有一个确定的值才能去控制或驱动执行机构。在推理得到的模糊集合中取一个能最佳代表这个模糊推理结果可能性的精确值的过程就称为精确化过程（又称逆模糊化）。逆模糊化可以采取很多不同的方法，用不同的方法，用不同的方法所得的结果也是不同的。常用的精确化计算方法有以下三种：（1） 最大隶属度函数法简单地取所有规则结果的模糊集合中隶属度最大的那个元素作为输出值。即 如果在输出论域V中，其最大隶属度函数对应的输出值多于一个时，简单的方法是取所有具有最大隶属度输出的平均，即： ，为具有相同最大隶属度输出的总数。最大隶属度函数法不考虑输出隶属度函数的形状，只关心其最大隶属度值处的输出值。因此，难免会丢失许多信息。但它的突出优点是计算简单。所以在一些控制要求不高的场合，采用最大隶属度函数法是非常方便的。（2）重心法重心法是取模糊隶属度函数曲线与横坐标围成面积的重心为模糊推理最终输出值。即 （2.27）对于具有m个输出量化级数的离散论域情况（2.28）与最大隶属度法相比较，重心法具有更平滑的输出推理控制。即对应于输入信号的微小变化，其推理的最终输出一般也会发生一定的变化，且这种变化明显比最大隶属度函数法要平滑。（3）加权平均法如权平均法的最终输出值是有下式决定的（2.29）这里的系数 的选择要根据实际情况而定。不同的系数就决定系统有不同响应特性。当系数 取为 时，就转化重心法了。在模糊逻辑控制中，可以选择和调整该系数来改善系统的享用特性。综上分析可知，模糊逻辑控制的过程主要有三个步骤：模糊化过程、模糊逻辑推理、精确化计算，即(1)模糊化过程 所谓模糊化过程就是通过传感器把受控对象的相关物理量转换为电量，若传感器的输出量是连续的模拟量，还要通过A/D转换成数字量作为计算机的输入测量值；接着再将此输入测量值作为标准化处理，即把其变化范围影射到相应论域中，再将论域中的该输入数据转换成相应语言变量的术语，并构成模糊集合。这样就把输入的精确量转换为用隶属度函数表示的某一模糊变量的值。由此才能用检测到的输入量作为模糊控制规则中条件来运用模糊控制鬼子进行推理。完成这部分功能的模块就称作模糊化接口。(2)模糊化逻辑推理 根据事先已制定好的一组模糊条件语句构成的模糊控制规则，运用模糊数学理论对模糊控制规则进行计算推理，实际上根据模糊控制规则对输入的一系列条件进行综合评估，以得到一个定性的用语言表示的量，这个结果只告诉你某一个确定的输出范围，即所谓模糊输出量。完成这部分功能的模块就称作模糊推理机。(3)精确化计算 显然模糊输出量是不能直接去控制执行部件的，在这确定的范围中，还必须要确定一个认为最具有代表性的值作为真正的输出控制量。只就是精确化计算（Defuzzfication）2.6.6 模糊控制系统的设计模糊控制