神经网络诊断原理教学课件PPT.ppt

神经网络诊断原理,1概述,人工神经网络在故障诊断领域的主要应用方面： 从模式识别角度应用神经网络作为分类器进行故障诊断； 从预测角度应用神经网络作为动态预测模型进行故障诊断； 从知识处理角度建立基于神经网络的诊断专家系统。,2 人工神经网络的拓扑结构及学习规则,2.1 生物神经元与人工神经元模型,为阈值 为神经元的激活水平 为权重 神经元的激活函数,神经元模型的数学描述 （7.1） (7.2),2.2 人工神经网络的拓扑结构,不含反馈的前向网络 它包括三个单层的输入层、隐含层和输出层。 应用：多层感知器（mlp）、误差反向传播 算法（bp算法） 反馈网络 特点：具有相当丰富的动态特性，从某一初始 状态开始，网络需经过若干次的状态变化，才能到达某种平衡状态 应用：贺蒲费特（hopfield）网络、全互联网络等,图 人工神经网络的拓扑结构 a 前向神经网络 b 全互联网络 c 输出反馈网络 d 状态反馈网络,2.3人工神经网络的学习规则,人工神经网络最有价值的特性是它的自适应能力，而这种能力是通过学习或训练实现的。 学习规则类别： 有指导学习 如纠错规则，随机学习规则 无指导学习 如相关规则，竞争学习规则 强化学习 特别指出，在工程实践中，上述学习方法并不是相互冲突的，可以相互融合。,3 多层前向神经网络模型及bp算法,3.1 bp网络模型 bp网络的故障诊断模型利用的是bp网络的泛函逼近能力。既一个具有任意压缩型激活函数的单隐层前向网络，只要有充分多的隐层单元，就可以以任意精度逼近任意一个有限维的波莱尔可测函数。 对多层次前向网络： （7.3） 注意： 不能为线性函数，否则整个网络只相当于一个单层网络。,3.2 bp算法,bp算法 1、bp算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成，以实现网络输出和期望输出间的均方误差最小化。 1）正向传播：输入样本输入层各隐层（处理）输出层 注：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程） 2）误差反向传播：输出误差（某种形式）隐层（逐层）输入层 其主要目的是将误差信号沿原来的连接通路返回，修改各层的权重，使得误差信号最小。,对单样本学习的bp算法由推到可知第l-1层的信号误差 是由输出层的误差信号 经输出层权重 反向传播计算所得。 （7.11） （7.12） 为学习率； 为l-1层的输出矢量； 为误差信号。 对多样本学习问题有两种处理方法: 1 模式（样本）学习法 2 批处理学习法 其中批处理学习法的速度通常快于模式学习法。,bp网络存在的不足： 1) 训练速度过于缓慢； 2) 存在局部极小问题，难以发现最佳权重解; 3) 网络结构的确定缺乏严格的理论依据，通常依据经验： 4) 存在“突然遗忘”现象。 针对以上不足，产生了各种不同的改进的bp算法。,3.3 bp网络分类性能分析,最成功的的应用之一是应用于模式识别问题。 bp网络的功能主要是： 隐层单元的非线性带来的。一般在应用中，bp网络不需要超过两个隐层就能形成任意复杂形状的决策区域。 bp网络是通过超平面实现对空间划分的，因此要求有完备的训练样本集，否则极易给出错误的结论。 此外，bp网络的推广能力还缺乏有效的判别证据。,4 径向基函数（rbf）网络及其学习算法,rbp网络模型 rbp网络是解决bp诸多问题的最有效方案之一，具有最佳逼近特性。rbp通常是一种两层前向网络如图：,rbp和bp相比有着本质的不同： 局部接受域形状； 局部权重可调； 决策时隐含了距离的概念。 rbp网络最常用的非线性激活函数为高斯函数,是rbf网络的输入数据向量； 是第j个隐含层节点的输出； 是高斯核函数的中心值；h为隐含层rbf节点数； 为半径。 输出分布符合3 原则。 注：影响rbp网络性能的关键因素是基函数中心的选取而非所采用的的非线性激活函数的形式。,4.2 rbp网络学习算法,学习过程： 1）确定每个rbp网络单元的中心 和半径 ； 2）调节权矩阵w。 4.2.1中心 的确定 常用的为k-均值算法具体过程为： 1）初始化所有的聚类中心 ； 2）如果 则将样本 划归到i 类。 3计算各类样本的均值,式中 为第j类的样本数。 4）重复步骤2）和3）直至所有聚类中心不在变化。 获得各个聚类中心后就可赋给各rbp单元作为rbp的中心。,4.2.1半径 的确定,半径 决定了rbp单元接受域的大小，对网络的精度有极大的影响。选取的基本规则是使得所有rbp单元的接受域之和覆盖整个训练样本空间。通常有两种选取方法。 一种是应用k均值聚类算法后 另一种方法是对每一个中心 求取它与其邻近的n个单元中心距离的平均值作为半径。通常课取n=1。,4.2.3 调节w,w的调节通常有两种方法： （1）线性最小二乘法 即令网络输出 ，u为目标矢量，则 （2）梯度法 迭代公式为 rbp网络另一种有效的学习算法是正交最小二乘算法（ols）。（只调节权重w对rbp选取要求较高）,5 模糊神经网络模型,5.1一般概念 模糊神经网络（fnn）是模糊系统和神经网络相结合的产物。根据侧重点不同可分为： 利用神经网络的自适应和函数逼近功能，提高模糊系统的自适应能力，提高精度。 利用模糊系统增强神经网络的信息处理能力。 神经网络和模糊系统协同工作。 将模糊系统引入传统神经网络的学习过程，提高学习速度。,构造fnn的方法： （1）传统神经网络的模糊化 可分为全部模糊化和部分模糊化。 （2） 基于模糊类型的fnn 可分为直接和模糊系统结构相连的构造法和基于模糊基函数（fbf）的概念构造网络。,5.2 fbf及fbf网络 5.2.1 fbf,一般具有重心非模糊化算子的模糊基函为 若应用单点模糊法则 从而,5.2.2 fbf网络,模糊系统可以表示成一系列fbf的线性组合及模糊系统的输出为 式中h为模糊基函数的个数即模糊系统的规则总数。,fbf函数为高斯基函数的非线性组合，不仅能够处理数值信息，而且还能够处理语义信息。,5.4 fbf网络学习算法,下形式,又 故fbf网络需要学习的参数也为 权重，中心及半径，其算法和rbp网络的算法相同。 注：fbf规则一般需要优化，一般通过规则相似度量和重要性度量优化网络结构。,6 无监督神经网络模型,在无监督学习中，输入数据的冗余性提供了知识，并且无监督学习的计算复杂性较小，学习较快，但没有有监督学习分类准确。,6.1 无监督hebb学习方法,任务：根据p(x)产生的足够多样本 对网络进行训练，使网络再输入模式x时，输出y能够反映输入x与整体样本的相似性。 应用hebb学习规则时，权向量大小不稳定，为解决此问题，采用修正的hebb规则： 1) 2),当权重不再调节时，对于hebb规则 趋于x的均值；对于修正的hebb2)规则 对于hebb和修正的hebb规则，其权解的最终放向与输入的相关阵c的最大特征值所对应的特征向