第五章--神经网络故障诊断

第九章第九章 神经网络故障诊断神经网络故障诊断 9 1 引言 人工神经网络 Artificial Neural Network ANN 是由大量简单的处理单元广泛连接组 成的复杂网络 是在现代生物学研究人脑组织所取得的成果基础上提出的 用以模拟人类 大脑神经网络结构和行为 目前 尽管 ANN 还不是人脑神经网络系统的真实写照 而只 是对其作某种简化 抽象和模拟 但对 ANN 的研究成果已显示了 ANN 具有人脑功能的基 本特征 学习 记忆和归纳 ANN 是一个高度复杂的非线性动力学系统 由于其具有大规模并行性 冗余性 容错 性 本质非线性及自组织 自学习 自适应能力 已经成功地应用到许多不同的领域 控 制领域也成为其中之一 其实 早在 40 年代 Wiener 提出的控制论 Cybernetics 指的是包括数学 工程 生理和心理成果而实现人机协同这样一种理想境界 只不过生理和心理学成果在控制界一 直未受重视而已 1986 高峰会议 面对控制界存在的 难以用现存的成熟理论解决的问题 非线性性 复杂性 时变性 专家们提出了这样的想法 能否从生物研究得到启发来设 计出更好的机器 能否用生物行为作为判断工程系统品质的基准 控制论观点能否再次为 我们提供新的思想源泉 心理学对人类大脑如何协调全身几百个自由度运动的问题已进 行了长期的研究 是否应当有所借鉴 从此 在控制界兴起了神经网络热 那么 究竟 ANN 用于自动控制有那些优越性呢 1 ANN 可以处理那些难于用数学模型或规则描述的过程或系统 解决那些目前 只 可意会 不可言传 的问题 2 ANN 是本质的并行结构 在处理实时性要求高的自动控制领域显示出极大的优越 性 3 ANN 是本质非线性系统 给非线性控制系统的描述带来了统一的数学模型 4 ANN 具有很强的信息综合能力 能同时处理大量不同类型的输入 能很好地解决 输入信息之间的互补性与冗余性问题 因此 它在多变量 大系统及复杂系统的控制上有 明显的优越性 近几年 在控制界 先后出现了 ANN 系统辨识 ANN 非线性控制 ANN 学习控制及 ANN 自适应控制等 主要被用于机器人控制 工业程控等领域 9 2 神经网络特性简述 目前 有关神经网络的研究仍在不断的发展之中 很多种神经网络模型已被给出 但 到目前为止 研究和使用最多的神经网络模型是采用 BP 算法的前向传播模型 亦称 BP 网 络 BP 网络的学习过程是一种误差修正型学习算法 它由正向传播和反向传播组成 在正 向传播过程中 输入信号从输入层通过作用函数后 逐层向隐含层 输出层传播 每一层 神经元状态只影响下一层神经元状态 如果在输出层得不到期望的输出 则转入反向传播 将误差信号沿原来的连接通路返回 通过修改各层神经元的连接权值 使得输出误差信号 最小 Ruelhart 等人在 1986 年提出的一般 Delta 法则 即反向传播 BP 算法 使 BP 网 络出现生机 之后 很多人对其进行了广泛的研究和应用 一些研究者分别证明了前传神 经网络的映像能力 记忆能力和泛化能力 Funashi 和 Hecht Nielsen 1989 年 分别证明了随 着隐单元的增加 三层网络所实现的映像可以一致逼近紧集上的连续函数或按 L2 范数逼 近紧集上平方可积的函数 揭示了三层网络丰富的实现映像能力 应行仁 1990 年 详细分 析三层神经网络的记忆机制 指出具有足够多隐单元的三层神经网络可以记忆任给的样本 集 泛化用来表征网络对不在训练集中的样本仍能正确处理的能力 实际上是一种内部插 值或外部插值行为 Harris 等讨论了三层网络的泛化能力 指出三层神经网络有一定的泛 化能力 可进一步用双 BP 算法提高其泛化能力 9 3 基于内部回归神经网络的故障诊断 9 3 19 3 1 IRNIRN 网络结构网络结构 内部回归神经网络 Internally Recurrent Net IRN 是利用网络的内部状态反馈来描述系统 的非线性动力学行为 构成回归神经网络模型的方法有很多 但总的思想都是通过对前馈 神经网络中加入一些附加的和内部的反馈通道来增加网络本身处理动态信息的能力 克服 BP 网络固有的缺点 6 图 9 1 IRN 网络结构 图 9 1 给出了一种 IRN 网络模型的结构 它由 3 层节点组成 输入层节点 隐层节点 和输出节点 两个模糊偏差节点分别被加在隐层和输出层上 隐层节点不仅接收来自输入 层的输出信号 还接收隐层节点自身的一步延时输出信号 称为关联节点 设 NH 和 NI 分别为隐节点数和输入节点数 除模糊偏差节点 是 IRN 在时间 kI j 的第个输入 是第个隐层节点的输出 是 IRN 的输出向量 则 IRN 可由kj kxjj kY 下列数学公式描述 9 1 NH i NI i jbiasiijiijj jj NH j biasjj WIkIWIkxWRkS kSkx WOkxWOkY 11 1 1 输 入 输 出 计算节点 关联节点 单元 模糊偏差单元 输入单元 式中 是隐层节点的非线性激活函数 分别为从输入层到隐层 k WIWRWO 回归信号 从隐层到输出层的权系数 分别为加在隐层和输出层上的模糊偏 bias WI bias WO 差单元的权系数 由方程 2 1 可以看出 隐层节点的输出可以视为动态系统的状态 IRN 结构是非线性动态系统的状态空间表示 IRN 的隐层节点能够存储过去的输入输出信息 9 3 29 3 2 基于基于 IRNIRN 的故障诊断方法的故障诊断方法 神经网络故障诊断模型 主要包括三层 输入层 即从实际系统接收的各种故障信息及现象 中间层 是把从输入层得到的故障信息 经内部的学习和处理 转化为针对性的 解决办法 输出层 是针对输入的故障形式 经过调整权系数后 得到的处理故障方法 ij W 简而言之 神经网络模型的故障诊断就是利用样本训练收敛稳定后的节点连接权值 向网络输入待诊断的样本征兆参数 计算网络的实际输出值 根据输出值的模式 确定故 障类别 图 9 2 表示基于神经网络的故障分类诊断的一般流程图 图 9 2 神经网络故障诊断流图 用 IRN 网络来实现故障分类 IRN 网络输入层有 5 个神经元对应 5 个测试点 输出层 有 5 个神经元 隐层有 10 个神经元 其它关联节点和偏差单元的结构配置与图 9 1 相类似 以测试编码作为网络输入 以故障编码作为网络输出 第一层学习率 为 1 5 第二层 学习率为 1 5 输入偏差学习率为 1 0 输出偏差学习率为 3000 网络学习到第 7 步 其精 度优于 0 01 图 9 3 为 IRN 网络误差的收敛结果 将训练好的网络冻结 以测试编码为输 入 使网络处于回想状态 回想结果如表 9 1 所示 表 9 1 IRN 网络对训练模式的回想结果 测试编码 111110100010000110001110011110 故障诊断结果 bit1bit2bit3bit4bit5 0 00000 00000 00000 00000 0000 0 99990 00000 00010 00010 0000 0 00000 99990 00010 00010 0000 0 00000 00000 99590 00020 0001 0 00000 00000 00000 99980 0001 0 00010 00010 00000 00000 9975 预处理神经网络特征提取诊断结果测点信息 图 9 3 训练误差曲线 9 3 39 3 3 IRNIRN 网络的故障诊断方法在航天器电源分系统故障诊断中的应用网络的故障诊断方法在航天器电源分系统故障诊断中的应用 1 航天器电源系统的故障树模型 通常航天器的故障检测与诊断是以航天器的遥测参数为依据进行的故障判别和分析 航天器的测点将不同程度地反映出故障 但是 由于一个故障可能影响多个测点参数 因 此给专家对航天器故障的分析带来麻烦 故障树是关于系统结构 功能和行为方面知识的定性因果模型 它是以某一故障事件 为根结点 以该故障发生的前提条件为子结点 测点信息为子结点而建立的反映事件逻辑 与或关系的倒树状结构图 从故障诊断角度看 子结点事件是父结点事件的征兆 也是确 定父结点事件发生的前提条件 于是可采用 IF THEN 的产生式规则来表示其定性的因果关 系 即 IF 子事件 THEN 父事件 因此 故障树分析是一种面向对象的 以故障为中 心的分析方法 本文以主电源光照区母线电压过压为根结点 建立故障树 主电源光照区 母线电压过压故障树如图 9 4 所示 2 IRN 网络在航天器电源系统故障诊断中的应用 依据上述故障树模型 建立主电源光照区母线电压过压测试编码和故障编码的描述如 表 9 2 所示 用 IRN 网络来实现故障分类 IRN 网络输入层有 12 个神经元对应 12 个测试 点 输出层有 4 个神经元 隐层有 20 个神经元 其它关联节点和偏差单元的结构配置与图 1 相类似 以表 9 2 中测试编码作为网络输入 以故障编码作为网络输出 IRN 网络的第一层学 习率 为 1 5 第二层学习率为 1 7 输入偏差学习率为 1 0 输出偏差学习率为 3500 网络 学习到第 6 步 其精度优于 0 02 将训练好的网络冻结 仿真测试 诊断结果如表 9 3 所 示 图 9 4 主电源光照母线电压过压故障树 表 9 2 主电源光照区母线电压过压故障编码表 测 试 编 码序 号 TNt015TNt016INt001INt004VNt009VNt030VNt004VNt005VNt006VNt025VNt026VNt027 故障编码 10111111111110001 21011111111110010 31101111111110011 41110111111110100 51111011111110101 61111101111110110 71111110001110111 81111111110001000 91111111111111111 表 9 3 IRN 网络对训练模式的回想结果 输入样本 1 00011 计算机仿真输出的故障诊断结果 bit1bit2bit3bit4故障名称 0 00000 00000 00000 9887左翼分流器温度不正常 0 00000 00000 99950 0001右翼分流器温度不正常 0 00000 0002098980 9888左分流调节器开路 0 00000 99590 00000 0002右分流调节器开路 0 00000 98530 00000 9998左分流控制信号不正常 0 00010 999810 99990 0000右分流控制信号不正常 0 00000 98970989809877左二次电源失效 0 99590 00000 00000 0002右二次电源失效 0 97880 99780 99890 9998主电源光照区母线电压正常 9 4 基于 Hopfield 神经网络的故障诊断 9 4 19 4 1 HopfieldHopfield 神经网络描述神经网络描述 众所周知 非物质循环的神经网络 无输出至输入的反馈 它保证了网络的稳定性 不会使网络的输出陷入从一个状态到另一个状态无限的遨游 而永不产生一个输出的结果 循环神经网络具有输出到输入的连续 网络在接受输入之后 有一个状态不断变化的 过程 从计算输出到对它修正后作为输入 然后又计算输出 这一过程一次次重复地进行 对一个稳定的网络 这个步骤迭代的过程产生越来越小的变动 最后达到平衡状态 输出 一个固定的值 对不稳定的网络 有许多有趣的性质 它适用于一类混沌系统 这里仅讨论稳定的神 经网络 目前尚未找到预测稳定性问题的通用方法 这给确定哪一类网络是稳定的研究带来了 困难 幸运的是 1983 年 Cohen 等提出一个强有力的网络理论 定义了一类稳定的循环网 络 这就给研究这个问题打开了大门 是更多研究者可探索这个复杂的问题 Hopfield 对 循环网络在理论和应用两方面均作出了重要贡献 有些神经网络已被称为 Hopfield 网络 Hopfield 最早提出的网络采用了二值神经元 后来推广到多值的 先介绍二值的网络 考虑单层循环网络 如图 9 5 所示 第 0 层如前所述 无计算功能 仅起网络的输出作用 分布的作为第一层的输入信息 第一层的每一神经元 计算输入权值累加和 经非线性函 数 F 的作用后 产生输出信息 这里的函数 F 是一个简单的阈值函数 阈值为 神经元 的计算规则可用下式表示 9 2 1 0 jijjj ij jj jjj jj Xw yx X yX X 不变 网络的状态是所有输出神经元当前值的集合 一个二值神经元的输出是 0 或 1 网络 当前状态为一个二进制值 在有两个神经元的输出层中 网络有四个状态 分别为 00 01 10 和 11 有三个神经元的输出层有 8 个网络状态 每一次输出都是一个 三位二 进制数 一般地 n 个神经元的输出层有 2n个不同状态 它可与一个 n 维超立方体的顶角 相联系 当使用一个输入矢量到网络时 网络的迭代过程不断地从一个顶角转向另一个顶 角 直到稳定于一个顶角 如果输入矢量不完全或部分不正确 则网络稳定于所希望顶角 附近的一个顶角 11 w 12 w 1n w mn w 2m w 1m w 2n w 22 w 21 w 1 x 2 x n x 1 y 2 y m y 第0层第1层 图 9 5 单层循环神经网络 这类 Hopfield 网络在什么情况下是稳定的呢 1983 年科思和葛劳斯伯格证明 如果网 络的权值矩阵 W 是对称的 即当时 而当时 则该循环网络是ij ijji ww ij 0 ij w 稳定的 Hopfield 引入李雅普诺夫函数或称为 能量函数 该函数在任何时刻总是单调下 降 最后达到最小且停止 9 3 1 2 ijijjjjj ijjj Ew y yx yy 式中 E 为神经网络的能量 wij为神经元 i 到神经元 j 的权值 yj为神经元 j 的输出 xj为神经元 j 的外部输入 为神经元 j 的阈值 j 容易证明 网络在变动过程中 E 单调下降 即有 9 4 0 ijijjjjjj ij Ew yxyXy 式中 为能量的变化量 为神经元 j 的输出变化量 E E j y 假定神经元 j 的权值累加和大于阈值 这将使上式方括号为正 由式 2 4 j X j 的正方向变动或保持常值 使只能是正值或 0 故必小于等于 0 即网络能量 j y j y E 或是减小 或是不变 E 假定小于阈值 只能是负值或 0 故能量也是减小 或是保持不变 在 j X j j y E 等于阈值时 为 0 不变 j X j j y E 这就证明了 由于有界 且能量在演变过程中不断减小 网络必趋于最小值 迭EE 代过程停止 按定义 网络稳定的充分条件是网络权值矩阵是对称的 但这不是必要条件 有许多 网络是稳定的 但并不满足权值矩阵的对称性 9 4 29 4 2 双向联想记忆 双向联想记忆 BAMBAM BidirectionBidirection AssociativeAssociative MemoryMemory 考虑两层反馈型网络 其输入层 FA包括 n 个神经元 1 表示第 i 个 12 n a aa i a 神经元兴奋 0 表示第 i 个神经元抑制 输出层包括 m 个神经元 i a 0 1 n A F B F 其中 1 表示第 i 个神经元兴奋 0 表示第 i 个神经元抑制 12 m b bb i b i b 联想记忆就是一个矢量空间的变换 W 假若映射是线性的 那 0 1 m B F nm RR 么当输入一个矢量 A 时 经过变换 输出矢量 这样 双向联想记忆网络就是二BA W 值乘积空间上的一个点 A B AB FF 怎样存储 P 中样本数据对 A1 B1 A2 B2 Ap Bp 呢 目前存储的方法有很多种 不同的存储方式就构成了不同的算法 这里把样本数据对用矩阵的方式存储如此 9 5 11 pp TTT iiii ii WAB WBA 如果输入是正交的 即 12 p A AA 9 6 1 0 T ij ij AA ij 那么 TT iiiiijji j i AWAABAABB 为了提高联想记忆的精度 可以把输出得到的 B 反馈回到 BAM 中得到 A 再把 A 送入 BAM 中得到 B B 再反馈得到 A 等等 重复进行 最后会收敛到 ff AB T T ff T ff AWB AWB AWB AWB AWB AWB 另外 和处的状态规定为 j b i a 9 7 1 0 0 0 j j j A w b A w 9 8 1 0 0 0 T i i T i Bw a Bw 如果联想记忆矩阵 W 对每个输入对 A B 都收敛 那么 W 就是双向稳定的 Hopfield 提出过最小能量原理 认为任何系统有一种向能量最小状态运行的趋势 在 双向联想记忆中 前向信息流的能量为 AWBT 后向信息流的能量为 BWTAT 双值对 A B 的能量就是前向 后向的能量之和 当 W WT时 11 22 TTTT E A BAWBBW AAWB 如果当状态发生了变化 下面分析的情况 的分析是类似的 A F B F 2112 n AAAaaa 能量的变化为 9 9 21 TT ijijii ij EEEAWBab wa BW 由式 9 7 可知 0 时 0 时 即 所以 i a 0 T i BW i a 0 T i BW 0 T ii a BW 0E 同理对 B F0 T EAW B 因为 W 是实矩阵 所以它是双向稳定的 更一般的 对于双值的 BAM 对所有n m 的矩阵 W 都是双向稳定的 每个突触连接的拓扑 无论位数 n m 多么大 都将会很快地 收敛 假若已经存好了两对样本 A1 1 1 0 0 A2 1 0 1 1 当一个输入 A 1 0 0 0 时 它是靠 近 A1还是 A2呢 为了解决这个问题 规定一个 Ai和 Aj的贴近度 ij A A 令是 L1空间上的一个度量 ij A A 9 10 1 n ijijikjk k A AAAaa 越小 表示与越接近 越大 表示与的差异越大 0 时 与 i A j A i A j A i A 完全贴近 即 当 n 时 与的差异最大 此时 为的补集 j A ij A A i A j A c ij AA c i A i A 另外 具体应用算法时还需做一些改进 因为 均为二值矢量 其中 i A i B 并且 所以和永远不会为负 12 iiiin Aaaa 0 1 1 2 n ij ajn i AW T i BW 值 状态转移规则的式子就有 这样矩阵 W 将不包含任何拟制信息 这就不能正1 ij ab 确地工作 如果用两极状态矢量代替二值状态矢量 就可能解决这一问题 二值矢量中的 零由 1 代替 组成两极对 于是采用如下处理方式 ii X Y 为单位矢量 9 11 2 2 iiii XAI YBI I 于是 由式 9 5 得 9 12 1122 TTT pp WX YX YX Y 9 4 3 卫星姿态控制器故障诊断 如图 9 6 所示 其控制系统包括卫星 飞轮 控制器和姿态敏感器 任一部分出现故 障都将造成系统的异常 控制器 姿态敏 感器 卫星飞轮 图 9 6 卫星姿态控制系统 下面我们就来讨论 Hopfield 神经网络的故障诊断 为方便起见 这里仅诊断姿态控制 器和飞轮两部分的故