（控制理论与控制工程专业论文）基于神经网络的油井故障诊断专家系统研究.pdf

华中科技大学硕士学位论文 一= = 2 = = = ；= = = ；= = = = = = = = = = = = 2 = = = ；= = = ；= 摘要 在油井开采中，对抽油井井下故障进行预测和诊断，了解和掌握采油系统的工况， 实现采油系统的自动监控和科学管理，是当前石油行业迫切需要解决的一个重大课 题。本论文针对油田有杆泵抽油井井下故障难以自动诊断的问题，利用神经网络的高 度模式识别能力，设计出了基于神经网络的故障诊断专家系统。 由于泵功图形状包含了油井故障的丰富信息，因此，首先根据泵功图的几何特征， 完成特征值的提取，作为神经网络的输入信号。然后，神经网络通过对样本的学习， 将知识以权值和闽值的形式存储在网络中。最后，网络的输出作为故障的类型模式。 但它不具备解释功能。利用基于符号推理的专家系统完成对故障诊断结果的解释。因 此，将神经网络和专家系统结合运用，发挥各自的优点，为井下故障诊断提供了新的 理论方法和实现手段。 针对目前油井井下故障诊断的难点多故障同时诊断的问题应用了多子网识 别技术。对故障诊断系统所采用的b p 网络存在收敛速度慢的问题，对多种改进的b p 算法进行了分析和研究，对收敛速度进行了比较，结果表明：基于梯度下降改进算法 中的弹性b p 算法和基于数值优化算法中的l e v e n b e r g - m a r q u a r t 法，能有效地解决这 一问题。本文还对用于故障诊断的三层神经网络结构的确定和隐层神经元的机理进行 了分析，并针对隐层单元数的选择问题，提出了利用遗传b p 算法进行神经网络结构 优化设计的方法。 为了进一步提高诊断的准确性和多故障同时诊断的能力，论文还提出了集成神经 网络和多子网联合诊断的方法。最后通过一个故障诊断实例，证明了该神经网络专家 系统的有效性。 关键词：神经商蟛专家素绣故障落嘶b p 算法泵坊旨有荐辐油机 华中科技大学硕士学位论文 ：= ：= = ；= = = = ；= = ；= = = ；自= = = = = ；= ；= = = = a b s t r a c t i nt h eo p e n i n gu po i l f i e l d s i t sa i li m p o r t a n t t a s ki np e t r o l e u mi n d u s t r yt op r e d i c ta n d d i a g n o s et h ef a u l tu n d e r t h eo i l f i e l d s ，t ou n d e r s t a n da n dm a s t e rw o r k i n g - p u m p sc o n d i t i o n o fo i l 6 e l d s a n dt or e a l i z ea u t o m a t i cm o n i t o ra n ds c i e n t i f i cm a n a g e m e n t i nae x p l o i to i lw e l l b e c a u s ei ti sd i f f i c u l tt h a tt h ef a u l t sa r ed i a g n o s e da u t o m a t i c a l l y , af a u l td i a g n o s i se x p e r t s y s t e m i sd e s i g n e dt ou t i l i z ep a t t e mr e c o g n i t i o no f n e u r a ln e t w o r k s b e c a u s em u c hi n f o r m a t i o ni si n c l u d e di nt h ew o r k i n g - p u m p sg r a p ho f o i lw e l l ，s i n c e ， a tf i r s tt h ec h a r a c t e r i s t i ce x t r a c t i n gi so b t a i n e db a s e dt h eg e o m e t r i cc h a r a c t e r i s t i co ft h e w o r k i n g p u m p sg r a p h a si n p u ts i g n a l so fn e u r a ln e t w o r k s t h e nt h en e u r a ln e t w o r k sk e e p t h ek n o w l e d g ei nn e t si nt h ef o r mo fw e i g ha n dt h r e s h o l db yl e a r n i n gf r o ms a m p l e s f i n a l t h eo u t p u t so fn e t sa r et y p i c a lm o d e l so ft h ef a u l t , b u ti th a s n te x p l a n a t o r yf u n c t i o n s t h e r e s u l t sa r ee x p l a i n e db ye x p e r ts y s t e m sb a s e ds y m b o li n f e r e n c e t h e r e f o r e ，i t s an e w m e t h o da n di n s t r u m e n t a l i t yf o rt h ef a u l td i a g n o s i st oc o m b i n eb o t hs ot h a tt h eb o t hm e r i t s c a r lb e g i y e nf u l lp l a y t h em u l t i - s u b n e tt e c h n o l o g yi sa p p l i e dt ot h em u l t i - f a u l td i a g n o s i ss i m u l t a n e o u s l y i ti s ad i f f i c u l t yo f t h ef a u l td i a g n o s i sf o rt h ep u m po i lw e l la tp r e s e n t t h el o ws p e e do f l e a r n i n g i sa p r e d o m i n a n td e f e c tf o rt h ef a u l td i a g n o s i ss y s t e m sb a s eb p n e u r a ln e t w o r k s s e v e r a l f a s tl e a r n i n ga l g o r i t h m sf o rb pn e t w o r k sa r ea n a l y z e da n ds t u d i e d t h ec o n v e r g e n c er a t ei s c o m p a r e d t h er e s u l ts h o w s t h a tt h ee l a s t i cb pa n dl m a l g o r i t h mc a ns o l v et h i sp r o b l e m e f f e c t i v e l y t h es t r u c t u r eo f n e u r a ln e t w o r k sa n dt h ef u n c t i o no f u n i t si nh i d d e nl a y e r sa 托 a n a l y z e d am e t h o d o f o p t i m i z i n g n n l r a ln e t w o r k ss t r u c t u r ei sa l s og i v e nt ou t i l i z eg e n e t i c a n db pa l g o r i t h mf o rt h ep r o b l e mo fs e l e c t i n gu n i t so fh i d d e nl a y e r sf o rat h r e e - l a y e r p e r c e p t i o ni nt h et h e s i s i no r d e rt oi m p r o v et h ea c c u r a c yo ft h ef a u l td i a g n o s i sa n dt h ea b i l i t yo fm u l t i - f a u l t d i a g n o s i ss i m u l t a n e o u s l yt h em e t h o d w h i c hi sa s s o c i a t e d 、析mm u l t i - s u b n e ta n di n t e g r a l n e u r a ln e t w o r k s ，i sp r e s e n t e di nt h et h e s i s f i n a lt h er e s u l ts h o w st h a tt h i se x p e r ts y s t e mo f n e u r a ln e t w o r k si se f f e c t i v eb ya e x a m p l e o f t h ef a u l td i a g n o s i s k e yw o r d s ：n e u r a ln e t w o r k se x p e r ts y s t e m f a u l t d i a g n o s i s b a c k p r o p a g a t i o n a l g o r i t h mw o r k i n g - p u m p sg r a p hp u m p o i lm a c h i n ew i t hr o d 华中科技大学硕士学位论文 1 绪论 现代化的工程技术系统正朝着大规模、复杂化和智能化的方向发展，这一类系统 一旦发生事故就可能造成人员和财产的巨大损失。例如，最近发生的美国哥伦比亚航 天飞机的坠毁。因此，切实保障现代化复杂系统的可靠性和安全性具有十分重要的意 义，也得到了广泛的高度重视。故障诊断与容错技术的出现，为提高复杂系统的可靠 性开辟了一条新的途径。而系统的故障检测与诊断是容错控制的重要支柱技术，所以 研究故障诊断的方法和理论具有重要的应用价值。 自1 9 7 1 年b e a r d 首先提出利用解析冗余代替硬件冗余进行系统故障诊断的方法 以来，基于控制工程理论的故障诊断技术获得了相当大的发展。如k a l m a n 滤波、观 测器和参数估计等1 2 , 5 0 ! 。这些方法要求被诊断对象的精确数学模型，但实际系统往往 存在数学模型的不确定性，导致了这些方法的不实用。为了克服这些问题，基于使残 差对干扰的灵敏度达到最小而对故障的灵敏度达到最高的设计原则的鲁棒故障诊断 技术便发展起来。这包括未知输入观测器、特征结构配置、频率技术等故障诊断方法。 但上述方法是针对线性系统而提出来的，而实际生产中的受控对象总存在或多或少的 非线性。由于非线性系统的多样性和复杂性，为非线性系统的故障诊断提出了新的课 题。除了借鉴已有的线性系统故障诊断技术以外，随着对非线性理论、先进算法、信 号处理及智能控制等技术的研究，非线性系统的故障诊断技术有了很大的发展。目前， 非线性系统的故障诊断方法主要包括基于数学模型方法、基于信号处理方法和基于知 识的方法。 在基于知识的方法中，由于神经网络具有处理非线性和自学习及并行计算能力， 使其在非线性系统的故障诊断方面有很大的优势。 1 1 基于神经网络智能诊断的形成 人工神经网络是近年来发展起来的十分热门的交叉学科。它涉及生物、电子、计 算机、数学、物理等学科，有着十分广泛的应用背景和前景。神经网络技术的出现， 为故障诊断问题提供了一种新的解决途径。对于复杂系统，由于基于解析的故障诊断 方法面临着难以建立系统模型的实际困难，基于知识的故障诊断方法成了重要的、也 是实际可行的方法。而神经网络的非线性映射特性、信息的分布存储、并行处理和全 华中科技大学硕士学位论文 局集体作用，特别是其高度的自组织和自学习能力，使其成为故障诊断的一种有效方 法和手段，并已在许多实际系统中得到了成功的应用。 神经网络用于故障诊断起源于8 0 年代末期，1 9 8 9 年美国泊杜大学的 v e n k a t a s u b r a m a n i a n 和k i n gc h c n 等人将人工神经网络用于故障诊断中i l 埘，并与基 于知识的专家系统进行了比较。他们诊断的设备是一个催化裂化单元的故障，确定 了1 8 种症兆( 输入节点) 和1 3 种故障类型( 输出节点) ，隐层有5 2 7 个节点。所 用的算法是反向传播算法，获得了理想的结果。它能正确地确定9 4 9 8 的故障原 因。美中不足的是训练时间太长，训练时输入的数据不是实时的。与传统的专家系 统相比，神经网络具有的优点是：神经网络可以实时运行，这对专家系统是一种挑 战；神经网络能直接使用时间序列数据，而专家系统需要将数值数据转换成符号信 息。 同年，日本庆应义塾大学的k a j i r o 、w a t a n a b e 等人将人工神经网络用于诊断化工 过程的初期故障。我国的一些学者也对神经网络在旋转机械故障诊断中的应用进行了 探讨，取得了一定的成果。 t i m os o f a s 等人论述了过程自动化领域的神经网络诊断法，认为几种结构的神经 网络比基于模型的方法和专家系统更适合于故障诊断，并指出双正切多层感知器网络 单元最适合故障诊断。 神经网络故障诊断问题可以看成模式识别。通过对一系列过程参数进行测量，然 后用神经网络从测囊空间影射到故障空间，实现故障诊断。 人工神经网络之所以适合于故障诊断，有以下3 个原因： 1 ) 训练过的神经网络能存储有关过程的知识，能直接从定量的、历史故障信息 中学习。可以根据对象的正常历史数据训练网络，然后将此信息与当前测量数据进行 比较，以确定故障。 2 ) 人工神经网络具有滤出噪声及在有噪声情况下得出正确结论的能力，可以训 练神经网络来识别故障信息，使其能在噪声环境中有效地工作。 3 ) 人工神经网络具有分辨原因及故障类型的能力。 1 2 神经网络的故障诊断能力 对于故障诊断而言，其核心技术是模式识别。而人工神经网络能够出色地解决那 些传统模式识剐方法难以解决的问题，所以故障诊断是神经网络的重要应用领域之 2 华中科技大学硕士学位论文 一。在目前已有的几十种神经网络模型中，能够完成模式识别的具有代表性的网络主 要有【5 0 】：自适应共振理论( a r t ) 、雪崩网络、双向理想记忆( b a m ) 、b o l t z m a n n c a u c l a y 机( b c m ) 、盒中脑( b s b ) 模型、细胞神经网络( c n n ) 和使用反向传播算法的多层感 知器( m l p ) 网络。 人工神经网络故障诊断和与传统的故障诊断是两种不同的诊断方法。神经网络 ( n n ) 故障诊断方法不但能在模式空间内形成各种复杂的判决表面，而且n n 方 法最大的特点是网络具有自适应能力。网络不但能自适应地学习，而且还能够自适 应地调整网络的大小。此外，神经网络故障诊断方法对输入模式信息不完备或特征 的缺损不太敏感，也就是说网络具有容错性。和传统的故障诊断方法比较起来， n n 故障诊断法在背景噪声未知的情况下，其性能更好，而且网络具有很好的泛化 能力。 早在二十世纪5 0 年代末，r o s e n b l a t t 就提出了感知器模型，标志着对人工神经网 络( 心n ) 探索的开始。到8 0 年代，a n n 研究掀起了热潮，其中一个里程碑是1 9 8 6 年r u m e l h a r t 及l e c u r t 等学者提出的多层感知器学习算法b p 算澍2 7 j 扪。这种算法理 论依据坚实，推倒过程严谨，克服了当初感知器模型继续发展的重要障碍。其中b p 网络是目前应用最为广泛的一种网络模型，它采用了多层前向网络的反向传播算法。 不足是学习时间长。它也是本文选用的神经网络模型。多层感知器能够获得广泛使用， 与它本身良好的特性是分不开的。它最显著的优点是具有学习能力、容错能力( 泛化 能力) 和并行性。 学习能力使多层感知器网络成为具有高度灵活性的模型，它不局限于某一具体问 题。无论提供什么样的学习样本，只要有足够多的神经元，它都能建立起恰当的模型 描述它，而且这个建模过程不需要人为干预。特别适用于无法知道数学模型的非线性 系统。 容错能力是多层感知器的吸引力所在。如果多层感知器网络为学习样本建立一个 没有容错能力、僵硬的数学模型，这个模型只适用于学习样本，对任何新样本都没有 认知能力，那么它就失去了生命力。多层感知器的生命力就在于能够从学习样本中演 绎出具有一般性的规律，并用它去认知新样本。 并行性是多层感知器网络具有解决复杂问题的根基。对于复杂的、大信息量的闯 题，只有基于并行机制，才能高速、有效地综合出其中的有效信息。并行性使多层感 知器能够高速计算。 3 华中科技大学硕士学位论文 故障诊断的过程是把症状空间的向量映射到 故障空间，即实现空间x 到空间y 的映射f ，f ： x 寸y 。通常，映射关系f 是未知的。但神经网 络可以通过学习输入到输出的样本集，实现输入 到输出的这种映射关系，其作用机理可用图1 1 表示。 实际上，故障诊断神经网络实现的功能实质 用系统辨识、函数逼近、模式识别等理论解释都 是一致的。 由于用途不同，神经网络的结构也不尽相图1 1 神经网络映射机理 同。但所有的网络都是由若干个神经元通过权值连接起来的集合体。最常见的是多层 感知器网络，它们一般由输入层、隐含层和输出层组成。图1 2 为网络拓扑结构。 特征空间中向量的维数，直接对应于神经网 络输入层的节点数。而故障空间的维数则对应于 输出层的节点数。这样，整个网络只有隐层数和 隐节点数有待确定。隐层在神经网络中起着非常 重要的作用，是实现特征空间到故障空间非线性 映射的桥梁。其作用机理可从模式识别的角度加 以解释。 层摩古层输出层 图1 2 网络模型 故障诊断问题是一个典型的模式分类问题，即把待诊断的案例归入相应的故障类 别中。多层感知器具有这种能力。以单隐层网络为例，设隐层中第i 个神经元节点的 输入为： 。国f z + 只= 矽7 z + 只 ( 1 1 ) j = l 式中 彬= 【够l ，q 2 ，0 3 。】 x = f xj 趣x m l 7 假设隐含单元的作用函数为阶跃函数： 4 华中科技大学硕士学位论文 ：= = = = ；= = ；= ；= = = = = = = = = ；= ；= ；= = ；= ；= = = ； f 1 y ，= f ( 1 ，) = 1 0 【一1 ，；0 时，式1 1 对应模式空间的一个超平面，它将 模式空间分为两个部分。以二维为例( m ：2 ) ，则f ( 1 ，) = 0 对应二维空间一直线，如图1 3 所示。 jl 春 、 入。 弋a o , j 图i 3 神经网络二维模式 w 表示直线的方向向量，而只表示直线在纵轴上的空间划分示意图 截距。网络学习的过程，实质上就是自动调整参数( w i ，只) 的过程，也就是对应于 超平面的位置( 平移) 和取向( 旋转) 不断调整的过程，调整过程中模式空间划分的 区域不断变化。这样，多个神经元节点在空间将形成超平面，将空间划分为若干区域。 当神经元作用函数采用其他非线性函数时，如s i g m o i d 函数等，模式空间将划分 为超球、超抛物面等多种曲面划分。这样，任何待识别的模式即将匹配到其最接近的 区域。神经网络用于故障诊断的机理也在于此。 1 3 课题背景介绍 由于我国油田地域广阔、油井分散，因此抽油井的生产管理是油田管理中最薄弱 的环节之一。目前大多数油田只能通过人工巡井来强化油井管理，即采油工每天必须 检查抽油机的工作状态，观察井口回压和油温，估算抽油机运行时率，若发现抽油机 工作异常、油井不出油等故障，立即停机。这种人工巡查方式，巡查次数极为有限， 不能及时发现抽油机井井下故障，抽油机运行时率的估算误差大，已不能满足油田现 代化生产的需要。因此，实现抽油机井井下故障的实时诊断和监控已成为油田油井管 理的迫切需要。 有杆抽油机是目前各国石油开采的主要设备，目前国内对抽油机井故障的诊断主 要是根据采油工程师对泵功图的分析和油井管理经验来确定的。针对现有采油工业中 抽油机数量大、分布广、故障诊断自动化程度低的特点，需要一种诊断技术和方法及 软件体系结构来提高故障诊断的准确性和多故障同时诊断的能力，这对避免井下作业 的盲目性和提高石油产量具有重要的意义。 1 9 8 8 年美国a r c o 油气公司采用c 语言开发了一套用于有杆抽油机并故障诊断的 5 ) 2i ，l o o o = 1 0 4 e ( k ) 珊c ： 0 , 9 5a e 1 0 4 e ) 自动返回。并像弹子滚动一样来回摆动， 直至停留在最小点上。因此，可在一定程度上解决局部极小问题，但收敛速度仍然很 慢。 3 2 2 自适应学习翠b p 算法 在b p 算法中，网络权值的调整取决于学习速率和梯度。在标准b p 算法中，学 习速率是不变的。而在自适应学习率调整法中，通常学习速率的调整准则是f 4 4 习：检 查权值的修正是否真正降低了误差函数，如果确实如此，则说明所选的学习率小了， 可对其增加一个量：若不是则说明产生了过调，那么就应减小学习速率的值。与采用 附加动量法时的判断条件相仿，当新误差超过旧误差一定的倍数时，学习率将减少： 否则其学习速率保持不变；当新误差小于旧误差时，学习率将被增加。下面给出了一 种自适应学习率的调整公式： 1 4 华中科技大学硕士学位论文 f 1 0 5 0 ( k ) e 1 0 4 e ( k ) ( 3 3 ) i 理( 七) 其它 通过调整学习率玎( k ) ，从而可得到比标准的b p 算法更快的收敛速度。此方法可以保 证网络总是以最大的可接受的学习率进行训练。当一个较大的学习速率仍能够使网络 稳定学习，使其误差继续下降，则增加学习速率，使其以更大的学习速率进行学习。 一旦学习速率调得过大，而不能保证误差继续减少，则减少学习速率直到其学习过程 稳定为止。 3 2 3 弹性b p 算法 b p 网络通常采用s i g m o i d 隐含层。s i g m o i d 函数常被称为“压扁”函数，它将一 个无限的输入范围压缩到一个有限的输出范围。其特点是当输入很大时，斜率接近0 ， 这将导致算法中的梯度幅值很小，可能使得对网络权值的修正几乎停顿下来。 弹性b p 算法只取偏导数的符号，而不考虑偏导数的幅值。偏导数的符号决定权 值更新的方向，而权值变化的大小有一个独立的“更新值”确定。若在两次连续的迭 代中，目标函数对某个权值的偏导数的符号不变号，则增大相应的“更新值”；若变 号，则减少相应的“更新值”其权值的迭代过程可表示如下： 。( 七+ 1 ) = ( 七) 一a c o f ( 七) s i 矽( v f ( c o ( ) ) ) ( 3 4 ) 其中，。( k ) 为前次的“更新值”，可丁( 吼( 七) ) 表示目标函数的梯度。 在弹性b p 算法中【2 9 1 ，当训练发生震荡时，权值的变化量将减小。当几次迭带过 程中权值朝一个方向变化时，权值的变化量将增大。因此，般来说，弹性b p 算法 的收敛速度比前几种方法快得多。而且算法并不复杂，也不需要消耗更多的内存。 3 3 基于数值优化的改进算法 前面介绍的几种基于一阶梯度的方法用于简单问题时，往往可以很快收敛到期望 值。当用于较复杂的实际问题时，在收敛速度上还是存在一定的问题。 b p 网络的训练实际上是一个非线性目标函数的优化问题，与前面基于一阶梯度 的b p 算法不同，基于数值优化的算法不仅利用了目标函数的一阶导数信息，还利用 了目标函数的二阶导数信息。它们可以统一描述为1 3 0 , 5 5 】： 华中科技大学硕士学位论文 一一= = = ；= = = = = = = ；= = = ；= = = g = = = = ；= ；= = 厂( x ( 七十1 ) ) = m i n 厂( 彳( t ) + 7 7 ( 七) s ( x ( ) ) ) x ( k + 1 ) = x ( k ) + 刁( 膏) s ( y ( 七” ( 3 5 ) 其中，x ( ) 为网络所有的权值和偏置值组成的向量，s ( x ( 七) ) 为由x 的各分量组 成的向量空间中的搜索方向，刁( 七) 为在s ( ( ) ) 的方向上使f ( x ( k + 1 ) ) 达到极小的步 长。 3 3 1 拟牛顿法 牛顿法是一种常见的快速优化方法，它利用了一阶和二阶的导数信息，其基本形 式是：第一次迭代的搜索方向确定为负梯度方向，即搜索方向为s ( x ( o ) ) = 一w ( ( o ) ) ， 以后各次迭代的搜索方向由下式确定： s ( z ( 七) ) = 一( ( 七) ) “v f ( x ( k ) ) ( 3 6 ) x ( k + 1 ) = x ( k ) 一叩( t ) s ( x ( 后) ) ；x ( k ) 一叩( 七) ( 日( 七) ) “v f ( x ( k ) ) ( 3 7 ) 其中，日( 七) 为海森h e s s i a n 矩阵( 二阶导数矩阵) 。牛顿法的收敛速度比一阶梯 度法快，但由于神经网络中参数数目的庞大，导致计算海森矩阵的复杂性增加。因此， 人们在牛顿法的基础上，提出了一类无需计算二阶导数矩阵及其求逆运算的方法。这 类方法一般是利用梯度信息或一个近似矩阵去逼近h ( k ) ，不同的构造h ( k ) 的方法， 就产生了不同的拟牛顿法。如两种比较典型的是b f g s 拟牛顿法和正割拟牛顿法。 1 ) b f g s 拟牛顿法 除了第一次迭代外，对应( 3 6 ) 、( 3 7 ) 式，b f g s 拟牛顿法在每一次迭代中采用 下式来逼近海森矩阵： h ( k + 1 ，= h ( k ，+ 瓷器踹籍+ 丽d g 丽x * d g x r s ， 其中，匆并= v f ( x ( k + 1 ) ) 一v f ( x ( k ) ) b f g s 拟牛顿法在每一次迭代中都要存储近似的海森矩阵，海森矩阵是一个h r 的矩阵，n 是网络中所有的权值和偏置值的总和。 2 ) 正割拟牛顿法 6 正割拟牛顿法不需要存储完整的海森矩阵，除了第一次迭代外，以后各次迭代的 搜索方向由下式确定： s ( r ( 七+ 1 ) ) = 一，盯( 。r ( 七+ 1 ) ) + 彳+ 叩( 七) s ( r ( j j ) ) + 口+ d g x ( 3 9 ) 其中：d g x = v f ( x ( _ j + 1 ) ) 一v f ( x ( k ) ) 口= 笔篇警s ( x ( t ) ) + 妇 a ；【1 + j 罢糯】+ b + d g _ x 虱j r 云+ i v 石f i ( f x 矿( k + 1 ) ) 3 3 2 共轭梯度法 由于梯度下降法收敛速度慢，而拟牛顿法计算较复杂，共轭梯度法力图避免两者 的缺点。其第一步沿负梯度方向搜索，然后沿当前搜索方向的共轭方向进行搜索，可 以迅速达到最优值。其过程描述如下： 第一次迭代的搜索方向确定为负梯度方向，即s ( j ( o ) ) = 一可( z ( o ) ) ，以后各次迭 代的搜索方向由下式确定： s ( x ( 露) ) = 一v f ( x ( 女) ) + p ( k ) s ( x ( k 1 ) ) ( 3 ，1 0 ) 其中，x ( k ) = x ( k ) + 刁( k ) s ( x ( 女) ) 。 根据( 七) 所取形式的不同，可构成不同的共轭梯度法。常用的两种形式是： ( 七) ：靼或 g l j g k - l 其中，g ( k ) = v ，( x ( 七”。 口m ：一l g t 卢( 女) = 二笋= 堕 g i l g 一l ( 3 1 1 ) 3 3 3 l e v e n b e r g - m a r q u a r d t ( l m ) 法 l e v e n b e r g - m a r q u a r d t 法实际上是梯度下降法和牛顿法的结合。l m 算法的推倒公 式如下【3 2 】： 非线性最小二乘法的一般模型为： ，( x ) = ，2 ( 曲，x r ”，埘月 i = i 其中m 为训练样本数，n 相当于神经网络两层之间的权值个数。 令f ( x ) = ( x ) 五( 曲 ：l ( z ) 其目标函数还可以写为；f ( 工) = f 7 ( x ) 厂( x ) 则f ( x ) 的梯度为： g r a d f ( x ) = 2 争，：( 工) 笪盟 2 善爪对等 其中z = ，( 工) ；。 。 f w 厶。厶：jl 厶 ( 3 1 2 ) ( 3 1 3 ) = a 7 ，= v f ( 力( 3 1 4 ) 兀= 警州从 常称a 为雅可比矩阵。，( x ) 称为残量矩阵，定义为： ，( x ) = 一一y i ( x ) 其中：盔为目标函数；只( 工) 为神经网络输出。 ( 3 1 5 ) 其h e s s i a n 矩阵为： g ( 工) = ( v f ( x ) v f , 7 ( 工) + ，( 砷v 2 ，( 砷) = 一( 石) 7 彳o ) + s ( 砷 ( 3 1 6 ) 其中：s ( 工) = z ( 对v 2 z o ) 1 8 荆一瓴一 ) ) x x ( ( ， ， 华中科技大学硕士学位论文 = = = = ；= = = = = ；= = ；= = = = = = ；= ；= ； = = = = = = ； l m 算法是二阶收敛的n e w t o n 算法的变形，又称变尺度法。牛顿法的权值调整 算法如下： 工。+ 1 ) = x ( 一 g ( x ) 】一1 v x = x “一( 4 7 a + s ) a f ( x 2 ) ( 3 1 7 ) 若高阶项s 可省略的话，则变为g a u s s - n e w t o n 法 工i + 1 = x ( 一( a 7 爿) a - f ( x ) ( 3 1 8 ) 在g a u s s n e w t o n 法中，要求4 是满秩的。但在实际中，a 为奇异的情况经常发 生，使得算法常收敛到非驻点。这样造成的结果是线性搜索得不到进一步下降，从而 无法找到最优点。l m 算法通过引入一个可变因子( 0 ) ，将一个对角阵加到 爿7 一上去，改变了原矩阵的特征值结构，使其变成满秩矩阵，从而确保线性搜索的方 向为下降的方向。其权值调整规则如下：工( “1 ) = x “一( a 7 a + a ) a - f ( x ) 可以利用来控制迭代，声可以在一较大的范围内进行调整。芦较小时即为 g a u s s n e w t o n 法；z 较大时即为最速下降法。z 参数的引入，以及在迭代过程中参 数的可调节性极大的地改善了算法收敛的稳定性。 有关各种算法的实验数据和应用结论，可参考第六章的第7 节。 1 9 华中科技大学硕士学位论文 一= j = = = ；= = = = = # = = = = = # = ；= = ；= ；= ； 4 神经网络结构的优化设计 尽管经历了几十年的发展，神经网络理论本身还有不完善之处，例如b p 算法的 多层感知器神经网络训练时的初始权值选择问题、局部最小值问题、隐层数及隐层单 元数的选择问题和隐层神经元的作用机理等问题。 在此对三层感知器网络结构的确定及隐层神经元的机理进行分析，并在此基础上 提出了优化设计神经网络结构的方法。 多层感知器中的隐层神经元在网络中起着极其重要的作用，有无隐层、有多少隐 层、隐层神经元数和作用函数的类型都不同程度地影响网络能否收敛、收敛速度的快 慢、记忆能力以及归纳和泛化的能力。 4 1 隐层数的分析 多层感知器网络与单隐层感知器相比，在达到同样训练误差情况下，需要更多的 权值调整运算，并且划分空间过细容易导致网络的归纳和泛化能力下降。网络的层数 可由映射存在定理确定，这个定理是【1 】：“给定任一连续函数：u 1 哼r “，( x ) = y 这里u 是闭单位区间 o ，l 】，厂可以精确地用一个三层感知器网络实现”。任意连续函 数可由一个三层感知器网络逼近。因为只有一个隐层的神经网络能够以期望的精度逼 近非线性函数，对于一般的故障诊断问题，具有一个隐层的三层感知器已经够用了。 因此，确定神经网络的结构也就是确定隐层的神经元数。 4 2 隐层神经元的作用机理 对隐层神经元的作用机理的深入研究是正确选择隐层神经元数的理论基础，也是 神经网络研究领域的一个重要内容。从b p 算法的推导过程可以看出，神经网络的训 练是每次输入一个样本，看不出隐层神经元的作用。下面，从全体样本的角度来分析 一下多层感知器网络隐层的作用机理。设三层感知器的隐层神经元作用函数厂具有任 意阶非常数导数，隐层神经元数目任意多，输出神经元特性为线性函数，则单输出的 三层感知器可逼近任意连续函数。现在以同样的神经元特性，研究多输出的三层感知 2 0 华中科技大学硕士学位论文 一：= t = = i = ；= = = = = = = = # ；= ；= = ；= = = = g ； 器对象。符号意义如下： p 输入样本数： 一输入层单元数： 矗隐层单元数； 所输出层单元数； 既。输入层到隐层之间的权值矩阵； 阡二。隐层到输出层之间的权值矩阵； 以。输入向量； y 坍。输出向量； 瓦。目标向量； u 。隐层的输出： 口阂值。 网络结构如图2 1 3 所示。总共p 个样本中的第g 个样本，有： 甜。= z ( 。，。t ，。+ 幺) ， 留= 1 ，2 ，p ，i i “2 ，= 厶( 2 ，一河+ 岛) ， g = 1 2 ”p 。_ h = ( l 。x + 吼) ，g = 1 ，2 ，p i j l 对于p 个样本，隐层输出构成一个向量组 一j = ( 口j ”口j ，2 ”4 j p ) ， ，= l ，乙， 。 4 2 以 ( 4 1 ) 每个向量4 由p 个元素组成， 输出向量k ，= k ，一。，】，也可以看成一向量组，其中的每个行向量可表示为： 2 1 巧= ( y ，1 ，y ，2 ，y 。p ) ，= l 一2 ，f 。 为了便于理解，先考虑m 个输出中的一个，即考虑单隐层单输出的感知器。网络 如图4 1 所示。 隐层到输出层之间与输出耳有关的权值可表示为巧= ( v u ，”啦，7 帅) ，可以看出输 出向量z 的每个元素都是隐单元输出的线性组合，输出向量的每个分量可以表示为： y 4 = v ，“m ，g = 1 2 p ( 4 2 ) 又因为“j = ( “，l ，“，2 ，“m ) j = 1 ，2 ，矗，则： i i , = 巧u h 。 可见，输出向量中的每个行向量耳又是隐层输出 构成的行向量4 ，= l ，2 ，h 的线性组合，即 可以认为， 图4 1单隐层单输出感知器 ( 4 3 ) 构成了一个线性空间的基，它的维数是隐层单元数h 。 训练神经网络的目的是要使网络的输出y 尽量接近于目标输出丁，在隐层单元输出已 确定的情况下，就是寻找一组权系数v ，使r 与丁的误差最小，用向量表示即为： e = t y = m i n e 由泛函分析中的投影定理：空间三是日的闭子空间，x 、三 ，则，是工在三中 最佳逼近元的充分必要条件是z 一7 上三。 对于应用b p 算法的感知器网络来说，理论上应存在一个最佳隐单元数h ，使得 4 ， p 一 = 巧 4 4 4 p。，l 组羹句行 华中科技大学硕士学位论文 网络输出y ：t 。当网络的实际隐单元数h h 时，对提高神经网络的性能没 多大好处，随着隐节点数的增加，网络的权阵很快增加，训练量增大，网络对样本数 据携带噪声的鲁棒性比较羞，相当于一个人马虎。从以上的分析可以看出，对于多层 感知器算法的单隐层感知器网络，隐层神经元对所有样本的输出构成了一个线性空 间，隐层神经元的个数冗这个空间的维数。神经网络的训练过程就是求期望输出向量 在隐层输出构成的线性空间中的最佳逼近过程。 4 3 神经网络结构的优化设计 如何针对一个具体的故障诊断问题设计神经网络，目前还无规律可循。各种神经 网络系统的设计主要是根据设计者的经验和反复实验来进行的，这样不仅设计效率 低，而且还不能保证设计的神经网络结构和权值等参数的组合是优化的。造成这种结 果的主要原因是神经网络的设计是一个高度复杂的问题，它体现在如下几个方面： 1 ) 神经网络系统是与应用问题本身密切相关的，由于神经网络可能的节点数和 连接数是无界的，于是存在的神经网络数量是无限的，即搜索空间是无限大的。 2 ) 由于神经网络参数的微小变化可能导致网络性能的完全不同，所以参数对网 络性能的影响是不连续的，而且节点和连接数的变化都是离散的。因此参数空间是非 常凸的。 3 ) 不同的神经网络参数组合也可能表现出类似的网络状态，即搜索空间是多锋 的。而训练集合对网络性能的影响是滞后的和带有噪音的，因此需要对网络性能实行 在线评估。 由于以上的原因，用传统的搜索方法进行神经网络的设计带有很大的局限性，而 用演化算法辅助神经网络的设计己被认为是最有前途的方法f 5 3 】。 近年来，神经网络的自动设计己成为当前的一个研究热点。按照处理方式的不同 可将其分为连接主义设计法和演化设计法。而演化设计方法更具有优越性。 人工神经网络和演化算法是两种求解非线性问题的方法，二者既有共同点也有不 同点。相同点主要有：二者解决问题的机制都是并行的，使用的运算都是非线性的， 它们可以解决那些不能用数学公式表示的问题或是说可以解决无模型的复杂问题。不 同点主要有：神经网络解决问题的方式是解空间中单点搜索，原因和结果之间的映射 华中科技大学硕士学位论文 关系用网络节点问的权值表示。演化算法解决问题的途径是通过将问题编码同时搜索 解空间的多个点，试图找到某个更优的群体，而不仅是某个点，因此有更好的全局性。 演化优化算法能在连续空间上较稳定地找到全局最优点。 在神经网络中多层感知器用于故障诊断比较合适。随着对多层感知器b p 算法研 究的深入，发现该方法存在的两个主要问题：一是从数学上看b p 算法是一个非线性 优化问题，由于采用了传统的无约束最小化方法来实现误差函数的极小化，因此不可 避免地存在有局部极小问题；二是网络的隐层节点数的选取尚无理论上的指导，而是 根据经验采用试探法选取的。为了使神经网络更加有效地解决实际的故障诊断问题， 应该找到其结构特性最能反映故障诊断问题的神经网络并且其权值能比较精确地表 示故障征兆到故障原因之间的非线性映射关系。 4 3 1 演化神经网络 演化计算为神经网络的自动设计和训练提供了一种新的途径。将遗传算法用于故 障诊断神经网络的研究表明，遗传算法作为一种对进化论思想的计算机模拟，这一非 数学型自适应优化搜索算法能够有效的解决故障诊断网络的构筑及结合权值的确定 等问题。所构成的神经网络由输入、输出单元和隐层单元群组成的网络，其单元间的 结合及隐层单元群的数目均由遗传算法自动确定。在构造神经网络时只要根据研究对 象确定输入、输出单元数，给出网络的学习数据，就可得到所需的神经网络。 4 3 2 遣传算法的基本组成 通常遗传算法包含三个基本的算子：繁殖、杂交和变异。繁殖是从一个旧群体中 选择生命力强的个体产生新群体的过程。它意味着适应值高的个体在下一代中复制自 身的个体数多。杂交是按较大的概率从群体中随机选择两个个体，交换这两个个体的 某些位，交换的目的在于产生新的基因组合，以限制遗传材料的丢失。变异是以较小 的概率对群体中的某些个体的位进行改变即“l ”变“0 ”，0 变“l ”，变异的目 的在于防止寻优过程中过早收敛于不成熟期。 遗传算法中最基本的概念就是型式，一个型式就是一个描述种群中在位串的某些 确定位置上、具有相似性的位串子集的相似性模板，由三个字符 o ，l ， 构成。一 个型式就是一个模式匹配装置，某些位置0 和0 匹配，l 和1 匹配，和两者都匹配： 例如，个八位型式：s = l 0 o o 和下面的a 、b 、c 中任一个匹配： a = 1 1 1 0 1 0 0 0b = 0 1 0 0 0 1 0 0 c ：0 1 1 0 1 1 0 0 2 4 一个型式的长度就是最左边到最右边的非”位置的间距，如+ + 1 0 的长度是1 ， 而0 ”+ i 的长度是4 。遗传算法之所以功能强大是因为它隐含并行机制，即大量型式 都是并行的。例如：串长为，则每个串代表2 。个型式。如果有一个n 个串的群体，则 特定型式，为： 2 s s n 2 ( 4 4 ) 因形式概率给定一个群体，则可计算下一代群体中将有多少个给定形式的代表， 取决于繁殖、杂交和变异操作。下面分述三中操作【5 2 1 。 i ) 繁殖 假设，时刻( 父代) 种群中型式s 有盯( s ，f ) 个表示串，在繁殖过程中，一个串s