（计算机应用技术专业论文）lvq神经网络在齿轮箱故障诊断中的研究.pdf

摘要 螋 y 1 7 3 5 岑芝 近年来，随着现代化生产的发展，机械设备的安全性和可靠性问题越来越突 出，设备中可能出现的小故障会造成整个系统设备的瘫痪，为了提高设备的安全 可靠性、降低设备强迫停运、降低维修费用、延长设备的使用寿命等，关于机械 设备的故障诊断技术越来越受到重视。机械的故障诊断技术是随着现代化大生产 工业的发展而发展起来的一项机械设备诊断技术，是大型机械设备安全可靠运行 的关键技术之一，也是各种自动化系统及一般机械系统的效率和可靠性进行预知 维修及预知管理的基础。因此关于机械设备故障诊断技术的研究具有重要的意 义。 l v q 神经网络能够通过竞争性的隐含层来传递函数，并根据目标的类别将输 入向量进行组合分类。竞争层能够学习对输入向量的分类，线性层将竞争层传来 的分类信息转变成使用者所定义的类别。l v q 神经网络的优势在于：它不但能够 对线性输入数据进行分类，而且还能处理多维的、甚至是含噪含干扰的数据量。 当然l v q 网络也有不足之出：最严重的问题是没能力来解释自己的推理过程和推 理依据；其次，把一切问题的特征都变为数字，把一切推理都变为数值计算，其 结果势必是丢失信息；再者不能向用户提出必要的询问，而且当数据不充分的时 候，神经网络就无法进行工作；最后理论和学习算法还有待于进一步完善和提高。 7 论文首先介绍了人工神经网络的理论知识，接着介绍了关于b p 神经网络和 l v q 神经网络的结构和学习过程以及网络设计方法，然后基于b p 神经网络和l v q 神经网络理论出发分别构造b p 网络的网络模型和l v q 网络的网络模型。在齿轮 箱故障诊断的实例当中，分别采用b p 神经网络和l v q 神经网络对齿轮箱的机械 故障进行诊断，并将两个神经网络的诊断结果进行比较，得出l v q 神经网络在机 械设备故障诊断的应用中更具有优势，更适合用来作为检测机械设备的故障。最 后文章进行总结工作，并提出了下一步的研究方向。 关键词：b p 神经网络，l v q 神经网络，故障诊断，m a t l a b a b s t r a c t i nr e c e n ty e a r s ，w i t ht h ed e v e l o p m e n to fm o d e mp r o d u c t i o n , t h em e c h a n i c a l e q u i p m e n t ss e c u r i t ya n dr e l i a b i l i t yp r o b l e m sh a v eb e c o m ei n c r e a s i n g l yp r o m i n e n t 1 1 1 ee q u i p m e n tg l i t c h e sa p p e a rm a yr e s u l ti np a r a l y s i so ft h ew h o l es y s t e m ，i no r d e rt o i m p r o v ee q u i p m e n tr e l i a b i l i t y , r e d u c ee q u i p m e n tf o r c e do u t a g e s ，r e d u c em a i n t e n a n c e c o s t s ，a n de x t e n dt h es e r v i c el i f eo fe q u i p m e n t ，t h em e c h a n i c a le q u i p m e n t sf a u l t d i a g n o s i st e c h n o l o g yh a v eb e e np u tm o r ea n dm o r ea t t e n t i o n f a u l td i a g n o s i s t e c h n i q u e si sad i a g n o s t i ct e c h n i q u et h a td e v e l o p e dw i t ht h ed e v e l o p m e n to fm o d e m i n d u s t r i a lm a s sp r o d u c t i o ne q u i p m e n t ，a n do n eo ft h ek e yt e c h n o l o g i e st h a ti st h e s a f ea n dr e l i a b l eo p e r a t i o no fl a r g em a c h i n e r ya n de q u i p m e n t ，b u ta l s oi st h e b a s i s f o rw h i c hav a r i e t yo fa u t o m a t e ds y s t e m sa n dg e n e r a lm e c h a n i c a ls y s t e me f f i c i e n c y a n dr e l i a b i l i t yp r e d i c t i v em a n a g e m e n ta n dp r e d i c t i v em a i n t e n a n c e t h e r e f o r e ，t h e r e s e a r c ho ff a u l td i a g n o s i so nm e c h a n i c a le q u i p m e n ti so fg r e a ts i g n i f i c a n c e l v q n e u r a ln e t w o r kt r a n s f e rt h ef u n c t i o nt h r o u g ht h ec o m p e t i t i v eh i d d e nl a y e r , a n dd e p e n do nt h et a r g e t sc a t e g o r yc l a s s i f i c a t i o no ft h ei n p u tv e c t o rc o m b i n a t i o n s 1 h ec o m p e t i t i v el a y e rc a nl e a mt h ec l a s s i f i c a t i o no ft h ei n p u tv e c t o r t h el i n e a rl a y e r c h a n g e st h e c l a s s i f i c a t i o no fi n f o r m a t i o nf r o mt h ec o m p e t i t i v el a y e ri n t ot h e c a t e g o r i e sd e f i n e db y t h eu s e r n ea d v a n t a g eo fl v qn e u r a ln e t w o r k ：i tn o to n l yt o c l a s s i f yt h el i n e a ri n p u td a t a , b u ta l s od e a l w i t hm u l t i d i m e n s i o n a l e v e nw i t h i n t e r f e r e n c eo fn o i s yd a t a o fc o u r s e ，l v qn e u r a ln e t w o r k sh a ss o m ei n a d e q u a c i e s ： 1 1 1 em o s ts e r i o u sp r o b l e mi sn oa b i l i t yt o e x p l a i nm e i rr e a s o n i n gp r o c e s sa n d r e a s o n i n gb a s i s ；c a nn o tm a k et h en e c e s s a r yi n q u i r yt ot h eu s e r , a n dt h et i m ew h e n t h ed a t ai sn o ts u 伍c i e n t ，n e u r a ln e t w o r k sc a l ln o tw o r k , t u ma l lt h ei s s u e sf e a t u r e s i n t od i 酉t a la n dt u ma l lt h er e a s o n i n gi n t on u m e r i c a lc o m p u t i n g , t h er e s u l ti sb o u n dt o l o s ei n f o r m a t i o n ；t h e o r ya n dl e a r n i n ga l g o r i t h m ss h o u l db ef u r t h e ri m p r o v e da n d e n h a n c e d t 1 1 i sp a p e rf i r s ti n t r o d u c e st h et h e o r yo fa r t i f i c i a ln e u r a ln e t w o r k ，a n ds t r u c t u r e t h eb pn e t w o r km o d e lb a s e do nt h et h e o r yo fb pn e t w o r ka n dt h el v qn e t w o r k m o d e lb a s e do nt h et h e o r yo fl v qn e t w o r k i i lt h ei n s t a n c eo fg e a r b o xf a u l td i a g n o s i s ， r e s p e c t i v e l yu s i n gb pn e u r a ln e t w o r ka n dl v qn e u r a ln e t w o r kt od i a g n o s et h eg e a r c a s e sf a u l t ，t h e nc o m p a r et h er e s u l t so ft h eg e a r b o xf a u l td i a g n o s i sa n do b t a i nt h a t t h el v qn e u r a ln e t w o r kh a v em o r ea d v a n t a g e si nf a u l td i a g n o s i s f i n a l l y , s u mu pt h e w o r k , a n dp r o p o s ef u t u r er e s e a r c hd i r e c t i o n s k e yw o r d s ：b p n e u r a ln e t w o r k ，l v qn e u r a ln e t w o r k ，f a u l td i a g n o s i s ，m a t l a b i i 目录 第1 章引言1 1 1 研究背景及意义1 1 2 研究现状1 1 3 研究内容2 1 4 论文组织结构2 第2 章齿轮箱故障概述4 2 1 齿轮箱故障4 2 2 齿轮箱故障介绍4 2 3 本章小结5 第3 章人工神经网络基本理论6 3 1 神经网络理论6 3 2 神经网络的特点：6 3 3 神经网络的研究内容7 3 4 神经网络的应用7 3 5 神经网络的发展史8 3 6 神经网络模型1 0 3 6 1 神经元模型1 0 3 6 2 神经网络的互连模式1 3 3 7 本章小结1 4 第4 章b p 神经网络1 5 4 1b p 神经网络概念1 5 4 2b p 神经网络算法的推导及学习训练过程1 6 4 2 1b p 神经网络的学习算法1 6 4 2 2b p 网络的学习训练过程1 8 4 3b p 网络设计技巧2 l 4 3 1b p 网络的层数设计2 1 4 3 2b p 网络的输入层和输出层的设计2 1 4 3 3 隐含层节点的设计2 1 4 4 确定初始权值的选取2 2 4 5b p 网络的优缺点2 2 4 6 本章小结2 3 第5 章l v o 神经网络2 4 5 1l v q 网络概念2 4 5 2l v q 神经网络学习算法与过程2 4 5 2 1l v q 神经网络算法2 4 5 2 2l v q 网络的学习过程2 6 5 3l v q 网络设计技巧2 7 5 3 1l v q 网络层数的设计2 7 5 3 2 初始权值的选取2 7 5 4l v q 网络的优缺点2 7 5 5 本章小结2 8 第6 章基于b p 网络和l v q 网络的齿轮箱故障诊断2 9 6 1 模型输入、输出量参数的确定2 9 i i i 6 2b p 神经网络设计3 0 6 3l v q 神经网络设计3 2 6 4 本章小结3 6 第7 章总结与展望3 7 7 1 总结3 7 7 2 展望3 7 参考文献3 9 致谢4 l 在校期间发表的论文4 2 i v 1 1 研究背景及意义 第1 章引言 近年来，随着计算机科学技术的快速发展，使得系统的规模和复杂程度不断 增加，设备的安全性和可靠性问题越来越突出，系统设备中出现的小故障可能会 造成整个系统的瘫痪。人们期望建立一整套完善的检测预警机制用来防止故障的 发生和发展。机械故障诊断技术是随着现代化工业大生产的发展而发展起来的一 项设备诊断技术，是机械设备安全可靠运行的关键技术之一，也是各种自动化系 统和一般机械系统的效率及可靠性进行预知维修和预知管理的基础。机械故障诊 断技术研究的是机械设备运行中或在停机状态时在基本不拆卸的情况下，掌握设 备的运行现状、判定设备故障出现的部位、原因、严重程度及工作状态，预测设 备的可靠性和使用寿命，并提出解决方案的技术。机械故障诊断技术研究的内容 涉及比较广泛，包括模式识别、现代控制理论、计算机科学、电子技术、信号处 理技术、人工智能、统计数学、模糊数学、灰色系统理论等多方面的内容。它最 终目的是提高设备运行效率和可靠性、分析故障形成的原因，防止故障的发生与 发展。机械故障诊断包括对设备的性能进行诊断和对设备的故障进行诊断两方面 内容。 随着非线性并行分布处理神经网络理论的发展，为机械设备故障诊断技术的 研究提供了新的途径。在发动机的机械故障中，以齿轮箱故障发生的概率最高。 在非拆卸状态下，传统的齿轮箱故障诊断往往是依赖专家的经验判断，但是齿轮 箱是一种非常复杂的传动机构，它的故障模式和特征量之间是一种非常复杂的非 线性关系，再加上工作时的不同影响因素，所以传统的专家经验并不能解决所有 的诊断问题。而神经网络的自学习、自适应性和对非线性系统的分析能力可以有 效地应用在齿轮箱的复杂故障诊断中。 1 2 研究现状 在现代化生产过程中，机械设备的故障诊断技术越来越受到企业重视。因为 某一零部件或设备出现故障而又未能及时发现与解决，不仅可能导致设备本身的 损坏，甚至可能造成机毁人亡的严重后果。特别是在流水线生产系统中，如果某 一关键设备因故障而停止运行，往往会造成整个流水线生产系统运行的崩溃，造 成巨大的经济损失。因此，对于流水线生产系统的机械故障诊断技术具有极为重 要的意义。 目前在我国，对机械设备的维护主要还是采用传统的计划、定期维修，但这 种维护的方法具有较大的盲目性，并不能准确掌握机械设备的实际运行状态。而 且由于反复的拆卸，可能会造成良好部件性能的减弱，同时带来不必要的资源浪 费。机械故障诊断技术的广泛使用，对机械设备的维护走向了状态预知的检修， 对机械设备的维护方式发生了革命性变化。状态监测可以避免机械设备发生突发 性的故障，减小对正常生产的影响；机械设备工作状态分析可以为预知机械设备 的维修提供了可靠的依据，能够准确地指出故障类型和故障部位，从而避免了盲 目性的维护，大大缩短了维修工期。由此可见，机械设备故障检测技术给企业带 来的经济效益是十分显著的。 机械故障诊断技术在减少突发性事故，提高设备的安全可靠性、降低设备强 迫停运、降低维修费用、延长设备使用寿命等方面都发挥着非常重要的作用。鉴 于机械故障诊断技术具有以上的优点，一些发达国家已经8 0 采用该技术，国 内企业也逐步把这项技术投入到实际生产中。实践表明：机械故障诊断技术的使 用，不仅是降低经济成本的有效途径，还能保证安全可靠生产。 1 3 研究内容 神经网络在机械故障检测方面的使用，往往采用的是b p 神经网络、h o p f i e d 神经网络、r b f 神经网络、s o m 神经网络等，很少采用l v q 神经网络来对机 械的故障进行检测等方面的研究和使用；关于l v q 神经网络，书本上的理论知 识介绍也相对比较简单。鉴于以上原因，本文采用l v q 神经网络对发动机的齿 轮箱故障进行检测，并与b p 神经网络的检测进行比较，得出两种检测方法的优 劣点。 1 4 论文组织结构 各。 本文的组织结构如下： 第1 章简要介绍本文撰写的背景、意义及研究的现状。 第2 章简要概述了关于齿轮箱故障诊断的内容，为后续章节做好内容上的准 第3 章主要介绍神经网络的基本理论知识。 第4 章详细介绍了b p 网络算法及学习过程，为后续章b p 网络在故障检测中 2 的使用做准备。 第5 章详细介绍了l v q 网络的算法及学习过程。 第6 章介绍b p 网络和l v q 网络两种方法分别进行故障检测的网络设计和现 实，并进行结果比较。 第7 章作为结束语，对本文的工作进行总结，并对下一步的研究进行展望。 2 1 齿轮箱故障 第2 章齿轮箱故障概述 发动机的很多故障都出现在变速箱齿轮中的齿轮及转动轴等机械系统中，而 齿轮箱也是整个系统中结构比较复杂的结构，其故障发生率占除发动机以外其他 故障率的5 9 一7 0 ，所以研究和探索齿轮箱故障的机理、模式及诊断方法对发动 机的使用和维护都有重要意义。 2 2 齿轮箱故障介绍 齿轮箱的常见故障有断轴、齿面疲劳、轴承损坏、断齿、齿根裂纹等。下面 简单介绍这几种故障： 1 断轴 断轴是齿轮箱常见的重大故障之一。主要原因是在制造轴过程中没有消除应 力集中因素，在过载或交变应力的作用下，超出了材料的疲劳极限所导致的。因 此要高度重视对轴上易产生的应力集中因素，尤其是在不同轴径过渡区要有圆滑 的圆弧连接，此连接处的光洁度要求比较高，不允许有切削刃尖的痕迹。在设计 时轴的强度应该足够强，轴上的花键、键槽等结构也不能降低轴的强度。 2 齿面疲劳 齿面疲劳是因为在过多接触剪应力和应力循环次数作用下，齿轮表面或者表 层下面产生疲劳裂纹并进一步扩展而造成的齿面损伤。表现形式有破坏性点蚀、 早期点蚀、齿面剥落和表面压碎等。正确的进行齿轮的强度设计、选择好的材质、 保证热处理的质量、选择合适的精度配合、改善润滑条件等，是解决齿面疲劳的 根本措施。 3 轴承损坏 轴承是齿轮箱中最为重要的零件，轴承的失效会引起齿轮箱毁灭性的破坏。 轴承在运转过程中，套圈与滚动体表面之间经受交变负荷的反复作用，由于安装、 润滑、维护等方面的原因，而产生点蚀、裂纹、表面剥落等缺陷，使轴承失效， 从而使齿轮副和箱体产生损坏。因而重视轴承的设计选型，充分保证润滑条件， 按照规范进行安装调试，加强对轴承运转的监控是非常必要的n 3 。 4 4 断齿 断齿常由细微的裂纹逐步扩展而成。根据裂纹扩展的情况和断齿原因，断齿 可分为过载折断、疲劳折断以及随机断裂等。 过载折断总是由于作用在轮齿上的应力超过其极限应力，导致裂纹迅速扩 展，常见的原因有突然冲击超载、轴承损坏、轴弯曲或较大硬物挤入啮合区等。 断齿断口有呈放射状花样的裂纹扩展区，有时断口处有平整的塑性变形，断口副 常可拼合。仔细检查可看到材质的缺陷，齿面精度太差，轮齿根部未作精细处理 等。在设计中应采取必要的措施，充分考虑预防过载因素。安装时防止箱体变形， 防止硬质异物进入箱体内等等。 疲劳折断发生的根本原因是轮齿在过高的交变应力重复作用下，从危险截面 ( 如齿根) 的疲劳源起始的疲劳裂纹不断扩展，使轮齿剩余截面上的应力超过其 极限应力，造成瞬时折断。在疲劳折断的发源处，是贝状纹扩展的出发点并向外 辐射。产生的原因是设计载荷估计不足，材料选用不当，齿轮精度过低，热处理 裂纹，磨削烧伤，齿根应力集中等等。故在设计时要充分考虑传动的动载荷谱， 优选齿轮参数，正确选用材料和齿轮精度，充分保证加工精度消除应力集中集中 因素等等。 随机断裂的原因通常是材料缺陷，点蚀、剥落或其他应力集中造成的局部应 力过大，或较大的硬质异物落入啮合区引起。 2 3 本章小结 本章介绍有关齿轮箱故障的知识，并详细介绍了几种常见的故障情况，如 齿面疲劳、轴承损坏、齿根裂纹、断轴、断齿等。 第3 章人工神经网络基本理论 3 - 1 神经网络理论 神经网络是一个由简单的处理单元广泛地互相连接而形成的复杂网络系统， 为了模拟大脑的基本特性，在神经科学研究的基础上，提出了神经网络的模型。 实际上神经网络并不能完全反映人脑的功能，只能反映人脑功能的某些基本特 征，如具有存储经验知识和使之可用的特性。神经网络获取的知识是从外界环境 中学习得来的，并且通过神经元的相互作用来进行信息的处理，神经网络通过不 断的学习调整各连接神经元的权值来进行网络的学习和识别。人工神经网络通过 计算机模拟人体中的某些结构和功能，广泛的应用在工程领域。神经网络的研究 重点是利用模拟生物体的神经网络来解决计算机系统或者其他系统不能解决的 问题，如学习、控制、识别和专家系统等。由于神经网络具有很强的学习能力， 可以轻松的实现非线性映射过程，且具有大规模计算能力，所以在自动化、计算 机和人工智能领域都有着比较广泛的适用性，同时成为人工智能领域中最令人感 兴趣和最富有魅力的研究课题之一。 输入第1 层第2 层 厂、一一、厂一、 3 2 神经网络的特点： 图3 1 神经网络结构 神经网络的特点主要表现在以下几个方面。 1 非线性处理 人脑的思维是非线性的，因而神经网络模拟人的思维也应该是非线性的。神 6 经网络中的每一层的神经元都会接受大量的输入信息，进行网络处理后也都会输 出一个信息，而且会影响到下一层的神经元，通过这样的相互影响就产生了从输 入状态到输出状态的非线性映射。 2 并行分布式处理 神经网络具有高度的并行结构、并行实现能力，并且具有高速寻找优化解 的能力，能够有效的发挥计算机的高速运算能力，可以快速地找到优化解 2 】。 3 具有自组织、自适应和自学习能力 神经网络嵌入了一个能够调整自身突触权值以适应外界变化的能力。当外部 环境发生变化时，神经网络就表现很强的学习能力，自动的进行学习训练，并调 整相应的网络参数，这样就能适应新的环境。 4 联想记忆功能和容错性强 神经网络能够通过自身的网络结构学习训练并不断调整各神经元的权值来 记忆住输入的信息，并将之存储在神经元的权值当中。由于信息是分布的存储在 各神经元的权值当中个，因此网络也就具有的很强的容错能力。这样神经网络就 可以处理模式信息和模式联想等相关的模式识别工作。 5 神经网络的硬件实现 要使人工神经网络更快、更有效地解决更大规模的问题，关键在于其超大规 模集成电路硬件的实现。即把神经元和连接制作在一块芯片上构成的a n n 【2 】。 3 3 神经网络的研究内容 由于神经网络本身就是- - 1 9 涉及的多门学科与技术的综合性学科，所以研究 的内容也非常的广泛。主要研究集中在以下几个方面： ( 1 ) 对生物体科学的研究，了解生物体的结构特征和功能机理，为建立人 工神经网络作理论基础。 ( 2 ) 基于生物原型的理论，研究建立人工神经网络的理论模型。 ( 3 ) 在人工神经网络的理论模型基础上，建立具体的人工神经网络，并研 究网络的学习算法。 ( 4 ) 人工神经网络的应用，在神经网络的模型和算法的基础上，构建成实 际的应用系统。 3 4 神经网络的应用 神经网络的实质是将输入转化为输出的一种数学表达式，而网络的结构确定 这种数学关系，网络的结构必须根据具体问题进行设计和训练。学习神经网络的 关键在于了解生物神经网络与人工神经网络建模的联系、人工神经网络的数学基 础以及人工神经网络的应用。 神经网络理论的应用取得了令人瞩目的发展，神经网络的应用主要表现在模 式识别、图像处理，经济管理和优化控制等方面，它和数学、统计中的多个学习 有着密切的联系，如线性和非线性的规划问题、数值逼近、统计计算等，同时在 其他信息处理方面也有很多的应用，如数据压缩、编码、密码和股市分析等领域。 1 模式识别和图像处理 印刷体和手写体字符识别、语音识别、签字识别、指纹识别、人体病例分析、 目标检测及雷达声纳目标的识别、机器人的视觉听觉等模式聚类及分类识别，图 像压缩和图像复制等。 2 控制和优化 神经网络比传统的数字计算机的离散控制方式在机器人运动的复杂控制问 题上更容易构建快速实时的自营控制系统。主要的应用有：化工过程控制、机器 人运动控制、家电控制、半导体生产中掺杂控制、石油精炼优化控制和超大规模 集成电路布线设计等 3 预报和智能信息管理 股票市场预测、地震预报、有价证券管理、借贷风险分析、i c 卡管理和交 通管理【3 1 。 4 通信 人工神经网络具有很强的学习和适应能力，这一特点使神经网络能够处理 各种各样的模拟信号，特别在连续时序模拟信号方面的处理表现出很强的适应 性。在通信方面的主要应用有：自适应均衡、路由选择、通信编码和解码、回波 抵消、信号的增强与降噪、a t m 网络中的呼叫接纳识别和控制等。在很多方面都 已经投入运用到现实的生产当中，给生活带来很大的方便。 5 空间科学 空间交汇对接控制、导航信息智能管理、飞行器制导和飞行程序优化管理等 【3 1 。 3 5 神经网络的发展史 神经网络系统理论的发展自1 9 4 3 年心理学家m c c u l l o c h 和数学家p i t t s 提出 神经元生物学模型以来，至今已经有6 0 多年的历史了，大体分为以下三个阶段 1 初期阶段启蒙时期 神经网络开始于m c c u l l o c h 和p i t t s 在1 9 4 3 年提出的一个神经网络的逻辑 演算，并证明了这样的网络原则上可以计算所有的可计算函数，即是神经元的数 学模型。并在此基础上抽象出神经元的数理模型，标志着人工神经网络的诞生。 1 9 4 9 年，h e b b 提出了突触修正的生理学学习规则，即h e b b 规则。这个法则 告诉人们，神经元之间突触的联系轻度是可变的，这种可变性事学习和记忆的基 础。为构造有学习功能的神经网络模型奠定了基础。 1 9 5 7 年r o s e n b l a t t 在n i p 模型的基础上增加了学习机制，提出了感知器模型， 首次把神经网络研究从理论付诸工程实践。 1 9 6 2 年w i d r o w 提出的a d a l i n e 网络模型，这是一种连续取值的自适应线性 神经网络模型，可以用于自适应系统。 2 第二阶段- f 氐潮时期 由于m i n s k y 和p a p e r t 指出感知器由于结构简单和功能具有局限性，不能解 决线性不可分的分类问题，对当时人工神经网络的研究带来沉重的打击，因而关 于神经网络的研究工作进入了一个低潮，对当时人工神经网络的研究带来沉重的 打击。另一方面，2 0 世纪7 0 年代以来，正是数字计算机的全盛时期，无论在硬 件、软件还是技术应用和商品市场方面都取得了突飞猛进的发展，使大批有才华 的科学家都转移到数值计算机研究方面了。 期间也有不少学者继续对神经网络进行研究，为神经网络系统发展的高潮奠 定了坚实的基础。 g r o s s b e r g 提出了自适应共振理论；k o h e n e n 提出自组织映射，并将l v q 网 络应用到语音识别、模式识别和图像识别方面；a n d e r s o n 提出的b s b 模型；w e b o s 提出的b p 网络的理论等等。 3 第三阶段黄金时期 2 0 世纪8 0 年代开始，神经网络的理论知识和网络设计取得了比较大的进展， 标志着神经网络的研究又开始进入了新的阶段。 最具代表性的是美国物理学家j o h nh o p f i e l d 于1 9 8 2 年提出的h o p f i e l d 神 经网络模型，h o p f i e l d 网络是一个互连的非线性动力学网络，解决问题的方法是 一种反复运算的动态过程，这是符号逻辑处理方法所不具备的性质。 f e l e m a n n 和b a l l a r d 提出了连接网络模型，给出了并行分布处理的计算原 则，并指出了生物计算和人工智能计算的区别。 1 9 8 4 年，h i n t o n 与s o n o w s k i 等合作提出了大规模并行网络学习机，首次提 出了多层网络的学习方法。我国生物物理学家汪云九提出了视觉神经元的广义 g a b o r 函数模型以及有关立体视觉、纹理检测、运动方向检测、超视觉现象等的 计算模型。 9 1 9 8 6 年，r u m e l h a r t ，h i n t o n 和w i l l i a m s 等人同时提出了多层前馈误差反向 传播算法，即b p 算法，并指出它在机器学习中应用。b p 算法把输出的结果与期 望产生的误差又反向传送回去，并调整相应神经元的权值，通过周而复始的学习 训练，最终达到期望输出或允许的误差范围之内。b p 网络是目前最普通也是使 用最广泛的网络，因为它具有很强的运算能力，能够完成学习许多复杂的任务， 解决具体实际问题。 2 0 世纪8 0 年代，由于计算机的集成度日趋极限状态，而数值计算的智能水 平和人脑任存在比较大的差距，因此需要从新的角度来思考智能计算机的发展道 理问题。因而神经网络系统理论形成了新的发展热点，多重模型、算法和应用问 题被提出，大量的研究经费的投入，使得研究者完成了很多有重要的意义的工作。 3 6 神经网络模型 3 6 1 神经元模型 神经元是神经网络操作的基本信息处理单位，从神经元的特性和功能可以知 道，神经元一般表现为一个多输入、单输出的信息处理单元，而且对信息进行非 线性处理。神经元模型的三个基本元素： ( 1 ) 突触，连接强度由各连接上的权值表示。和人脑中突触不同，神经 元的突触权值有一个范围，既可以是正值也可以取负值。正值表示激活，负值表 示抑制。 ( 2 ) 加法器，一个求和单位，用来求取输入信号被神经元的相应突触加 权的和( 线性组合) 。 ( 3 ) 非线性激活函数，用来限制神经元的输出振幅，并限制在允许范围 之内的一定值( 正常幅度范围 o ，1 或 1 ，+ 1 ) 【5 1 。 神经元模型还包括一个外部偏置b 。( b 。= 一吼) ，其作用可以增加或降低激 活函数的网络输入，用数学方程表示一个神经元： “i = w 白x ，y k = 厂t 7 u k + b 。k ) ( 3 1 ) “i2 乙匆x ，2 ，+ j lj l 式中x 1x 2 ，x 。是输入信号，w m w ，w 切是神经元k 的权值，材i 是输入信 号的线性组合器的输出，吼是阈值，厂( ) 是激活函数，y 。是神经元k 的输出。 其中： v 女= u i + 吮 ( 3 2 ) 1 0 输 入 信 口 丐 _ x 2 一 x m 突触权值 图3 2 神经元的非线性模型 神经元的激活函数f 有多种形式，常见的有阶跃型、分段线性型和s 型： ( 1 ) 阈值型，为阶跃函数，它的输出是电位脉冲，故这种激发函数的神 经元称离散输出模型。 f 1 ，甜0 ， 八卜t ii i jl ，一， 1 r 0 “ ( 3 - 3 ) 图3 3 ( 2 ) 分段线性函数，它的输出是与输入的综合作用成正比例的，所以这 种神经元称为线性连续型模型： m 户融薏 ( 3 - 4 ) jl ，一， l 一。 - 0 1 z i - 1 - _ _ _ _ _ _ _ _ - _ _ _ _ _ ( 3 ) 非对称s 型函数，它的输出是非线性的，所有这种神经元称为非线 性连续性模型，其特点是函数本身及其导数都是连续的，能体现计算上的优越性， 单极性函数【3 】： m ) = 专 ( 3 _ 5 ) jl 、“，) 1 厂 一 l d 玩 图3 5 ( 4 ) 对称s 型函数，它的输出也是非线性的，它是关于坐标原点对称的 非线性函数： m 沪等 j l j 一j ， 1 厂一。 o 玉 ( 3 - 6 ) 3 6 2 神经网络的互连模式 根据神经网络的不同连接方式，一般来说，神经网络的有以下几种连接方 式： ( 1 ) 单层前向网络 单层前向网络输入模式由输入层进入网络，并传送给隐含层，神经网络中每层的 神经元只会接收前一层神经的输入并对前一层不会产生反馈信号。输入的信号经 过在隐含层中的层层传播，最终传播的输出层并得到一个输出模式，就完成了一 次网络状态的更新【4 1 。 图3 7 前向网络结构 ( 2 ) 具有反馈的前向网络 其结构如图3 8 所示，从输出层对输入层有信息反馈，反馈的结构形式封闭 环路，具有反馈的单元称为隐单元，输出层对输入层有信息反馈，这种网络可用 于存储某种模式序列。 图3 8 有反馈的前向网络结构 ( 3 ) 层内有相互结合的前向网络 其结构如图3 9 所示，在同一层网络中，神经元之间是相互连接的，这样它 们就会产生相互的抑制或者是相互的激励。这种连接方式限制了同一层中可以同 时响应的神经元或者是把某些神经元划分为一组，作为一个整体而进行运作。 图3 9 层内有相互结合的前向网络结构 ( 4 ) 相互连接型网络 相互连接是指在任意两个神经元之间都可能连接。互连网络又分为局部互连 和全互连。局部互连是指有些神经元之间没有连接，而全互连是指网络中每个神 经元的输出都与其他神经元相连【4 1 。 3 7 本章小结 图3 1 0 相互结合型网络结构 本章介绍了神经网络的基础性知识。主要包括三方面的内容：一是神经网络 的基本概念、特性、研究内容及应用；二是神经网络的发展历史和现状；三是重 点介绍了神经元模型、神经网络的3 大基本要素、网络结构形式。 1 4 4 1b p 神经网络概念 第4 章b p 神经网络 误差反向传播神经网络，简称b p 神经网络，是一种单向传播的多层前向网 络，其神经元的传递函数是s 型函数，输出量是( 0 ，1 ) 区间的连续量，实现从 输入到输出的任意非线性映射【2 】。b p 神经网络一般是由输入层、隐含层和输出层 构成的三层或者三层以上的神经网络。b p 算法的学习过程是先把信息从输入层 输入到神经网络中，然后经过隐含层的学习处理，再把处理的结果传给输出层， 而当前的神经元状态只会对下一层的神经元状态产生影响而不会影响到前一层 的神经元状态。当输出层的输出的结果与期望值不同时，网络则会把产生的误差 信号按原来的路径返回，并修改每一层相应神经元的权值，周而复始的进行，直 到最终产生的输出与期望的误差减少到可以接受的程度或预先设定的学习次数 为止。b p 网络主要用途有： ( 1 ) 类别分类； ( 2 ) 模式识别； ( 3 ) 用于实现函数逼近； ( 4 ) 数据图像的压缩编码； ( 5 ) 故障诊断； ( 6 ) 最优预测。 一般模式的模式识别问题，三层网络就可以很好的解决。 隐层输h 层 u 兰兰! ：! a 1 = t a ns i g ( m 1 ，1p + 6 11a 2 = d u r e l i n c l w 2 ，a 1 + b 1 图4 1 三层b p 网络结构 4 2 b p 神经网络算法的推导及学习训练过程 4 2 i b p 神经网络的学习算法 三层的b p 网络，设输入层有m 个节点，隐含层有p 个节点，输出层有n 个节点， 网络的输入样本有n 对，对网络的设置如下表示： 网络的输入样本：x t = ( x lx 2 ，x 。) 网络的期望输出：e = ( y 。，y 2 ，y 。) 网络的实际输出：k = ( 允，夕：，歹。) 网络隐含层的加权输入：s 。= ( s ，s ：，s 。) 网络隐含层的输出：b t = ( b 。，6 ：，6 。) 输出层各层的加权输入：b 。= ( b l , 6 ：，b 。) 输入层于隐含层之间的连接权： w 。， 隐含层与输出层之间的连接权：v 。 隐含层各神经单元的阈值：0 ， 输出层各神经单元的阈值： ，f f = 1 , 2 ，m ，f = 1 , 2 ，n ，j = 1 , 2 ，p ，k = 1 , 2 ，n 。 网络选取s i g m o i d 型函数为激活函数：厂( x ) = 击，对函数进行求导得： l 十p ( x ) = 厂( x ) ( 1 一厂( x ) ) ( 4 1 ) 网络的输入和输出变量关系为： b 。，s ，】_ k ：，x 。】 又记为为：s ：艺t + qb y ：厂b ，) ，= 1 ，2 ，p ； i = 1 ：，。】= b i , b ：，b ，】 + h ， 巳 ( 4 - 2 ) ( 4 3 ) + k ，吃，】 ( 4 4 ) 又可记为为：，：pv j r b ，+ l ，允= 厂( ) ，f = 1 ，2 ，刀； ( 4 5 ) j = l 训练样本第k 对( x 。，e ) ，它的网络实际输出和期望输出之间的误差可以如下 定义： 1 6 p p 妒 咖咖一 咖 h 行 晰 一 网络的全局误差表示为： 色= 三i | k 一坟眨= 圭喜( y ，一多，) 2 ( 4 - 6 ) ( 4 - 7 ) 4 一鲁一鲁篑吨，屯m 7 ) 沁8 ) 由式( 4 1 ) 进一步可得：d ，= 或( 1 一多，) ( y ，一允) ( 4 9 ) 中间的各隐含层单元的矫正误差： ”一堕：一堕一o b j ：一( 争一o e k 盟) 一o b j ( 4 - 1 0 ) j o s i o bo s l、乞o l t o b l i o s i 由式( 4 1 ) 和式( 4 - 4 ) 可以得出： p ，：( 兰吐v ) b j ( 1 - 屯) ：b j ( 1 - 屯) 主允( 1 一只) ( y ，一或) _ ， ， t = lt = 1 ，= 1 , 2 ，p ( 4 - 11 ) 在所有样本的基础上定义了网络的全局误差e ，求出全局误差e 对输出层和 隐含层之间的连接权值和阈值的负梯度，就可以让全局误差e 能够在曲面上梯度 下降： 一瓦o e k = 善( 一瓦o e k ) ( 4 - 1 2 ) 一万o e , = 善c 一 险埘 一等= 荟nc 一静 限 一百0 e k = 荟n ( 一- 晦g - ) ( 4 - 1 5 ) 按梯度下降原则( 即连接权和阈值的变化正比与负梯度) ，故而有： 咄一口嚣一口煮盟0 1 ，j t 一口。象鲁，瓦0 l , = 叫i ( 4 1 6 ) 1 执 t 8v j to i t m j t w 户一矽堕：一胪o - 萋e k 塑堕 i(who d | o sl0 w 叫c 喜鲁西0 l , 考静哦一