（机械设计及理论专业论文）基于神经网络的振动攻丝参数匹配数据库研究.pdf

摘要 振动攻丝作为一种新型的工艺方法，在切削加工中逐步得到应用，取得了降低攻丝扭 矩、提高螺纹加工质量、延长丝锥寿命等效果，在解决难加工材料的小直径内螺纹的攻丝 质量有着很好的应用前景。目前，振动攻丝技术还没有广泛推广应用，而要推广振动攻丝 技术，优化振动攻丝工艺参数尤其关键，本课题就是要开发一个基于神经网络的振动攻丝 参数匹配数据库。 在分析振动攻丝的攻丝效率和攻丝质量的影响因素的基础上，确立了振动频率、切削 速度和正反转比例为振动攻丝的基本工艺参数组，并在现有实验设备的基础上，选择有代 表性的材料进行攻丝实验，采集基本工艺参数组与攻丝扭矩之间的关系数据并对数据进行 分析。 利用神经网络理论，基于m a t l a b 的神经网络工具箱建立了振动攻丝扭矩值的预测模 型，并以q 2 3 5 加工m 6 螺纹为例，证明了该模型用于攻丝扭矩值预测的可行性。同时，为了 弥补m a t l a b 在人机交互性能上的欠缺，建立m a t l a b 与d e l p h i 之间的应用程序接口，将 d e l p h i 灵活强大的数据库管理能力和m a t l a b 的神经网络工具箱的预测能力结合起来，并采 用可视化编程工具d e l p h i ，在w i n d o w s 系统平台上，开发出界面友好、操作简便、易于功 能扩充的振动攻丝工艺参数匹配数据库系统，在一定程度上实现了振动攻丝工艺参数匹配 的智能化。 关键词：振动攻丝、参数匹配、神经网络、数据库 a b s t r a c t b e c a u s eo ft h es u p e r i o r i t yo f d e c r e a s i n gt a p p i n gt o r q u e ，i m p r o v i n gq u a l i t ya n dp r o l o n g i n g t h et a pl i f e 、v i b r a t i o nt a p p i n gi sa p p l i e da san e wt e c h n i c s b u tt h i st e c h n i c sh a sn o tb e e na p p l i e d w i d e l y i ti sp i v o t a lt oo p t i m i z et e c h n o l o g i c a lp a r a m e t e rf o re x t e n d i n gt h et e c h n o l o g y i nt h i s p a p e r , t h ed a t a b a s ef o rt e e h n o l o g i c a lp a r a m e t e rm a t c h i n gi nv i b r a t i o nt a p p i n gi se s t a b l i s h e db a s e d o na r t i f i c i a ln e u r a ln e t w o r k i nt h i sp a p e r , t h eb a s i ct e c h n o l o g i c a lp a r a m e t e r sa r ee s t a b l i s h e db a s e do nt h ea n a l y s ef o rt h e i n f l u e n tf a c t o r so ft h et a p p i n ge f f e c ta n dt a p p i n gq u a l i t y t h er e l a t e dd a t a sb e t w e e nv i b r a t i o n t a p p i n gt e c h n o l o g i c a lp a r a m e t e ra n dt a p p i n gt o r q u ea l ea i m e da ta n da n a l y s e d b a s e do nt h et h e o r yo fa r t i f i c i a ln e u r a ln e t w o r k ，p r e d i c t i v em o d e lf o rt a p p i n gt o r q u ei s e s t a b l i s h e db yu s i n gt h en e u r a ln e t w o r kt o o l b o xo fm a t l a b t h et e s tt h a t u s i n gt h e e x p e r i m e n td a t ao fq 2 3 5i sd o n e ，t h er e s u l ts h o w st h ef e a s i b i l i t yo ft h ep r e d i c t i v em o d e l a tt h e s a m et i m e ，h o wt od e s i g nt h ei n t e r f a c eb e t w e e nm a t l a ba n dd e i p h ii si n t r o d u c e d ，i tc a l l c o m b i n et h ef u n c t i o no fd a t a b a s em a n a g e m e n t ( d e l p h i ) a n dt h ep r e d i c t i o no fn e u r a ln e t w o r k t o o l b o x b e s i d e s t h a t , u t i l i z i n gd e l p h i a s d e v e l o p m e n tt o o l ，t h e d a t a b a s e s y s t e m f o r t e c h n o l o g i c a lp a r a m e t e rm a t c h i n g i nv i b r a t i o n t a p p i n g i se s t a b l i s h e d i th a s g o o d h u m a n c o m p u t e ri n t e r f a c e sa n dc a nb ee a s i l yo p e r a t e d k e yw o r d s ：v i b r a t i o nt a p p i n g ，p a r a m e t e rm a t e ，a r t i f i c i a ln e u r a ln e t w o r k ，d a t a b a s e u 独创性声明 本人声明，所呈交的学位( 毕业) 论文，是本人在指导教师的指导下独立完成的研究 成果，并且是自己撰写的。尽我所知，除了文中作了标注和致谢中已作了答谢的地方外， 论文中不包含其他人发表或撰写过的研究成果。与我一同对本研究做出贡献的同志，都在 论文中作了明确的说明并表示了谢意，如被查有侵犯他人知识产权的行为，由本人承担应 有的责任。 学位( 毕业) 论文作者亲笔签名：多、食耐、日期： g 6 论文使用授权的说明 本人完全了解福建农林大学有关保留、使用学位( 毕业) 论文的规定，即学校有权送 交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采 用影印、缩印或其他复制手段保存论文。 保密，在 年后解密可适用本授权书。口 不保密，本论文属于不保密。一 学位( 毕业) 论文作者亲笔签名：多、仓诛日期：汾6 名 指剥僦繇i 孔钐屯沁 隰鲫多 佬一鞠乙 1 1 引言 第一章绪论 攻丝是切削加工中广泛使用的一种内螺纹加工方法，尤其是对于小直径内螺纹，攻丝 几乎是唯一切实可行的加工方法。虽然普通的攻丝方法在大多数情况下能满足生产要求， 但是由于攻丝加工过程本身属于半封闭式的多刃切削过程，与车削等其他加工方法相比切 削条件恶劣，加工中小直径内螺纹和在难加工材料上攻丝时，普遍存在攻丝扭矩大、丝锥 磨损快、易折断、螺纹加工精度低、废品率高等问题，严重影响生产的正常进行。 为弥补传统攻丝工艺的缺陷与不足，振动攻丝工艺在加工中逐步受到重视。振动攻丝 作为一种新型的工艺方法，采用断续切削方式，取得降低攻丝扭矩、提高螺纹加工质量、 延长丝锥寿命等效果，在解决难加工材料的小直径内螺纹的攻丝质量有着很好的应用前 景。我国许多专家在步迸式低频振动攻丝工艺研究较为充分，具有较好的应用基础。 1 2 振动攻丝技术国内外研究现状 1 2 1 振动攻丝技术国外研究现状 日本在振动切削和振动攻丝方面的研究比较深入和广泛，并设有专门的研究机构。以 宇都大学隈部淳一郎教授为代表的日本专家从1 9 5 4 年开始对振动切削的基础理论和实际 应用作了大量的研究。在专著精密加工振动切削( 基础与应用) 一书中总结了日 本在振动切削方面的研究成果，列举了大量的实验数据。现在振动切削在日本一些实际生 产中已经得到广泛的应用。日本在振动攻丝方面主要采用低频、螺纹升角方向振动，并有 系列专用机床。隈部淳一郎教授于7 0 年代先后研制出多种振动攻丝机，主要有1 0 r t 型 实用振动攻丝机，振动频率为1 0 0 h z ，振幅为0 3 m m ，用机械式振动机构进行振动；台钻 式i o r t 型振动攻丝机，利用台钻附加设计的振动机构形成的振动攻丝机，基本工作形式 和前一种一样；单头多轴i o r t 型振动攻丝机。用i o r t 型振动攻丝机进行低频振动攻丝， 与普通攻丝加工方法的攻丝扭矩进行比较发现：在切削速度提高时，攻丝扭矩随之提高； 在切削速度达到临界速度的三分之一时切削扭矩是传统攻丝扭矩的三分之一；在切削速度 达到临界速度时，振动攻丝扭矩和传统攻丝扭矩相差不大，失去振动攻丝效果。在一定的 振动攻丝参数下，铝的振动攻丝扭矩是传统攻丝扭矩的八分之一；钢的振动攻丝扭矩是传 1 塑塞坐塑查堂堡圭兰堡堡兰一 统攻丝扭矩的三分之一；铜的振动攻丝扭矩也是传统攻丝扭矩的三分之一。还得到振动攻 丝具有使切屑呈带状排出、丝锥磨损降低、螺纹牙形规整、中径扩大量降低等优点。 前苏联也早在5 0 年代末开始振动切削方面的研究，并发表了一些很有价值的论文。 前苏联在振动攻丝方面主要研究的是高频振动攻丝，研制有专用轴向超声振动攻丝机床和 相应的超声振动头。g r e g o r y 等人做了大量的超声振动攻丝试验1 2 1 结果表明超声振动攻 丝在加工不锈钢和钛合金时与传统攻丝相比丝锥耐用度提高3 m 0 倍，在加工钛合金时扭 矩降低4 0 5 0 ，表面粗糙度提高1 3 级等优点。n i k i t i n ，e a 和t r e g u b o v , g v 利用超 声振动探索提高难加工材料的攻丝效率的方法。认为：攻丝扭矩就等于切削力、摩擦力和 咬合力之和，超声振动攻丝降低了丝锥侧面的摩擦力，实际上消除了丝锥和工件螺纹之间 的咬合，因此极大地降低了切削扭矩。 印度的p a t i l s s 等人也对振动攻丝进行了大量的研究并设计了机械式振动攻丝附件。 印度学者们的研究得出了一些有价值的结论。研究表明：降低攻丝扭矩和轴向力的最佳振 动频率因条件而异。此外，振动攻丝存在一个i 临界切削厚度( 螺纹深度) 值，在临界切削 厚度的范围内，振动攻丝能降低攻丝扭矩，而其临界切削厚度与材料的硬度有关。且最佳 的振动频率与切削厚度有关，随着切削厚度的减小。最佳振动频率反而增加，而最佳的振 幅( 对于同一种尺寸或同一种切削厚度) 也与材料的硬度有关。 在美国，振动切削也作为一个重点课题来研究，振动切削系统也部分应用于工业。欧 洲发达国家，如英国、前西德等国家对振动切削的工业应用技术和振动切削机理也有较多 的研究，也取得一些可观的成果。 1 2 2 振动攻丝技术国内研究现状 我国对振动攻丝方面的研究工作开始于6 0 年代末。尽管振动攻丝在我国起步比较晚， 但发展很快，特别是近几年，许多专家学者以及一些研究机构在振动攻丝方面取得了系 列可喜成果：可直接在台钻、立钻、摇臂钻、加工中心的主轴上实现振动攻丝，丝锥寿命 由原来的根本无法加工，提高到一把丝锥能加工几十件到上百件；平均攻丝扭矩是普通攻 丝扭矩的1 5 ，螺纹精度得到明显改善。在如何使攻丝效果最佳，尽量提高加工精度、降 低表面粗糙度、减小攻丝扭矩等方面也做了大量的研究，并总结出许多有用的结论。 华中理工大学的王立平和杨叔子对变参数振动攻丝提高微小孔加工精度进行了深入 的研究1 4 l 。北京航空航天大学的陈鼎昌教授和青岛大学的苟琪博士从动态振动攻丝扭矩出 发，探讨了影响动态切削力变化的因素，从而得到动态攻丝扭矩功率谱可以反映攻丝过程， 可以用信号功率谱峰变化和信号能量变化对攻丝过程进行监控的结论1 5 1 。另外，用正交 塑堡查整查兰堡主兰壁垒茎 多项式组的方法建立了钛合金振动攻丝扭矩模型，并对模型进行显著性检验，结果表明， 在9 5 置信度下多项式模型是正确的陋j ： y 。= 0 0 0 3 1 3 6 n 2 一o 1 9 1 n + 8 0 6 2 5 a 2 1 0 6 7 5 a + 1 2 6 4 6 2 ( 1 - 1 ) 系统地揭示了攻丝扭矩y 。与转速n 和振幅a 的关系。认为用此模型可预测钛合金的振动攻 丝加工的扭矩值，还可以用于振动攻丝加工过程的优化控制。苟琪博士也从运动学角度分 析了振动攻丝原理，阐明了振动攻丝增加了切削液进入切削区的途径，加强了切削液的渗 透能力和润滑效果，研究了不同切削液配方对钛合金振动攻丝扭矩的影响1 7 】。北京航空航 天大学的张德远等人应用弹塑性理论对振动攻丝减小钛合金攻丝扭矩进行了理论分析，认 为振动攻丝能降低攻丝扭矩是由于振动攻丝反复切削，使在前几次切削所遗留的弹性回复 量反复被切除，这样可以保证丝锥在进一步攻丝时，丝锥的后刀面与工件的螺纹面之间的 挤压摩擦力大大减小，并利用弹塑性理论推导出了振动攻丝中丝锥后刀面上产生的摩擦扭 矩计算公式1 8 1 。据此公式可以计算要获得最小扭矩的最佳熨压次数，这对指导振动攻丝 中切削参数的选择有一定的指导意义。在此基础上，北京航空航天大学的陈志同通过弹塑 性理论建立了低频振动攻丝的最大攻丝扭矩的数学计算模型【9 】。他认为，振动攻丝的攻丝 扭矩有两部分组成：前刀面的切削扭矩和后刀面的摩擦扭矩，并得出最大攻丝扭矩理论上 是随切削角的增大而增大、随着振幅的增大而减小的结论。 大连理工大学的佟宇等人为实现变参数振动攻丝采用t d p 0 1 b 单板机控制步进电机 进行振动攻丝，并利用自行设计的步进电机振动攻丝系统对铝、铜、q 2 3 5 、2 0 c r m n 、4 0 c t 等材料进行振动攻丝实验1 1 12 1 。把测得的振动攻丝扭矩与普通攻丝扭矩进行比较发现， 在一定振动攻丝参数下，振动攻丝扭矩明显比普通攻丝扭矩低。同时，在振动频率一定的 情况下，振动攻丝的扭矩随切削速度的提高而增大，即当有效切削时间与振动循环周期之 比t 打太大时，丝锥的后退量只能抵消丝锥的弹性恢复量，达不到振动攻丝的目的；t 打 太小，则振动攻丝效率太低。对于难加工材料，采用了“进一停一退一停”的振动循环方 式并取得了良好的效果，扭矩相对大幅度下降，明显提高了螺纹的牙形精度、螺纹表面的 金属组织均匀、提高了丝锥的使用寿命。特别在导热系数较小的难加工材料上攻丝，丝锥 寿命比普通攻丝大大提高。 福建农林大学的陈学永等人通过实验和神经网络算法获得了振动频率攻丝扭矩关系 模型图、切削速度- 攻丝扭矩关系模型图和正反转比例攻丝扭矩关系模型图，并且实验表 明不同振动攻丝工艺参数对振动攻丝效果有不同的影响规律，不同的材料有不同的最佳振 动攻丝工艺参数组合 1 6 ，1 7 1o 江苏大学的马利杰等人结合实验结果，分析了在结构钢和合 塑壁查苎查堂堡圭堂堡垒苎 金钢的振动攻丝过程中，基本工艺参数对攻丝扭矩的影响，得出了不同参数对扭矩的影响 规律，对于优化工艺参数、减小攻丝扭矩、改善攻丝效果具有一定的借鉴意义“。 哈尔滨工业大学的韩荣第等人通过铝复合材料s i c w a i 的小孔振动攻丝试验，得出了 振动频率和振型对攻丝扭矩的影响规律。试验表明：振型一定时，攻丝扭矩随振动频率的 增加而增加；频率一定时，攻丝扭矩与振型成驼峰曲线关系l i 。 西安理工大学的郑建明等认为振动攻丝切削力均值大幅度降低和系统刚性增强，并利 用他们设计的振动攻丝卡头对振动攻丝的切削力和螺纹加工精度进行实验研究，认为：切 削力平均值为普通攻丝的l 2 1 5 ，丝锥寿命显著提高，螺纹加工精度明显改善 2 0 o 1 3 振动攻丝参数匹配的研究意义及其可行性 根据上述国内外振动攻丝的研究现状来看，目前人们主要是从振动攻丝加工的机理、 新型振动攻丝机或振动机构和各种难加工材料的振动攻丝三个方面研究振动攻丝。目前， 振动攻丝技术还没有广泛推广应用，而要推广振动攻丝技术，优化振动攻丝工艺参数非常 关键。基于振动攻丝加工原理和加工实践可知，影响攻丝质量和效率的参数众多。江苏大 学的王贵成、李海林等人的研究表明振动攻丝中的各个参数对攻丝的扭矩值的影响趋势以 及程度各不相同并且攻丝扭矩值的大小影响着攻丝质量、丝锥寿命和攻丝效率。虽然人们 已经通过单因数实验法研究某个参数对攻丝扭矩、攻丝效果和效率的影响。同时研究表 明对于不同的材料，它的最佳切削参数是不同的，即使对于同一种材料，其加工尺寸的不 同，它的最佳切削参数也会有所改变的。但是，还不能确定这些切削参数如何影响攻丝扭 矩和攻丝质量，还未形成一个能够快速确定某种材料、某种攻丝直径的最佳工艺参数组合 的方法。如何在实际应用中确定某种工件材料和给定螺纹直径的最佳振动攻丝工艺参数组 合以及根据振动攻丝工艺参数预测攻丝扭矩值，是推广应用该工艺所需要解决的关键问 题。 由于影响攻丝质量和攻丝效率的因素很多并且各因素的影响程度和趋势各不相同。而 攻丝扭矩值可以在很大程度上直接或间接地反映振动攻丝的总体切削效果，如丝锥的磨损 状态、切削液是否有效利用、攻丝质量、攻丝效率等。研究表明，攻丝扭矩值的大小是振 动攻丝工艺参数综合作用的结果，但是由于工艺参数与扭矩值之间关系复杂，所以工艺参 数与扭矩值之间的关系模型难以用恰当的数学解析表达式来表示。 近年来，作为研究复杂性的有力工具，神经网络技术在模式识别与分类、识别滤波、 自动控制、预测等方面已展示了其非凡的优越性，人工神经网络的出现，为攻丝扭矩值的 塑堡查苎查兰堡圭堂些丝苎 预测提供了新的途径。人工神经网络可以通过不断学习和训练，能够从未知模式的大量的 复杂数据中发现其规律性，特别是能够处理任意类型的数据，这是许多传统方法所无法比 拟的，因此，将人工神经网络的理论应用于建立工艺参数与攻丝扭矩值之间的关系模型中， 可以克服传统建模方法中建立复杂的数学模型和数学解析表达式的问题。因为人工神经网 络的建模，是一种自然的非线性建模过程，毋需分清存在何种非线性关系，通过分析大量 的样本数据后，确定神经网络权值系数，从而建立工艺参数与攻丝扭矩值之间的关系模型。 同时随着数据库技术的发展，数据库技术在工业领域应用越来越广，例如安徽工业大学的 汪永明建立了基于通用工艺规程模型的工艺数据库【2 ”。由此可见，建立基于神经网络的 振动攻丝参数匹配数据库具有可行性。 1 4 本课题研究的主要内容和关键技术 由于振动攻丝工艺参数和攻丝扭矩之间关系复杂，并且攻丝扭矩的大小直接影响了攻 丝质量和丝锥的寿命，所以本文在论述关于神经网络的基本知识的基础上，主要研究工作 包括以下几部分： ( 1 ) 在现有实验设备的基础上，选择有代表性的材料进行攻丝实验，采集实验数据 并进行实验数据的分析。 ( 2 ) 基于神经网络理论设计神经网络结构，并用实验数据训练神经网络，建立振动 攻丝扭矩预测模型。 ( 3 ) 实现d e l p h i 与m a t l a b 混合编程，d e l p h i 应用程序在前台运行，通过隐式地运 行m a t l a b 应用程序使m a t l a b 在后台进行攻丝扭矩值的预测，并将预测结果传递给d e l d l l i 应用程序。 ( 4 ) 在目前流行的w i n d o w s 系统平台上，开发出界面友好、操作简便、易于功能扩 充的振动攻丝工艺参数匹配数据库系统，在一定程度上实现攻丝工艺参数匹配的智能化。 本课题的关键技术是建立振动攻丝扭矩值的预测模型和开发一个基于神经网络的振动 攻丝参数匹配数据库系统。 福建农林大学硕士学位论文 2 1 人工神经网络基本理论 2 1 1 人工神经网络简介 第二章人工神经网络技术 人工神经网络a n n ( a r t i f i c i a ln e u r a ln e t w o r k s ) 是由大量的简单神经单元以及这些单元 的分层组织大规模并行联结而成的一种网络。它力图象生物神经系统一样处理事务，实现 人脑的某些功能，它是基于人类生物大脑的结构和功能而构成的种信息处理系统，由大 量高度互联的简单处理单元组成，这种简单处理单元称为神经元。每个神经元的功能简单， 但大量单元集体的，并行的处理活动在识别、计算时具有较快的速度。 2 1 2 人工神经网络的特点 神经网络是由大量神经元按一定规律互连而成的网络。网络的信息处理由神经元之间 的相互作用来实现；知识与信息的存储表现为网络元件互连间分布式的物理联系；网络的 学习和识别决定于各神经元连接权系动态演化过程，通过自动调整结构参数，达到期望输 出，适应环境变化。其基本特征为： ( 1 ) 高度的非线性 人工神经网络特别是多层次、非线性全连接的网络，其输入输出表现出非常显著的外 部非线性关系。根据k o l m o g r o v 定理，只要给出合适规模的网络结构和传输函数，神经 网络可以通过学习样本数据逼近任意非线性函数。这种强大的非线性逼近能力，是神经网 络最重要的性质之一。 ( 2 )良好的容错性和联想记忆能力 人工神经网络通过自身的网络结构实现对信息的记忆，而所记忆的信息是存储在神经 元之间的权值中，是一种分布式的存储方式。即使部分信息丢失或模糊，也不会从根本上 影响网络的整体性能，从而表现出良好的容错性、很强的抗噪音能力和联想推广能力。网 络一经训练成功，就可以正确的处理和训练样本集相似的数据，在一定的误差范围内，还 可以处理非完全数据，由局部联想到整体，表现出联想记忆的特征，适宜于处理知识背景 不清楚、推理规则不明确的问题。 ( 3 ) 良好的自学习和自适应性 人工神经网络中神经元的连接具有多样性，各神经元的连接具有可塑性。它能够通过 学习和训练来适应环境的变化。当外界环境发生变化时，经过一段时间的训练与学习，人 塑堡垒堡查堂堡圭堂竺堡兰一 工神经网络能自动调整结构和连接模式，使得对于待定输入能够产生期望的输出。 ( 4 ) 并行处理 神经网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模 并行的，传统的计算机则是串行的。网络的大规模并行处理能力使它能神奇般地完成复杂 的决策，因为单个神经元的信息处理速度是以毫秒计的，比普通的计算机要慢得多，但人 通常在一秒内即可做出对外界事物的判断和决策，这正是传统的数字计算机所望尘莫及 的。大量的神经元的集体行为并不是各神经元行为的简单的加和，而是表现出复杂的非线 性特征。 2 1 3 人工神经网络的分类 按不同的方式对人工神经网络进行分类： 2 1 3 1 根据神经元之间的连接方式可分为两种类型： ( 1 ) 层次型结构：层次型结构的神经网络将神经元按功能分成若干层，如输入层、隐层 和输出层，各层顺序相连。 ( 2 ) 互连型结构：互连型结构的神经网络中任意两个节点之间都可能存在连接途径。 2 1 3 2 根据网络内部信息传递方向可分为两种类型： ( 1 ) 前馈型网络：网络信息处理方向是从输入层到各隐层再到输出层逐层进行，前一层 的输出是下一层的输入，只有隐层节点具有信息处理能力。前馈型网络在网络运算过程中 不存在任何反馈：它的输入输出关系可看作是一种映射关系，这种映射关系是高度非线性 映射；它的信息处理能力也来自于简单非线性函数的多次组合。前馈型网络是一种强有力 的学习系统，但不是一种强有力的计算系统；其大部分都是学习网络，但它们的分类能力和 模式识别能力一般都强于反馈型网络。 ( 2 ) 反馈型网络：所有节点都具有信息处理能力，且每个节点既可以从外界接受输入。 同时又可以向外界输出。反馈型网络是一种反馈动力学系统，具有较强的计算功能，主要有 h o p f i e l d 模型、g r o s s b e r g 自联想器、双联想记忆网络等。 2 1 3 3 根据学习方式可分为三种类型： ( 1 ) 有导师学习，也称有监督学习。这种学习方式需要外界存在一个t 教师”，他可 对给定组输入提供应有的输出结果，这组已知的输入输出数据称为训练样本集，学习系 统( 神经网络) 可根据已知输出与与实际输出之间的差值( 误差信号) 来调节系统参数。 塑堡垒签查兰堡：! 三堂竺笙兰 ( 2 ) 无导师学习，也称无监督学习。这种学习方式不存在外部教师，学习系统完全 按照环境提供数据的某些统计规律来调节自身参数或结构( 这是一种自组纵过程) ，以表 示外部输入的某种固有特性。 ( 3 ) 再励学习，也称强化学习。这种学习方式介于上述两种方式之间，外部环境对 系统输出结果只给出评价( 奖或惩) 而不给出正确答案，学习系统通过强化那些受奖励的 动作来改善自身性能。 2 1 4 神经网络的学习规则 现在比较成熟的学习规则可分为以下几类 2 3 】： ( 1 ) h e b b 规则 h e b b 规则是由神经心理学家赫伯提出的，是神经网络的基本学爿规则，即神经元连 接强度变化规则。其主要内容为：如果两个神经元同时被激活，则它们之问的突触连接加 强，即= r v ，v ，其中v ，v ，表示神经元的输出，w 。表示两个神经元之f 刚的连接权， 玎是学习速率，r 0 。 ( 2 ) 相关规则 相关规则常用于自联想网络，执行特殊记忆状态的死记式学习，采取修f 的h e b b 规 则公式如下所示： = ( 2 v ，一1 ) ( 2 v j 1 ) ( 2 1 ) ( 3 ) 纠错规则 纠错规则依赖于输出节点的外部改变权系数，从方法上等效于梯度法( l m s ) ，通过 在局部最大改善的方向上一小步、一小步地进行修正，力图达到表示函数功能问题的全局 解。当将权值增量取与误差成比例时，取为巧学习规则。占学习规则分为一般j 学习规则 和广义j 学习规则。 ( 4 ) 无导师学习规则 它的关键不在于实际节点的输出与外部的期望输出一致，寻找一矛t t 特殊映射函数的表 示，而在于调整参数，将事件空间分类成输入活动区域，并有选择地与这些区域相对应。 ( 5 ) 竞争规则 顾名思义，在竞争学习时，网络各输出单元互相竞争，最后达到只有一个最强者激活， 最常见的情况是输出神经元之间有侧向抑制连接，这样原来输出单元中如有某一单元较 强，则它将获胜并抑制其它单元，最后只有某些强者处于激活状态。 福建农林大学硕士学位论文 2 2b p 神经网络理论 2 2 1 印网络简介 人工神经网络有很多模型，但是目前应用最广，基本思想最直观、最容易被理解的是 多层前馈神经网络及误差逆传播学习算法( e r r o rb a c k - p r o p a g a t i o n ) ，简称为b p 网络。 1 9 8 6 年，以r u m e l h a r t 和m o c e l l a n d 为首的科学家小组在( ( p a r a l l e ld i s t r i b u t e d p r o c e s s i n g ) ) 一书中，完整地提出了对具有非线性连续转移函数的多层前馈网络的误差逆 传播学习算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网 络。典型的多层感知网络是三层、前馈的阶层网络，即：输入层、隐层( 也称中间层) 、 输出层，如图2 1 所示。相邻层之间的各神经元实现全连接，即下一层的每一个神经元与 上一层的每个神经元都实现全连接，而且每层各神经元之间无连接。连接强度构成网络的 权值矩阵w 。 b p 网络是一种能朝着满足给定的输入输出关系方向进行自组织的神经网络，是一种 以有教师示教的方式进行学习的。首先由教师对每一种输入模式设定一个期望输出值。然 后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播( 称为“模式顺传 播”) 。实际输出与期望输出的差即是误差，按照误差平方和最小这一规则，由输出层往中 间层逐层修正连接权值，此过程称为“误差逆传播”。所以误差逆传播神经网络简称 b p ( b a e kp m p a g a t i o n ) 网。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。 网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不 断上升。通过此学习过程，各层间的连接权值确定后就可以工作了。 ( 1 ) 输入层 输入层是网络与外部交互的接口，一般输入层只是输入矢量的存储层，它并不对输入 矢量作任何加工和处理，该层的神经元相当于缓冲器。输入层的神经元数目可以根据需要 求解的实际问题和数据表示方式来确定。 ( 2 ) 隐含层 1 9 8 9 年，r o b e f lh e c h tn i e l s o n 证明了对于任何闭区间内的一个连续函数都可以用一 个隐层的b p 网络来逼近，因而一个三层的b p 网络可以完成任意的n 维到m 维的映射2 4 。 增加隐层数虽然可以更进一步的降低误差、提高精度，但是也使网络复杂化，从而增加了 网络权值的训练时间。误差精度的提高也可以通过增加隐层中的神经元数目来实现，其训 练效果也比增加隐含层数更容易观察和调整，所以一般情况下，应优先考虑增加隐含层的 塑塞查茎查兰堕圭兰竺堡奎 神经元个数，再根据具体情况选择合适的隐含层数。 信息由输入层向隐层依次传递，直至输出层。每个隐层以及输出层的神经元对其输入 信号根据相应的连接权值计算加权和，经阈值限制和激励函数转换，得到该层神经元的输 出。以第i 个神经元为例，它的输入和输出之间的映射关系可以用式( 2 2 ) 表示： m = ，( 茗厂只) - - f ( n e t , ) ( 2 2 ) ， 式中的x ，为第f 个神经元的第_ ，个输入，w 。为第j 个输入到第f 个神经元的连接权值，只 为阈值，厂为激励函数。 ( 3 ) 输出层 输出层输出网络训练结果矢量，输出矢量的维数应根据具体的应用要求来设计，在设 计时，应尽可能减少系统的规模，使系统的复杂性减少。 v “ 输入层 2 2 2b p 网络参数的设定 隐层输层 图2 1 三层b p 网络结构 ( 1 ) 网络节点 网络输入层神经元节点数就是系统的输入向量维数，输出层神经元节点数是系统目标 个数。隐层节点数初始值可以根据k o l m o g r o v 定理或者经验选取。在系统训练时，实际 还要对不同隐层节点数分别进行比较，最后确定出最合理的网络结构。 ( 2 ) 学习速率 学习速率决定每一次训练所产生权值的变化量。大的学习速率可能导致系统的不稳 定；小的学习速率虽然会导致训练时间较长，但能保证网络的误差值不跳出误差表面的低 谷而最终趋于最小误差a 所以一般情况下，倾向于选取较小的学习速率以保证系统的稳定 塑壁壅塑查兰堡主兰堡堡奎 性，一般在o 0 1 0 8 之间。 在经典的b p 算法中，训练速率是由经验确定。在网络设计时，可以根据经验确定一 个初始值，然后经过实验来选择不同的学习速率，通过观察实验中每一次训练后的误差平 方和8 2 的下降速率来判断所选定的学习速率是否合适。如果p 2 下降很快，则说明学 习速率合适，如y 8 2 出现震荡现象，则说明学习速率过大。对于一个具体网络都存在一 个合适的学习速率。但对于较复杂网络，在误差曲面的不同部位可能需要不同的学习速率。 为了减少寻找的训练次数以及训练时间，常采用变化的自适应学习速率，使网络的训练在 不同的阶段自动设置不同的学习速率。 ( 3 ) 期望误差的选取 期望误差值也应当通过试验判断来确定一个合适值，这个所谓的“合适值”，是相对 于需要的隐含层的神经元而言，因为较小的期望误差值是要依靠增加隐含层的神经元数 目，以及增加训练时间来获得的。一般情况下，可以同时对期望误差值不同的网络进行训 练，最后通过综合因素的考虑来确定一个较优的网络。 ( 4 ) 最大训练次数 在训练网络的过程中，每训练一次，样本的特征矢量就要修正一次权值。如果在最大 训练次数以内，网络的误差降到期望误差之下，训练停止，而且认为网络已经收敛；如果 训练次数超过最大训练次数，而网络误差还没有降到期望误差之下，则训练停止，且认为 网络不收敛。通常情况下只要最大训练次数足够大，一般网络都会收敛，但有时收敛时间 很长。因此对于固定的问题、合适的训练误差应根据试验选取适当的最大训练次数。 ( 5 ) 初始权值 初始权值是不应完全相等的一组值。已经证明，即便确定存在一组互不相等的使系统 误差更小的权值，如果所设的初始值彼此相等，它们将在学习过程中始终保持相等，所以 在程序中产生一组小的随机数，作为网络的初始权值。 2 2 3 b p 神经网络学习算法 b p 网络的学习，由四个过程组成( 见图2 2 ) ：输入模式由输入层经中间层向输出层 的“模式顺传播”过程，网络的希望输出与网络实际输出之差的误差信号，由输出层经中 间层向输入层逐层修正连接权值的“误差逆传播”过程，由“模式顺传播”与“误差逆传 播”的反复交替进行的网络“记忆训练”过程，网络趋向收敛即网络的全局误差趋向极小 值的“学习收敛”过程。归纳起来为：“模式顺传播”、“误差逆传播”、记忆训练”和t 学 福建农林大学硕士学位论文 习收敛”过程。 图2 2b p 神经网络训练流程图 b p 网络的学习算法的指导思想是通过网络输出与其期望输出之间存在的偏差对网 络权值( ，矗) 与闽值( b ) 的修正，使误差函数沿梯度方向下降。b p 算法的计算公 式如下： ( 1 ) 对输出节点： 4 = ( ，f d f ) ，。( n e t ，)( 2 3 ) 瓦( i + 1 ) = 兀( 后) + 死= 死( k ) + t l s ，y 。 ( 2 4 ) b ( j | + 1 ) = 岛( 七) + 叩4( 2 5 ) ( 2 ) 对隐节点： 一= 厂( n e t ，) 4 瓦 ( 2 6 ) ， w f ( 七+ 1 ) = k ( i ) + m 0 = w o ( k ) + 7 7 。彰x j ( 2 7 ) 只( 七+ 1 ) = 只( 七) + r 一 ( 2 8 ) 以上公式中为期望输出，t 为叠代次数，叩与叩分别为输出节点与隐节点的学习效 率，瞑与分别为输出节点与隐节点的误差信号，其中，隐节点误差中的4 瓦表示 输出层节点，的误差4 通过权值死向隐节点f 反向传播( 误差4 乘权值瓦再累加) 成为隐 福建农林大学硕士学位论文 节点的误差。 2 2 4b p 算法存在的问题及改进 2 2 4 1 印算法存在的问题 b p 网络是目前研究最多，应用最广泛的一种多层前馈神经网络。b p 网络已被成功应 用于模式识别、智能控制、预测、图象识别等领域。随着应用越来越广泛，其存在的问题 也日益显现出来，主要有以下几点： ( 1 ) 由于采用最速下降梯度算法，易形成局部极小而得不到整体最优，使学习结果不 令人满意。 ( 2 ) 训练陷入瘫痪，收敛速度缓慢。 ( 3 ) 网络隐含层单元数初始值和学习速率的确定仅凭经验而缺乏足够的理论指导。 ( 4 ) 网络的泛化与推广能力较差，对于新加入的样本，要影响到已经学完的样本。 ( 5 ) 描述每个输入特征样本的数目要求必须相同。 2 2 4 2 原因分析 研究发现，b p 算法收敛速度缓慢的直接原因是： ( 1 ) 学习算法中的学习率r 和动量因子a 都是固定不变的。 ( 2 ) 学习过程中出现“平台”或“瘫痪”的现象。 ( 3 ) 学习样本与神经元的收敛速度不平衡。 陷于局部极小的原因是：采用误差平方和指标函数在权空间不能满足存在的要求，故 由梯度下降技术形成的b p 算法易陷于局部极值。 网络泛化性能差的原因是：仅采用绝对误差形式的指标函数，每步权更j 下量较小，对 未经学习的样本的推理性能较差。 2 2 4 3 印算法改进 为了克服传统b p 算法收敛速度慢且易陷入局部极小的缺点，对标准b p 算法进行改 进。 ( 1 ) 动量法 动量法降低了网络对于误差曲面局部细节的敏感性，有效的抑制网络陷于局部极小。 标准b p 算法实质上是一种简单的最速下降静态寻优算法，在修正似女) 时，只是按照t 时 刻的负梯度方式进行修正，而没有考虑到以前积累的经验，即以前时刻的梯度方向，从而 1 1 塑壁壅苎盔兰堡兰兰竺丝壅 常常使学习过程发生振荡，收敛缓慢。因此出现了改进算法： w ( k + 1 ) = “t ) + 即【( 1 一口) d ( t ) + a d ( k 一1 ) 】 ( 2 9 ) 其中w ( i ) 既可以表示单个的权值，也可表示权值向量。d ( 女) = 三羔为k 时刻的负梯度。 洲i 肝j d ( k 一1 ) 为一1 时刻的负梯度。野为学习率，暂 0 。a 为动量因子，0 盘 l 。这种方法 所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，从而改善了收敛性。 ( 2 ) 自适应调整学习率 自适应调整学习率有利于缩短学习时间。标准b p 算法收敛速度慢的一个重要原因是 学习率选择不当。学习率选得太小，收敛太慢；学习率选的太大，则有可能修正过度，导 致振荡甚至发散，因此出现了自适应调整学习率的改进算法 “女+ 1 ) = w ( k ) - i - 7 7 ( t ) d ( 女) ( 2 1 0 ) 叩( i ) = 2 2 叩( 七一1 ) ( 2 1 1 ) 五= s i g w d ( k ) d ( k 1 ) ( 2 1 2 ) 当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次 迭代其梯度方向相反时，表明下降过头，这时可使步长减半。 ( 3 ) 求和累加 用传统b p 算法训练网络时是每输入一个样本修改一次权值，而求和累加的思想是每 一个样本对网络并不立即产生作用，而是等到个训练周期的全部输入样本都依次输入 后，将全部误差求和累加求出总的误差，然后集中修改权值。 2 3 人工神经网络的泛化能力 神经网络的训练过程中经常会碰到的一个问题是过拟合。虽然，b p 神经网络具有很 强的函数逼近能力，如果用来处理曾经作为训练样本的数据，理论上可以达到任意希望的 精度，但问题在于，使用神经网络来解决问题时，不可能也不必要事先把每种可能遇到 的情况都作为训练样本对网络进行训练。对于很大的离散对象，这样做意味着要处理庞大 的样本集，会导致网络的训练过程过于繁重而不现实；对于连续对象，面面俱到的训练根 本就是不可能完成的任务，就算利用适当的数学模型离散化之后，也同样不现实。 实际中，能够做到的仅仅是尽可能多地选取具有代表性的数据作为样本对网络进行训 练。其中一个重要问题是网络如何能很好地产生训练集外的模式，如果经过训练后的神经 塑堡垒苎查兰堡圭兰堡垒兰 网络仅仅简单记忆了那些被学习过的样本，对训练样本的目标函数很小，但当出现样本集 外的类似输入时，网络的拟合性能急剧下降，目标函数大的无法接受。这时称这样的网络 对样本集过度拟合，泛化能力差。 泛化能力是指神经网络对新样本的适应能力，通常期望经过训练后得到的神经网络， 具有较强的泛化能力，也就是具有对样本集外的新输入能给出合理的响应能力。当神经网 络的泛化能力严重不足时将导致网络仅仅对训练数据有效而丧失其实际的应用价值。 泛化能力与样本资料、训练集的选择、隐层神经元个数、初始权值的选择均有关系。 2 3 1 样本的选择和处理 2 3 1 1 样本的选择 神经网络的性能与训练样本的选取紧密相关。样本的复杂性和代表性将严重影响网络 训练的结果。训练样本的选取主要受两个因素的影响：其一是训练样本的长度。样本长度 并非越长越好，过长的训练样本不仅影响计算速度，还会导致拟合精度的下降。其二是训 练样本的代表性。这一问题受原始资料的约束较大。有的研究对象本身就缺少资料，样本 的代表性必然受到影响。对资料较丰富的问题，训练样本以尽量包含大值为优。 2 3 1 2 样本的预处理 由于网络的各个数据具有不同的物理意义和不同的量纲，常常相差悬殊，为了使网络 训练一开始就给各输入分量以同等重要的地位，需要将之变换到同一范围中。再有，b p 网络均采用s i g m o i d 转移函数，变换后可防止因狰输入的绝对值过大而使神经元饱和，继 而使权值调整进入误差平坦区。又因为s i g m o i d 转移函数的输出在0 1 或一1 1 之间，作 为教师信号的输出数据如不进行预处理，将使数值大的输出分量绝对误差大，数值小的输 出分量绝对误差小。网络训练时只针对输出的总误差调接权值，其结构是在总误差中占份 额较小的输出分量相对误差较大，所以为避免此情况发生，必须对输出数据进行尺度变换， 即数据的预处理。 b p 神经网络学习前对数据的预处理是十分关键的一步。样本数据是否处理得当关系 着建模后模型的学习速度快慢、是否收敛和网络的泛化性能强弱。具体包括： ( 1 ) 原始数据的收集。 ( 2 ) 提取有代表性的数据特征，以此表达研究问题的过程和特性。 ( 3 ) 相关性分析，旨在精简网络结构。即在实际研究中常用统计方法进行分析。计算 变量间的相关系数，若两者相关性很强，则考虑删除其中变量。 塑壅查笪盔兰堡主兰些笙兰 ( 4 ) 数据归一化处理，即把数据统一在一个值域里面。有学者认为当变量是成正态分 布时，数据对网络的学习最有效。因此，输入数据之前对各个变量先检查其分布，看看是 否接近正态分布。如果不是，可以对数据进行非线性变换，最终使数据分布接近正态分布。 为了防止神经元达到过饱和，将输出状态作如下