（机械设计及理论专业论文）基于bp神经网络的机架焊接用量优化研究.pdf

昆i 则理工大学坝 。学位论立 捅婴 在工程设计中，人们总是希望在满足各种约束限制的条件下，设计的方案性能最好、 成本最低。焊接用量的优化能够有效降低成本，简化工艺，是一项非常有意义的工作，但 是由于焊接方式多样，焊接过程中的影响因素众多，造成了焊接用量优化的复杂性，传统 的优化方法难以解决。作者在阅读了大量参考文献的基础上，根据问题的特点，利用神经 网络对此问题进行了初步的研究。 对于工作状况下的焊接机架，焊缝长度与焊接机架最大应力之间难以建立确切的数学 表达式，因此作者利用神经网络的非线形映射功能，建立神经网络，实现了焊缝长度 最大应力的映射关系，并用从有限元分析中获得的数据样本对建立的b p 神经网络进行训 练。在此基础上，作者针对结构分析中最大应力点跳跃及多输入多输出网络的缺点，对网 络进行了改进，以使神经网络更好地适应于所要求解的问题。此外，在构建b p 神经网络 的过程中，作者还讨论了网络隐层数、隐层神经元数的选取以及网络的训练等问题。作者 通过建立b p 神经网络，实现了用神经网络替代有限元分析，进行焊接机架在工作状况下 的最大应力预测，克服了以往基于有限元分析的优化中，有限元分析占用时间过多，在实 际中缺乏操作可行性的缺点。 作者将b p 神经网络与复合形法相结合，利用u g 的结构分析功能获得神经网络所 需的训练样本，并对神经网络进行训练。通过将训练好的神经网络用于复合形法当中，实 现了对冲铆机机架焊接用量的优化，并对优化结果利用u gi i 的结构分析功能进行了检验， 证明了此方法的可行性。 关键词：b p 神经网络；有限元分析；复合形法；优化设计 昆明埋t 人学硕士学位论文 a b s t r a c t i nt h ep r o c e s so fe n g i n e e r i n gd e s i g n ，p e o p l ea l w a y s h o p et h a tt h e i rd e s i g np r o j e c t s c a p a b i l i t yi st h eb e s to fa l lu n d e ra l lk i n d so fr e s t r i c t i o n s o p t i m i z eo fj o i n t i n gq u a n t i t yi sa s i g n i f i c a t i v ew o r kw h i c hc a r lr e d u c ec o s t ，p r e d i g e s tt e c h n i c e j o i n t i n gh a sa l lk i n d so fw e l d m o d ea n di n f e c t i o nf a c t o r so fj o i n t i n gp r o c e s sa l ev e r ym u c hw h i c hm a k et h ep r o b l e mo f o p t i m i z eo f j o i n t i n gq u a n t i t yi sv e r yc o m p l e x i t ya n dt r a d i t i o n a lo p t i m i z em e t h o dc a n n o ts o l v e o nt h eb a s eo f r e a d i n gal a r g ea m o u n to f r e f e r e n c ed o c u m e n t a t i o n sa n dt h ec h a r a c t e r i s t i c so f t h e p r o b l e m ，a n t h e r r e s e a r c ht h i so p t i m i z ep r o b l e mw i t hn e r v en e t i s sd i f f i c u l tt oe s t a b l i s hae x a c te x p r e s s i o nb e t w e e nt h el e n g t ho f w e l d i n gl i n ea n dm a x i m a l s t r e s so fw e l d i n gf r a m ew h e nt h ew e l d i n gf r a m ei si nt h ec o n d i t i o no fw o r k i n g w i t ht h e n o n l i n e a rm a p p e df u n c t i o no fn e r v en e t ，t h ea u t h o rb u i l da n e r v en e t ，r e a l i z i n gt h em a p p e d c o n n e c t i o nb e t w e e nt h el e n g t ho f w e l d i n gl i n ea n dm a x i m a ls t r e s s t h ea u t h o rt r a i n e dt h en a v e n e tw i t ht h ed a t aw h i c hf r o mt h ef i n i t ee l e m e n ta n a l y s i s a i m i n ga tt h ep r o b l e mo ft h e m a x i m a ls t r e s sp o i n t sj u m pi ns t r u c t u r a la n a l y s i sa n dt h ed i s a d v a n t a g eo fn e r v en e tw h i c hh a s s e v e r a li n p u ta n ds e v e r a lo u t p u t ，t h ea u t h o ri m p r o v eo nt h en e t b e s i d e s ，t h ea u t h o rd i s c u s st h e p r o b l e m so fh i d i n gl a y e rq u a n t i t y , t h ec e l ln u m b e ro fh i d i n gl a y e ra n dt h et r a i n i n go fn e t w i t h t h eb u i l d i n go fb pn e r v en e t r e a l i z i n gt h er e p l a c eo ff i n i t ee l e m e n ta n a l y s i sw j mn e r v en e ta n d u s i n gt h i sn e r v en e ti nt h ef o r e c a s tt h em a x i m a ls t r e s sw h e nt h ew e l d i n gf r a m ei nt h ew o r k i n g c o n d i t i o n s t h i sm e t h o dc o n q u e rt h em a l p r a c t i c ew h i c hi sl a c k i n gf e a s i b i l i t yi nr e a l i s mo ft h e o p t i m i z ew h i c hi sb a s eo nf i n i t ee l e m e n ta n a l y s i s ，b e c a u s ei tt a k e sm u c ht i m ei nt h ef i n i t e e l e m e n ta n a l y s i s + t h ea u t o ru n i t et h eb pn e r v en e tw i t ht h ec o v e r i n gc o m p l e xm e t h o d ，u s i n gt h et r a i n i n g s t y l e b o o k sf r o mt h es t r u c t u r a la n a l y s i so fu gi it ot r a i nt h en e r v en e t w i t ht h eu s eo ft r a i n e d n e r v en e ti nt h ec o v e r i n gc o m p l e xm e t h o d ，r e a l i z i n gt h eo p t i m i z eo ft h ej o i n t i n gq u a n t i t yo ft h e p u n c h r i v e tm a c h i n ef r a m e ，a n dc h e c k o u tt h eo p t i m i z er e s u l tw i t ht h es t r u c t u r a la n a l y s i sf u n c t i o n o f u gi i a l lt h e s ep r o v et h em e t h o do f t h i sp a p e ri sf e a s i b l e k e y w o r d ：b pn e r v en e t ；f i n i t ee l e m e n ta n a l y s i s ；c o v e t i n gc o m p l e xm e t h o d ；o p t i m i z ed e s i g n 昆明理工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导9 币的指导下进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做 出重要贡献的个人和集体，均已在论文中作了明确的说明并表示了谢 意。本声明的法律结果由本人承担。 学位论文作者签名：。玎乍a 日期：丛_ - 年土月生日 关于论文使用授权的说明 本人完全了解昆明理工大学有关保留、使用学位论文的规定，即： 学校有权保留、送交论文的复印件，允许论文被查阅，学校可以公开 论文的全部或部分内容，可以采用影印或其他复制手段保存论文。 ( 保密论文在解密后应遵守) 导师签字：豇金妇 论文作者签字： t 彰节国 昆哪埋工人学硕士学位论豆 第一章绪论 1 1 课题研究背景【1 1 1 2 1 在工程设计中，人们总是希望在满足各种约束限制的条件下，设计的方案性 能最好、成本最低，即设计方案最优。在传统设计中，设计人员根据经验和判断 提出方案，然后用力学理论对给定的方案进行分析、校核。若不满足要求，则人 工调整设计变量，重新进行分析、校核直至找到可行方案为止。整个设计过程耗 时长、费用高、效率低，得到的方案虽然可行，却非最优。 随着科学技术的发展，工程结构复杂性的增加以及要求的不断提高，传统的 优化方法已不能满足需要。人们不断寻找效率更高、准确性更强的新方法，现代 优化设计方法应运而生。 但是从工程应用角度来说，优化方法还不够成熟，尚有许多地方需要改进。 传统的优化方法存在优化算法复杂、计算效率低、难以保证求得全局最优解，难 以计算含有离散设计变量的优化问题等。对于复杂结构，应用传统的结构优化方 法进行优化设计，通常需要进行大量的有限元计算，计算耗时多，结果却往往并 不理想。 为了在更大的范围( 如含有离散设计变量的优化问题) 内应用优化技术，减 少计算时间，减小进行优化设计的难度和寻求问题的最优解，人们在发展新的优 化方法方面进行了大量的探索和研究工作。本文基于b p 神经网络和复合形算法对 机架焊接用量的优化做了研究，这是将新的计算方法用于焊接优化领域的一次有 益尝试。 1 _ 2 神经网络的发展 神经网络的发展始于2 0 世纪4 0 年代。1 9 4 3 年，美国精神病学家和神经解剖 学家w a r r e nm c c u l l o c h 和数学家w a l l e rp i n s 在研究了人脑细胞神经元后，在 ( ( b u l l e t i no f m a t h e m a t i c a lb i o p h y s i c s ) ) 上发表文章，总结了生物神经元的一些生理 特征，提出了神经元的第一个模型m p 模型。 3 1 “il m c c u l l o c h 和p i t t s 表明： 原则上，拥有数量众多的简单单元和适当的神经元联接且运行同步的情况下，所 构建的网络能计算任何可计算的函数。1 9 4 9 年，d o h e b b 通过对大脑神经细胞、 学习和条件反射的观察和研究，提出了改变神经元连接强度的h e b b 规则。1 9 5 2 年，a s h b y 出版了( ( d e s i g nf o rab r a i n ：t h eo r i g no da d a p t i v eb e h a v i o r s 一书，论述 了自适应行为不是天生的，而是学习的结果这一基本概念，而且通过对动物行为 的学习会有更好的改变。1 9 5 4 年，m i n s k y 撰写了题为t h e r o yo dn e u r a l - a n a l o g r e i n f o r c e m e n ts y s t e m sa n di t sa p p l i c a t i o nt ot h eb r a i n m o d e lp r o b l e m ) ) 的博士论文， 昆明理e 大学硕士学位论文 并在1 9 6 1 年发表了关于早期神经网络的题为 s t e p st o w a r da r t i f i c i a li n t e l l i e n c e ) ) 的优秀论文，里面包含了当今神经网络的大部分内容。m i n s k y 还于1 9 6 7 年出版 了( ( c o m p u t a t i o n ：f i n i t ea n di n f i n i t em a c h i n e s ) ) 一书，清晰地扩展了m c c u l l o c h 和 p i a s l 9 4 3 年的成果，并将其归入自动化和计算理论中。1 9 5 7 年r o s e n b l a t t 提出了 感知器( p e r c e p t m n ) 的概念，给出了两层感知器的收敛定理，建立具有隐含层处理 元件的三层感知器的重要研究方向。为了解决三层感知器的算法问题，w i d r o w 在 1 9 6 2 年提出了自适应线形元件( a d a l i n e ) 及6 学习规则。从而形成了对舢蝌研究的 第一次热潮。 但是，因为以下原因，在2 0 世纪7 0 年代对神经网络的研究陷入了低潮。一 是当时缺乏个人计算机和工作空间站进行实验；二是感知器也存在局限性，如不 能产生复杂的逻辑函数，因此a j 的创始人之一m m i n s k y 于1 9 6 9 年在 p e r c e p t i o n 一书中得出了对a n n 的悲观结论，使人们对神经网络产生了悲观 情绪；三是神经网络和晶格旋转之间的类推还未成熟。此外当时数字计算机正处 于全盛时期并在人工智能上取得显著成绩，这一切使得对人工神经网络的研究陷 入了低潮。尽管如此，仍有不少学者继续研究a n n 。g r o s s b e r g 等在1 9 6 9 年提出 了自适应共振理论( a r t ) 。t e u v ok o h o n e n 和j a m e sa n d e r s o n 在1 9 7 2 年各自分别 提出了自组织映射( s o m 理论模型) 。1 9 7 6 年w i l i s h a w 和v o nd e rm a l s b u r g 发表 了第一篇受人脑拓扑次序映射启发，构筑自组织映射的论文。1 9 7 7 年 a n d e r s o n ，s i l v e r s t e i n ，r i t z 和j o n e s 提出了黑箱脑状态模型。同期，f u k u r s h i m a 提出了若干a n n 结构和学习算法，w e r b o s 提出了误差反传( b p ) 理论。这些都为a n n 的进一步发展奠定了理论基础。 二十世纪八十年代以后，导致2 0 世纪6 0 年代神经网络研究停滞不前的难关 一一被攻破，神经网络的研究又开始活跃起来。人们逐渐发现，人工智能虽然在 专家系统、语音识别等问题上取得了巨大成就，但是在面对复杂模式识别、自然 语言理解和机器人自适应控制等方面常常无能为力，因此人们不得不寻求新的方 法。1 9 8 2 年，加州工学院的物理学家h o p f i e l d 在美国国家科学院的刊物上发表了 著名的h o p f i e l d 模型理论，提出了一个用于联想记忆和优化计算的网络模型，使 得a n n 的研究有了突破性的进展。因为h o p f i e l d 模型可以用集成电路实现，易被 工程技术人员理解，所以引起了工程界的普遍关注，从而掀起了a n n 研究的第二 次热潮。h o p f i e l d 首次在a n n 研究中引入了“能量函数”的概念，使所提出的网 络具有优化求解问题的能力，给出了检验网络稳定性的判据，并成功地解决了旅 行商的问题。在h o p f i e l d 模型提出的第二年，s e j n o w s k i 和h i n t o n 提出了大规模 2 昆明理t 大学破l 学位论文 并行网络学习机( 即b o l t z m a n n 机) ，并明确提出了隐单元的概念，他们应用多层神 经网络并行分布地改变各神经元间的连接权，克服了以往神经网络的局限性。1 9 8 2 年，k o h o n e n 发表了关于自组织图的论文。1 9 8 3 年，k i r k p a t r i c k ，g e l a t t 和v e c c h i 提出了模拟退火算法。同年，b a r t o ，s u t t o n 和a n d e r s o n 发表了关于强化学习的论 文。1 9 8 4 年，h o p f i e l d 设计与研制了他所提出的神经网络模型电路，指出神经元 可以用运算放大器实现，所有神经元的连接可以用电子线路来模拟。1 9 8 5 年， a c k l e y ，h i n t o n 和8 e j n o w s k i 以模拟退火思想为基i 出，对h o p f i e l d 模型引入了随 机机制，提出了b o l t z m a n n 机，第一次成功实现了多层神经网络的功能。1 9 8 6 年， r u m e l h a r t ，h i n t o n 和w i l l i a m s 发展了反向传播算法。1 9 8 8 年，b r o o m h e a d 和l o w 用径向基函数提出了分层反馈网络设计的方法。1 9 8 9 年，m e a d 出版y a n a l o gv l s i a n dn e u r a ls y s t e m 一书，将生物神经和集成电路结合在一起，给出了硅视网膜 和硅耳蜗。在2 0 世纪最后1 0 年，对神经网络进行了大量的、深入的、开拓性的 研究工作，大大加快了a n n 模型和计算的发展，使a n n 的研究和应用引起了美国、 日本和西欧等国科技界和企业界的广泛关注。”“”1 目前，a n n 在模式识别、机器视觉、信号处理、非线形优化、知识处理、传感 器技术等许多方面都得到了应用，并取得了良好的效果。”h ”3 1 3 神经网络在优化设计中的应用研究现状 人工神经网络是以大规模、非线形、并行的方式来进行信息处理的。利用神 经网络的学习功能、大规模并行分布式处理功能、连续时间非线形动力学和全局 集体作用可以实现知识获取自动化；克服“组合爆炸”和“推理复杂性”及“无 穷递归性”等困难，实现并行联想和自适应能力：提高结构设计的智能水平、实 时处理能力。利用人工神经网络进行优化设计具有高度的容错性、鲁棒性、实时 性和自适应性；同时系统可以自组织、自学习以及联想记忆，可以在工作中不断 学习、发展、创新。由于神经网络优化设计是一种模拟人类形象思维的非逻辑、 非语言、非静态、非局域、非线形知识处理方式，所以在优化设计中的应用必将 为设计理论带来历史性的突破。 在结构优化设计中，大量的结构分析需要巨大计算量，这大大降低了优化设 计的效率，有时甚至使得优化设计无法进行。对此，一般采用结构近似分析方法， 如利用结构位移、应力应变的一阶或二阶导数对结构进行近似分析，以降低结构 分析的次数。为了使近似分析具有全局性，不少学者利用神经网络的函数映射功 能，建立设计变量的变化和结构位移、应力应变之间的关系，并利用这种关系代 替有限元分析，使优化速度大大提高。神经网络用于结构优化设计始于二十世纪 昆叫埋f 大学硕+ 学位论文 八十年代末。1 9 8 9 年，a d e l i 和y e h 1 8 】率先将神经网络用于结构工程的研究领域， 为结构设计和分析提供了一种崭新的智能方法。此后，h a j e l a 和b e r k e ( 1 9 9 0 ) ， v a n l u c h e n e 和s u n t l 9 】( 1 9 9 0 ) ，s w i f t 和b a t i l l l 2 0 1 ( 1 9 9 1 ) ，h a j e l a 和b e r k e 2 1j ( 1 9 9 1 ) ， h u n g 和a d e l i ”】( 1 9 9 1 ) 等纷纷讨论了神经网络在结构工程中的应用。z e s z e w c z y k 针对几何非线形问题提出了一种神经计算与数值方法策略，将训练好的b p 神经网 络作为求解单元失衡力的一种实时求解器；w m j e n k i n s 对在有约束条件下不能用 显式表达的结构优化问题，利用积累的知识库训练一个b p 网络，并在优化过程中 利用这一网络代替结构数值分析实现近似分析。 目前，神经网络在机械设计及制造方面得到广泛应用，涉及到工艺设计、加 工参数优化、故障诊断、振动控制、工况监测、寿命预测等。用于优化设计的人 工神经网络多为h o p f i e l d 网络和b p 神经网络，并以b p 神经网络应用最广。郭鹏、 韩璞在h o p f i e l d 网络在优化计算中的应用。3 1 一文中，总结了h o p f i e l d 网络应 用于优化计算的一般步骤和方法、并通过两个应用实例：t s p 问题( 旅行商问题) 和系统参效辨识问题，对应用h o p f i e l d 网络求解优化问题的关键步骤和应用方法 进行了详细分析和说明。虽然h o p f i e l d 网络在结构优化设计上有其优势，但由于 其在设计、实现和掌握上还存在许多困难，而且如果不使用硬件模拟电路， h o p f i e l d 网络在速度上并无优势，因此目前还难以推广。b p 神经网络在理论上具 有可逼近任意非线形连续映射的能力，但b p 算法还存在收敛速度慢，往往收敛于 局部最优点，数值稳定性差等缺点。为此，人们提出了许多改进算法和设计准则。 为了提高b p 神经网络的收敛速度，曾颉昭等在基于b p 神经网络的基础上，针对 b p 算法收敛速度慢，提出了正弦基函数神经网络算法，用于希尔伯特变换器的优 化设计，证明了该神经网络算法的收敛性。”许琦提出利用传统的优化设计方法 梯度法，为b p 神经网络的学习提供足够的样本集，通过正向传播和误差反向 传播建立b p 神经网络的拓扑结构，实现了将b p 神经网络应用于机械优化设计中， 提高了优化的收敛速度。o ”吴俊飞等利用b p 神经网络的高度非线形映射能力，建 立变厚度齿轮r v 减速器设计变量和其动态参数之间的映射关系，解决了动态优化 设计中目标函数难以建立的难题，使复杂的动态优化问题转化为一个简单的普通 优化问o ”何德林等提出了复合神经网络，实现了综合利用数学知识和规则知识解 决问题。” 尽管众多学者作了大量的研究工作。”“，但基于神经网络的结构优化设计应 用范围仍然有限，主要是用于一些简单结构，且约束条件限于特定的位移、结构 固有频率等。这是因为，即使是对于常用的神经网络，在优化应用中也存在许多 4 昆明理t = 大学五贞i 学位论文 困难。例如：h o p f i e l d 网络在应用中难以找到合适的能量函数，而且使用数字计 算机难于模拟h o p f i e l d 网络( 计算量太大) ；而b p 网络在拟合结构尺寸与结构最 大应力的映射关系时存在困难。 目前，国内外在将神经网络用于优化方面做了许多研究工作，但在将神经网 络用于焊接用量优化方面还未见有关报道。本文尝试使用神经网络替代有限元分 析，进行焊接用量的优化研究，属工艺参数优化，但其实质是结构优化问题。其 结果对于扩大神经网络的使用范围，探索神经网络在焊接方面的应用具有积极意 义。 昆明理t 大学硕士学位论殳 第二章神经网络基本原理 2 1 人工神经网络的基本原理【4 】_ 【6 i 2 1 1 人工神经网络的基本概念和特征 人工神经网络可以简单地定义为：一种旨在模仿人脑结构及其功能的信息处理系统。 从系统的观点看，神经网络是由大量神经元通过丰富和完善的连接而构成的自适应非线形 动态系统。由于神经元之间可以有着不同的连接方式，所以组成不同结构形态的神经网络 系统是可能的。 人工神经网络具有如下基本特征： 1 分布存储和容错性。信息分布在整个网络上，网络某一处不是只存储一个外部信息， 而是每个神经元存储多种信息的部分内容。网络每一部分对信息的存储具有等势作用。在 神经网络中，要获得存储的知识是采用“联想”的方法，也就是当给一个神经网络一个激 励时，它就从已存的知识中寻找与该输入匹配最好的存储知识为解。这种存储方式的优点 在于如果部分信息不完全( 丢失或者损坏甚至有错误) ，它仍能够恢复出原来j 下确、完整 的信息，系统仍能运行。这就是网络具有容错性和联想记忆功能。 2 大规模并行处理。人工神经网络具有并行结构，网络的各个神经元可以同时进行类 似的处理过程。因此，网络中的信息处理是在大量神经元中平行而有层次地运行的，运算 速度大大超过传统的序列式运算计算机。 3 洎学习、自组织和自适应性。学习和适应要求在时间过程中系统内部结构和联系方 式有改变。神经网络是一种变结构系统，恰好能够完成对环境的适应和对外界事物的学习 能力。神经元之间的连接多种多样、连接强度具有一定可塑性，这样，网络就可以通过 学习和训练进行自组织以适应不同信息处理的要求。 4 寺中经网络是大量神经元的集体行为，而不是各单元行为的简单相加，从而表现为一 般非线形动态系统的特性。 5 卉申经网络可以处理一些环境信息复杂、知识背景不清楚和推理规则不明确的问题。 2 1 2 人工神经元构成的基本原理和功能 神经网络由大量结构和功能相同或相近的人工神经元组成。人工神经元的结构和功能 仿照生物神经元设计，在此先简要介绍一下生物神经元的结构。 1 生物神经元结构 大脑由大量神经细胞( 神经元) 组成。每一个神经元都可以视为一个小的处理单元， 这些单元相互连接，构成了大脑的生理神经元网络。是信息处理系统的最小单元。 神经元细胞主要由树突、轴突和突触构成。它的基本结构如图2 1 所示。 树突的作用是收集由其它神经元传来的信息。 昆叫埋t 人学硕上学位论义 轴突的作用是传递细胞体发出的信息，是细 胞的输出通道。轴突的末端分叉成众多的轴突末 梢，与其它神经元的树突通过突触进行连接。 突触是两个神经细胞之问连接的地方。突触 连接的强度代表两个神经元问信号传递时耦合紧 密程度，是可变的。信号通过突触时被“加权”， 生物神经元的输入是所有加权输入之和。当其值 大于该神经元的门限( 又称阈值) ，则该神经元被 激活，否则不被激活。大脑的学习过程就是神经 元之间连接强度随外部激励信息作自适应变化的 过程，大脑处理信息的结果由神经元的状态表现 出来。 生物神经元的基本特性： 瓤胞茄 瓤胞j 图2 1 生物神经元的结构 ( 1 ) 神经元是一个多输入单输出元件； ( 2 ) 具有非线形的输入输出特性： ( 3 ) 各神经元之间传递信号的强度( 即耦合的程度) 是可以改变的，且输入信号有兴奋 和抑制作用之分； ( 4 ) 神经元的输出取决于所有输入信号综合迭加的结果，仅当等效的综合输入值超过某 一阈值时，该神经元被“激活”。 图2 2 人下神经元模型 2 人工神经元的结构 厂、司 昆明理工人学硕：学位论文 人工神经网络是由大量处理单元广泛互连而成的网络，是人脑的抽象、简化、模拟， 反映人脑的基本特性。一般说来，作为神经元模型应该具备三个要素： ( 1 ) 具有一组突触或联接，常用w i 表示神经元i 和神经元j 之间的联接强度，或称 之为权值。与人脑神经元不同，人工神经元权值的取值可以在f 值和负值之间。 ( 2 ) 具有反映生物神经元时空整合功能的输入信号累加器。 ( 3 ) 具有一个激励函数用于限制神经元输出。激励函数将输出信号压缩( 限制) 在 一个允许范围内，使其成为有限值，通常，神经元输出的扩充范围在 0 ，l 】或 一1 ，1 闭区间。 其中x i ( i = l ，2 ，n ) 为神经元i 的输入信号，w j l 、w j 2 w j i w j 。为神经元1 、2 、i - n 与第j 个神经元的突触联接强度或联接权。u i 是由输入信号线形组合后的输出，是神经元i 的净 输入。0i 为神经元的阂值或者称为偏差用b i 表示，v i 为经偏差调整后的值，也称为神经元 的局部感应区 用列向量x 表示输入向量 x = 卜l x f x 。j 用行向量w i 表示单元j 的连结权向量 = h 1 w _ w 如j 所以，神经元的净输入可以写成： “f = w j i x f + o j = x + 嘭 如果视如= 1 ，q 。= 0 ，即令x 和w j l 括x o 及扣，则有： x = i x 而即- x n r = h 。w j i j v ，：窆t = w y 。w j ，k 。 即 _ x 所以，神经元的输出为： y = f ( v j ) = 厂( x ，) j = o 式中转移函数，( ) 是单调递增函数，而且必须有界。转移函数的作用是模拟生物神经 元所具有的非线形转移特性。常用的转移函数单极性s i g m o i d 函数、双极性s i g m o i d 函数 等。 3 神经网络的学习 神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络 的自由参数，使神经网络以一种新的方式对外部环境作出反应的一个过程。能够从环境中 昆叫埋工人学硕j 。学位论文 学习和在学习中提高自身性能是神经刚络的最有意义的性质。 学习算法是指针对学习问题的明确规则集合。学习类型是由参数变化发生的形式决定 的，不同的学习算法对神经元的突触权值调整的表达式不同。选择或设计学习算法时还需 要考虑神经网络的结构及神经网络和外界环境相连的形式。 神经网络的学习方式可以分为：有导师学习( l e a r n i n gw i t hat e a c h e r ) 和无导师学习 ( l e a r n i n g w i t h o u ta t e a c h e r ) 。 ( 1 ) 有导师学习。有导师学习又称为有监督学习，见图2 3 。在学习时需要给出导师 信号或称为期望输出( 响应) 。期望输出代表了神经网络执行情况的最佳结果，即对于网 络输入调整网络参数，使得网络输出逼近期望输出。 图2 3 有导师学习框图 动作 图2 4 自组织学习框图图2 5 强化学习框图 ( 2 ) 无导师学习。无导师学习包括强化学习和无监督学习( 自组织学习) ，见图2 4 和图2 5 。在强化学习中，对输入输出映射的学习是通过与外界环境的连续作用最小化性 能的标量索引而完成的。在自组织学习中没有外部导师或评价来统观学习过程，而是提供 一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的自由参数最优化。一旦 网络与输入数据的统计规律达成一致，就能形成内部表示方法来为输入特征编码，并由此 自动得出新的类别。 4 寺申经网络的学习规则 ( 1 ) 误差纠正学习 令虬n ) 为输入以0 ) 时，神经元t 在n 时刻的实际输出，d k 0 ) 表示应有的输出，则误 差信号可写为： 昆叫j 理1 大学硕+ 学位论文 n ) = d 。0 ) 一y 。n ) 误差纠正学习的最终目的是使某一基于巳n ) 的目标函数达到最小，以使网络中每一输 出单元的实际输出在某种统计意义上逼近应有的输出。最常用的目标函数是均方误差判 据，定义为误差平方和的均值 厂 ，= e h e ：g ) i l t j ( 2 ) h e b b 学习 h e b b 提出的学习规则可归纳为“当某一突触( 连接) 两端的神经元同步激化时，该连 接的强度应增强，反之应减弱”。用数学方式可描述为： a w 。= f c y 。0 h ，o ) ) 式中y kn ) 、工j 0 ) 分别为两端神经元的状态，其中最常用的一种情况是 = r y 。0 h ，g ) ( 3 ) 竞争学习 在竞争学习时，网络各输出单元互相竞争，最后达到只有一个最强者激活，最常见的 一种情况是输出神经元之间有侧向抑制性连接，这样原来输出单元中如果有某一单元较 强，则它将获胜并抑制其他单元，最后只有此强者处于激活状态。最常用的竞争学习规则 可写为 h o = 叩g ，一w j ij ，若神经元，竞争获胜 a w j l = 0 ， 若神经元j 竞争失败 2 2 b p 神经网络 神经网络的功能主要是由两个方面决定：一是网络的拓扑结构，即各神经元之间相互 连接的方式；二是网络的学习和运行规 则，即网络中连接权值的调整规则。 神经网络的种类很多，在这里只介 绍本课题研究使用的b p 神经网络。b p 神经网络全称为采用误差反传( e r r o r b a c kp r o p a g a t i o n ) 算法的前馈神经网 络，因此常把前馈神经网络称为b p 神 经网络，简称b p 网络。 2 2 i b p 学习算法图2 6 工作信号正向传播，误差信号反向传播 b p 学习算法是2 0 世纪8 0 年代中期，由d a v i dr u n e l h a r t ，g e o f f r e yh i n t o n 和r o n a l d w i l l i a m s ，d a v i dp a r k e r ，以及y a n n nl ec u n 分别独立发现的，它解决了多层感知器的学习 l o 昆h j j 埋丁人学硕士学位论文 问题，促进了神经网络的发展。 b p 学习算法的学习过程可以描述如下： ( 1 ) 工作信号正向传播：输入信号从输入层经隐单元，传向输出层，在输出端产生 输出信号，这就是工作信号的正向传播。在信号向前传递的过程当中网络的权值是固定不 变的，每一层神经元的状态只影响下一层神经元的状态。若在输出层不能获得期望的输出， 则转入信号反向传播。 ( 2 ) 误差信号反向传播：网络的实际输出与期望输出之间的差值就是误差信号，误 差信号由输出端丌始逐层向前传播，这就是误差信号的反向传播。在误差信号的反向传播 过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出不断接 近期望输出。 图2 6 为多层感知器的一部分，其中有两种信号：一是正向传播的工作信号，如实线 所示；二是反向传播的误差信号，如虚线所示。 下面以一个具有两个隐含层的b p 网络为例，如图2 7 所示，具体推导b p 算法。 设输入层为，即有个输入信号，其中任一输入信号用m 表示；第1 隐层神经元的 个数为其中任一神经元用i 表示；第2 隐层的神经元个数为为j ，其中任一神经元用，表 示；输出层为j p ，即有p 个神经元，其中任一神经元用p 表示。 输入层与第1 隐层的突触权值用 w 表示；第1 隐层与第2 隐层的突触权值用表示； 第2 隐层与输出层的突触权值用表示。 神经元的输入用l l 表示，激励输出用v 表示，u ，v 的上标表示层，下标表示层中的某 舶 娩 ： 航 ： 勘 y y 2 y 。 ： y p 个神经元， 如“j 表示 第层的第 i 个神经元 的输入。设 所有的神 经元的激 励函数均 为s i g m o i d 函数。设训l 练样本集 图2 7 含有二个隐层的b p 网络 x = 陋，x ：，一，x ，x m 】，对应任一训练样本x = b 。， ：，z 。】t = 1 , 2 ，m ) 的实 昆明理t 大学硕士学位论文 际输出为匕= k ，儿：，y 。】7 ，期望输出为d k = k ，d 。，d 。r 。设m 为迭代次数，权 值和实际输出是m 的函数。 网络输入训练样本尥，由工作信号的正向传播过程可得 “j = x 。 形：厂f 圭w o 一 i = l “，p = v ； 。j ：厂f 兰咐。 n = l 户1 ，2 ， v ，p = f ( 杰j = 1 v j 舻2 尸 1 ，= l v j 舻1 ，2 ，尸 驴v ；= 厂( “；) = ，( 喜叫j ) 一幺， 输出层第p 个神经元的误差信号为( n ) = ( m ) 一y 如( m ) 定义神经元p 的误差能量为 p 毛( m ) ，则输出层所有神经元的误差能量总和为以m ) ： p 即”) = ( 肌) ( 2 1 ) p = l 误差信号从后向前传递，在反向传播的过程中，逐层修改联接权值。下面计算误差信 号的反向传播过程： ( 1 ) 隐层j 与输出层p 之间的权值修正量。b p 算法中权值的修正量与误差对权值的 偏微分成正比，即： w 驴( ，z 如器 因为 a e ( m ) 一a e ( 卅) a ( m ) ( m ) a f ；( m ) 丽一丽丽丽丽 又因为 丽d e ( m ) = ( m ) ，端_ _ 1 ，筹= 厂7 0 删，器= 形协) 则 名器= 一( m ) 厂7 0 ；) ( m ) 设局部梯度 占；= 端= 厂0 ；) k ) 1 2 ( 2 2 ) ( 2 3 ) 昆叫理t 大学硕卜学位论文 当激励函数为逻辑函数，即 厂( t ) = i i ；i 丽 ，口 0 ；一 x 0 ：一m “( m ) o ( 2 1 9 ) n 和b 是常量，它对“( 卅) 的导数是 ，b ) ) = n bs e c h 2 ( 6 “” = 曲0 一t a n h 2 ( 6 “) ) ) ( 2 - 2 0 ) = 告b v j m + 讨) j 对于图3 - 2 所示的b p 网络，当上= p ( 1 = p ) 时，即对输出神经元p ： 占；b ) = ) ，0 ；0 ) ) = 告p ，) 一y ，b m y ，) - + 如) j ( 2 2 1 ) 其中 厂缸；) ) = 告b v ；m + v ；) 】 = 告k y ，m + y ，) j 当上= j ( f = j ) 时，即对隐层，上的神经元j - 彰) 丝二 hb p p j 畦一 j ， ，兰， r 昆叫理【人学钡上学位论义 其中 ，b j b ) ) = 告【口一v j 劬) l + v ；如) j 当三= ，( f = f ) 时，即对隐层，上的神经元i ： 掣如) = ，b j 娩万j ) ) ，( “j ) ) = 告【口一一向m + v j 如) j ( 6 ) 在b p 算法第五步中需要判断误差e ( m ) 是否满足要求，即对顺序方式误差小于 设定的值e ( 1 层) s i ) ；对于批处理方式，每个训练周期的平均误差层0 其变化量在o 1 到1 之间。 ( 7 ) 在分类问题中，我们会碰到属于同一类的训练样本有几组，在第一步设置变量 时，一般使同一类的训练样本其期望输出相同。例如设输入的训练样本有l 类， = ，：，f ，上】，输入样本z j 表示1 类的第k 组训练样本，x j = k ，工乞，x 。k ，墙j 对 应的实际输出为f = b i ，y 乞，y ；，y 二】，期望输出为4 = k 儿，d 。，如，d ，p j 。 昆明理下大学硕上学位论殳 第三章优化问题的建模 3 1 优化设计基本概念【4 7 】 设计属于综合决策的范畴。由于作为决策方案的设计不是唯一的，因此提供 了选择的机会，决策就是要找出最优的方案。在优化设计成为门学科之前，这 种设计最优的意图只是一种模糊的、不严格的期望。设计人员只能凭借经验、积 累、直觉或个人才能来进行设计，但却很难保证设计的最优。 优化设计理论是人类向自然界学习的成果，是社会生产的需求和设计经验积 累的结果。在长期的生产实践中，产生了诸如进化优化、直觉优化、实验探索优 化等优化策略和方法，而后又在数学规划、价值工程、试验设计等数学方法的基 础上产生了近代的优化设计技术。目前，优化设计已成为现代设计方法的重要内 容之一。一般工程设计都有许多可行的设计方案，如何根据设计任务和要求，从 众多的可行方案中寻求一个最佳方案是设计者的重要任务。所谓优化设计就是使 实际设计问题转化为在规定的各种设计限制条件下的最优化问题，这需要通过分 析，首先建立优化数学模型，然后运用最优化原理和方法，在计算机上进行自动 寻优计算，从而寻找出最优设计方案。 优化设计理论与方法用于工程设计已有几十年的历史，从而已使传统的工程 设计方法发生了根本性变革，即把经验的、感性的、类比的传统设计过程逐步向 自动化、集成化、智能化方向发展。 3 2 优化问题的建模 3 2 1 优化设计的一般方法 优化设计的全