（计算机应用技术专业论文）基于神经网络的自由曲面重建.pdf

华北电力大学硕士学位论文摘要 摘要 自由曲面的重建在许多领域有着广泛的应用，并提出了许多有效方法和应用技 术，而其最终目的就是要获得自由曲面的计算机模型。1 9 9 5 年，p g u 和x y a h 提出利用b p 神经网络重构自由曲面，生成了光滑的无截断的曲面。自此，基于神 经网络的自由此面重建成为研究热点。本文针对b p 基本算法应用于曲面建模的缺 点，提出自调整s 型函数方法，并利用条件轮回措施的共轭梯度法，同时调整权值 系数和s 型函数的形状参数，使得收敛曲线能够迅速摆脱平缓的区域，加速了收敛 进程。将这一改进的算法应用于b p 网重建自由曲面中，仿真结果表明，同b p 基本 算法相比，在收敛速度和重建精度上均有较大程度的提高。 关键词：自由曲面b p 神经网络共轭梯度法s 型函数 a b s t r a c t f r e e f o r ms u r f a c e sa r e w i d e l y u s e di n m a n ya r e a s ，m a n ye f f e c t i v ea l g o r i t h m sa n d a p p l i c a t i o nt e c h n o l o g yw e r ep r o p o s e d i nt e c h n o l o g yo ff r e e f o r ms u r f a c e r e b u i l d i n g ，t h e u l t i m a t eo b j e c t i v ei st oo b t a i nt h ec o m p u t e rm o d e lo f i t u s i n gb p n e u r a ln e t w o r k st or e b u i l d f r e e f o r ms u r f a c ew a s p r o p o s e db yp g ua n dx y a hi n1 9 9 5 ，a n dt h e yg o ts l i c ks u r f a c e s s i n c et h e n ，b pn e u r a ln e t w o r kb a s e df r e e f o r ms u r f a c er e b u i l d i n gb e c o m e s h o t s p o to f r e s e a r c h i nt h i sp a p e r ，am e t h o do f a d a p t i v es i g m o i df u n c t i o ni sa p p l i e di na l l u s i o nt os h o r t c o m i n g so f b pa r i t h m e t i c u s i n gc o n j u g a t eg r a d i e n tw i t hm e a s u r e so f r e s t a r t i n gi ns p e c i a lc o n d i t i o nt o a d j u s tw e i g h t sa n d t h es h a p eo f t h e s i g m o i d f u n c t i o na tt h es a m e t i m e ，a n di tm a k e s t h ec u i w e o fc o n v e r g e n c eb r e a ka w a yf r o mf i a ta r e ar a p i d l y , a n da c c e l e r a t et h e c o n v e r g e n c e t h e a d v a n c e da r i t h m e t i ci su s e di nf i e e f o r mr e b u i l d i n ga n dt h er e s u l to fs i m u l a t i o ns h o w st h a tt h e n e u r a ln e t w o r kc a l lr e b u i l dt h ef r e e f o r mi nh i g h e ra c c u r a c y t h ei m p r o v e da r i t h m e t i cm a k e s c o n s i d e r a b l ep r o g r e s sb o t hi ns p e e do f c o n v e r g e n c ea n dt h ea c c u r a c y l i u c h e n g u a n g ( c o m p u t e ra p p l i e dt e c h n o l o g y ) d i r e c t e db yp r o f c h e n w e i z e n g k e yw o r d s ：f r e e f o r ms u r f a c e s ，b pn e u r a ln e t w o r k s ，c o n j u g a t eg r a d i e n t ， sf u n c t i o n 声明 本人郑重声明：此处所提交的硕士学位论文基于神经网络的自由曲面重建，是 本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取得的研究成 果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 学位论文作者签名：剑逖日期：竺! 生坠：望 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播 学位论文的全部或部分内容 ( 涉密的学位论文在解密后遵守此规定) 作者签名：盥导师签名- 贮茎当童望 日期：塑! 监璺：竺 日期： 口乒1 z 三毋 华北电力大学硕士学位论文 1 1 研究背景 第一章绪论 1 1 1 自由曲面重建技术的目的 在自由曲面重建技术中，最终目的就是要获得自由曲面的计算机模型。自由曲 面重建工程的实现过程包括，自由曲面的测量，数据的拼合，特征提取以及曲面重 构和曲面的评价，它是集现代测量技术，计算机辅助几何设计理论，图像处理技术、 c a d 技术等为一体的综合性技术，它是现代测量理论，形状数学描述理论，计算机 几何理论等发展的产物，没有这些理论和技术的发展，很难想像自由曲面重建的实 现。 1 1 2 自由曲面重建技术的应用 随着信息化时代的到来，世界市场的竞争将日趋激烈，产品设计和开发能力， 产品开发和制造周期，是企业竞争能力强弱的集中体现，工业工程师利用自由蓝面 的重建技术可以大大缩短产品设计和制造周期。在美国、日本、加拿大等工业发达 国家，自由曲面重建技术的应用己开始在航空、汽车等领域中普遍采用，持别是在 具有复杂自由曲面的产品设计中显示出其独特的功效。同时，国内许多企业对自由 曲面重建技术的需求也十分迫切，在国内的汽车行业中汽车车身，内外饰件等具有 复杂自由曲面的零部件均是直接从国外引进模具或生产线，基本上无自主设计和开 发能力，而在国外这些零部件的设计和开发己有相当长时间的技术积累，其设计技 术和资料不可能直接提供给我们，若从头开始设计，必将耗费大量人力和财力，并 且未必能达到原设计的性能。为此，现采用自由衄面重建技术，经过多次的设计和 验证，就可实现自行设计并从中获取这些零部件的设计技术，实现国产化设计和制 造。概括起来，自由曲面的重建的应用可分为如下几个方面：【1 1 一、模具制造 模具制造商经常要根据客户提供的样件进行模具设计和制造，这种情况下，往 往没有样件的设计资料和设计数据，此时就可以利用自由曲面重建技术首先对产品 进行数字化，建立其计算机模型，同时对该模型进行有限元分析，装配分析，通过 检验修改后可以用该模型直接加工模具。 华北电力大学硕士学位论文 二、和c a d 技术相结合做作为一种产品设计的新方法 有些产品不仅具有复杂的自由曲面而且具有复杂的结构和特征，对于这样的零 件可以利用自由曲面重建技术来设计零件上的自由曲面，同时可利用c a d 的基于 特征造型的优点完成其复杂结构的设计，既克服了自由曲面重建技术难以处理复杂 结构的缺点，也克服了c a d 造型中难以处理复杂自由曲面的缺点，将两者充分结 合，则可以完成整个零件的设计和开发。 三、作为r p 技术的前处理技术 利用自由曲面的重建技术，有时不必构造出零件的曲面模型或c a d 模型，可以 根据云状数据直接构造出零件的s t l 模型，直接进行样件或原型的制作，这种方法 简捷方便，在早期产品试制和研制中更合适。 四、对外形美学要求较高的零部件的设计 在汽车工业，家电工业中，外形设计师仍然要经常作全尺寸的木模或粘土模型， 因为要在二维的尺寸大大缩小了的计算机屏幕上完成这样高度要求的复杂外形设 计是非常困难的，当实物模型制作好以后，就可以利用自由曲面重建技术设计出这 种曲面的计算机模型，以便讲行后续的各种操作。 1 1 3 自由曲面重建技术的现状 自由曲面测量方法的原理各异，而且各有自己具有优势的应用领域，但它们均 具有同样的测量结果一一那就是它们最终给出的均是用密集点表示的曲面三维离 散点，在重建技术中称这样的点为“云状数据点”。自由曲面的重建就是要根据自 由曲面的这些自由离散点找出曲面的计算机几何描述模型。 目前有关自由曲面重建的软件，如美国的v e r i s e r f ，r e v e n g ，英国的d e s a u l t ， 法国的c i s i g r a p h 公司的s t r i m l 0 0 软件的d g m 程序包，英国d e l c o m 公司的 d v c t 5 系统的d c v td i g i t i z e 模块等，目前在功能覆盖域、自动化程度、稳定性、 可靠性，以及其他c a d 系统的兼容性等方面还不够成熟，不同程度地存在各种各 样的问题，除以上软件外，也有人利用现有的c a d 软件，如p r o - e ，i - d e a s 和u g i i 等从事基于“云状数据”的自由曲面重建，但这种方法必须首先对“云状数据”进 行压缩和特征点的提取，因而这种方法在重构曲面时，只利用了曲面上极少数的数 据点，对曲面精度造成很大影响，而且这种方法的功能覆盖域“自动化程度”、可 靠性更差，但由于这种方法是在c a d 中直接进行曲面重构，因而在c a d 系统的兼 容性方面较专用的反求工程软件好。t a m a sv a r a d y 对基于云状数据的曲面重建是这 样评价的“跟扫描仪配套提供的软件功能十分有限，这些简单的软件包只允许对测 量数据进行简单的操作，而且一次只能用用户交互选择的数据集拟合一张简单监 面。即使是目前最好的商品化软件所能构造成的完整模型也仅限于三角化模型或很 2 华北电力大学硕士学位论文 少见到的一点非常简单的边界模型”。 为了适应测量设备硬件发展的迫切需求，同时也由于自由曲面重建的问题具有 相当的难度和复杂性。因而这一问题得到欧美、日本等各国许多学者的高度重视。 九十年代中期以来，各种学术期干u 对自由曲面重建技术研究的报道明显增多。这方 面的研究可分为两类：一类是在计算机视觉，计算机动画，医学中的图像重建中进 行研究，主要是为了产生一定的视觉效果，还有一个重要的领域就是快速成型，从 其重建结果来看，可将其归纳为这一类，而且在这类问题中，由测量的云状数据 转换成快速成型的标准文件( s t l ) 格式占有相当重要的一部分。另一类是工程设 计领域中进行的研究，主要目的是产生与普通c a d 系统兼容一致的曲面数字化模 型，以便能像普通c a d 模型一样进行交互修改，布尔操作，数控编程等。 1 1 4 人工神经网络的历史和发展 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ) 理论是一门新兴的交叉学科，伴随着人 工智能的发展为自由曲面重建的研究工作提供了新的发展方向。自1 9 4 3 年第一个 神经网络模型一一m p 模型被提出至今，神经网络的发展十分迅速。 a n n 的研究始于本世纪4 0 年代。早在1 9 4 3 年，心理学家m c c u l l o c h 和数学家 p i t t s 在数学生物物理学会刊( b u l l e t i i lo f m a t h e m a t i c a lb i o p h y s i c s ) ) 上发表文章，提 出了形式神经元的数学描述与结构方法，即m p 模型，引起了对神经网络的研究； 1 9 4 9 年心理学家d o h e b b 提出神经元之间突触联系强度可变的假设，根据这一假 设提出的学习率为神经网络的学习算法奠定了基础；在5 0 年代末，r o s e n b l a t t 提出 感知机网络和联想学习规则，r o s e n b l a t t 和他的同事构造了一个感知机网络，并公 开演示了它进行模式识别的能力，第一次把神经网络的研究付诸工程实践。这次早 期的成功引发了许多人对神经网络研究的兴趣。 1 9 6 9 年，美国著名人工智能学者m i n s k y 和p a p e r t 在著作( p e r c e p t r o i l s 中对 r o s e n b l a t t 的工作进行了深入的研究，其中包含了对什么样的感知机能够学习这一 问题的严密研究，指出感知机的形式化处理不仅要解释感知机的局限性，并并且要 指明克服它们的方向。不幸的是，该书悲观的预言感知机的局限性说明神经网络的 研究方向是行不通的。许多人受到这种偏颇看法的影响，相信神经网络的研究已走 入死胡同。同时由于当时没有功能强大的计算机来支持各种实验，从而导致许多研 究者纷纷离开这一研究领域，神经网络的研究在2 0 世纪7 0 年代左右的十余年间近 乎停滞。 到了8 0 年代，随着个人计算机和工作站能力的急剧增加和广泛应用，以及新 概念和新思想的不断引入，克服了摆在神经网络研究面前的障碍，人们对神经网络 的研究热情空前高涨。有两个新概念对神经网络的复兴具有极其重大的意义：一， 华北电力大学硕士学位论文 用统计机理解释某些类型的递归网络的操作，这类嘲络可作为联想存储器：二，几 个不同的研究者分别开发出了用于训练多层感知机的反传算法。这些新进展对神经 网络研究领域重新注入了活力。在过去的2 0 年中，许多科学家提出了许多种具备 不同信息处理能力的神经网络模型，至今为止，约已开发了3 0 多种，神经网络也 被应用到了许多信息处理领域，特别是1 9 8 2 年美国加州工学院的物理学家h o p f i e l d 提出了h o p f i e l d s 神经元网络模型( h n n ) 以及1 9 8 5 年r u m e l h a n 和m c e l e l l a n d 等人提 出的反向传播( e r r o rb a c kp r o p a g a t i o n - - b p ) 算法，使h o p f i e l d 模型和多层前馈型神 经网络成为用途广泛的神经网络模型，已在信号处理、模式识别、目标跟踪、机器 人控制、组合优化、反求工程等众多领域的应用中获得了引人注目的成果。【2 l 针对神经网络存在的问题和社会需求，今后发展的主要方向可分为理论研究和 应用研究两个方面。 ( 1 ) 利用神经生理与认识科学研究大脑思维及智能的机理、计算理论，带着 问题研究理论。人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途 径，但是由于人类起初对神经系统了解非常有限。对于自身脑结构及其活动机理的 认识还十分肤浅，并且带有某种“先验”。1 1 雄例如，b u l t u n a n n 机引入随机扰动来避 免局部极小，有其卓越之处，然而缺乏必要的脑生理学基础，毫无疑问，人工神经 网络的完善与发展要结合神经科学的研究。而且，神经科学，心理学和认识科学等 方面提出的些重大问题，是向神经网络理论研究提出的新挑战，这些问题的解决 有助于完善和发展神经网络理论。因此利用神经生理和认识科学研究大脑思维及智 能的机理，如有新的突破，将会改变智能和机器关系的认识。利用神经科学基础理 论的研究成果，用数理方法探索智能水平更高的人s 神经网络模型，深入研究网络 的算法和性能，开发新的网络数理理论。由于神经网络的非线性，因此非线性问题 的研究是神经网络理论发展的个最大动力。 ( 2 ) 神经网络软件模拟，硬件实现的研究以及神经网络在各个科学技术领域 应用的研究。由于人工神经网络可以用传统计算机模拟，也可以用集成电路芯片组 成神经计算机，甚至还可以用光学的、生物芯片的方式实现。因此研制纯软件模拟， 虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。如何使神经网络计算机与 传统的计算机和人工智能技术相结合也是前沿课题：如何使神经网络计算机的功能 向智能化发展，研制与人脑功能相似的智能计算机，如光学神经计算机，分子神经 计算机，将具有十分诱人的前景。【3 】 1 2 研究课题的提出 随着反求工程的发展，自由曲面的重建在c a d c a m 等许多领域显得日益重要， 传统的曲面重建方法，如三角片逼近法、矩形域重建法等，在建模过程中普遍存在 4 华北电力大学硕士学位论文 计算量大、建模速度慢、修改困难和建模精度低等缺点。针对这些问题，本文提出 了神经网络曲面重建方法。 神经网络具有很强的非线性逼近能力，三层前向网络能以任意精度逼近任意连 续函数及其各阶导数。采用神经网络代替传统的基于基函数的曲面拟合方法，将表 示曲面的跌射关系存储于神经网络的连接权值和阈值中，这种全息式的信息存储模 式，使得模型具有较强的容错性能和联想能力，不会因为部分神经元受损而严重影 响其总体性能。因此，利用神经网络强大的非线性逼近能力进行散乱点曲面建模， 将会使得模型具有较高的逼近精度和一定的平滑性。【4 l 基于此，本文提出了下面的 研究课题：基于神经网络的自由曲面重建。 1 3 当前的研究现状 1 9 9 5 年，p g u 和x y a h 提出利用b p 神经网络重构自由曲面，生成了光滑 的，无截断的衄面， 5 1 自此，基于神经网络的自由曲面重建成为研究热点。 人们改进了b p 神经网络的一些缺点，提出了一些新的神经网络用于自由曲面 的重建，其中尤以j b a r h a k 和a ，f i s e h e r 的成就引人注目。j b a r h a k 首先提出利 用局部微分方程( p d e ) 用神经网络自组织映射( s o m ) 产生无自截断的参数网，改 进了梯度下降法( g d a ) 和随机表面误差修正( r s e c ) 两种迭代曲面拟合方法，和 a f i s c h e r 合作，成功完成了未知拓扑结构的曲面重建，得到的拟合陷面满足总体 和局部的p r e s e r v a t i o n 标准，指出使用共轭梯度法代替g d a ，还有直接使用3 d 数据 训练s o m 神经网络( 这样开始的投影阶段就可以省略了) 为未来的发展方向。 6 , z s , g j o 国内的研究工作开展稍晚，目前还处于起步阶段。王铠将模拟退火算法与b p 算 法相结合，降低了参数选取的难度，提高了收敛速度f 1 1 j ；施云惠将再生核与神经网 络有机的结合，形成了再生核空间w 上的神经网络，提出了相应的n e w t o n b p 交替算 法，提高了收敛速度，克服了迭代过程中的震荡现象【1 2 l ；邓春梅等采用径向基神经 网络重建自由曲面，利用径向基网络对数据管理髓力强的特点，减少了子曲面片的 数目，提高了拟合精度，有效的消除了白噪声f 4 】；莫灿林利用自适应线性神经元网 络生成分形曲面，通过设置神经网络可调参数的数值来控制和调整分形曲面形状， 生成可预测，可控制和可调整的分形曲面【1 4 】。 1 4 本文研究的主要内容和工作 在自由曲面重建技术中，最终目的就是要获待自由曲面的计算机模型。神经网 络具有很强的非线性逼近能力，将其应用于曲面建模工作中，将会使得模型具有较 高的逼近精度和一定的平滑性。本文针对b p 基本算法的缺点，提出自调整s 型函 华北电力大学硕士学位论文 数方法，利用采取了条件轮回措施的共轭梯度法同时调整权值系数和s 型函数的形 状参数，并将改进的算法应用于b p 网重建自由曲面中。仿真结果表明，神经网络 方法能够以一定精度重建自由曲面模型，文中采用的改进算法同b p 基本算法相比， 在收敛速度和重建精度上均有较大程度的提高。本文完成的主要工作如下： 1 ) 分析了神经网络一般模型的结构，确定b p 神经网络作为用于自由曲面重建 的神经网络模型，搭建b p 网络模型。 2 ) 针对b p 基本算法存在的问题，提出新的改进算法：利用采取了条件轮回措施 的共轭梯度法同时调整权值系数和s 型函数的形状参数。函数逼近实验结果表明， 本文提出的改进算法与b p 基本算法相比，在网络的收敛速度和逼近精度上均有较大 程度的提高。 3 ) 对给定的自由曲面进行仿真实验：我们采用了一个已知的非均匀b 样条曲面 ( n u r b s ) ，用它产生一定数量的样本点训练网络，然后用一系列的测试样本点测 试网络，与用公式计算的同样的浸试样本点的精确值进行比较，其误差表明了我们 所用方法的性能。 4 ) 曲面仿真实验结果表明，利用神经网络能够以定的精度重建自由曲面， 改进算法提高了网络的收敛速度和自由曲面的重建孝青度。 6 华北电力大学硕士学位论文 第二章b p 网络的结构及算法 2 1 神经网络的一般模型 严格说来，神经网络是一个具有如下性质的有向图： 1 ) 对于每个节点有一个状态变量畸； 2 ) 节点i 到节点，之间有一个连接权系数。j ； 3 ) 对于每个节点有一个阈值吼； 4 ) 对于每个节点定义一个变换函数为乃k ，卯，口月川，称为激励函数。 神经网络的每个节点是个处理单元，处理单元也称为神经元。一个神经元只 从邻近单元接受输入，并作为该输入的函数来计算输出值，然后将此值送给其邻近 单元。许多单元可同时进行计算，这是系统所固有的t 并行”特性。【1 3 1 如卤2 - l 所 示神经元模型。 三二屯； 乙i 彳 一园一 图2 1 神经元模型 神经元所接受各输入信号的加权和称为神经元的净输入( 刺激) ，它的数学式 表示为： n e t = 国茸o = 1 ( 2 一1 ) 神经元的净输入再通过神经元的激励函数作用得到神经元新的激活值，即该神 经元的反应、输出为： y k2 五( 拧p f i + 吼) ( 2 2 ) 华北电力大学硕士学位论文 常用的神经元响应函数有很多如闽值函数、双向闽值函数、s 型函数( 即s i g m o i d 函数) 、双曲正切函数、指数函数、高斯函数、阶跃函数、分段线性函数、恒等线性 函数等等。通常b p 网络采用的是s 型函数，这主要是因为它的突变性和饱和性很 好地反应了神经细胞兴奋过程所产生的神经冲动以及疲劳性。 1 5 , 1 6 】 人工神经网络科学就是模拟了人脑的结构特征，把大量这样的人工神经元组成 一个复杂的人工神经网络系统，用于求解某一领域的问题。它因而具备了大脑的部 分特征。首先它存储知识的方式是分布式存储，“知识”存储在分布的权值和闽值 之中，因而有很好的容错性。其次，人工神经网络采用大规模的并行处理机制，因 而其速度可以远高于串行结构的冯诺依曼计算机。然而人工神经网络最突出的特 点，是它像人脑一样具有自学习功能，它可以在学习中，通过改变其权值、阐值来 存储某一领域的知识。 神经网络的学习算法可大致分为三种： 1 ) 误差纠正学习 令( p ，p ) 为输入输出模式对( 七表示模式对的数目，且k = ，2 ，用) ， r = ( r ? ，x ：) ，矿= ( 计，y ：) ，y ；为输入第k 组数据矿时神经元f 响应的 应有输出，y 表示神经元i 的实际输出，则误差信号可写为： e ：= y ：一y ( 2 3 ) 误差纠正学习的最终目的是使某一基于p ：的代价函数达到最小，以使网络中每 一输出单元的实际输出在某种统计意义上最逼近于应有输出。一旦选定了目标函数 形式，误差纠正学习就成为了一个典型的最优化问题，最常用的目标函数是均方误 差判据，定义为： 1口 e k = 寺砰( ) ( 2 4 ) i = 1 学习的过程即变为修改权值1 0 求得晟的极小值的过程，根据最陡梯度下降法可得： a , v 目= a e k x ( 2 5 ) 其中a 是学习步长，这就是通常所说的误差纠正学习规则( 或称6 规则) 。 2 ) h e b b 学习 神经心理学家h e b b 提出的学习规则可归结为“当某一突触( 连接) 两端的神经元 的激活同步( 同为激活或同为抑制) 时，该连接的强度应增强，反之则应减弱”。用数 学方式可描述为： a m 坷= fo ，p ，x ，) 8 华北电力大学硕士学位论文 式中儿，x ，分别为凹。两端神经元的状态，其中最常用的一种情况为： 。b = a y 尊j 由于卯与y 。，z ，的相关成比例，有时称之为相关学习法则。 3 ) 竞争( c o m p e t i t i v e ) 学习 顾名思义，在竞争学习时网络各输出单元互相竞争，最后达到只有一个最强者 激活。最常见的一种情况是输出神经元之间有侧向抑制性连接，这样众多输出单元 中如有某一单元较强，则它将获胜并抑制其他单元，最后只有比较强者处于激活状 态。最常用的竞争学习规则可写为： 1 0 国村= i 口( y 。 2 2b p 网络原理 神经元k 竞争失败 神经元k 竞争获胜 b p 网络是一种具有三层或三层以上神经元的多层前向网络。网络按有导师学 习的方式进行训练，训练模式包括若干对输入模式和期望的目标输出模式。当把一 对训练模式提供给网络后，网络先进行输入模式的正向传播过程，输入模式从输入 层经隐含层处理向输出层传播，并在输出层的各神经元获得网络的输出。当网络输 出与期望的目标输出模式之间的误差大于目标误差时，网络训练转入误差的反向传 播过程，网络误差按原来正向传播的连接通路返回，网络训练按误差对权值的最速 下降法，从输出层经隐含层修正各个神经元的权值，最后回到输入层，然后，再进 行输入模式的正向传播过程。这两个传播过程在网络中反复运行，使网络误差 不断减小，从而网络对输入模式的响应的正确率也不断提高，当网络误差不大于目 标误差时，网络训练结束。 根据实际应用，训练网络的样本集为q 个向量对组成的集合 ，= 0 ，碣) 0 ：，d ：) ，b 。，或剪 训练样本集i 能够反映bp 网络所要学习的模型的所有特征。设训练输入模式 样本为q 个，每个样品数据含n 个变量，则设每个输入模式样品数据为 ，、- 屯= k p ，x 2 ，p = 1 , 2 ，q 则训练输入模式矩阵为 z 2k ，z 2 ，x qj 相应地，设期望的目标输出模式为q 个，每个目标输出模式数据含1 2 3 个变量， 则设每个目标输出模式数据为 华北电力大学硕士学位论文 d p = 慨，如，d ，) r ，p = l ，2 ，q 则训练目标输出模式矩阵为 玩。= ，d ：，d 。) 在理想情况下，该网络训练完成以后，其权值矩阵存放的是上式所给的向量集 合所蕴涵的对应关系，也就是输入向量x ，幻= 1 ，乙，g ) 与输出向量d ，的映射关系。 由样本集确定的映射关系被存放在网络中后，当一个输入向量输入网络 时，网络应能完成相应的变换。如果网络存放的是集合i ，在理想情况下，当网络 的输入向量为x 。时，网络应输出向量d p ，实际上，在许多时候，网络输出的并不是 向量d ，而是向量d p 的一个近似量，这是由于人工神经网络计算的不精确性造成 的。t t q 2 3 b p 网络的结构分析 反向传播神经网络( b p 网) 是目前最成熟，应用最广泛的人工神经网络之一，其 基本的网络结构是三层前馈网络。包括输入层厶、隐含层西和输出层c 。对于输 入信号，要先由输入层向前传播到隐含节点，经过函数作用后，再把隐含节点的输 出信息传递到输出节点，最后得到输出变量结果。b p 网可以实现从输入到输出的任 意复杂的非线性映射关系，能够完成复杂曲面的重建工作。 b p 网的典型结构如下图( 2 2 ) 所示： 图2 - 2 单隐层b p 神经网络结构 输入层厶、隐含层幻和输出层三c 单元之闯前向连接，( ，c 。) 为输入输出 模式( 七表示模式对的数目，且膏一，2 ，掰) ，其中= ( 口：，口：) ，c 。= ( 辞，c ：) 分别为神经网络的输入和输出，y 和国分别是匕与b 、如与工c 层 神经元间的连接权， 1 0 华北电力大学硕士学位论文 b p 网络的特征是它可以学习或训练，学习或训练的过程实质上是根据给定输入 和希望输出( 即模式对( 4 2 ，c 。) ) ，不断地调整权重。在训练过程中，各权重收敛 到一组确切值，以便每一输入向量都会产生一输出向量，与希望输出向量c 。相 比来修正权重。调节权重所遵循的预定规则就是训练算法。 2 4b p 网络的算法分析 b p 网学习通过一个使代价函数最小化过程完成从输入到输出的映射。通常，代 价函数定义为所有输入模式上输出层单元的希望输出与实际输出的误差平方和。由 于b p 模型的误差反向传播学习实现了定义在整个模式训练集代价函数曲面上的梯 度下降，它可以看作是最小二乘法( l m s ) 算法在多层网络中的推广。根据前馈网络 的误差反向传播特征可知，三层b p 网络采用的训练学习算法可以分为两步：网络 的顺序传播过程和误差反向传播( e r r o rb a c k p r o p a g a t i o n ) 过程。i l 2 4 1 顺序传播过程 顺序传播过程是神经元接收刺激和做出响应的过程，利用赋予的初值来进行样 本数据的学习。 1 赋初值：给图3 - 1 中的输入层厶到隐含层如的连接权y 。，如到输出层云三c 的 连接权卯。以及如层单元的阈值日。，l c 层单元的闽值”，赋以位于 一1 ，+ 1 1 x e l 目l 上 的随机值。 2 进行学习：对于每个模式对( 4 2 ，c 。) 进行下列操作过程： ( 1 ) 将a 。的值送到匕层单元，再将匕层单元的激活值a 。通过连接权矩阵，送到如 层单元，得到隐含层各单元接受的刺激： n e t b l = y m ( 2 6 ) 这样隐含层单元新的激活值为： 巩= y ( n e t b 。十只) = ，c y * 口 + 占；) ( 2 7 ) 式中，疗为输入层神经元总数；f = ，2 ，p ，其中p 为隐含层神经元数目；f 为s 型函数，即 弛) = 专 ( 2 - 8 ) 华北电力大学硕士学位论文 ( 2 ) 输出层c 各神经元接受的刺激为： ， n e t c j = 国口b j f _ 1 ( 2 9 ) 其新的激活值为： ， c j = f ( n e t c j + v ，) = ，c f b i + y ，) ( 2 一l o ) i = 1 式中，_ ，= ，2 ，g ，其中g 为输出层神经元的数目。 2 4 2 误差反向传播过程 误差反向传播是根据希望输出与实际输出之间的误差， 的连接权进行校正，从而减小实际输出误差的过程2 0 】。 1 所需的准备工作如下： ( 1 ) 对于s 型函数，其导数为 ，( z ) = ( 雨1 妒，( ( 1 一，( 印) 返回来对各层神经元间 ( 2 ) 由公式( 2 9 ) 和( 2 - l o ) 可知，输出量c ，对净输出n e t c j 的导数可表示为 !l=，t(netci+vs)on e t c ， 。 由公式( 2 1 0 ) 和( 2 1 1 ) n - f i 以把上式进行简化 l = ，l _ f ( 1 一，) = c ，( 1 - c i ) c a n e t c 。 、 ( 3 ) 以输出层单元为例，净输出与该神经元的阈值的偏微分为 一c a n e t c j ：翌竺而 o c o fa 国# 1 2 在准备7 - 作完成之后，可以计算层上的代价函数& ，表示为 e = 去( c ；一c j ) 2 ( 1 ) 根据梯度下降方法，对于输出n 单- n j ，可以定义其一般化误差畸为 铲蔫一警鼍 1 2 ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) f 2 1 4 ) ( 2 1 5 ) 华北电力大学硕士学位论文 由公式( 2 1 3 ) f 致( 2 1 5 ) ，可以将上式简化为 d j = _ o w e ，2 f ( 1 一，) = ( c ；一c j ) ，( 1 一) = ( c ；一c ，) c 丹一c ，) ( 2 1 6 ) 公式中，c ：为上c 层单元的希望输出，其它的所有符号解释同前。 ( 2 ) 同理对于隐含层如单元i ，其相对于每个面的一般化误差为 。：一旦：一堕旦l o n e t b 。o b 。c 锄e t b ， 吖：相i ) 卜 对于公式( 2 1 5 ) ，可以对上式进行变形 一o e k ：里l o n e t c j 曲。葛o n e t c o b 。 利用公式( 2 1 6 ) 简化上式 鲁：一喜哆掣砑q 鸭 b 忉 把式( 2 1 7 ) 代入隐含层单元的一般化误差公式中，可得 q = b i ( 1 一b ，) d y g ( 2 1 8 ) ( 3 ) 在现有的连接权卯。和y 。下，为减小代价函数e k ，由梯度下降原则来完成( 即使 连接权的变化正于负梯度) 连接权的改变。 隐含层如与输出层c 之间的权值改变量为 峨一嚆一螽鲁 由公式( 2 一1 4 ) 可以化简上式得： a c o v = c r d j b 。 ( 2 - 19 ) 同理可得： y m = 居，a ( 2 2 0 ) 华北电力大学硕士学位论文 b p 学习算法的步骤可以归纳如下： 1 将样本集中的输入信号加到网络的输入层，计算其相应的输出信号。 2 求出网络实际输出信号与期望的输出信号之差值。 3 误差信号由输出层逐层反向传播到输入层，在此反向传播过程中，调 整网络的权值，使输出误差信号减小。 4 重复1 3 ，直至满足一定的误差要求。 b p 算法的流程图如图2 3 所示。 图2 - 3 b p 算法的流程图 1 4 华北电力大学硕士学位论文 2 5b p 网络训练中的几个问题 b p 学习算法解决了权值的修正算法，下面讨论b p 网络训练中的几个问题。 1 收敛速度慢 b p 算法的一个主要问题是它需要较长的训练时间，对于自由曲面重建工作而 言，b p 算法很难在规定时间内收敛到一定的精度，对于某些复杂的曲面，甚至会出 现发散的情况。 2 “值的选取 从本质上说，b p 算法是属于最速下降法，它提供了下一步权值修正的方向，但 在此方向上修正幅度的大小并未得出。通常情况下都采用固定的学习率，可根据 具体情况，取= ( o 1 2 0 ) 。采用固定的值，通常会使学习时间很长，且在临近 收敛点附近，容易产生振荡。针对这一情况，入们提出了很多改进方法。如自适应 学习速率算法，根据误差的变化来调整步长；共轭梯度法，利用线性搜索算法来确 定下降方向上的最优步长等等。 3 转换函数的问题 如果网络的神经元的转换函数，o ) 采用s i g m o i d 函数，可以看到f ( x ) 随着i 叫的 增大，梯度下降，即l ，( 圳减小，并趋于0 ，不利于权值的调整。因此，我们希望能 够调整转换函数的斜率，使得转换函数能够有利于权值的调整，加速收敛过程。 华北电力大学硕士学位论文 第三章改进算法 3 1 几种典型的b p 算法分析 基本b p 算法( 最速下降b p 算法s d b p ) 的一个主要问题是训练时间过长， 在应用于一些大型的实际闷题时，训练将花费数天甚至数量期的视时。这引起了对 提高算法收敛速度研究的极大热情。 快速算法的研究粗略地分为两类。第一类包括那些使用启发式信息的技术，这 源予对标准反向传播算法特定性能的研究，包括附加动量方法( m o b p ) 秘改变学 习速度方法( v l b p ) 等。另一类研究集中在标准数值优化技术，包括共轭梯度法 ( c g b p ) 和l e v e n b e r g - m a r q u a r d t 方法( l m b p ) 等。 附加动量法使b p 神经网络在修正其权重和阙值时，不仅考虑误差在梯度上的 作用，而且考虑在误差曲面上变化趋势的影响，它允许忽略网络上的微小变化特性。 该方法是在基本b p 算法的基础上，在每一个权重和阈值的变化上加上一项正比于 前次权重和阈值变化量的值，并根据基本b p 算法来产生新的权重和闳值的变化， 带有附加动量因子的权重和阙值 x ) 调节公式为： 似 + 1 ) = 脚趟+ ，聊罢 o f ( d ) ( 如图3 2 b 所示) ，则极小 点必定在【c ，d 】区间内。反之，如果f ( c ) f ( d ) ，则极小点在【a ，d 】区间内。 华北电力大学硕士学位论文 j f ( 曲 i 眷 i 口，一岛 吒一b 2 口3 b 3 口4 b 4 图3 1 区间定位 x ( a ) 不缩小区间( b ) 极小点必须出现在c 与b 之间 图3 - 2 减小不确定区间的大小 d 3 黄金分割搜索 上述过程描述了减少不确定区间尺寸的方法。现在需要确定如何找到内部点c 点d 位嚣的方法。我们使用黄金分割搜索法，它可以减少函数计算的次数。每次 迭代只需要计算一次函数值。例如，在图3 2 b 的例子中，点a 可以丢弃而点c 成 2 1 华北电力大学硕士学位论文 为外部点。于是一个新的点c 将在原来的点c 和点d 之间。技巧是放置新的点以 便尽快减少不确定性区间。 黄金分割搜索算法如下所示： f = 0 6 1 8 s e t c i = 口1 + ( 1 一) p l 一口1 ) ，e = f ( c 1 ) d l = b l 一( 1 一r ) ( 6 l a 1 ) ，乃= f ( 西) f o r k 2 l ，2 ，r e p e a t i f c e t h e n s e t 吼+ 1 = 口 ；钆“= 或；d = c i c i + l = 吼+ l + ( 1 一) p p + l 一吼+ 1 ) b = 只；e = f ( c 。) s e t 诉+ l = c i ；b i “= b p ；c t “= d k 巩+ l = b “一( 1 一f ) ( 6 + l a + 1 ) e = b ；疋= f 。) e n d e n du n t i l b p + l a + l e - l ，则 h 2 z h l ；，( f ) = r q 1 ) ；刀= 0 转3 ) 。 7 ) 如果刀n ，贝4 ”= 0： 转3 ) 。 8 ) 如果e k r o l ( r o l 为给定误差) ，则转l o ) 9 ) 选择下一个搜索方向： p i = 一g + f l k p p - l 其中 展= 墅z 、g k - l p k - i 或以= 舞或以= 警t 转4 ) 。 1 0 ) 结束。 从改进算法步骤中我们可以看到，算法利用共轭梯度法同时调艇权值系数和s 型函数的形状参数，使得收敛曲线能够迅速摆脱平缓的区域，加速了收敛进程。 3 4 改进算法实验分析 我们使用三层b p 网络来逼近正弦函数y = 0 2s i n ( 2 n x ) + 0 5 ，0 x 1 。学习算 法分别采用b p 基本算法和本文提出的改进算法。 1 )仿真精度分析 2 4 华北电力大学硕士学位论文 我们等间隔的从【0 ，1 _ z r t a2 0 个点作为样本点训练网络，网络训练结束后，我 们等间隔的取3 0 个点作为测试样本点，网络的输出与期望输出之间的误差说明了 网络逼近此正弦函数的精度。 表3 - 1 改进算法与b p 基本算法逼近精度比较 l 测试样本点x期望输出v 实际输出夕 误差e ib p 基本算法 o 1 6 70 6 7 3 206 7 8 70 0 0 5 5 i改进算法 o 1 6 706 7 3 206 7 4 10 0 0 0 9 如表3 、l 所示，学习算法采用改进算法的网络，其逼近精度优于采用b p 基本算 法的网络，它的相对误差仅为o 1 3 ( e y 1 。 2 )收敛速度分析 我们分别取2 0 ，3 0 ，4 0 个样本点来训练采用改进算法的网络和采用b p 基本算 法的网络，它们的收敛周期如表3 。2 所示。 表3 - 2 改进算法与b p 基本算法收敛周期比较 2 0 个样本点3 0 个样本点4 0 个样本点 lb p 基本算法 2 3 33 1 54 4 5 i改进算法 5 96 5 ，7 1 从表3 2 中，我们可以看到，采用改进算法的网络的收敛周期优于采用b p 基本 算法的网络。另外，我们发现，随着样本点的增多，采用b p 基本算法的网络的收 敛周觏增长很快，而采用改进算法的网络的收敛周期则变化不大。 函数逼近实验结果表明，本文提出的改进算法与b p 基本算法相比，在网络的 收敛速度和逼近精度上均有较大程度的提高。、 华北电力大学硕士学位论文 第四章曲面重建仿真实验结果与分析 4 1 本系统的实现工具m a t i a b 神经网络的实现方案可分为基于直接硬件实