（计算机软件与理论专业论文）基于径向基函数神经网络的曲面（线）重构仿真研究.pdf

基于径向基函数神经网络的曲面( 线) 重构仿真研究 摘要 径向基函数神经网络以其简单的结构，优良的全局逼近性能而引起了 人们的广泛关注。由于径向基函数神经网络的独特的拓扑结构和训练方法， 使得它在函数逼近和非线性系统预测等领域得到广泛地应用。近年来国内 外在径向基函数神经网络用于曲面重构方面的研究工作比较多，普遍人们 常用的是使用三个独立的径向基函数网络分别得出曲面的三坐标与参数之 间的关系，从而间接得到曲面三坐标之间的关系，这势必将影响到网络的 训练速度和曲面重构的精度。本文研究如何用一个径向基函数先直接得到 拟重构曲面的一种映射关系，这种映射关系通过网络的权值和阀值来修正， 其修正方法采用梯度下降算法，通过该算法对其映射关系训练，通过训练学 习逐次逼近到所要拟重构曲面该重构算法具有很强的鲁棒性和较高的重 构精度此外本文还给出了径向基函数神经网络散布常数选择的一种方 法，因为散布常数选得太多，易导致过拟合现象：散布常数选得太少，易导 致曲面重构误差过大最后本文通过仿真实验研究散布常数对网络性能 的影响以及如何用径向基函数神经网络去用于散乱点的曲面重构。 关键词：神经网络径向基散布常数曲面重构 r e s e a r c ho ns i 瓜f a c e ( l i n e ) r e c o n s t u c t b a s e do nr b fn e i 瓜a i ，n e t w o r k s a b s t r a c t r b fn e u r a l n e t w o r k s s i m p l e s t r u c t u r ea n de x c e l l e n t a p p r o x i m a t i o n c a p a b i l i t ya r o u s es c h o l a r s b r o a da t t e n t i o n b e c a u s eo fr b fn e u r a ln e t w o r k s s p e c i a lc o n n e c t i v es t r u c t u r ea n dt r a i n i n gm e t h o d ，m a k ei t u s eo nf u n c t i o n a p p r o x i m a t i o na n dn o n l i n e a rf o r e c a s ts y s t e m p r e s e n t l yd o m e s t i ca n d o v e r s e a s r e s e a r c ho nh o wt ou s er b fn e u r a ln e t w o r kt or e c o n s t r u c ts u r f a c ei sv e r y a c t i v i t y f o re x a m p l e ，p e o p l eu s et h r e ei n d e p e n d e n t l yr b fn e u r a ln e t w o r k st o g a i nt h er e l a t i o n s h i po fs u r f a c e st h r e ec o o r d i n a t ea n dp a r a m e t e r s ，a n dt h e ng a i n t h er e l a t i o n s h i po ft h r e ec o o r d i n a t ei n d i r e c t l y , b u tt h i sm e t h o da f f e c tn e t w o r k s t r a i n i n gs p e e dp r e c i s i o no f s u r f a c er e c o n s t r u c t t h i sd i s s e r t a t i o nr e s e a r c ho nh o w t ou s eo n er b fn e u r a ln e t w o r kg a i nt h er e l a t i o n s h i po fs u r f a c e st h r e e c o o r d i n a t ed i r e c t l y , t h i sr e l a t i o n s h i pi sa m e n d e db yn e t w o r k s p o w e rv a l u ea n d v a l v ev a l u e t h em e t h o da d o p tg r a d i e n td e s c e n tda r i t h m e t i c ，u s et h i sa r i t h m e t i c t ot r a i n i n gm a p p i n gr e l a t i o n s h i p ，f r o mt r a i n i n ga n ds t u d y , a n dg e tr e c o n s t r u c t i v e s u r f a c es t e pb ys t e p t h i sa r i t h m e t i ch a v ev e r yh i g hp r e c i s i o na n di t sv e r y r o b u s t , t h i sd i s s e r t a t i o na l s or e s e a r c ho nh o w t oc h o o s ec e n t e rv e c t o r , b e c a u s ei f c h o o s et o om a n yc e n t e rv e c t o r sw i l ll e a do v e l i m i t a t e ，a n dw i l ll e td o w ni t s g e n e r a l i z ea b i l i t y ；i fc h o o s et o of e wc e n t e rv e c t o r s ，t h e nw i l ln o tg e te n o u g h l e a r n i n gi n f o r m a t i o na n d l e td o w ni t s g e n e r a l i z ea b i l i t yt o o ；b e s i d e st h i s d i s s e r t a t i o nv i ae x p e r i m e n ts t u d yh o ws h a p ep a r a m e t e ra f f e c tn e t w o r k s p e r f o r m a n c ea n dh o wt ou s er b fn e u r a ln e t w o r kt or e c o n s t r u c ts u r f a c eo n u n o r g a n i z e dd a t a k e y w o r d s ：n n ；r b f ；s h a p i n gp a r a m e t e r ；, s u r f a c er e c o n s t r u c t m 缩写 r 。8 f r 8 f n n l m s d 岱 r 己s 重要符号 缩写和符号说明 r a d i a lb a s i sf u n c t i o n 径向基函数 r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k s 径向基函数神经网络 l e a s tm e a ns q u a r e s 最小均方 o r t h o g o n a ll e a s ts q u a r e s正交最小二乘 r e c u r s i v el e a s ts q u a r e s递归最小平方算法 j 【 隐层神经元的个数，其中的每个隐节点用七= l ，2 ，k 表示 c e r l ( 毛，咒) 径向基函数的中心 径向基函数的宽度( 散布常数) 神经网络的输入样本数据的维数 神经网络的输出样本数据的维数 神经网络的输人输出对，其个数用i ( i = l ，2 ，) 表示 v i 隐层和输出层的连接权值 烈力径向基函数的输出 v i i 广西大学学位论文原创性声明和使用授权说明 原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成果和相 关知识产权属广西大学所有，本人保证不以其它单位为第一署名单位发表或使用本论文 的研究内容。除已注明部分外，论文中不包含其他人已经发表过的研究成果，也不包含 本人为获得其它学位丽使用过的内容。对本文的研究工作提供过重要帮助的个人和集 体，均已在论文中明确说明并致谢。 论文储签名兹3 - 稔 a 。1 年毛月、占目 i 学位论文使用授权说明 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本： 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务； 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的的前提下，学校可以公布论文的部分或全部内容。 请选择发布时间： 、，i 即时发布口解密后发布 ( 保密论文需注明，并在解密后遵守此规定) 论文储签名疚3 。冬导师躲胁叩6 月日 广西大掌硬士掌位论文 l 于径向l 函羲神经用络的曲面( 或) t 构的仿真研究 1 1 课题的研究背景 第一章前言 径向基函数神经网络及其学习算法的人工神经网络理论是八十年代中后期世界范围 内迅速发展起来的一个前沿研究领域，它在模式识别、计算机视觉、信号处理、非线性 优化、语音识别、声纳识别、传感技术于机器人、生物医学工程等学科产生了重要的影 响，近些年来国内外关于用神经网络进行曲面重构的文献也层出不穷，从中也提出不少 关于散乱数据点的曲面重构方法，散乱数据点的曲面重构一直以来是函数逼近理论的一 个重要研究内容“”，神经网络具有很强的泛函数逼近能力，三层前向网络能以任意精度 逼近任意连续函数及其各阶导数，目前用于应用方面的神经网络在拓扑结构上多采用 前馈型三层网络，比较有代表性的有矗p 神经网络和r b f 神经网络，但b p 神经网络有 在寻优过程中易于陷于局部极小和收敛速度慢等缺点，而本文采用的r b f 神经网络无论 在逼近能力，收敛速度或分类能力方面均要优于b p 神经网络，但是，在进行测试时， r b f 的速度却比较慢，这是由于待判别示例几乎要与每个隐层神经元的中心向量进行比 较才能得到结果。虽然可以通过对隐层神经元进行聚类来提高判别速度，但这样就使得 训练时间大为增加，从而失去了r b f 最基本的优势。另外，通过引入非线性优化技术可 以在一定程度上提高学习精度，但这同时也带来了一些缺陷，如局部极小、训练时间长 等，这是由于传统的r b f 神经网络在训练学习算法的时候是假定隐单元的中心矢量是固 定不变的，而且还假定径向基函数散布常数口也取常数值，但实质上，盯表示感受视野 ( r e c e p t i v ef i e l d ) 的。视野”宽度大小，从拓扑结构上来说，它影响感受视野空间的拓 扑分布。所以盯的取值大小将无疑会影响r b f 神经网络的收敛速度，甚至会影响到网络 的整个性能；另外理论和数值分析表明，r b f 神经网络的性能主要由隐层的中心决定而 不管隐层神经元究竟用什么样的径向基函数，即r b f 网络的结构特点主要由隐层的中心 位置和个数决定，所以如果要训练的样本数非常的庞大，那么，其中的训练样本不能都 选择为r b f 神经网络的隐层单元的中心矢量，否则，网络连接权值的计算量将非常庞大， 所以应该采用学习的办法来选择这些隐单元的中心矢量。 1 2 神经网络发展概况与国内外径向基函数神经网络研究现状 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n ) 是信息科学与高技术研究领域 l 于往向l 函羲丰经用络的冒( 或) t 相的仿真研宪 中一门令人注目的新兴学科，它的理论是近年来得到迅速发展的一个国际前沿研究领 域。人工神经网络借鉴了神经科学的基本成果，它是基于模仿人类大脑的结构和功能而 构成的一种信息处理系统，具有广泛的应用前景对于人工神经网络的研究设计到计算 机科学、控制论、信息科学、徼电子学、心理学、认知科学、物理学、数学与力学等学 科作为一种崭新的信息处理方法，人工神经网络是对过去4 0 余年中直统治着信息 处理的程序化计算的第一次挑战。当前，越来越多科技人员投入到人工神经网络这一研 究领域。新的改进模型与理论不断提出，应用范围不断扩大人工神经网络研究高潮的 到来标志着认知科学、计算机科学及人工智能的发展又处于一个新的转折点。人工神经 网络的应用和发展不但会推动神经动力学本身，而且将影响新一代计算机的设计原理， 有可能为新一代计算机和人工智能开辟一条崭新的途径。同时，它也为学习识别和计算 提供了新的现代方法，有可能给信息科学带来革命行的变化。 人工神经网络的研究是在5 0 年代末开始的，其代表性工作是计算机学家 f r o s e n b l a t t 和电机工程师b w i n r o w 等人开发的单层神经网络。1 9 5 7 年，f r o s e n b l a t t 开 始从事感知器的研究，并做成硬件，被认为是最早的可以模拟动物和人脑的感知器和学 习的人工神经网络模型。1 9 6 2 年，b w i n r o w 提出了自适应性单元，它是连续取值的线 性网络，主要用于自适应系统。这些简单网络中所体现的许多性质，如并行处理、分布 式存储、连续计算、可学习性等，与当时占主导地位的以顺序离教符号推理为基本特征 的人工智能途径完全不同，因而引起了不少人的兴趣，同时也引起了很大的争议。人工 智能的创始人之一，美国麻省理工学院的m m i n s k y 教授潜心数年，对以感知器为代表 的人工神经网络系统的功能及其局限性从数学上做了深入研究，1 9 6 9 年与s p a p e r t 合作 出版了颇具影响的感知器：计算几何引论一书。他们对感知器的结论是悲观的，甚 至认为其无科学价值可言。使得其后若干年内，人工神经网络这一领域的研究一直处于 低潮。然而，在此期间仍有少数学者在极端艰难的条件下继续致力于人工神经网络的研 究如s g r o s s b e r g 提出了自适应共振理论；t k o h o n e n 提出了自组织映射； k f u k u s h i m a 提出了神经认知机网络理论；s a m a r i 则致力于人工神经网络有关数学理 论的研究；j a 4 n d e r s o n 等提出了b s b 模型等。这些工作为人工神经网络研究的发展奠 定了理论基础。 7 0 年代后期，人们开始认识到，从模仿人脑功能的角度出发，探询新的信号信息表 示与存储方式，设计全新的智能化软、硬件系统，具有非常重要的应用价值和科学意义。 这些使人们会想起已被冷落的人工神经网络的研究。 应用研究中提出了大量的具有挑战性的待解决的问题。使锝一大批科学家又被引到 人工神经网络这一研究领域人工神经网络的研究自8 0 年代初开始复苏7 0 年代那些 有识之士们坚持不懈的基础研究，已经为人工神经网络的研究发展奠定了理论基础，这 是人工神经网络复苏后能够迅速发展的重要前提。人工神经网络发展史中值得记载的两 2 广西大学硬士掌位论戈l 于径向墓函羲神经月培的冒( 或) l 构的仿真研完 个重大时间是：，_ ，h o p f i e l d 将能量函数引入对称、反馈的网络结构，用以研究联想记 忆和最优化计算；d e r u m e l h a r t ，g 正日i n t 口椰r ，朋f f i 册坫等提出反向传播算法训练多 层前馈网络，用以逼近期望的连续函数。正是这两项重要的研究成果，重新唤起了人们 对人工神经网络的研究热情，促进了这一领域研究的迅猛发展。人工神经网络的应用研 究很快渗透到各个领域，并在信号处理、智能控制、模式识别、机器人视觉、非线性优 化、知识处理、传感技术等方面取得了令人鼓舞的进展。从8 0 年代末延续至今，有关 人工神经网络的理论与应用研究仍如火如荼，方兴未艾 径向基函数( r a d i a l b a s i sf u n c t i o nr b f ) 神经网络，是由j 2 k t o o d y 和c d a r k e n 于2 0 世纪八十年代末提出的一种神经网络，它是具有单隐层的三层前馈网络，是一种 局部逼近的神经网络，近些年，径向基函数神经网络已经成功的应用于非线性函数逼近 和数据分类等问题，主要应用于信号处理，系统建模，控制，故障诊断和模式识别等领 域，目前国内外关于径向基函数神经网络的研究按照算法的不同，主要集中在以下几种： 1 ) 自组织径向基函数神经网络，自组织特征映射网络( s o m 网络) 最初是山芬兰赫尔辛 基大学神经网络专家k o h o n e m 教授在1 9 8 1 年提出的，这种网络模拟大脑神经系统自组 织特征映射的功能，是一种竞争式学习网络，在学习中能无监督地进行自组织学习。 k o h o n e m 认为，一个神经网络接受外界输入模式，将分成不同区域，各区域中邻近 的神经元通过交互作用相互，相互竞争，自适应地形成了对输入模式的不同响应监测器。 因此，k o h o n e m 网络在结构上模拟了大脑皮层中神经元呈二维空间点阵的结构，在功能 上通过网络中神经元间的相互作用和相互竞争，模拟了大脑信息处理的聚类功能、自组 织和自学习能力。 在2 0 0 0 年9 月，国际电气和电子土程师协会( i e e e ) 举行的机器人与人的交流过程 国际研讨会上，日木九州大学电子工程系x i o n gq i n g y u 等教授提出将自组织特征映射 网络( s o m ) 和径向基函数神经网络( r 丑f ) 结合起来形成自组织径向基函数神经网络。 这种自组织径向基函数神经网络中，径向基函数神经网络的隐层和输入层不变，但是输 出层发生了改变，即变成了自组织映射网络豹竞争层。这样，对于每一个网络的隐层输 出，作为输出层的输入的时候，径向基函数神经网络利用误差规则进行有监督训练，网 络产生的输出误差可以决定在什么时候位置插入一个新的自组织特征映射单元，这样径 向基函数神经两络的结构逐渐变化，直到满足一定的性能标准或者获得一个理想的网络 结构为止 2 ) 遗传径向基函数神经网络，遗传算法是基于自我繁殖的思想发展起来的一种通用的 问题求解方法。它采用简单的编码技术来表示各种复杂的问题，并且通过对一组编码进 行简单的遗传操作和优胜劣汰的自然选择，来指导学习和确定搜索的方向。由于采用种 群的方式组织搜索，所以它可以同时搜索解空间内的多个区域，面目特别适合大规模并 3 广西大掌疆士掌位论文 基于径向墓函羲神经用培的面( 或) l 构的仿真研究 行处理。在赋予遗传计算自组织、自适应和自学习等特征的同时，优胜劣汰的自然选择 和简单的遗传操作使得遗传计算具有不受其搜索空间限制条件的约束，以及不需要其它 辅助信息的特点这些特点不仅能获得较高的效率，而目具有简单、易操作和通用的特 征 在航空宇宙与电子系统领域的研究中。加拿大卡尔加里大学电子与通讯工程系 l e u n g ，h e n r y 教授等于2 0 0 2 年采用遗传算法搜索径向基函数神经网络的一些参数值， 并用最t j 、- - 乘法修正权值，这些参数包括：聚类中心、宽度、隐层节点数，通过对这些 参数进行二进制编码，然后进行一系列遗传操作，逐步优化聚类中心、宽度、隐层节点 数的值，从而得到合理的径向基函数神经网络结构，这种方法经过验证取得了较好的效 果。 3 ) 特殊基函数的神经网络，径向基函数神经网络的径向基函数并不是只有选择高斯函 数一种为了提高神经网络的精度和减少隐层节点数，可以采用除了高斯函数以外的其 它径向基函数基于这种思想，日木东京土业大学研究生院m i y a k e ，m o t o h a r u 等2 0 0 0 年提出了一种特殊定义的径向基函数，这种特殊的径向基函数包含四种运算操作，计算 过程比较复杂，主要是采用的是乘积与求和的操作。通过采用这种特殊的径向基函数， 神经网络在进行蒙特卡罗仿真的时候，能够很好地逼近贝叶斯决策的边际结果。 4 ) 自适应径向基函数神经网络“”，自适应控制方式就是，当被控系统及其环境的特征 随着时间变化时，设计一种自适应算法来随时修正控制器的结构与参数，使得控制系统 的某个指标函数总是达到最优自适应控制必须在线进行，自适应控制前控制器未定或 已定，在自适应过程中将随时间变化。 上海华东理工大学计算机系g a od a q i 教授在2 0 0 2 年举行的国际电子电工研究会 上提出用自适应的方法来确定径向基函数神经网络的聚类中心和宽度。自适应径向基函 数网络的学习过程是由确定最小知识规则数( 隐层节点数) 和调整隐层参数矢量所构成， 算法使网络从样本数据中估计出未知的规则，网络是否产生新的径向基节点，由有效半 径的大小来确定。采用梯阶自适应学习算法，在误差超过允许范围的情况下，逐步增加 隐层节点，并且随时调整隐层参数入聚类中心和宽度的值，直到得到最佳的径向基函数 神经网络结构 5 ) 基于模糊自适应共振映射的径向基函数神经网络，模糊推理系统，也是众所周知的 模糊规则基系统、模糊模型、模糊联想记忆和模糊控制( 在控制相同中应用时) ，模糊 推理系统是由模糊“i f t h e n ”规则的集合和语言表隶属度函数度数据库组成的，且 推理机制称为模糊推理，按t a k a g i 和s u g e n o 提出的推理形式，假设规则苦由两个模糊 。i f 一删”规则组成。 t o n t i n i ，g e r s o n 等科学家在1 9 9 6 年国际电气和电子工程师协会( 腰晒) 举行的系 l 于侄向l 函羲神经一络的面( 缉) t 枸的仿真研究 统、人类与控制论学会上提出基于模糊自适应共振( f u z z y - a r l ) 映射的径向基高斯函 数网络( r a d i a lb a s i sf u n c t i o n ，r b f ) 基于模糊自适应共振( f u z z y a r l ) 映射的径向 基高斯函数网络( r a d i a lb a s i sf u n c t i o n ，r b f ) 的基木特征是由前提和结论两部分构 成的，且每一部分都包含有关可调整都参数集，在已知输入和被储存前提事件之间，用 和、积复合运算给出匹配关系，任何一个规则的起动强度可按照前提部分提隶属度 t n o r m 获得。整个系统最后输出可以用每个规则度加权和表示。采用这种基于模糊自 适应共振映射的径向基高斯函数网络可以较好克服模糊自适应共振映射算法和径向基 高斯函数网络各自的缺点。 6 ) 基于正交最小二乘学习的径向基函数神经网络，在有监督学习选取径向基函数神经 网络中心的算法中，最常用的就是基于最d , - - 乘学习的径向基函数神经网络，在这种方 法中，径向基函数神经网络的中心及其网络的其它参数都是通过有监督的学习来确定 的。这是径向基函数神经网络学习的最一般化形式。对于这种情况，有监督许学习采用 简单的梯度下降法“9 在基于最4 , - 乘学习的径向基函数神经网络的基础上，s e g a l ， r a v i 教授2 0 0 0 年提出利用基于正交最d x - - 乘学习的径向基函数神经网络选取网络中 心。正交最4 - - 乘学习方法来源于线性回归模型，其任务就是通过学习选择合适的回归 算子向量，使得神经网络输出满足一次性能指标的要求。正交最小二乘学习的基木思想 是：通过正交化向量，分析其对降低残差的贡献，选择合适的回归算子，并根据性能指 标，确定回归算子数要注意的是，回归模型中残差是与回归算子的交化及其个数的选 择有关的。每个回归算子对降低残差的贡献是不相同的，要选择那些贡献显著的算子， 剔除贡献差的算子。 主要的中心选择算法有如下几种： 1 ) 随机选择法 2 ) 正交最小二乘算法及其改进算法哪嘲 3 ) 监督选择法 4 ) 输入聚类法 5 ) 输入输出聚类法” 关于散乱点的曲面重构，由于测量工件的不确定性和复杂性，经常会出现散乱的数 据点，散乱点三角形拓扑关系的建立是研究中的难点之一这个问题首先由l a w s o n 于 1 9 7 7 年提出来，并给出了基于节点的拓扑关系建立方法，这是后来众多方法的基础。关 于散乱点的曲面重构技术的发展大致分为以下两个阶段： ( 一) 八十年代以前( 主要是针对插值问题的研究“) 1 9 6 8 年s h e p a r d 研究了非规则分 布数据的二维插值函数，给出了最小二乘距离加权插值算法1 9 7 3 年，b a r n h i l l 等人从 曲面造型的角度分析散乱数据插值。此后，s a n b i n 等其他学者从不同角度探索散乱数据 广西大掌硪士拳位论戈 基于径向l 函羲种经用络的面( 砖) 重扮的仿l 研宪 的插值问题。s u c h u r n a k e r 系统地总结了1 9 7 6 年以前的研究概况嘲 ( 二) 八十年代以后曲面重构的方法主要有 1 ) n u r b s 方法来进行曲面重构 2 ) 利用b - 础。方法来进行曲面重构 3 ) 利用微切平面方法来进行曲面重构 4 ) 利用特征方法来迸行曲面重构 5 ) 利用曲面变形方法来进行曲面重构 6 ) 利用神经网络方法来进行曲面重构 1 3 论文选题的目的和意义 径向基函数神经网络是一种重要的前向神经网络，其对输入空间的某个局部区域， 只有少数几个权值影响网络的输出，因而属于局部逼近网络，因为局部逼近网络对于每 个输入输出的数据对，只有少量的权值需要进行调整，从而使局部逼近网络的学习速度 大大加快，同时径向基函数网络具有很强的非线性映射能力，从理论上说，它能以任意 精度逼近连续函数及其各阶导数，所以利用径向基函数的这些优点，采用径向基函数神 经网络代替传统的基于样条基函数的曲面拟合方法。将表示曲面的映射关系存储于神经 网络的连接权值和阀值中，这种全息式的信息存储模式，使得模型具有较强的容错性能 和联想能力，不会因为部分神经元受损而严重影响其整体性能，也不会因为输入信号受 到一定程度噪声的污染而严重歪曲输出，使其具有很强的鲁棒性。因此，利用神经网络 强大的非线性逼近能力进行散乱点的曲面重构，将会使模型具有很高的逼近精度，而且 还具有一定的平滑和抗噪性能。 1 4 研究的主要内容、研究方法及技术路线 1 4 1 研究的主要内容： 如何根据样本数量的情况自适应的选择隐单元的中心矢量 考虑形状参数口，如何适应训练样本的学习算法并找到适合待训练模式样本的 最佳值 用r b f 神经网络来用于散乱点的曲面重构 6 广西大学硬士掌位论文l 于径向l 函致神经一珞的曲面( 或) l 构的仿真研竞 1 4 2 采取的研究方法及技术路线全面了解一些关于隐单元中心矢量的学习算法 重点了解散布常数盯对网络性能的影响 构建神经网络用于对散乱点进行曲面重构 1 5 本章小结 本章主要阐述了本论文课题的来源、研究的目的和意义、国内外径向基函数神经网 络和曲面重构研究的现状及水平，并由此介绍了论文研究的主要内容、方案和准备采取 的措施。 广百大掌硬士掌位论文l 子怪向l 函羲神经一络的曲宙( 簋) t 构的仿真研究 第二章径向基函数神经网络 2 1 径向基函数神经网络结构和工作原理 神经网络有各种分类方法。从网络的结构而言，可分为前馈神经网络和反馈神经网 络。神经网络控制主要应用神经网络的函数逼近功能，若从这个角度，神经网络可分为 全局逼近神经网络和局部逼近神经网络。如果网络的一个或多个权值或自适应可调参数 在输入空间的每一点对任何一个输出都有影响，则称神经网络为全局逼近神经网络多 层前馈网络是全局逼近网络的典型例子。对于每个输入输出数据对，网络的每一个权值 均需要调整，从而导致全局逼近网络学习速度很慢。这个缺点对于控制来说常常是不可 忽视的。若对输入空间的某个局部区域，只有少数几个权值影响网络的输出，则称网络 为局部逼近网络。对于每个输入输出数据对，只有少量的权值需要进行调整，从而使局 部逼近网络具有学习速度快的优点，这一点对于控制来说至关重要。径向基函数( r b f ) 网络是一种典型的局部逼近神经网络。丑p 网络对于函数逼近时，权值的调整是用梯度 下降法，存在局部极小和收敛速度慢等缺点。而r s f 网络在逼近能力、分类能力和学习 速度等方面均优于肼，网络。 r b f 的结构示意图如下： 输入层隐层输出层 图3 - 1 ：r b f 网络结构 f i g u r e 3 i ：t h es u u c t u r eo f r b f r b f 神经网络隐层激活函数一般选用高斯函数作为基函数，采用高斯基函数具备如 下优点： ( 1 ) 表示形式简单，即使对于多变量输入也不增加太多的复杂性； ( 2 ) 径向对称； ( 3 ) 光滑性好，任意阶导数均存在： 8 广西大攀礓士掌位论文 l 于怪向墓函敦神经用络的曲面( 线) t 构的仿真研宪 ( 4 ) 由于该基函数表不简单且解析性好，因而便于进行理论分析 高斯函数为： 始) - c 砸一参 ( 2 - 1 ) 其一阶、二阶导数分别为：妒x x ) = 吼x ) ( - 旁( 2 - 2 ) 伊_ ( 砷：认x x 三二j 乌 ( 2 3 ) 同理可以此求出烈x ) 的胛阶导数，从而保证胎f 网络子曲线段内部满足任意阶连续。 r b f 网络中的第k 个隐节点的输出为： 一。( ) 。e x p ( 一旦! ：；! 季监) ，i = l ，2 ，n ；k = l ，2 ，m ： ( 2 4 ) 2 , o - k 其中知为第f 个样本向量；表示欧式范数；d 为第k 个隐节点的中心，它在输入样本 数据中随机选取且中心固定；c r i 为第k 个隐节点的宽度，以。磊，压砺( 函为所取中心 的最大距离，膨为隐单元数) ，这样可以保持高斯图像形状适度，既不太尖也不太平。 网络的连接权矢量w 可由下式计算：a w = d 辛w = d ，其中，为期望响应矢 量，为彳的伪逆，可采用奇异值分解方法求得，彳由下式确定： 彳= 舶) ，舶2 晰笋= 1 ，2 ，；纠，2 ，m ( 2 5 ) 因此整个r b f 动力学方程为： ，；手 2 w h k ( x o + b ( 2 - 6 ) ，= 其中b 为偏移量，舷为输出层与第k 个隐节点的连接权值。 2 2 径向基函数神经网络算法研究 径向基函数神经网络的结构与多层前向网络类似，它是一种三层前向网络。输入层 由信号源节点组成。第二层为隐层，单元数视所描述问题的需要而定。第三层为输出层， 它对输入模式的作用做出响应从输入层空间到隐层控制的变换是非线性的，而从隐层 空间到输出层空问的变换是线往的，臆层单元的变换函数是径向基函数，它是一种局部 分布的对称中心点径向对称衰减的非负非线性函数。 径向基函数神经网络是一种局部逼近神经网络，隐层节点的径向基函数对输入信号 9 广西大学硬士掌位论文l 于怪向l 函羲神经用络的蕾( 线) t 构的仿舸完 将在局部产生响应。也就是说，当输入信号接近径向基函数的中心范围时，隐层节点将 产生较大的输出，因此径向基函数神经网络也称为局部感知场网络 2 2 1 径向基函数神经网络的学习 在径向基函数神经网络中，输出层和隐层所完成的任务是不相同的，因而它们学习 的策略也不相同，输出层是对线性权值进行调整，采用的线性优化策略，因而学习速度 较快，而隐层是对作用函数的参数进行调整，采用的是非线性优化策略，因而学习速度 较慢，由此可见，两个层次学习过程的。时标”也是不相周的，因而学习一般分为两个 层次进行。下面介绍径向基函数神经网络常用的学习方法。 2 2 1 1 自组织学习选取径向基中心 在这种方法中径向基的中心是可以移动的，并通过自组织学习确定其位置，自组织 学习是对网络资源进行分配，学习的目的是使径向基的中心位于输入空间的重要区域。 径向基中心的选择可以采用k 一均值聚类算法，这是一种无监督的学习方法。确定 了隐层神经元个数m 之后，确定r b f 的聚类中心q a = l ，2 , - - - , m ) ，具体步骤如下： ( 1 ) 初始化聚类中心c f o = 1 ，2 , - - 二肜) 。 从输入样本x ，o = 1 ，2 , - - - , d 中选择肘个样本作为聚类中心； ( 2 ) 将输入样本按最邻近规则分组。 将x ，( ，= 1 , 2 ，”j ) 分配给中心为c ( i = l ，2 ，肘) 多输入聚类集合2 0 = l ，2 , - - - , m ) ， 即x 。q ，且满足 珥= 唧n i 一e 8 ，( ，= l ，2 ，n ；i = l ，2 ，m ) ( 2 7 ) ( 3 ) 计算b 中样本多平均值( 即聚类中心g ) 对q 中的输入样本x ，( ，= 1 , 2 ，置) 求平均值， tr c i = 专一( 扛l ，2 ，k ) ( 2 8 ) oj - l e 作为新的聚类中心，重复以上步骤，直至聚类中心的分布不再变化。 2 2 1 2 输入层到隐层的非线性映射 r b f 神经网络是种特殊的三层前向网络，它具有非线性可分的模式空间映射到线 性可分状态空间的特性，r b f 网络结构包括一个输入层、一个隐层和一个输出层。输入 层和隐层直接连接隐层包含一系列径向基函数，通常为同义类型。 1 0 广西夫掌硬士掌位论文 l 于径向墓函羲神经一络的a m ( 巍) t 构的仿真研究 常用的径向基函数有： 1 ) 高斯函数： 墨：e x p ( 一娶马，2 ，- 删) ( 2 - 9 ) z 盯；一 2 ) 多二次函数： 局( j ) = i l x g4 + c ? ，( f = 1 ，2 ，j 】l ，) ( 2 1 0 ) 3 ) 逆多二次函数： 2 石丽1 再，( f = l ，2 ，肘) 2 1 1 4 ) 薄板样条函数： r ( x ) = 眵一c , p 2 t gu x - c , i i ，( f = l ，2 ，m ) ( 2 1 2 ) 其中，x 是j 】、r 维输入向量，x = c 蜀，五，蜀) ，是第j 个径向基函数的中心，m 是隐层单元的个数，峥一e 0 是向量工一e 的欧式范数，定义为： i 防一e l = 、，( 墨一g ) 2 + ( e c ) 2 + + ( j ，一c j ) 2 ( 2 1 3 ) 0 x c i 通常表示输入向量x 和中心c f 之间的距离，冠( 柳在c 处有一个唯一的最大 值，随着0 x c8 的增大，墨( x ) 迅速衰减到零，对于给定的输入向量j 只有一小都分 靠近中心e 被激活 容易看出，每个r b f 网络的隐元按照一个径向对称函数计算其输出，输入离隐元的 中心越近，获得的输出也越大 仃决定了该基函数围绕中心的宽度，盯和隐层神经元个数m 有一定的关系，为了 保证高斯函数的形状适度，采用以下公式计算盯，即： 盯：呈( 2 1 4 ) 42m 其中以是所选中心的最大距离。 2 2 1 3 隐层到输出层的线性映射 输出层实现从墨( x ) 到珞的线性映射，即： y = 【y 1 ，l ，2 ，】，f 】 广西大掌礓士掌位论文l 于径向l 函敦神经用珞的冒( 线) l 构的仿真习f 究 w = 嘲i ，m 2 ，m f = 【墨( x ) ，足( x ) ，( 工) 】1 w l l ，嘞一 心l ，w m i ， k 村村m = 【嵋，局( x ) m ：置( x ) - z w 。马( x ) 】 ( 2 1 5 ) ，- 17 l ij l l 其中，r b f 网络输出节点第_ i 个单元( 1 蔓七k ) 的输出值为： l m 2 嘿j r 乏；兰置( x ) ； i - i ( 2 - 1 6 ) 为分别对应k 个输出的权值矩阵；r = 【墨( 石) ，也( 石) ，( x ) 】为 隐层径向基函数的输出值。 由此可见，径向基神经网路的训练是一个插值问题，解决办法可以通过解一系列限 定性方程求得，复杂性随着数据量的增加而增加。当隐层节点输出已知时，输出层权值 当求解可以归结为下述残差的极小化问题： m i l l k r 矿 l ( 2 1 7 ) 其中4 i 为欧式范数，争= 氢，乞，丸 e 胄n x k 为期望输出矩阵，则上述网络的权值 矿的学习过程可以转化为如下最小二乘问题： ：r w + 五 ( 2 1 8 ) 其中，五：【 ，五，厶】r “为噪声干扰矩阵。 因此，权值向量修正方法按照误差函数的负梯度下降方法，不断的更新网络参数， 第”步训练模式的误差参数瓦可定义为： 1p e = 去一) 2 ( 2 一1 9 ) 其中p 为输出单元的个数。 参数更新修正规则如下： 广西夫掌硬士掌位论丈 l 于径向t 函羲神经一络的m m ( 缉) t 构的仿真研究 其中玎为学习效率。 旷：矿+ 池：一，7 晏 以 下面对上式的- 弧- l v 给出详细的推导。 在这种情况下，第七个输出： 善置“p ，吒，) 胪莆2 孑置( 力 2 坼f j 嵋：一要：一婺冬_ d u ：以一儿) ! 墨 甜# 田k0 1 鳓# z 2 2 。2 径向基函数神经网络的讨论 ( 2 - 2 0 ) ( 2 - 2 1 ) ( 2 2 2 ) 由前所述，径向基函数神经网络的学习过程一般分为两个阶段。 在第一阶段，利用无监督学习方法选择鼹络中心，这些中心在某种程度上反应输入 训练集数据的分布。网络中心一般这样选择：从训练集合中随机选择若干输入向量；这 些随机向量都产生于网络的输入空间，这些向量都是覆盖输入空间网络的均匀网络中的 规则点，在输入数据中选用一部分数据作为训练集，再对训练中的数据采用聚类算法， 如：k 一均值聚类算法来获得网络中心 在选择好网络中心后，第二个阶段采用最小二乘算法确定隐层到输出层之间的权 值，这种两段式训练方法已被广泛的接受而且已经成功的运用到很多数值计算领域。 考察径向基函数神经网络的性能时，主要观察网络训练步数与误差收敛情况。为了 便于说明问题，把径向基函数神经网络和b p 神经网络的性能进行比较。径向基函数神 经网络在训练步数、训练时间及误差精度等方面都优于b p 神经网络，其学习收敛速度 快。 另一方面，由于在径向基函数神经网络和b p 神经网络学习算法中网络权值主要依 赖于隐层函数的一阶导数信息进行修正，如果隐层节点和输出节点都比较多，需要对每 个连接权值通过求导的方式进行调整，计算量就会裴常大，因此这种径向基函数神经网 络的收敛速度相对较慢，同时可能收敛到局部极小点如果径向基函数神经网络的权值 的学习方法得到适当改进，有望进一步提高网络的收敛速度，以及更有效的避免陷于局 部极小点。 基于怪向墓函教种经网络的面( 砖) t 构的仿真研究 2 3 径向基函数神经网络主要中心学习算法 r b f 神经网络的学习算法包括两部分，一是网络隐层传递函数径向基函数的中心和 宽度的确定；二是隐层到输出层权值的确定。因为网络输出与连接之间程线性关系，所 以对于权值的训练可以采用一些线性优化算法。所以，径向基函数神经网络学习算法的 关键在于中心的数量和位置的确定。中心的好坏直接影响到网络的泛化特性。 主要的中心选择算法有如下几种： 一随机选择法 这种选择中心的方式很简单，它直接从输入样本集中随机地选择中心，当然这种方 法的简单是以网络的性能；如泛化性、识别精度或者逼近能力的下降为代价的。 二正交最小二乘算法及其改进算法 1 正交最小二乘算法 神经网络的结构训练算法中有增长法和删减法，o l s 算法属于径向基函数神经网络 的增长法之一正交最小二乘方法( o l s ) 选择高斯基函数为中心，它的基本思想是从 有限的数据集中选择一个中心就伴随着增加一个隐层结点，每个中心的选择极大的减小 网络实际输出相对于训练数据的均方误差，这个选择过程直到误差减小到一个适当的值 为止，误差的这个适当的值是依赖于噪声的。这种算法能够做到在满足误差要求的前提 下，中心的数量极少，即能够得到简洁网络，并且不会导致数据病态情况的发生但是 如果在训练数据高噪声的情况下，单独的o l s 的间接原则并不能保证网络较好的泛化特 性。对于r b f n n 也有采用后向选择算法。 2 规范化理论和正交最小二乘算法的结合 为了提高网络的泛化特性引入了规范化方法，这种规范化方法一般用来处理网络结 构很庞大的情况。在这种方法中，极小化了一种同时依赖于网络的权值和拟合误差的误 差函数特别是，这种方法在一个病态矩阵中加入一个正定矩阵使它们的和不再病态 规范化方法最简单的形式一零阶规范，所加入的正定矩阵是单位矩阵，这类似于梯度下 降算法中的权值衰减法。尽管这种规范化集合选择算法能够得到较好泛化特性的小网络 模型，但是算法的计算量却很大。 为了改进网络的泛化特性，并减少计算量，产生了一些结合规范化理论和o l s 的结 合算法，一种是规范化前向选择法( r e g u l a r i z e d f o r w a r ds e l e c t i o n 简称r f s ) ，主要 思想就是用零阶规范化方法来惩罚隐层到输出层的权值，并分析了这种结合算法的可能 性，得出的主要结论是o l s 算法毫无疑闯的能够得到简洁网络，但在高噪声的情况下容 易陷于过拟合，即使得网络的泛化能力不好，而规范化理论的引入能够有效的阻止过拟 合的发生。对于惩罚正交化权值的r f s 的有效实现算法被称为规范化正交二乘算法。它 在o l s 算法的误差函数中加入了权值衰减项，引入了权值衰减系数即规范化