（计算机软件与理论专业论文）基于泛函网络模型的数值方法研究.pdf

g - 西大学硕士掌位论文- t 5 于泛函网络模型的教值方法研究 基于泛函网络模型的数值方法研究 摘要 泛函网络是对人工神经网络的一种有效推广，但有些理论还不太健全， 需要人们不断地提出新的模型和新的算法，完善基础理论，以便进一步拓 展泛函网络的应用范畴。本文从计算方法的角度出发，把某些数学形式转 换成为某种泛函网络的形式，为传统的数值方法提供一种新的计算模型和 计算方法。 本文针对在科学计算、工程技术应用领域中常用的数值积分、级数展 开等问题，提出一种基于泛函网络模型的数值积分方法，该方法可以求解 任意函数的数值积分，通过具体算例，表明了该方法的积分求解结果优于 其它方法。针对多重数值积分，本文在构造性地证明了层次泛函网络具有 全局逼近性的基础上，将层次泛函网络应用于求解多重数值积分，得到比 较高的计算精度。另外，提出了一种基于泛函网络的函数级数展开方法， 并分别就一元和多元函数的级数展开，给出对应的泛函网络模型和学习算 法。最后通过具体算例仿真实验，验证本文所提出的基于泛函网络的方法 是有效的、可行的。本文给出的基于泛函网络模型的数值方法，在科学计 算、工程应用领域具有重要的理论价值和实际应用背景。 关键词：泛函网络层次泛函网络数值逼近数值积分多重数值积分 函数级数展开 广西大粤明啊士掌位论文基于眨函j 翅群h 兵型的数值方法研究 r e s e a r c h o nn u m e l u c a lm e t h o d sb a s e do n f u n c t i o n a ln e t w o r k sm o d e l a b s t r a c t f u n c t i o n a ln e t w o r ki si n t r o d u c e de x t e n s i o no fa r t i f i c i a ln e u r a ln e t w o r k t h e r ea r es o m eb a s i co ft h e o r ya n da p p l i c a t i o na r en o tp e r f e c t ，t h e r e f o r e ，o u r r e s e a r c hi sf o c u s e do nt h ep r o b l e m so fn o v e lf u n c t i o n a ln e t w o r ks t r u c t u r ea n da n o v e ll e a m i n ga l g o r i t h mf o rp e r f e c t i n gb a s i ct h e o r i e s ，a c c o r d i n g l yd e v e l o p i n g t h e a p p l i c a t i o nf i e l d i nt h i sd i s s e r t a t i o n ，w et r y t ou s et h em e t h o do f c o m p u t a t i o n a lm e t h o d ，t h ef u n c t i o n a ln e t w o r k sr e p r e s e n t a t i o n so fm a t h e m a t i c a l m e t h o d so rm a t h e m a t i c a ls t r u c t u r e ，an o v e lc o m p u t a t i o nm o d e l sa n dm e t h o d sf o r t r a d i t i o n a ln u m e r i c a lc o m p u t a t i o nm e t h o d sa r ep r o p o s e d a n o t h e rn u m e r i c a li n t e g r a t i o nb a s e do nf u n c t i o n a ln e t w o r k sm o d e li s p r o p o s e di nv i e wo fn u m e r i c a li n t e g r a l sa n df u n c t i o n s e r i e s e x p a n s i o n i n c o m m o nu s ei nt h es c i e n c ec o m p u t a t i o na n dt h ep r o je c tt e c h n o l o g ya p p l i c a t i o n f i e l d ，t h et e s ts h o w st h a tt h i sm o d e li sm o r ep r e c i s et h a no t h e r s w eu s e f u n c t i o n a ln e t w o r kt os o l v et h ec a l c u l a t i o no fm u l t i p l en u m e r i c a li n t e g r a l s b a e s do nv e r i f i e dt h eu n i v e r s a l a p p r o x i m a t i o np r o p e r t i e so fh i e r a r c h i c a l f u n c t i o n a ln e t w o r k o t h e r w i s e ，a n o t h e rn e wm e t h o db a s e do nf u n c t i o n a l n e t w o r ki sp r o p o s e dt os o v l ef u n c t i o ns e r i e se x p a n s i o n ，i n c l u d i n gt h ef u n c t i o ni n s e v e r a lv a r i a b l e ss e r i e se x p a n s i o n t h ef u n c t i o ns e r i e se x p a n s i o nm o d e l sa n d l e a r n i n ga l g o r i t h m sb a s e do nf u n c t i o n a ln e t w o r k si sp r o p o s e di nt h i st h e s i s f i n a l l y , t h r o u g h t o s p e c i f i c a l l ye x a m p l es i m u l a t i o ne x p e r i m e n t ，c o n f i r m a t i o n t h e s em e t h o d sb a s e do nf u n c t i o n a ln e t w o r k si se f f e c t i v ea n df e a s i b l e t h e n u m e r i c a lm e t h o d sp r o p o s e db a s e do nf u n c t i o n a ln e t w o r k sm o d e lh a v et h e i m p o r t a n tt h e o r yv a l u ea n d t h ep r a c t i c a la p p l i c a t i o nb a c k g r o u n d 广西大鼍明狐士鲁q 立论文 基于泛函网络模型的数值方法研究 k 置yw o r d s ：f u n c t i o n a ln e t w o r k s ；h i e r a r c h i c a lf u n c t i o n a ln e t w o r k s ； f u n c t i o na p p r o x i m a t i o n ；n u m e r i c a li n t e g r a t i o n ；m u l t i p l en u m e r i c a li n t e g r a t i o n ； f u n c t i o n ss e r i e se x p a n s i o n i l l 广西大学学位论文原创性声明和使用授权说明 原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成果和相 关知识产权属广西大学所有，本人保证不以其它单位为第一署名单位发表或使用本论文 的研究内容。除己注明部分外，论文中不包含其他人已经发表过的研究成果，也不包含 本人为获得其它学位而使用过的内容。对本文的研究工作提供过重要帮助的个人和集 体，均已在论文中明确说明并致谢。 论文作者签名：辛倚喜 学位论文使用授权说明 唧年6 月砂日 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本： 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务； 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的的前提下，学校可以公布论文的部分或全部内容。 请选择发布时间： 口即时发布口解密后发布 ( 保密论文需注明，并在解密后遵守此规定) 论文作者签名：辛侮亳新签名：f 哿伙砰石月玛日 基于泛函网络模型的数值方法研究 第一章绪论 1 1 研究的背景及意义 在实际应用中，要解决一个问题，经常是先把这个问题抽象成一个数学模型，然后 再用数学方法求解这个数学模型。但是，由于问题的复杂性，一般很难求出这些数学模 型的精确解，往往只能求出近似解，而计算方法就是常用的近似解求解方法。 近几十年来，由于计算机技术的高速发展，计算数学也得到了很大的发展，在许多 需要求解数值计算的领域上得到了广泛的应用。随着研究的深入，人们发现传统的数值 方法【1 1 存在着许多不足。比如，传统的数值方法是一种串行结构的算法，相对于并行结 构算法，它的效率会低很多。而且，传统算法的优化结果依赖于初值，如果初值选取不 当，算法收敛速度慢甚至可能发生不收敛现象。 近年来迅速发展起来的人工神经网络技术，不仅在模式识别、优化计算等中获得成 功的应用【2 】【3 】，也在神经计算方面得到了广泛的应用州【5 1 。从目前已取得的研究结果来看， 相对于传统的数值分析方法，神经数值计算方法有以下几个特点： 1 ) 计算精度高。 2 ) 具有并行结构。 3 ) 具有自适应、自学习功能。 4 ) 算法不依赖于初值。 虽然人工神经网络算法有很多良好的优化性能，但尚有几个问题还没有解决【6 】： 1 ) 人工神经网络中隐层的意义不明确，只是知道隐层的改变会直接影响应用效果； 2 ) 权值的确切涵义还不明确； 3 ) 神经元之间的连接具有一定的盲目性，连线的多少及连接方式直接影响着网络 的应用效果，对于某种目标当然存在着最优连接，但目前寻找这样的最优连接还没有确 切的方法： 4 ) 由于实际应用中神经网络存在着结点过多，结构过于复杂，并且在学习过程中 容易陷入局部极小点而导致逼近能力下降等问题，因此在对一些复杂系统建模时，会存 在较大的建模误差等问题。 与神经网络相比，泛函网络的拓扑结构具有自己的独特性【7 9 】。如神经元函数不是 固定的，可以根据问题选择合适的基函数，各个神经元相互之间没有连接权值，网络的 广西大学硕士学位论文 基于泛函网络模型的致值方法研究 初始结构建立依赖于所给问题的物理背景知识等等，泛函网络结构这种独有的特性是改 进神经网络不足的一个新的方法，它的深入研究将可以解决传统的数值计算方法所存在 的一些不足。因此，开展对泛函网络数值近似计算方法的应用研究具有非常重要的理论 和实际意义。 1 2 泛函网络研究现状 1 2 1 泛函网络的提出 泛函网络【7 】这个概念是西班牙学：者e n d q u ec a s t i l l o 于1 9 9 8 年首次提出的，它实际上 是对神经网络的一种推广，这是因为它不仅可以解决神经网络可以解决的问题，而且很 多时候还可以解决神经网络不能解决的问题【8 】。研究结果表明，相对于神经网络，泛函 网络的性能在很多方面更优m 1 2 1 。 1 2 2 泛函网络研究现状 西班牙学者e n r i q u ec a s t i l l o 于1 9 9 8 年提出了泛函网络这个概念，同时给出了泛函 网络的基本模型及其构成元素，提出了可分离泛函网络模型和广义可结合泛函网络模 型，并将泛函网络应用于回归问题；1 9 9 9 年1 0 0 5 年c a s t i l l oe 等人将泛函网络应用于 线性及非线性回归【8 】，非线性系统辨识【1 3 】和混沌时间序列预测【l o 】，以及泛函方程求解【l l 】 等领域；2 0 0 4 年- 2 0 0 5 年a l f o n s oi g l e s i a s 等人将泛函网络应用于b 样条曲面重构问题 及捕鱼预测优化f 1 2 】；2 0 0 6 年n o e l i as a n c h e z m a r o n o 等人将泛函网络和不变性分析结 合用应于特征选择问趔”】，同年，b e a t r i zl a c r u z 等人将泛函网络应用于分类及回归问题 1 1 6 ；2 0 0 7 年a k e m ig f i l v e z 等人将泛函网络、最小均方差逼近和遗传算法结合起来形成 一种混合算法，并将它用于求解三维点集的b 6 z i e r 曲线和曲面拟合问题【1 7 】，同年，p a b l o k a l u z a 等人提出了复杂泛函网络的进化工程【1 8 】。 在国内，2 0 0 1 年王东平等人提出基于泛函网络的数值近似方法【1 9 1 ；同年，李春光 等人给出了非线性系统辨识的一种泛函网络方法【2 0 1 ，它的基本原理是网络参数利用梯度 下降方法来进行学习，这种辨识方法具有较快的收敛速度和较优的性能；2 0 0 3 年李卫斌 等人提出了一种三类可分离交换性泛函网络模型【2 1 1 ；2 0 0 5 年戴祯杰等人提出了多项式 泛函网络模型及其应用瞄】；2 0 0 5 年1 0 0 6 年，周永权提出了层次泛函网络整体学习算 法】、一种复值可分离的泛函网络学习算法【2 4 】、一种基于泛函网络的多项式e u c l i d e a n 算法和新型s i g m a - p i 泛函网络模型1 2 6 ，这些方法能够快速地获得所求问题的精确解； 同年，崔明义等人提出了一种基于多输入泛函网络的构造和学习策略【2 7 1 ，提出可将泛函 网络拓扑结构看成是若干子泛函网络模型的集成，然后分别对各个子泛函网络进行研 2 广西大掣q 炙士尊爿踅论文| l 于泛函网爱h 鼻型的教值方法研究 究；2 0 0 7 年周永权等人提出了f u z z y 插值及其f u z z y 泛函网络构造理论【2 8 1 ，从理论上证 明了泛函网络能够以任意精度通近任意定义在有界闭集上的连续函数；同时他提出了递 归泛函网络模型及学习算法，该算法具有收敛速度快和计算精度高等良好性能；接着他 提出序列泛函网络模型及其学习算法【2 9 】，解决了传统的数值方法难以求解泛函方程这个 难题；后面他又提出基于遗传规划实现泛函网络神经元的函数类型优化方法【3 0 1 ，该方法 可实现对神经元函数类型的优化。 泛函网络作为计算智能学科一个崭新的研究方向，其有些理论和应用基础并不完 善，需要我们不断地完善基础理论和提出更适于所要解决的问题的新的网络结构，以及 提出新的算法。 1 3 本课题的研究内容与结构 1 3 1 研究内容 本文主要研究泛函网络在数值计算中的一些新的应用，研究如何建立求解实际问题 的泛函网络模型结构，并相应的给出泛函网络的学习算法。而如何根据问题背景设计出 泛函网络计算模型是本文研究的难点。 1 3 2 论文的创新点 ( 1 ) 提出一种用于求解任意函数数值积分的泛函网络模型， 法可求解任意函数的数值积分，计算精度较高。 ( 2 ) 构造性地证明了层次泛函网络模型具有全局逼近性能， 函网络的特点，把层次泛函网络应用于求解多重数值积分。 给出了学习算法，该方 并根据其层次特性和泛 ( 3 ) 提出一种用于函数级数展开的泛函网络模型，为一元函数和多元函数级数的展 开提供了一种新的方法。 1 3 3 论文的组织结构 本文的结构编排如下： 第l 章主要总结了泛函网络的发展历史和研究现状，并列出本文的主要工作。 第2 章详细介绍了泛函网络的基本元素、基本模型及其算法、应用等，同时给出 了泛函神经元模型及泛函网络的构造方法。 第3 章提出一种基于泛函网络的数值积分计算方法，设计了一类用于函数逼近的 泛函网络，给出了基于泛函网络的函数逼近学习算法，该方法可求解任意函数的数值积 广西大掌硕士掌位论文| ；子泛函网群羹型的数值叻哼每研究 分。 第4 章构造性地证明了层次泛函网络模型具有全局逼近性能，并根据其层次特性 和泛函网络的特点，把层次泛函网络应用于求解多重数值积分。 第5 章提出用于函数级数展开的两种泛函网络模型，给出相应的泛函网络学习算 法。这两种模型分别用于一元函数和多元函数的级数展开。 第6 章给出本文的总结与展望。我们对全文进行了概括性总结，并指出该领域存 在的一些问题以及有待于今后进一步研究的问题。 10 4 本章小结 本章主要阐述了本文课题的来源、研究的目的和意义、国内外泛函网络及其应用的 研究现状及水平，并由此介绍了论文研究的主要内容和拟采取的研究技术路线和方法。 4 广西大掣明炙士掌位论文l 于泛函网络模型的数值方法研究 第二章泛函网络 泛函网络每个神经元相互之间的连接没有权值，并且不固定神经元函数，可以根据 不同问题来选取多项式、三角函数等等函数簇的线性组合形式来对网络进行学习。许多 文献对泛函网络与人工神经网络进行了比较，得出了泛函网络性能更优的结论1 2 1 3 。目 前，泛函网络在时间序列【1 0 1 、非线性回归引、微分方程求解1 、非线性系统辩识【2 们、计 算机代数3 1 。3 5 1 、随机分析 3 6 1 等领域得到了广泛应用。 2 1 泛函神经元模型 西班牙学者e n r i q u ec a s t i l l o 于1 9 9 8 年提出了泛函神经元( 劬c t i o 砌n e u r o n ) 、泛函网 络模型( f u n c t i o n a ln e t w o r k ) 。图2 1 为泛函神经元模型： 其中， x x x 。 图2 - 1 泛函神经元模型 f i g 2 - 1f u n c t i o n a ln e u r o nm o d e l o 0 = 厂( x ) ( 2 - 1 ) 为泛函神经元的输出：厂( ) 为泛函处理单元函数，简称神经元函数；x = ( 而，恐，吒) r 为神经元的输入；0 为神经元的输出。对这个神经元的学习，实质上是对神经元函数厂( ) 的学习。通过选取合适的基函数够( x ) ，可以把泛函神经元函数厂( z ) 用基函数钐( x ) 的 线性组合表示出来： ( x ) = q 仍( x )( 2 2 ) t = l 其中， 仍( x ) if = l ，2 ，刀) 是任意的基函数簇，包括多项式、f o u r i e r 展开式、三角函数 等等，我们可以根据问题灵活选取合适的基函数；q ( f = 1 ，2 ，拧) 是泛函网络参数。基函 数钐( x ) 和泛函网络参数a l 都是可以学习的，能用来逼近泛函神经元函数f ( x ) 到人们期 望的精度【3 7 1 。 广西大掣蝎炙士掌位论文 基于泛函网络模型的教伪方法研究 2 2 泛函网络的基本元素 图2 - 2 是一个基本的泛函网络模型： 图2 - 2 一个典型的泛函网络拓扑结构模型 f i g 2 - 2at y p i c a lm o d e lo ff u n c t i o n a ln e t w o r k 显然，泛函网络包括以下几个部分： ( 1 ) 输入层：这是输入数据的一层单元，输入单元用带有相应名字的实心圆表示， 如图2 2 中的 五，x 2 ，x s ) 。 ( 2 ) 神经元：每一个神经元是一个计算单元，它计算一组来自前一层神经元或输入 单元的输入值，然后给下一层神经元或输出单元提供一组输入数据。神经元由带有相应 的函数厂名称圆圈来表示，如图2 之中的 彳，石 和 石) 。 ( 3 ) 5 b 间存贮单元层：存储由神经元产生的信息。如图2 2 中的 颤，黾) ，用于存储神 经元 石，五 产生的信息，即x 4 = 厂( j c l ，x 2 ) ，毛= f ( x 2 ，x 3 ) 。 ( 4 ) 有向连接线：它们将输入层、第一层神经元、第二层神经元、最后一层 神经元及输出单元连接起来，箭头表示信息流动的方向。 ( 5 ) 输出层：这是最后一层单元，输出网络的结果数据，用带有相应名字的实心圆 表示，比如图2 2 中的 吃 。输出信息 x 6 ：a ( x 4 ，毛) = 石( z ( 五，恐) ，以( x 2 ，毛) ) 所有这些元素联合在一起就形成了泛函网络结构，它确定了网络的泛函能力。网络的结 构是指神经元的组织及包含的连接朔。 2 3 泛函网络拓扑结构类型 本节介绍几种常见的泛函网络模型。 2 3 1 一般泛函网络模型 一般地，刀层泛函网络的模型： 6 纛于泛函网鳃羹型的数值方溺阿f 究 对应的网络结构为： y = z 一。石( x )( 2 - 3 ) 石正 五 图2 3 一般泛函网络的拓扑结构 f i g 2 - 3a g e n e r a ls t r u c t u r eo ff t m c t i o n a ln e t w o r k 其中，x = ( x l ，x 2 ，x n ) r r ”表示系统的输入，】，r 栅表示系统的输出，石，五，z 分别表示各个网络层的泛函神经元函数，接受上一层的输入，负责向下一层输出数据。 2 3 2 广义可结合泛函网络模型 ( 1 ) 模型u = ， g 瓴y ) ，z 】： x y z 似，z 】 图2 - 4 模型材= f g ( x ，y ) ，z 】 f i g 2 - 4m o d e lf o r 材= f g ( x ，y ) ，z 】 ( 2 ) 模型u = k n ( y ，z ) ，x 】： 7 广西大国明弧士掌位论文 基于泛函网络模怼的数值方法研究 x y z 图2 - 5 模型2 = k 【( 弘z ) ，j 】 f i g 2 - 5m o d e lf o r 甜= 足【 ，( 弘= ) ，x 】 ( 3 ) 可结合模型u = f g ( x ，y ) ，z 】_ x x ，n ( y ，z ) 】： 图2 - 6 广义可结合泛函网络模型 f i g 2 - 6g e n e r a l i z e da s s o c i a t i v ef u n c t i o n a ln e t w o e km o d e l 该网络表示的泛函方程为： f ( g ( x ，y ) ，z ) = k ( x ，n ( y ，z ) ) ( 2 - 4 ) 2 3 3 可分离泛函网络模型 可分离泛函网络是在泛函网络中应用最为广泛的一种模型，它的泛函表达式是各输 入变量分离作用效果的组合，其网络模型如图2 7 所示。 8 广西大鸟昀页士掌位说吁| l 于泛函网重域型的教值方法研究 网络输出为： 图2 7 可分离泛函网络模型 f i g 2 - 7s e p a r a b l ef u n c t i o n a ln e t w o e km o d e l z = f ( x ，j ，) = z ( x ) 吕( 少) = 囊o ) t ( y ) t = l j = l ( 2 5 ) 2 4 泛函网络学习过程 人工神经网络是对权值的学习，而泛函网络是对网络结构和参数的学习。学习方法 可以分为精确学习和近似学习两种，精确学习就是确定泛函网络所表示的泛函方程的解 函数，近似学习是依据给定样本评价神经元函数。其基本方法是线性组合基函数簇的函 数，并优化线性组合的系数。以下是泛函网络的学习步骤1 3 ：、 s t e p1 ( 问题的陈述) ：分析并理解待求的问题，获取问题所提供的相关信息。 s t e p2 ( 初始拓扑结构) ：根据问题自身的知识和信息( 已知数据、问题的先验知识 及函数的某些特性等) ，设计初始的泛函网络拓扑结构。 s t e p3 ( 网络结构学习) ：初始网络结构的简化依赖于泛函方程来完成。一个给定的 泛函网络是否存在与之等价的泛函网络? 如果存在，找出与之等价的泛函网络类型，并 从中选择使用最简单的网络结构。 s t e p4 ( 表达式的唯一性) ：在进行泛函网络学习之前，需要遵守某些初始条件来确 保网络表达式的唯一性，即对于一个给定的网络拓扑结构，给出问题的初始条件，使得 9 广西大肖巴| 印北学位葭 二走墓于泛函网络模型的数值方法研究 对于任意的输入值，网络都有明确的相同的输出值。 s t e p5 ( 数据收集) ：根据所求问题本身的信息，收集用于学习的样本数据。 s t e p6 ( 参数学习) ：依据给定样本评价神经元函数。其基本方法是线性组合基函数 族的函数，所以当合适的基函数已选定时，对神经元函数的学习便转化为对线性组合中 系数的学 - - j ( 臣h 网络参数的学 - - j ) 。有两种参数学习方法： 1 线性方法：在参数学习过程中，用相关优化函数产生一线性方程组，评价其系 数，存在唯一一个最优值。解这个线性方程组，求出最优参数。 2 非线性方法：在参数学习过程中，函数是非线性的，网络存在多个最佳参数， 利用标准的梯度下降法迭代出最佳参数。 例如：有一组数据样本d = ( 薯，只) ，o oy ) ，i t et ) ，可通过一组基函数 七 锄( 工) ，仍( z ) ，张( z ) ) 的线性组合夕( z ) = q 够( z ) 得到函数厂的近似值。并对近似值的 t = l 误差进行度量，如用最小化误差平方和等方法评价近似程度。 s t e p7 ( 模型确认) ：利用一组交错的数据集，对网络进行测试即对模型进行交叉确 认，检查一下所选的函数簇是否能充分的逼近神经元函数。 s t e p8 ( 模型利用) ：如果测试的结果是满意的，那么该模型便可以投入使用。 下面我们通过一个简单的例子来熟悉泛函网络学习过程。 1 、( 问题陈述) ：有一泛函方程： 工( x ，y ) = 石( 石( x ，z ) ，五( y ，z ) ) ，v x ，y ，z( 2 - 6 ) 2 、( 初始拓扑结构) ：其对应的网络结构如图2 8 所示。 x y z 图2 8 对应于( 2 - 6 ) 式的泛函网络结构 f i g 2 - 8 f u n c t i o n a ln e t w o r kf o rm o d e l ( 2 - 6 ) 3 、( 结构学习) ：式子( 2 - 6 ) 给出了函数彳、石、石和五的约束条件，可简化其泛 函结构。泛函方程( 2 6 ) 在实数矩阵连续的一般解为： 五o ，y ) = f 3 - 1 ( f i ( x ) + f 2 ( y ) ) ，石( 毛y ) = e 二只( x ) + e ( y ) )( 2 7 ) z ( 工，y ) = 只叫( e ) + 圪( y ) ) ，l ( x ，y ) = e _ ( e ( x ) 一圪( y ) ) 、 1 0 广西大学硕士学位论文| i 于泛函网蛭h 莫型的教值方法研究 这里，e ，五，e 是任意连续且严格单调函数。将式( 2 7 ) 代人式( 2 6 ) ，得到泛 函方程( 2 6 ) 的最简单表达式 甜= 工( 五j ，) = 石( 石( 毛z ) ，a ( y ，z ) ) = e - 1 ( 鼻( x ) + e ( y ) )( 2 8 ) 简化后的泛函网络如图2 - 9 所示 图2 9 式( 2 _ 6 ) 简化后的泛函网络 f i g 2 - 9s i m p l i f i e df u n c t i o n a ln e t w o r kf o rm o d e l ( 2 6 ) 4 、( 表达式唯一性) ：泛函方程( 2 - 6 ) 在实数矩形连续的一般解为( 2 7 ) ，式( 2 6 ) 给出了 函数彳、石、石和以的约束条件，经过( 2 - 7 ) 式的形式转换，无论初始条件是什么，表 达式( 2 6 ) 与( 2 - 8 ) 得出的函数表达式是一样的，即简化后的泛函网络与初始的泛函网络是 等价的，所以初始条件不是必需的。 5 、( 数据收集) ：随机给定一组数据样本： d = ( t ，咒，u 。) 1 = ，( ，以) = o y t ；i = l ，2 ，甩( 2 9 ) 6 、( 参数学习) ：泛函网络的学习就可简化成用数据( t ，咒，) ( 汪1 ，2 ，刀) 评价神经 元函数互、最和e 。为此，c 可表示为给定基函数簇仍2 纺。，仍：，) 的线性组合， 即 亏( 功= 艺仍，( x ) ；= 1 ，2 , 3 ( 2 1 0 ) t = l 这里，系数口。是泛函网络的参数( 详见文献 7 】) 。当选定了合适的基函数簇后，对 神经元函数的学习便转化为对网络参数口，的学习。这里用线性学 - q 方法： 对于图2 7 的网络结构，假设对于输a x ，y 和输出甜，构造的函数为： 正( 工) = q i 仍，( 2 1 1 ) j = i e ) - e 口：。仍。 i = l i l ( 2 1 2 ) 广西大掣明页士掌位美鹭基于泛函w l 络模型的教值方法研究 这里，m 是任意次数，矿是多项式 l ，x ，z 2 ， 的表达式。则有 e ( “) = e ( x ) + e ( y )( 2 - 1 3 ) 得第j 组数据的误差为 写成矩阵形式 这里， 巳= 巧( ) + e ( y j ) 一f 3 ( u ) e j = b j a 色= ( 1 ，t ，x j 2 , - , 1 ，乃，乃2 ，- 1 ，均) ，口= ( q l ，口1 2 ，a 2 l ，口2 2 ，口3 l ，a 3 2 ) 7 误差平方和为： e = z e j r 巳= 口( i 包) 口= a a a j = lj = l 对于初始值，y o ，“。) ，均有唯一的解： 写成矩阵形式： 即 f i ( x o ) - 口1 ，仍，( ) = i = 1 肿1 最( ) = 口2 ，仍，( y o ) = a 2 t = l 廊 巧( ) = 口3 ，q 3 。( u o ) = a 3 协0藏卜a3，=00 0 甜i 伤。 o ) l 一 呸】= l ) ) ( 2 - 1 4 ) ( 2 - 1 5 ) ( 2 - 1 6 ) ( 2 - 1 8 ) a t o - t = 0( 2 - 1 9 ) 用拉格朗日乘数定义扩展函数r ，并微分求极小值，可得到对于任意 ，咒) 求的公式： e ( ) = 曩( ) + e ( 只) = 吩l + 口3 2 ( 2 2 0 ) 即 1 2 墓于泛函网络模型的数值穷法研究 坼= 等 ( 2 2 1 ) 2 5 泛函网络与人工神经网络的区别与联系 图2 - 3 和图2 - 4 分别是一种传统的人工神经网络与对应的泛函网络拓扑结构图。 x 1 x 2 x 3 x 1 x 2 x 1 4 2 1 0 神经网络结构图 f i g 2 - 10n e u r 鲥n e m o r km o d e l 图2 1 1 与图2 1 0 对应的泛函网络结构图 f i g 2 - 1 1f u i l c t i o n a ln 咖o r kc o n e s p o n d st of i g u r e2 - 1 0 人工神经网络( a n n ) 与泛函网络( f n ) 的区别与联系，主要有以下几点： ( 1 ) a n n 神经元之间有连接权值，表示相互之间的激励程度；而f n 没有连接权值。 ( 2 ) f n 可以通过学习简化初始的泛函网络结构；而a n n 不具备这个功能。 ( 3 ) a n n 中同一层网络的激活函数必须相同；而f n 中神经元的激活函数可以不同。 ( 4 ) a n n 只有权值可以学习，神经元函数是固定的；而f n 的神经元函数不固定，可 以根据不同问题任意选取，十分灵活。 ( 5 ) a n n 的激活函数( 比如s i g l n o i d 函数) 是单变量的，仅仅是对所有输入信息的个 线性组合进行激活；而f n 神经元函数可以是多目标函数，例如图2 1 l 中的石，五和六。 ( 6 ) a n n 中每个神经元都是单输出，即使与多个神经元相连，但是输出的数据一样 的；而f n 中每个神经元都可以有多个互不相同的输出。 ( 7 ) a n n 只能依据问题给出的数据来确定网络拓扑结构；而f n 还可以根据泛函神经 元函数的一些特性( 包括可结合性、可交换性、不变性等) 构造最优的网络结构。 广西大国日页士掌位论文墓于泛函网络模型的数值方法研究 一般地，任意的神经网络都可以找到与它等价的泛函网络，这是因为泛函网络处于 一个更高的层面，所以说，泛函网络是对传统神经网络的扩充和拓展。 2 6 本章小结 本章主要介绍了泛函网络的基本概念，包括泛函网络的基本元素、网络模型、与神 经网络的联系与区别、泛函网络的学习过程。 1 4 广西大国明页士掌位说吁基于泛函网络模型的数值方法研究 第三章基于泛函网络求解任意函数的数值积分方法 3 1 引言 在工程和科学计算中，有大量的实际问题最终都可转化为求数值积分问题，比如p i d 调节器就涉及到积分的计算。目前，常用的求积分方法是用n e w t o n - l e i b n i z 公式 l ( z ) 出 - - f ( b ) 一，( 口) ，( f ( x ) = 厂( z ) ) 计算出定积分的值，但是当被积函数( z ) 无法求 得其原函数，或者求得的原函数非常复杂的情况下，n e w t o n - l e i b n i z 公式就失去了意义。 特别地，在工程实践中，被积函数f ( x ) 是没有解析表达式的，它只给出函数形式，因此 也无法使用n e w t o n - l e i b n i z 公式。定积分的数值计算方法，可以近似计算定积分。目前， 有n e w t o n c o t e s 法，r o m b e r g 法，g a u s s 法等多种数值计算方法网可求解数值积分，其 中n e w t o n c o t e s 法是一种常用的方法，但高阶的n e w t o n c o t e s 法收敛性没有保证，因此 在实际计算中很少使用高阶的n e w t o n c o t e s 公式；r o m b e r g 法计算精度较高、收敛速度 快，但是计算量较大；g a u s s 法精度高、收敛速度较快、积分数值稳定，但是节点与系 数的计算较繁琐，而且要求已知积分函数f ( x ) 1 3 9 1 。因此寻找一种新的数值积分方法有 着重要的理论价值和应用背景。随着计算机技术的高速发展，国内外众多学者提出了许 多种新方法i 4 0 - 4 9 用于求解数值积分问题，有效地解决了许多传统算法无法解决的应用问 题。 本章从数值积分的定义入手，提出一种基于泛函网络的数值积分计算模型和学习方 法，其基本思想是训练泛函网络来逼近被积函数以实现定积分的数值计算。与传统方法 相比，本章提出的数值积分方法具有收敛速度快、数值稳定、计算精度高等特点，而且 可以处理一些奇异积分问题，可以求解原函数不存在或者不容易求出原函数的定积分， 能够有效地解决建模困难的系统的求积分问题，在工程实际中有较大的应用价值。 3 2 用于数值积分的泛函网络模型 与人工神经网络一样，泛函网络也有很多种结构，我们不可能用一个统一的结构来 描述所有的泛函网络，也不可能用一个通用的函数来表示所有的泛函网络。本章用于求 解数值积分的泛函网络模型如图3 - 1 所示。 1 5 广西大学硬士学位美艺定 基于泛函网络模型的教值方法研究 图3 - 1 一种泛函网络用于求数值积分模型 f i g 3 - lf u n c t i o n a ln e t w o r km o d e lt os o l v en u m e r i c a li n t e g r a l 图3 l 画出的是一个单输a x ，单输出z 的泛函网络模型，z ，i = 1 ，2 ，n 一1 表示 泛函神经元。该网络的输出表达式如下： z = f ( x ) = z ( x ) ( 3 - 1 ) 设q 为泛函网络参数，q o ) 为基函数簇，则泛函网络的参数矩阵口= 【口l ，a 2 ，a n ，基 函数矩阵为c ( x ) = ( c o ( x ) ，c 1 ( 工) ，c a x ) ) 7 ，泛函网络输出为 误差函数为： z = 乃勺( x ) = c ( 曲 e ( t ) = ( t ) 一g ( 誓) ，= o ，1 ，m - 1 ( 3 - 2 ) ( 3 3 ) 其中m 为样本点数，( x ) 为被积函数，g ( x ) 为理想函数，用来逼近被积函数厂( x ) 。 3 3 泛函网络学习算法 为了验证学习算法的正确性和有效性，我们定义平方根误差( r m s e ) 来度量基于泛 函网络求数值积分的误差： r m s e = 其中：是泛函网络的输出，| l 是函数的范式。 对于有教师训练的学习算法，需要给定一组训练样本 定义误差代价函数为： ( 而n ，咒) ik = 1 ，2 ，n 1 6 ( 3 - 4 ) ( 3 - 5 ) 广西大掣页士掌位论文基于泛函网鲻兵型的散訇i 方法研究 弓= 艺厂q 哆( 而) j = l 最小化误差平方和，以便找到最优的泛函网络参数： 为了保证泛函网络表达式唯一性，给出网络的一些初始值 厂( ) = u 舻i = 1 ，2 ，九 加惩罚项式( 3 - 8 ) 到( 3 7 ) 中，得到目标函数； ( 3 - 6 ) ( 3 7 ) ( 3 - 8 ) e = 磊+ 五窆( 厂( ) 一坼。) ：= p ( 恐厂主q r 谚( 而，) ) z + a 窆( ( 而。) 一。) ： ( 3 9 ) i = l j = l l = l f _ l 式( 3 - 9 ) 分别对q7 ，力求偏导，得 净节讹2 纵h 抛脚 p 埘 睁喜幽( ”嘞= o 一 3 4 基于泛函网络的数值积分逼近定理 泛函网络具有很强的数值逼近能力，但是并不是选什么样的函数族都可以逼近任意 函数，用于逼近的函数簇的选取将直接关系到收敛速度，选取不当甚至导致不收敛。三角 函数是初等函数，其积分值简单、易计算，而且在卜刀，万】上是正交函数，其基函数的线 性组合可实现对被积函数的逼近【5 0 1 。本节以三角基函数为例，给出数值积分定理，并给 予证明。其它基函数泛函网络的积分定理及证明类似。设c s ( x ) 为三角基函数，即 啪) = 盘i n ( j - n 2 ) 乩j 蜊n 2 2 + i ，z 复一， ( 3 11 ) q ( x ) = sx 】，= ，2 + 2 ， ( 孓1 1 ) 为泛函网络基函数簇( 为偶数) ，且x 【o ，刀1 。 定理1 设口，为积分上下限，_ r o a , f l t c ，口，为泛函参数，则有 ，：r ( x ) 出。泸一+ 篝扣【s i n ( 朋) 一s i n ( j 口) 】+ 篓争聊“c 。s ( 一c 。s ( 厕】 j = 1 ，= i ， 证明： 汗而l 吃巳 。一 一 砭 。心 = 敏 。柑 = e 广西大掣h 炙士掌位论文 墓亏哼乏函网缵h 兵型的数值方蜀阿f 究 ，= r 厂( x ) 出 z f g ( x ) 出 = f 箭n 1 2 哆c o s ( 胁善n 2 s i i l ( j x ) d x = f a o + 2 a ：c 。s ( 豇) + 善n 1 2 ：s i i l ( j x ) a x = 一动口o + 笔qr c 。s ( 豇逑+ 笔q + ，：r s i n ( 声胁 n 1 2 n 1 2l = ( 一a ) a o + 专q 【s i n ( j f l ) 一s i n ( j a ) + 专乃+ ，： c o s ( 歹功一c o s ( _ ，) 】 j = ljj = lj 3 5 数值算例 为了验证本章提出的数值积分算法的优越性，本章选取了参考文献 4 7 】中给出的一 些实例，并在数学软件m a t h e m a t i c a5 0 环境下编程进行计算，与传统的梯形法、s i m p s o n 方法、c o m p o s i t es i m p s o n 方法和r o m b e r g 方法比较，显然本文算法精度更高，适应性 更强。 例1 文献 5 0 1 用梯形法和s i m p s o n 方法在【o ，2 】积分区间分别计算被积x 2 ，x 4 ，4 1 + x 2 ， 1 ( 1 + x ) ，s i n x ，e 。等6 个函数的积分，结果如文献【4 7 】中的表4 7 所示。