（计算数学专业论文）自适应泛函网络循环结构与学习算法.pdf

自适应泛函网络循环结构与学习算法 摘要 s b a n a c h 提出的压缩映射原理，不仅在泛函分析中占有举足轻重的地位， 也是数值分析中求解代数方程、常微分方程解的存在唯一性和数学分析中积 分方程求解的重要理论依据，是数学和工程计算中最常用的方法之一寺申经网 络是一个具有高度非线性的动力学系统而泛函网络是神经网络的一般化推 广，它处理的是一般泛函模型自适应循环结构是一种既有前馈通路，又有反 馈通路的神经网络结构，反馈通路的引入，使得神经网络能够有效地处理与 时间序列相关的上下文信息，恰压缩映射原理为构建该神经网络结构的提供 了数学理论基础 本文基于b a n a c h 压缩映射原理，提出一种自适应泛函网络循环结构和学 习算法，通过训练该结构使其逼近于目标函数的不动点并提出对应的学习算 法在求解复合泛函方程中，能够得到较高精度的解计算仿真结果表明，此方法 具有计算精度高、收敛速度快等特点，对神经计算方法的研究具有重要的意义 泛函网络与神经网络一样，至今还没有一系统设计方法能够对给定问题 设计出近似最优的网络结构，因此，本文利用遗传规划设计泛函网络神经元函 数，对网络结构和泛函参数共存且相互影响的复杂解空间进行全局最优搜索 实现泛函网络结构和泛函参数的共同学习，提出一种进化泛函网络结构设计 方法，有效地提高了泛函网络的收敛精度，最终获得更为简洁的网络结构 关键词：压缩映射原理泛函网络自适应代数循环结构学习算法函数 逼近多参数迭代 a d a p t i v ef u n c t i o n a ln e t w o r k sl o o ps t r u c t u r e s a n dl e a r n i n ga l g o r i t h m a b s t r a c t t h eb a n a c hc o n t r a c t i o nt h e o r e mw a sp r o p o s e db ys b a n a c h i ti sn o to n l y p l a yav i t a lr o l ei nf u n c t i o n a la n a l y s i s b u ta l s oa ni m p o r t a n tt h e o r e t i c a lb a s i sf o r t h ea l g e b r a i ce q u a t i o n so fn u m e r i c a la n a l y s i s t h ee x i s t e n c ea n du n i q u e n e s so f o r d i n a r yd i f f e r e n t i a le q u a t i o n sa n dt h ei n t e g r a le q u a t i o no fm a t h e m a t i c a la n a l y s i s i ti so n eo ft h em o s tc o m m o nm e t h o d si nm a t h e m a t i c a la n de n g i n e e r i n g c a l c u l a t i o n s n e u r a ln e t w o r k ( n n ) i sah i g h l yn o n l i n e a rd y n a m i cs y s t e m s t h e f u n c t i o n a ln e t w o r k ( f n ) i st h eg e n e r a l i z a t i o no fn n ，a n dd e a lw i t ht h eg e n e r a l f u n c t i o n a lm o d e lp r o b l e m s a d a p t i v es t r u c t u r e sw i t ha l g e b r a i cl o o p si sb o t ha f e e d f o r w a r da n df e e d b a c kp a t h w a yn e u r a ln e t w o r ka r c h i t e c t u r ea n dc a n e f f e c t i v e l yd e a lw i t ht i m e s e r i e sr e l a t e dt ot h ec o n t e x to fi n f o r m a t i o n t h eb a n a c h c o n t r a c t i o nt h e o r e mp r o v i d e st h eb a s i so fm a t h e m a t i c a lt h e o r yf o rt h ea d a p t i v e s t r u c t u r e sw i t ha l g e b r a i c l o o p s i nt h i sp a p e r , a d a p t i v ef u n c t i o n a ln e t w o r k sl o o ps t r u c t u r e sa r ed e s i g n e d b a s e do nt h eb a n a c hc o n t r a c t i o nt h e o r e ma n dt h el e a r n i n ga l g o r i t h mi sp r e s e n t e d t h e s es t r u c t u r e sa r eu s e df o rt h ea p p r o x i m a t i o no ft h ef i x e dp o i n to fu n k n o w n f u n c t i o n a lr e l a t i o n s ( m a p p i n g s ) r e p r e s e n t e d b yt r a i n i n gs e t s f i n a l l y , t h e s i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tt h es t r u c t u r ep r e s e n t e di nt h ep a p e rh a sh i g h p r e c i s i o na n ds t a b l e t h er e s u l t so b t a i n e di nt h i sp a p e ra r ev e r yi m p o r t a n tf o r r e s e a r c ht h em e t h o d so fn e u r a lc o m p u t a t i o n f u n c t i o n a ln e t w o r kl i k en e u r a ln e t w o r k s ，n o w a d a y s ，s of a r , t h e r ei sn os y s t e m d e s ig n i n gm e t h o df o rd e s i g n i n ga p p r o x i m a t i o nf u n c t i o n a ln e t w o r k ss t r u c t u r e t h e r e f o r , an e wg e n e t i cp r o g r a m m i n gd e s i g n i n gn e u r o nf u n c t i o n s ，c o m b i n i n g g e n e t i cp r o g r a m m i n g a n de v o l u t i o n a r y a l g o r i t h m ，w a sp r o p o s e df o rh y b r i d i d e n t i f i c a t i o no ff u n c t i o n a ln e t w o r ks t r u c t u r ea n df u n c t i o n a lp a r a m e t e r sb y p e r f o r m i n gg l o b a lo p t i m a l s e a r c hi nt h ec o m p l e xs o l u t i o ns p a c ew h e r et h e s t r u c t u r e sa n dp a r a m e t e r sc o e x is ta n di n t e r a c t t h e s er e s u l t sa ls os h o wt h a tt h e p r o p o s e dm e t h o di nt h i sp a p e rc a np r o d u c ev e r yc o m p a c tn e t w o r ks t m c t u r ea n dt h e f u n c t i o n a ln e t w o r k sc o n v e r g e n tp r e c i s i o n sa r ei m p r o v e dg r e a t l y k e y w o r d s ：c o n t r a c t i o nt h e o r e m ；f u n c t i o n a ln e t w o r k s ；a d a p t i v es t r u c t u r e s w i t ha l g e b r a i cl o o p ；l e a r n i n ga l g o r i t h m ；f u n c t i o na p p r o x i m a t i o n ；m u l t i p a r a m e t e r i t e r a t i v e i i i 论文独创性声明 本人郑重声明：所提交的学位论文，是本人在导师的指导下，独立撰写 完成的。除文中已经注明引用的内容外，本论文不含其他个人或其他机构已 经发表或撰写过的研究成果，也没有剽窃、抄袭等违反学术道德规范的侵权 行为。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标 明。本人愿意承担由本声明而引起的法律责任。 研究生签名： 捌础溉同期： 口口声乡月z , n 论文使用授权声明 本人完全了解广西民族大学有关保留、使用学位论文的规定。学校有权 保留并向国家有关部门或机构送交学位论文的复印件和电子文档，可以采用 影印、缩印或其他复制手段保存、汇编学位论文。除在保密期内的保密论文 外，允许学位论文被查阅和借阅，可以公布( 包括刊迸) 论文的全部或部分 内容。 研究生签名：测镪溶 几期：乃口睁月j 二同 铷酝f 杈帆7 6 奶f 1 1 绪论 1 1b a n a c h 压缩映射原理研究现状 1 9 2 2 年，s b a n a c h 1 给出了一个简单又非常有用的压缩映射原理b 雠a c h 压缩映射原 理实际上是p i c a r d 逐次逼近法的抽象表述，是一个典型的代数型不动点定理由它不仅可 以判定不动点的存在唯一性，而且还可以构造一个迭代序列，逼近不动点到任意精度在 应用数学的几乎各个分支都有着广泛的应用，比如线性代数方程，差分和微分方程、控制 系统理论和最优化问题等自从b a n a c h 提出这一原理后，b a n a c h 压缩映射的概念和 b a n a c h 压缩映射原理已经从各个方面和各个角度都有了重要的发展，一系列新型的压缩 映射概念及压缩映射的不动点定理相继被提出，其中某些结果己成功应用于研究空问中许 多方程解的存在性和唯一性，且已被成功应用于随机算子理论和随机逼近理论等诸多领 域2 0 0 5 年，张宪在序b a n a c h 空间中引入了几种按序压缩的压缩型映射，并证明了相应 的不动点定理2 0 0 6 年，刘易成和李志祥p 推广了b o y d 和w o n g 的相关结论，改进了相应结 果，给出了一类时滞积分方程的j 下概周期解的存在性结果2 0 0 7 年，丁体明一1 在序b a n a c h 空 间中，研究了一类集值混合单调映象，用不同方法证明了两个新的耦合不动点存在性定 理2 0 0 8 年，张国伟等人p 利用赋范线性空问中的收缩核，给出了凸泛函型的区域与拉伸不 动点定理，推广了郭大均定理 1 2 泛函网络国内外研究现状 在国外，西班牙学者e n r i q u ec a s t i l l o 在1 9 9 8 年首次提出了泛函网络一1 ，介绍了泛函 网络与神经网络的区别所在，提出了广义可结合泛函网络模型、可分离泛函网络模型、证 明了其泛函表达式的唯一性、给出了基于误差代价最小的学习算法，并将泛函网络应用于 回归问题等；到2 0 0 5 年c a s t i l l oe 等人利用泛函网络求解线性及非线性回归1 和混沌时问 序列预测p 1 ，微分、差分和泛函方程求解p 1 等：2 0 0 8 年，c a s t i l l oe 等人利用泛函网络对半 参数非线性回归w 进行了求解，得到较好的结果泛函网络是对神经网络的一种有效推 广，这不仅表现在可以解决神经网络可以解决的问题，而且也可以解决某些神经网络不能 解决的问题v 泛函网络的性能在很多方面都优于神经网络1 t - l a l 2 0 0 4 年一2 0 0 5 年a l f o n s oi g l e s i a s 等利用泛函网络对捕鱼预测优化u 及b 样条曲面重 构问题“；2 0 0 6 年b e a t f i zl a c m z 等利用泛函网络求解分类及回归问题“，同年，n o e l i a s a n c h e z m a r o f i o 等将泛函网络和小变性分析结合用丁特征选择问题；2 0 0 7 年p a b l o k a l u z a 等提出了复杂泛函网络的进化工程引以及a k e m ig d l v e z 等人利用泛函网络、遗传 算法与最小均方差逼近结合用丁解决二维点集的b 6 z i e r 曲线和曲面拟合问题 在国内，2 0 0 1 年李春光等提出了求解非线性系统辨识的一种泛函网络方法“这种 辨识方法利用梯度下降方法对网络参数进行学习，使其具有较快的收敛速度和良好的性能 刚年，王东s i 三等给出基于泛函网络的数值近似方法；2 0 0 3 年李卫斌、焦李成提出三类町分 离交换性泛函网络模型；2 0 0 5 年戴祯杰等人提出了多项式泛函网络模型及其应用”， 求解任意数域或环上多项式运算问题同时给出了基于泛函网络求任意一元多项式倍式的 学习算法，而网络的参数利用解线性方程组方法来完成同年，周永权提出了层次泛函网 络整体学习算法，这种算法相比传统方法更适合于具有层次结构的应用领域2 0 0 6 年周 永权提出了一种复值可分离的泛函网络学习算法弘“，将实值泛函网络推广到复值的情形， 相比实值神经网络，用复值泛函网络解决问题具有很强的计算能力；给出了一种基于泛函 网络的多项式e u c l i d e a n 算法m “，这种方法不但能够快速地获得所求多项式问题的精确解， 而且可获得所求多项式问题的近似解：给出了新型s i g m a p i 泛函网络模型卜“，采用数值 分析的方法，将s i g m a p i 泛函网络应用于异或问题，结果表明，该网络对于某些问题具 有很强的分类能力同一年，崔明义等提出了一种基于多输入泛函网络的构造和学习策略 ，当泛函网络拓扑结构比较复杂时，可将其拓扑结构看成是若干子泛函网络模型的集 成，并将各种复杂泛函网络分解成若干个子泛函网络进行研究，分析各子网络的特性，研 究其对整个网络的影响2 0 0 7 年周永权等人在泛函网络理论研究、模型构造及其学习算法 上做了大量的工作，提出了f u z z y 插值及其f u z z y 泛函网络构造理论卜叫，把泛函网络结构 特性和f u z z y 插值映射有机地结合起来，采用构造性方法从理论上证明了泛函网络能够以 任意精度通近任意定义在有界闭集上的连续函数：提出了递归泛函网络模型及学习算法； 针对递归计算问题，提出了一种多项式函数型回归泛函网络学习算法，该算法收敛速度快， 计算精度高，对计算机代数的研究有重要的指导意义；提出序列泛函网络模型及其学习算 法p ，给出了九种典型的泛函方程求解序列泛函网络模型，解决了传统的数值方法难以 求解泛函方程这个问题；提出基于遗传规划实现泛函网络神经元的函数类型优化方法卜“， 把整个泛函网络的设计分解为对单个神经元的逐个设计，该方法可实现对神经元函数类型 的优化，能用较小的网络规模获得更满意的泛化特性 泛函网络已逐渐形成计算智能学科一个崭新的研究方向，其理论和应用基础并不完 善，需要我们不断地提出更适于所要解决的问题的新网络结构，完善基础理论，提出新算 法，拓展泛函网络的应用范围从数学的角度来研究泛函网络的数学本质，探讨泛函网络 的数学机理，研究其逼近性能等，这是一个值得关注的研究方法和方向 而对于自适应代数循环结构主要是通过训练来逼近训练集中未知函数关系压缩映射 原理( 也叫b a n a c h 不动点定理) 为此结构的可行性提供了必要的条件，并且也给出训练结 构时的必须条件在这些条件下，2 0 0 1 年，m a r c e l om a l i n il a m e g o 弘刨给出如何计算和训练 此循环结构的一。般方法和技术，并且扩展到多层神经网络，使其实现了白适应代数循环结 构但此种结构在计算中，需要较复杂的计算过程，因l 面不利于解决较大型的问题，并且 精度较低而泛函网络与神经网络相比，神经元选择更灵活，是对传统神经网络的扩充和 拓展 2 1 3 论文的创新点 1 ) 利用b a n a c h 压缩映射原理为自适应循环结构提供的数学理论基础，提出一种自适 应泛函网络循环结构和学习算法，通过训练该结构使其逼近于目标函数的不动点，并提出 对应的学习算法在求解复合泛函方程中，能够得到较高精度的解计算仿真结果表明，此方 法具有计算精度高、收敛速度快等特点，对神经计算方法的研究具有重要的意义 2 ) 幂m j 用遗传规划设计泛函网络神经元函数，对网络结构和泛函参数共存且相互影响的 复杂解空间进行全局最优搜索实现泛函网络结构和泛函参数的共同学习，提出一种进化泛 函网络结构设计方法，有效地提高了泛函网络的收敛精度，最终获得更为简洁的网络结构 1 4 论文的主要工作及结构安排 针对目前国内外学者对泛函网络研究的现状，本文基于b a n a c h 压缩映射原理，提出 一种自适应泛函网络循环结构和学习算法；提出求解自适应泛函网络循环结构的代数算法 在自适应循环结构盼基础上，利用遗传规划设计泛函网络神经元函数，对网络结构和泛函参 数共存且相互影口向的复杂解空间进行全局最优搜索实现泛函网络结构和泛函参数的共同 学习，提出一种进化泛函网络结构设计方法，有效地提高了泛函网络的收敛精度，最终获得 更为简洁的网络结构论文的结构安排如下： 第1 章主要对s b a n a c h 压缩映射原理和泛函网络的发展历史和研究现状进行了总结 与回顾，并列出本文的主要工作 第2 章主要介绍了s b a n a c h 压缩映射原理和相关理论基础，并对泛函网络的产生、 基本元素、基本模型及其算法、应用等，给出了泛函神经元模型及泛函网络的构造 第3 章基于s b a n a c h 压缩映射原理，提出了一种自适应泛函网络循环结构及其算法 第4 章提出了一种求解自适应泛函网络循环结构的代数算法 第5 章提出了一种构造泛函网络的方法，并将其应用自适应泛函网络循环结构的构造 第6 章对本文进行总结与展望总结全文，指出该领域存在的一些问题以及有待于今后 进一步研究的问题 2 压缩映射原理与泛函网络 2 1 压缩映射原理 定义2 1 1 ( 压缩映射) ：称t ：( q ，p ) 一( q ，p ) 是一个压缩映射，如果存在0 ( 2 ) 输出单元层：这是最后一层单元，它是输出网络的结果数据，输出单元也是用带 有相应名字的实心圆表示，在图2 2 中输出层单元为 x ；) 则输出信息为 屯= 六( 工，x 。 = ( 六( ，x 2 ) ，厶( 毛，x 2 ) ) ( 3 ) 一层或多层神经元或计算单元：每一个神经元是一个计算单元，它计算一组来自 前一层神经元或输入单元的输入值，并给下一层神经元或输出单元提供一组输入数据计 算单元相互连接，每一个神经元的输出可以作为另一个神经元或输出单元的输入部分，一 旦给定输入值，输出便由神经元的类型确定，它由传输函数来定义 例如，假定我们有一个神经元具有j 个输入( x ，j ：，x 。) 及k 个函数 ，j = 1 , 2 ，k 使 得y ，= 一( 石。，叠，t ) ；= 1 , 2 ，后，其中，函数乃由网络的结构确定，神经元由带有相 应的函数 名称圆圈来表示，在图2 2 中，有两层泛函计算单元 z ， 和 六 6 ( 4 ) 若干个中间存贮单元层，它存储由泛函神经元产生的信息在图2 2 中，只有一个 f b j 存储单亡层 屯，工4 ，有x ，= z ( 工l ，x 2 ) ，x 4 = f 2 ( x i ，x 2 ) ( 5 ) 有向连接线：它们将输入层、第一层神经元、第二层神经元、最后一层神经元及 输出单元连接起来，箭头表示信息流动的方向所有这些元素联合在一起就形成了泛函网 络结构，它确定了网络的泛函能力网络的结构是指神经元的组织及包含的连接 2 2 3 泛函网络的拓扑结构 泛函网络与神经网络一样，不可能用一个统一的通用的结构来描述所有的泛函网络， 也不可能用一个统一的函数来表示所有的泛函网络，它们都会有各种各样的结构 2 2 3 1 一般的泛函网络的模型 一般地，刀层泛函网络的模型表示如下： y = 五一一。 ：( x ) ( 2 5 ) 则对应的网络结构如图2 3 ： 图2 3 一般泛函网络的拓扑结构 f i g u r e2 3ag e n e r a ls t r u c t u r eo ff u n c t i o n a ln e t w o r k 其中，y = r “表示系统的输出，x = ( 而，z ：，x 。) r 表示系统的输入，z ， ， 分别表 示不同网络层的泛函神经元函数，其接受上层函数的输入可能是多维输入，负责向下层函 数输出数据可以是多维输出 在泛函网络应用研究中常用的泛函网络模型有广义可结合泛函网络模型( g e n e r a l i z e d a s s o c i a t i v ef n s ) 及可分离泛函网络模型( s e p a r a b l ef n s ) 2 2 3 2 广义可结合泛函网络模型 根据广义可结合的特性，可以由函数形式g ( x ，y ) 和输入z 来获得( 图2 4 ) 网络的某一 输出信息，又可以由另一函数n ( x ，y ) 和输入x 作为输入信息来获得( 图2 5 ) ，把这两种模 型用有向连接线连接在同一个网络结构中的某一储存单元u 中，这样就形成了广义可结合 泛函网络模型( 如图2 6 ) ( 1 ) 模型u = 研g 阮，z 】： 7 芽姓，1 刁 o p 甜 ( 2 ) 模型“= 研f t 矽，x 】： x 、1 图2 4 模型”= f g ( x ，y ) ，z 】 f i g u r e2 4m o d e lf o r “= f g ( x ，y ) ，z 】 图2 5 模喇“= k 【m 矽，工】 f i g u r e2 5m o d e lf o ru = k f t 矽，x 】 ( 3 ) n - i 结合模型u = f g 似，z _ k 【五j m 纠： 酎2 6 广义可结合泛函网络模型 f i g u r e2 6g e n e r a l i z e da s s o c i a t i v ef u n c t i o n a ln e t w o r km o d e l 该网络表示的泛函方程为： f g ( x 谚z ) = k ( x n ( y z ) ) 2 2 3 3 可分离泛函网络模型 在泛函网络应用研究中，应用最广泛的是可分离( s e p a r a b l e ) 泛函网络l ，它的泛函表 达式是各输入变量分离作用效果的组合，其网络模型如图2 7 所示 其网络输出为： 图2 7 可分离泛函网络模型 f i g u r e2 7s e p a r a b l ef u n c t i o n a ln e t w o r km o d e l z = f ( x ，y ) = f i ( x ) g 触) = 办肛) 寥妙) f = l j = l 2 2 4 两种基本的泛函网络模型 泛函网络是神经网络的扩展，是一种特殊的神经网络，其有各种各样的 结构，不可能用一个统一的通用结构来描述所有的泛函网络，即没有统一的 泛函方程能表示所有的泛函网络，而任一泛函网络都可看作输入到输出的函 数的整合变换利用这一特性，文献【2 0 给出两种简单的、典型的网络模型，即 基本泛函网络模型 2 2 4 1 单输入单输出泛函网络模型 单输入单输出泛函网络模型 2 0 l ( s i g l ei n p u ta n ds i n g l eo u t p u tf u n c t i o n n e t w o r k ，s i o f n ) 的拓扑结构如图2 8 ，则该网络输出的表达式为 _ 兰l y = 乏：z ( 工) ( 2 6 ) 图2 8 单输入单输出泛函网络模型( s i o f n ) f i g u r e2 8s i n g l ei n p u ta n ds i n g l eo u t p u tf u n c t i o nn e t w o r km o d e l 2 2 4 2 双输入单输出泛函网络模型 9 双输入单输出泛函网络模型1 2 0 i ( d o u b l ei n p u ta n ds i n g l eo u t p u tf u n c t i o n n e t w o r k ，d i o f n ) i 擎j 拓扑结构如图2 9 ，若图2 9 网络输入向量是 x ，y ) ，输出的是 z ，则该泛函网络输出的表达式为 z = 6 ( x ，j ，) = g ，( x ，y ) ( 2 7 ) i = 1 霹0 j ，1 图2 9 舣输入单输出泛函网络模型( d i o f n ) f i g u r e2 9d o u b l ei n p u ta n ds i n g l eo u t p u tf u n c t i o nn e t w o r km o d e l 从双输入单输出泛函网络模型中，如果输入元素有三个或三个以上，就 转变为多输入单输出泛函网络模型，其拓扑图如图2 10 ，输入向量是 x i ，x ：，x n ) ，输出是z ，则该泛函网络的输出表达式为 z = g ( x 。，x 2 ，h ) = g 瓜。，x 2 ，矗) ( 2 8 ) 而 ： 矗 图2 10 多输入单输出泛函网络模型 f i g u r e2 10m o r el n p u ta n ds i n g l eo u t p u tf u n c t i o nn e t w o r km o d e l 2 2 5 泛函网络与神经网络的区别与联系 图2 1 l 和图2 1 2 分别给出了一种传统的神经网络与对应的泛函网络结构示意图，通 过两者的拓扑结构，比较它们的异同点及相互关系 图2 ii 神经网络结构模型图 1 0 f i g u r e2 11n e u r a ln e t w o r km o d e l 图2 1 2 与图2 1 1 对应的泛函网络结构 f i g u r e2 12f u n c t i o n a ln e t w o r kc o r r e s p o n d st of i g u r e2 11 传统神经网络与泛函网络之间区别与联系，归结起来有以下点： ( 1 ) 在网络拓扑结构的选择上，泛函网络可以根据实际问题和数据及先验知识中所获 得的信息来确定网络拓扑结构，同时，除了数据信息外，还可以根据泛函神经元函数的一 些特性( 包括可结合性、可交换性、不变性等等) 来进行建模，构造最优的网络结构；而神 经网络只能依据问题给出的数据进行建模 ( 2 ) 泛函网络处理是一般泛函模型，它的神经元函数选取更加灵活，是可以学习的能 够根据网络拓扑结构( 包括简化后的网络和泛函结构) ，及参数估计方法等先验知识对神经 元的激活函数加以选择，一般足从一些给定的函数族旱选择最优的神经元函数；而在神经 网络中，只是权是可以学习的，而神经元函数是固定的，往往固定为一些具体函数，一般 可供选择的函数有s 函数、高斯函数、子波函数等 ( 3 ) 泛函网络中神经元的激活函数可以不同，即同一层网络的神经元函数都可以不同： 而在神经网络中，要求同一层网络的激活函数必须相同 ( 4 ) 泛函网络无联接权值概念，层与层之间的连线仅表示数据的流动方向；神经网络 中神经元之间联接权值表示相互之间的激励程度 ( 5 ) 泛函网络中每个神经元都可以有多个互不相同的输出( 多输出) ，可以向不同的神经 元输出不同的数据；而神经网络中每个神经元都是单输出，即使与多个神经元相连，但是 输出的数据相同 ( 6 ) 泛函神经元函数可以是多目标函数，例如图2 1 2 中的斤，厶和，并且在很多实例 中可以等价的由单变量函数来替换，从而简化网络结构而在神经网络中，它的激活函数 ( 如s i g m o i d 函数) 是单变量的，它仅仅是对所有输入信息的一个线性组合进行激活 ( 7 ) 与神经网络不同，泛函网络的中问计算单元和输出单元可以与一些储存单元( 如图 2 1 2 中的，墨) 相连接，假如有m 个计算单元与一个存储单元相连，当然连接必须是等值 的我们往往可以构造出一个具有m 一1 个泛函方程的方程组然后通过求解该方程组，便可 以简化初始神经元函数，从而简化初始的泛函网络结构 ( 8 ) 从神经网络模型( 图2 1 1 ) 及与其等价的泛函网络模型( 图2 1 2 ) ，我们可以看出，神 经网络的权值完全可以被神经元函数所吸收掉，所以说神经网络是泛函网络的一种特殊形 式也有道理 一般地，任意的神经网络都可以找到与它等价的泛函网络，这足因为泛函网络处于一 个更高的层面，所以说，泛函网络是对传统神经网络的扩充和拓展 2 2 6 泛函网络的学习过程 泛函网络与神经网络一样，也要进行学习所不同的是神经网络是权值的学习，而泛 函网络是对网络结构和参数的学习实际上，根据具体工程问题构建泛函网络和简化泛函 网络也是学习一旦网络简化以后，下面的学习就是神经元函数的学习泛函网络的学习方 法有两种：精确学习和近似学习精确学习就是确定泛函网络所表示的泛函方程的解函数； 近似学习就是依据给定样本评价神经元函数其基本方法是线性组合基函数簇的函数，并 且优化线性组合的系数一般的，泛函网络的学习步骤如下【4 2 】： s t e pl ( 问题的陈述) ：这是关键的一步分析并理解待求的问题，获取问题所提供的信 息 s t e p2 ( 初始拓扑结构) ：根据问题自身的知识和信息，设计初始的泛函网络拓扑结构 由已知数据、问题的先验知识及函数的某些特性，可知选择的网络结构往往是明确的 s t e p3 ( 网络结构学习) ：初始网络结构的简化依赖于泛函方程p 叫来完成对于一个给定 的泛函网络，一个有趣的问题就足去确定是否存在与之等价的泛函网络如果存在，找出 与之等价的泛函网络类，并从中选择使用最简单的网络结构 s t e p4 ( 表达式的唯一性) ：在进行泛函网络学习之前，需要遵守某些初始条件确保网 络表达式的唯一性，即对于一个给定的网络拓扑结构，给出问题的初始条件使得对于任意 的输入值，网络都有明确的相同的输出值 s t e p5 ( 数据收集) ：根据所求问题本身的信息，收集用于学习的基本数据 s t e p6 ( 参数学习) ：依据给定样本评价神经元函数其基本方法是线性组合基函数族的 函数，所以当合适的基函数己选定时，对神经元函数的学习便转化为对线性组合中系数的 学习( 即网络参数的学习) 对此，有几种参数学习方法： 1 线性方法：在参数学习过程中，用相关优化函数产生一线性方程组，评价其系数， 存在唯一个最优值，解这个线性方程组，求出最优参数 2 非线性方法：在参数学习过程中，函数是非线性的，网络存在多个最佳参数，利用 标准的梯度下降法迭代出最佳参数 例如：有一组数据样本d = ( 一， ) ，( xoy ) ，it t ) ，可通过一组基函数 锄( 石) ，e 2 ( x ) ，纸( j ) 的线性组合夕( x ) = q 仍( 石) 得到函数厂的近似值并对近似值的误 差进行度量，如用最小化误差平方和等方法评价近似程度 3 最大相关系数( m a x i m u mc a n o n i c a lc o r r e l a t i o n ，m c c ) 方法：把参数学习的过程， 转化为求参数的最大相关系数问题，就是通过找到最优参数使参数之间的相关系数最大， 从而得到最佳参数。 s t e p7 ( 模型确认) ：利用一组变错的数据集，对网络进行测试，即对模型进行交叉确 认，检查一下所选的函数簇是否能充分的逼近神经元函数 s t e p8 ( 模型利用) ：如果测试的结果是满意的，那么该模型便可以投入使用 1 2 2 2 7 泛函网络求解问题方法示例介绍 通过一个简单的例子来对泛函网络学习过程进行熟悉，也可以进一步说明泛函网络和 神经网络的区别 1 、( 问题陈述) ：有一泛函方程： ( x ，y ) = 六( z ( 石，z ) ，六( y ，z ) ) ，v x ，y , z ( 2 9 ) 2 、( 初始拓扑结构) ：其对应的网络结构如图2 1 3 所示 幽2 1 3 对席】( 2 9 ) 式的泛函网络结构 f i g u r e2 13f u n c t i o n a ln e t w o r kf o rm o d e l ( 2 9 1 3 、( 结构学习) ：式( 2 9 ) 给出了函数石，厶，六和工的约束条件，可使其泛函结构简化 泛函方程( 2 9 ) 在实数矩形连续的一般解为： f 4 ( x , 妫= 巧1 ( 曩( x ) + e ( j ，) ) ，六( 工，y ) = 巧1 ( 只( x ) + e ( y ) ) ( 2 1 0 ) z ( x ，y ) = 巧1 ( 正( x ) + e ( y ) ) ，正o ，y ) = 巧1 ( 最( x ) 一圪( y ) ) 这里，鼻，e ，e 是任意连续且严格单调函数将式( 2 1 0 ) 代入式( 2 9 ) ，得到泛函方程 ( 2 9 ) 的最简单表达式 u = 六( 石，y ) = a ( z ( 工，z ) ， ( ”z ) ) = 厅1 ( e ( 工) + e ( y ) ) ( 2 1 1 ) 简化后的泛函网络如图2 1 4 所示 一一o u “ 幽2 1 4 式( 2 9 ) 简化后的泛函网络 f i g u r e2 1 4s i m p l i f i e dn e t w o r kf o rm o d e l ( 2 9 1 4 、( 表达式唯一性) ：泛函方程( 2 9 ) 在实数矩形连续的般解为( 2 1 0