样条神经网络的权值直接确定法

1、 2686 系统工程与电f技术笫31卷第31卷第11期2()09 年 11 月文章编号：100F 506X( 20)9)1 卜 268504样条神经网络的权值直接确定法张雨浓I,杨逸文I，肖秀春I,邹阿金I，李巍I(1.中山大学信息科学与技术学院，广东广州510275;2.中山大学软件学院，广东广州510275)摘 要：根据样条逼近理论和神经网络原理构造了 -冲样条神经网络模型，以一m样条基函数作为隐神经元 的激励函数。依据误差回传(BP)思想推导出该网络模型的权值修正迭代公式.利用该公式迭代训练可得到该网 络的最优权值。而对于构造的具有特定网络结构的样条神经网络依据伪逆思想提出了 F直接计算

2、权值的方 法，从而避免冗长的迭代训练过程.仿其结果表明该权值直接确定法不仅能一步确定权值从而获得更快的运算 速度而能达到更高的计算梢度。关键词：样条函數；神经网络；权值直接确定；伪逆中图分类号：TP 183文献标志码：AWeights direct determination of a spline neural networkZHANG Ytrnong', YANG Yrwen'*2, XIAO Xiirchun1, ZOU A-jin', LI Wei*(1. School of Information Science and T ethnology 9 Sun Y

3、at-Sen Univ. 9 Guangz hou 510275, China:2. Sdi(x)l of Sqf tu are. Sun YalSen Univ. . Guangzhou 510275China)Abstract： Based on spline approximat ion t heory and neural networks, a spline neiu al network is const met e(L w here the h khleir layr neurons are act i vat by a group of spline fund ions. Ba

4、sed on the stanch rd terror backpropagat ion ( Bl) inetho(L the neural-w eight s updating formula is <kfc rived. M ore importantly a pseudcr inverse based met h(xl s then proposed, which could directly determine t he network weights w it hout iter ative training. Computer simulat ion results show

5、 that the one-step weights- flet ermination method could be more effective than the standard BP iterativertraining methodKevw)rds： spline function; ixural network: on<*-step weigths-(l<!t<»rmination: pseudcrinverse© 1994-2010 China Academic Journal Electronic Publishing House. All

6、 rights reserved, ki.nct 2686 系统工程与电f技术笫31卷© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved, ki.nct 2686 系统工程与电f技术笫31卷收稿日期:20()»()>12:修回日期:2(X)9-(M- 19.基金项目：国家口玻科学基金(60643004. 60775050)资助课題作者简介:张雨浓(197>),男教授，博导博I：,主要研究方向为神经网络理论及应用.E mail: zhynong

7、74; mail.sy»u. edu. cn0引言人I.神经网络因其高度并行、分布式储、口适应口学 习等显苫特点.在倍号处理、模式识别、机器人以及非线性 控制等领域有着广泛的应用。BP( back propagation)神经网络模型及其改进模型是 为而应用最广泛的神经网络模型之一。但其门身存在一些 缺陷，如收敛速度慢和易陷入局部极小点等I人I此人们对 BP算法做了很多改进。这些工作大多是加丁对It权值(或 阈值)修归算法的改进叫即期里通过改进网络训练的迭代 训练规则來克服BP网络的峡陷。它们主要分为两类I： 针对标准梯度下降法的改进和菇于数值优化方法的改进。本文不再局限于对BP学习

8、算法的改进而是通过改进 网络结构和激励函数类型來解决收敛速度慢和局部极小点 的问题。由此.构造一种样条神经网络(本文主要研究三 次样条神经网络.以下所言样条函数都是拆三次样条函 数)，以邯条堆函数作为隐神经元的激励函数。网络的隐神 经元权值可以在学习过程中通过BP算法获得但这种迭代 训练方法过丁父杂1 j漫长;本文利用伪逆思想來-步确定 网络的权值这种方法在计算速度和嵇度卜.都体现出更好 的性能。1网络模型及理论基础标准BP神经网络是一种多层前向神经网络其核心是 谋羞反向传播算法其做法足依据负梯度下降方向，迭代 调整网络的权值和阀值以实现误差函数值的减小。其权值 修正迭代公式可描述为w(k&#

9、165; ) = w(k) + M = w(k) WOE/Qm丿 I“丿 式中，“ 01, 2,，为迭代次数；n为迭代步长；皿二 -”西/血八=川,为笫人次迭代时的权值修止量；西/血代 表误差西数力对权值M的偏导。但是按照这种标准的 BP算法调整权値其调整过程可能心在看收敛速度慢和易陷入局部极小点等缺点。为了改善网络的性能本文从网 络结构和激励函数的角度出发.«T样条插值和函数逼近 理论门叨构造了一种三次样条神经网络(如图1所示八 在 分析该样条神经网络的逼近能力Ziiij；我们可以rr先给出 样条因数的基本定义。样条墓隐层图1构造的三次样条神经网络模型定义严/设/门是定义在区间仏耳

10、上的函数，在 /仏W上有一个划分: a= Xo < X <<= b( )屮切满足如下条件： 丿在每个子区间A= xi9 Xi(i 1, 2, n) 上都是不超过r次的多项式，至少在一个f区间上为r次 的多项式；(2)W刃是一 I次连续，即%) (r'm "则称 *切是关于划分的一个/次样条函数。在此本文主耍讨论心3的悄形。设该三次样条函数 在节点X；卜.还满足如下关于未知函数松丿的插值条件Xi) = Xi),i - Q 1,“则其截断幕函数为式中M是正整数.并可以验证衣具有直至一 1阶的连续 导数。引理 1/，0/ 函数系 t X9 x29 X39(X- X

11、 i)l 9 .9 (x - xn-i)i在aJM上线性无关。定理1何 设划分由式(1丿给出.则任一关于划分 的三次样条函数W切可以唯-地农示x) = «-0 + W IX + W2X* + W3xy +1£jWi(x - Xi ), a<b( 2)图I给出了三次样条神经网络的模型它由输入层、隐 层和输出层三层构成。输入层和输出层采用线性激励函数/Cr)= .t, IL可以将输入层与隐层之间的权值IA1定设为1.并固定所有神经元的阀值为0。该神经网络隐层有“+ 3个神经元并使用如下ft L 2 n+ 2作为第i+ 1个神经元的激励噜数%八1出(丿=X 足切=X2

12、9;(x)= J%(x)= (x - xt)i值得指出的是上述三次样条神经网络仍可以看成是 种BP前向神经网络，并能通过误差回传算法来迭代修正权 Hlw=WO, M'l, M ：, , W2T 也值得注意的是.隐神经 元的个数与输入的样本个数是显性相关的即肖输入的样 本个数是“+ 1时,可以调整“+ 3个权值系数虾仃=0, 1, 、“+ 2丿从而达到函数逼近耍求/H，-，Vo另外,将输入层与 隐层之间的连接权值固定设为1,三层的网络结构某种意 义上也可理解为两层/考虑到只仔后两层Z间的连接权值 需耍学习调整丿，但就网络的结构形式和缶息传递方式而 言,该样条网络仍然呈现出输入层、隐层和输

13、出层的三层网 络结构1输入信息在止向传递的过程中，依然经过了隐层 神经元嘩条激励函数的变换，而后在输出屋神经元处累加 求和。另外.当该三次样条神经网络隔用于辨识实际问题中的 未知函数关系式尸 和丿时,可以在某区间/亿“ UR上得到 一系列输入数据点笫及其对应的函数值y*九丿，从而组 成训练样本集(xi,屮),i= 0. 1. 2 .“/,如表1所示。表1未知函数关系y= x)的给定样本数据表XxoXIX2“ 1xnyyoy)f2 y«-1)n任面给出该三次样条神经网络模申逼近能力的更多理 论基础。依据样条/插值逼近理论吋，可以构造一个多项 式函数W.Y丿來遍近未知函数)=$切，Jt相

14、关定义和定理 可以整浬如下。定义 2/,0-,2/ 假设幽 x), *("Ca,b,j=0, 1,. “+ 2.11/ *(切岸：是区间/仏/”上的-个线性无关函数系。 nt 2确定样条多项式x) = £帅弋"丿的权值系数M O, W I, 使得*0尸山最小。这样得到的样条函 数门被称为松丿在a, b ±的嚴佳平方逼近(样条函数丿 或最小二乘逼近(样条函数八定理2/，0,2/设 g£CaJL则定义2中所述及的 4丫丿的鼓佳平方逼近样条函数在而11唯-，J1Kwo, iri, 叽+ 2系数可以求解得到。显然,把输入层与隐层之间的权值I占I定为1.

15、图1所示 的三次邯条神经网络的输入输出关系可以；i接描述为如下 数学公式y = wx) + w i x) + + tv<»t 2 2(x) ( 3) 也即上述定理1和定义2所给出的三次样条多项式*切, 其对未知函数 g 的逼近能力因此可由定理2所保证更 为乖要的是丿丘文可以在此基础上推导得出本文取点研究 的权值I工接确定方法，11也C为计算机仿A数据所验证。 另外.这种输入口与隐层之间的连接权值固怎为1的做法 也利于简化网络的结构和连接，对未來可能的硬件实现的 简化仃一定的益处。也值得指出的是,类似的对权值固定 为1的处理做法实际上在其他经典神经网络模型中也曾出 现过(如RBF

16、径向基函数神经网络几© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved, ki.nct笫11期张雨浓等：样条神经网络的权值"接确定法 2687 2权值迭代与直接确定对于图1所给出的三次样条神经网络模吃,其隐层神 经元个数为“ + 3,隐神经元与输出层神经元之间的权值记 为wj(j= 0. 1,1 .”+ 2) 0该神经网络输入.丫与输出y 的关系因此可以描述成式(3丿的形式。如果采用样本集 0. 1.W对神经网络进行训练.并定义其总体误差函数E如下 z、E =

17、 y SI- w,>%(xi)(4)则图1所示神经网络羞于标准BP算法的权值外修正公式 可如定理3所述。定理3'刃(元索迭代法)图1所示的三次样条神经网 络的权值迭代公式可设计为Wj (k + i)= u>j(k) -=Cll'i u = uU)a |>k) - nJ (xi) "wp(k)%( g)- yi ,l丿;=0, 1, n + 2( 5)式中，迭代次数心Q 1.2.学习步长4 0。若将上述定理3以矩阵和向屋形式描述，则仃如下定 理4.即更简洁的权值迭代形式。定理4U (矩阵迭代法丿图1所示的三次样条神经网 络的权值迭代式(5)可以简化为如

18、下矩阵向量迭代形式w(k + 1)=制 k)一(Xw(k) - V)(6)其中输入整介矩阵x =XQ)xo)(Xl)(Xl)巴d( Xo)曾2( Xl) R ”訂w ” '丿 Xm )Xn ) *2( Xj式中，输出向量v= fyo )1y.f 代表迭代次数仏 =Q 1, 2,J；学习步长H> 0e定理5“勺(权值直接确定法丿定义X和Y等参最如 同定理4图1所小的次样条神经网络的眾优权值町以 直接给定为3= X、(7)式中,X，lvun(X' X+ Xi)' lX表示输入整合矩阵X的 伪逆J表示一个“+ 3维单位矩阵。式(7丿也可以简写为 吐pinv (X)Y(并

19、可调用MATLAB程序|)inv|6Kn,-步计 算).直于给出的最优权值式(7) 该三次样条神经网络能 够实现对输入输出关系<* 丿的丛小平方逼近。证明 根据定理4及权值迭代式,6丿，即1)= w(k) tv'(x>wk)- 丫),考虑到步长n> ().则当网络训练 达到稳态后(厂十8(1寸,财*+ U= k)有X'(X>- ¥)=0(8)I人1此满足式(8丿的3兄该三次样条神经网络的稳念虽 优权值,1L能够使网络学习误差E最小。如果XX非奇 异,稳态权值3二(x'xrlxl 但在本项研究中，鉴于 xrh“2,可以知道”x通常奇异而不

20、戌接可逆，实 践中可以利用g (X* 初 X Y來进行计算",其中 X= io 利用矩阵伪逆思想.由上述分析可紂g X Y.简育Z该三次样条神经网络的最优权值向磧可一步克接 确定。定理5因此得证。3仿真分析以中X)二2sin (x)/(3x2+ x+ 1丿作为目标函数,对图 1所示的三次样条神经网络进行汁算机仿其验证。在区 间卜1.0. 99/内以Q 01的间隔进行采样，紂到200个样 本点。以样本数据点卷*0,1, 2, .199)作为仿真输入 而相应的样本数歼xj作为口标输出。本文分别 用元索迭代法/对应式八矩阵迭代法(对应式丿和权 值应接确定法(对应式(7丿丿对上述口标函数进行

21、样条神经 网络逼近验证.计算机仿頁所得到的结果如表2和图2 所示。表2采用元素迭代法、矩阵迭代法与权值 直接确定法的仿真结果对比方法：计算过阳次运行时间儿总误差E均差E/m枝聆均差元素迭代法1()54. I6x |047. 63 x 1()-2A81x 103. 77 x 10-4矩阵 迭代法1()524.47. 63 x 1()-2181x 10- 43. 77x |叶权位直接确定一步计算0. 385.70x |()- 102. 85x l(r122. 25 x KF 12从表2可以看出，对于本文所构造的三次样条神经网 络而言，采用权值山接确定法，无论在讣算速度还是讣貝粘 度匕都要远优于上述

22、两种迭代方法。(1/ H时间方而两种迭代法/包括元索迭代法和矩 阵迭代法丿的网络训练时间分别为4. 16 X 10%和24.4 & 而权值出接确定法仅需要0. 38 so(2j计算粘度方而两种迭代法训练100 000次后的均 方谋差为3.81 x 1() J而权值直接确定法直接计算得到的 均方谋差仅为2. 85 x IO'12.图2中，实线代表目标函数 *篤)=2sin (x )/(3x:+ x+ 1)的实际输出曲线.虚线代表神 经网络的仿真输出结杲。图2的三个了图分别对应于难丁 三种方法(元索迭代法、矩阵迭代法和权值苴接确定法丿所 得到的网络逼近效果.由图2可知,基于迭代法的

23、网络输 出在规定区间内学习训练100 000次所得的网络输出与II 标输出的谋差仍较人。相比较而盖卑于伪逆的权值山接 确定法的网络仿真结果就显然更加理M-所得到的网络输 出与目标输出基本上是完全巫介的。因此，该三次样条神 经网络嘆些基于伪逆思想的权值育接确定法的情况F表现 出更好的甫数逼近性能。另外，网络训练完毕后，我们采用 一组未经训练的校验样本对该神经网络进行测试。如表2 的垠后一列所显示的.迭代法得到的校验均差为 3. 77x 10",而直接确定法为2 25 x 10 ,2,可见该三次样 条神经网络具有良好的泛化能力.作为血多的计於机仿真示例的展示，图3和图4分别 给出了针对文

24、献/11/所提到的两个不同的II标函数 e(x)= (x + 2)/(x2 + 4x + 3 丿和 0(% 丿=(2 + x ) exp(- x2)+ sin log (5+刃进彳亍学习与逼近而得出的计算 机仿典结果，其同样显示出了样条神经网络及其权值比接 确定法的可行性和冇效性。© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved, 2688 系统II程与电P技术笫31卷(c)权值奁整4*定图2基于三种学习方法的网络逼近效果(对应于目标除数 #(x) "2si

25、n (工)/(3工* + 工+I)图3星于三种学习方法的网络逼近效果(对应于目标除数 心2(才+ 2”3 + 4+3)(c)权值直接定图4墓于三科学习方法的网络11近效果(对应于忖标噸数<x) = (2-bx)exp ( x2)+ sin log (5+x)4结束语标准BP神经网络存在着诸如收敛速度慢和易陷入局 部极小点等缺点人们在对BP网络进彳亍改进时人多足局 于神经网络的学习算法而网络结构和激励甫数的优化同 样也可以提岛神经网络的学习性能。本文利用样条插值辿 近的思想构造了 一种样条神经网络模些给出了该神经网 络模型堆丁決签回传思想的权值迭代公式，同时针对该特 定网络结构提出了一种基

26、于伪逆的权值|壬接确定方法.仿 貞结果衣明本文构造的基于伪逆的权值£1接确定法和比 权(ft迭代调整的方法具有更快的运算速度和更高的计算粘 度能够一步讣算出止确的稳态加优权值，从而避免了兀长 的权值迭代训练过程也値得指出的是本文探讨的是-种单输入单输出IJ1J 向样条紳经网络模吃(其中输入输出神经元个数均関置 为1).11结介矩阵伪逆思想提出了 种可直接确定网络连 接权值的方法：多输入多输出神经网络(如HBF神经网络) 权值直决确定掏的研究已经开展因此输入输出神经无t 数最终而言将不会冇理论上的限制(半然这方面的研究I. 作还有待进一步的完善及更多计算机仿真验证)。参考文献：| 1|

27、张梢浓,徐小文,毛宗源.Java语言与人匸神经网络应用J. 暨南大学钾(自然科学版)9 1998, 19(1): 10&112.| 2| Zltaiig N. Wan 吕 J RfuiTtMil neural nelu orks for nonlinear out put regulation! J|. Automatical 2(X)1 37( S): 1161- 11713| Zltaiig Y N. Ge S S, LEE T H A unified(|umirali<* irogrumniing based <Knainical stem a|)pr()a<*

28、h to joint l<r(ue optiinizalion <d phyzcall, n>n>t r<iinr(l rr<iiin(lint inanipiiator>| J| > IKEE Trans 倆 Sy .tf tms9 Man and Cyber rwlics. 2(X)4. 34 5/; 212(r 2132.| 4| Than吕 Y N. Wang J. Obstacle avoidance for kinematically redindanl m<u)i|iilalors using n (hal neural nrl ork | J | IE KE Trans 册 Sp©W$(讥 and Cyber rwt ies 2(X)4. 34 11: 752- 75>|5|苏小红 王亚东.马培军.基于反淡调控参数的BP学习算法研 究J|.哈尔滨工业大学学报,2(X)5. 37( 10): 131卜1314.|6|蒲S 孙政顺.赵