基于EKF的模糊神经网络快速自组织学习算法研究

1、基于EKF的模糊神经网络快速自组织学习算法研究摘要:为了快速地构造一个有效的模糊神经网络,提出一种基于扩展卡尔曼滤波(ekf)的模糊神经网络自组织学习算法。在本算法中,按照提出的无须经过修剪过程的生长准那么增加规那么,加速了网络在线学习过程;使用ekf算法更新网络的自由参数,增强了网络的鲁棒性。仿真结果说明,该算法可以快速学习、良好的逼近精度和泛化才能。关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习fastself-rganizinglearningalgrithbasednekffrfuzzyneuralnetrkzhushang-b,liuyu-jing(llegefputersiene

2、,hngqinguniversity,hngqing400044,hina)abstrat:tnstrutaneffetivefuzzyneuralnetrk,healgrith,thenetrkgrerulesardingttheprpsedgringriteriaithutpruning,speedingupthenlinelearningpress.allthefreeparaetersereupda

3、tedbytheextendedkalanfilterapprahandtherbustnessfthenetrkasbviuslyenhaned.thesiulatinresultsshthattheprpsedalgrithanahievefastlearningspeed,highapprxiatinpreisinandgeneratinapability.keyrds:fuzzyneuralnetrk;extendedkalanfilter(ekf);self-rganizinglearning模糊神经网络起源于20世纪80年代后期的日本,由于其简单、实用,已经被广泛应用在工业控制、系

4、统辨识、形式识别、数据挖掘等许多领域14。然而,如何从可用的数据集和专家知识中获取适宜的规那么数仍然是一个尚未解决的问题。为了获取模糊规那么,研究人员提出了不同的算法,如文献5利用正交最小二乘算法确定径向基函数的中心,但是该算法训练速度比拟慢;文献6提出了基于径向基函数的自适应模糊系统,其算法使用了分层自组织学习策略,但是逼近精度低。扩展卡尔曼滤波(ekf)算法作为一种非线性更新算法,在神经网络中得到了广泛应用。文献7利用扩展卡尔曼滤波算法调整多层感知器的权值,文献8利用扩展卡尔曼滤波算法调整径向基函数网络的权值。本文提出了一种模糊神经网络的快速自组织学习算法(sfnn)。该算法基于无须修剪过

5、程的生长准那么增加模糊规那么,加速了网络学习过程,同时使用ekf调整网络的参数。在该算法中,模糊神经网络构造不是预先设定的,而是在学习过程中动态变化的,即在学习开场前没有一条模糊规那么,在学习过程中逐渐增加模糊规那么。与传统的模糊神经网络学习算法相比,本算法所得到的模糊规那么数并不会随着输入变量的增加而呈指数增长,特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规那么。当然,假如设计者是领域专家,其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有构造孝防止出现过拟合现象等特点。1sfnn的构造本文采用与文献9相似的网络构造,如图1所示。其中,r是输入变量个数;?x?

6、i(i=1,2,r)是输入语言变量;y是系统的输出;fij是第i个输入变量的第j个隶属函数;r?j表示第j条模糊规那么;?j是第j条规那么的结果参数;u是系统总的规那么数。下面是对该网络各层含义的详细描绘。第一层:输入层。每个节点代表一个输入语言变量。第二层:隶属函数层。每个节点代表一个隶属函数,隶属函数采用如下的高斯函数:ij=exp(-(x?i-ij)?2?2ij);i=1,2,r;j=1,2,u(1)其中:r是输入变量数;u是隶属函数个数,也代表系统的总规那么数;ij是x?i的第j个高斯隶属函数;ij是x?i的第j个高斯隶属函数的中心;ij是x?i的第j个高斯隶属函数的宽度。第三层:t-

7、范数层。每个节点代表一个可能的模糊规那么的if-局部,也代表一个rbf单元,该层节点个数反映了模糊规那么数。假如计算每个规那么触发权的t-范数算子是乘法,那么在第三层中第j条规那么r?j的输出为?j=exp(-?ri=1(x?i-ij)?2?2ij);j=1,2,u(2)第四层:输出层。该层每个节点代表一个输出变量,该输出是所有输入变量的叠加。y(x)=?uj=1?j?j(3)其中:y是网络的输出;?j是then-局部。2sfnn的学习算法如前文所述,第三层的每个节点代表一个可能的模糊规那么的if-局部或者一个rbf单元。假如需要辨识系统的模糊规那么数,那么不能预先选择模糊神经网络的构造。于是

8、,本文提出一种新的学习算法,该算法可以自动确定系统的模糊规那么并能到达系统的特定性能。2.1模糊规那么的产生准那么在模糊神经网络中,假如模糊规那么数太多,不仅增加系统的复杂性,而且增加计算负担和降低网络的泛化才能;假如规那么数太少,系统将不能完全包含输入/输出状态空间,将降低网络的性能。是否参加新的模糊规那么取决于系统误差、可包容边界和误差下降率三个重要因素。2.1.1系统误差误差判据:对于第i个观测数据(x?i,t?i),其中x?i是输入向量,t?i是期望输出,由式(3)计算网络现有构造的全部输出y?i。定义:e?i=t?i-y?i;i=1,2,n(4)假如e?ik?ek?e=axeax?i

9、,ein(5)那么说明网络现有构造的性能比拟差,要考虑增加一条新的规那么;否那么,不生成新规那么。其中:k?e是根据网络期望的精度预先选择的值;eax是预定义的最大误差;ein是期望的输出精度;(01)是收敛因子。2.1.2可包容边界从某种意义上来讲,模糊神经网络构造的学习是对输入空间的高效划分。模糊神经网络的性能和构造与输入隶属函数严密相关。本文使用的是高斯隶属函数,高斯函数输出随着与中心间隔 的增加而单调递减。当输入变量采用高斯隶属函数时,那么认为整个输入空间由一系列高斯隶属函数所划分。假如某个新样本位于某个已存在的高斯隶属函数覆盖范围内,那么该新样本可以用已存在的高斯隶属函数表示,不需要

10、网络生成新的高斯单元。可包容边界:对于第i个观测数据(x?i,t?i),计算第i个输入值x?i与已有rbf单元的中心?j之间的间隔 d?i(j),即d?i(j)=x?i-?j;i=1,2,n;j=1,2,u(6)其中:u是现有的模糊规那么或rbf单元的数量。令di,in=argin(d?i(j)(7)假如di,ink?d,k?d=axdax?i,din(8)那么说明已存在的输入隶属函数不能有效地划分输入空间。因此,需要增加一条新的模糊规那么,否那么,观测数据可以由已存在的间隔 它最近的rbf单元表示。其中:k?d是可包容边界的有效半径;dax是输入空间的最大长度;din是所关心的最小长度;(0

11、1)是衰减因子。2.1.3误差下降率传统的学习算法把误差减少率(err)5用于网络生长后的修剪过程,算法会因为修剪过程而增加计算负担,降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准那么,算法无须经过修剪过程,从而加速网络的学习过程。给定n个输入/输出数据对(x?i,t?i),t=1,2,n,把式(3)看做线性回归模型的一种特殊情况,该线性回归模型为t(i)=?uj=1h?j(i)?j+(i)(9)式(9)可简写为d=h+e(10)d=t?tr?n是期望输出,h=?tr?nu是回归量,=?tr?u是权值向量,并且假设er?n是与回归量不相关的误差向量。对于矩阵,假如它的行数大于列数

12、,通过qr分解:h=pq(11)可把h变换成一组正交基向量集p=p?1,p?2,p?ur?nu,其维数与h的维数一样,各列向量构成正交基,qr?uu是一个上三角矩阵。通过这一变换,有可能从每一基向量计算每一个分量对期望输出能量的奉献。把式(11)代入式(10)?可得d=pq+e=pg+e(12)g的线性最小二乘解为g=(p?tp)?-1p?td,或g?k=p?t?kdp?t?kp?k;k=1,2,u(13)q和满足下面的方程:q=g(14)当kl时,p?k和p?l正交,d的平方和由式(15)给出:d?td=?uk=1g?2?kp?t?kp?k+e?te(15)去掉均值后,d的方差由式(16)给

13、出:n?-1d?td=n?-1?uk=1g?2?kp?t?kp?k+n?-1e?te(16)由式(16)可以看到,n?-1?uk=1g?2?kp?t?kp?k是由回归量p?k所造成的期望输出方差的一局部。因此,p?k的误差下降率可以定义如下:err?k=g?2?kp?t?kp?kd?td,1ku(17)把式(13)代入式(17)可得err?k=(p?t?kd)?2p?t?kp?kd?td,1ku(18)式(18)为寻找重要回归量子集提供了一种简单而有效的方法,其意义在于err?k提醒了p?k和d的相似性。err?k值越大,表示p?k和d的相似度越大,且p?k对于输出影响越显著。利用err定义泛

14、化因子(gf),gf可以检验算法的泛化才能,并进一步简化和加速学习过程。定义:gf=?uk=1err?k(19)假如gf2.2参数调整需要注意的是,不管是新生成的隐节点还是已存在的隐节点,都需要对网络参数进展调整。传统的方法是使用lls10方法对网络参数进展调整,本文提出使用ekf方法调节网络的参数。由于lls方法在确定最优参数时计算简单、速度快,但该方法对噪声敏感,其学习速度随着信噪比的增加而下降。另外,与lls方法相关的问题是其求解可能是病态的,这使得参数估计变得很困难。ekf方法由于其自适应过程比拟复杂,计算速度没有lls方法快,但是ekf方法在噪声环境下具有鲁棒性,使用ekf方法可以实

15、现一种强健的在线学习算法。网络参数可以用下面的ekf11方法进展调整。事实上,网络的参数向量可以看做一个非线性系统的状态,并用下面的方程描绘:?i=i-1t?i=h(i-1,x?i)+e?i(20)在当前的估计值i-1处将非线性函数h(i-1,x?i)展开,那么状态模型可以重写为?i=i-1t?i=h?ii-1+?i+e?i(21)其中:?i=h(i-1,x?i)-h?ii-1+?i。h?i是如下的梯度向量:h?i=?h(,x?i)?|=i-1(22)参数向量使用下面的扩展卡尔曼滤波算法更新:k?i=pi-1h?t?ih?ipi-1h?t?i+r?i?-1?i=i-1+k?i(t?i-h(i-

16、1,x?i)p?i=pi-1-k?ih?ipi-1+q?i(23)其中:k?i是卡尔曼增益矩阵;p?i是逼近误差方差阵;r?i是量测噪声方差阵;q?i是过程噪声方差阵。全局扩展卡尔曼滤波算法会涉及大型矩阵运算,增加计算负担,因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件局部具有非线性特性,利用扩展卡尔曼滤波算法对其进展调整;网络的后件局部具有线性特性,利用卡尔曼滤波算法对其进展调整,该方法等同于将全局方法简化为一系列解耦方法,可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显,为了简化计算,只对高斯隶属函数的宽度进展调整。前件参数使用如下的扩展卡尔曼滤波算法更新:k?

17、i=p?i-1g?t?ir?i+g?ip?i-1g?t?i?-1?i=i-1+k?i(t?i-i-1?i)p?i=p?i-1-k?ig?ip?i-1+q?i(24)后件参数使用如下的卡尔曼滤波算法更新:k?i=p?i-1?t?ir?i+?ip?i-1?t?i?-1?i=i-1+k?i(t?i-i-1?i)p?i=p?i-1-k?i?ip?i-1+q?i(25)2.3模糊规那么的增加过程在sfnn学习算法中,模糊规那么增加过程如下:a)初始参数分配。当得到第一个观测数据(x?1,t?1)时,此时的网络还没有建立起来,因此这个数据将被选为第一条模糊规那么:?0=x?0,?1=?0,?1=t?1。其

18、中?0是预先设定的常数。b)生长过程。当得到第i个观测数据(x?i,t?i)时,假设在第三层中已存在u个隐含神经元,根据式(4)(7)和(19),分别计算e?i、di,in、gf。假如e?ik?e,di,ink?d,且gf那么增加一个新的隐含神经元。其中k?e、k?d分别在式(5)和(8)中给出。新增加的隐含神经元的中心、宽度和权值赋值为:u+1=x?i,u+1=k?0di,in,u+1=e?i,其中k?0(k?01)是重叠?因子。)参数调整。当增加新神经元后,所有已有神经元的参数通过式(24)(25)描绘的算法调整。3仿真研究时间序列预测在解决许多实际问题中是非常重要的。它在经济预测、信号处

19、理等很多领域都得到了广泛应用。本文采用的时间序列由akey-glass差分延迟方程产生,其方程定义为5x(t+1)=(1-a)x(t)+bx(t-)1+x?10(t-)(27)为了可以与文献5,6在一样的根底上进展比拟,取值?t=p=6,式(27)中的参数选择为:a=0.1,b=0.2,=17。预测模型表示为x(t+6)=fx(t),x(t-6),x(t-12),x(t-18)(28)为了获得时间序列,利用式(27)生成2000个数据,式(27)的初始条件为:x(0)=1.2。为了训练和测试,在t=124和t=?1123之间选择1000个样本作为式(28)的输入/输出样本数据。使用前500个数

20、据对作为训练数据集,后面的500个数据对验证该模型的预测性能。图2显示了sfnn生成的模糊规那么数;图3显示了从t=124到t=623的训练结果;图4显示了sfnn良好的预测性能。表1列出了sfnn与其他算法的比拟结果。表1显示,与ls、rbf-afs算法相比,sfnn具有最少的规那么数、最小的误差和良好的泛化才能,同时具有快速的学习速度。sfnn的快速性就在于:采用无须修剪过程的生长准那么,加速了网络学习过程;利用扩展卡尔曼滤波调整网络的参数,可以缩短网络的学习周期。从上面的分析可以看出,sfnn具有紧凑的构造、快速的学习速度、良好的逼近精度和泛化才能。4完毕语sfnn采用在线学习方法、参数

21、估计和构造辨识同时进展,进步了网络的学习速度。基于该方法生成的模糊神经网络具有紧凑的构造,网络构造不会持续增长,防止了过拟合及过训练现象,确保了系统的泛化才能。参考文献:1huanghuan,ung-xin.apprxiatinapabilitiesfultilayerfuzzyneuralnetrksnthesetffuzzy-valuedfuntinsj.infratinsienes,2022,179(16):2762-2773.2dengxing-sheng,angxin-zhu.inreentallearningfdynaifuzzyneuralnetrksfrauratesysted

22、elingj.fuzzysetsandsystes,2022,160(7):972-987.3韦玉科,汪仁煌,李江平,等.一种新的数据智能化处理算法j.计算机应用研究,2022,25(5):1328-1329.4hensheng,hngxia,lukbl,etal.rthgnal-least-squaresregressin:aunifiedapprahfrdatadelingj.neurpu-?ting,2022,72(10-12):2670-2681.?5hens,anfn,grantp.rthgnalleastsquareslearningalgrithfrradialbasisfuntinnetrksj.ieeetransnneuralnetrks,1991,2(2)