基于最小二乘支持向量机的模糊辨识及其在热工对象逆系统建模中的

1、第30卷第29期2010年10月15日中国电机工程学报Proceedings of the CSEE Vol.30 No.29 Oct.15, 2010?2010 Chi n. Soc.for Elec.E ng. 103(2010) 29-0103-04中图分类号：TK 172文献标志码：A学科分类号：470 20文章 编号：0258-8013基于最小二乘支持向量机的模糊辨识及其在热工对象逆系统建模中的应用 陈红，王广军，王志杰，沈曙光(重庆大学动力工程学院，重庆市 沙坪坝区400044)Fuzzy Ide ntificatio n Based on Least Squares Suppor

2、t Vector Mach ine and Its Applicati on onModeling the Inverse System of Thermal ObjectCHEN Hong, WANG Gua ngjun, WANG Zhijie, SHEN Shugua ng(School of Power Engin eeri ng, Chongqing Uni versity, Shap in gba District, Chongqing 400044, Chi na)ABSTRACT: A fuzzy ide ntificati on method was established

3、based on the least squares support vector mach ine (LSSVM). The fuzzy kernel fun ctio n of LSSVM was gen erated on the base of fuzzy clustering results of learning sample set and it is proved that the fuzzy kernel fun cti on is the Mercer kernel fun cti on, which provides an easy way to con struct t

4、he kernel fun ctio n for LSSV M. In additi on, the fuzzy ide ntificati on model established has improved the gen eralizatio n performa nee through the use of structural risk minimization criterion in the learning process of the consequent parameters of T-S fuzzy model. The established ide ntificatio

5、 n method was used to ide ntify the inv erse model of thermal object and its effective ness was proved.KEY WORDS: least squares support vector machi ne(LSSVM); kernel fun ctio n; T-S fuzzy model ; inv erse model; ide ntificatio n 摘要：建立 1种基于最小二乘支持向量 机(least squares support vector machin，LSSVM)的模糊辨识方法

6、，根据学习样本 集的模糊聚类结果，产生LSSVM的模糊核函数，并证明该模糊核函数是Mercer核函数，为LSSVM提供1种构造核函数的简便方法。此外，由于所建立的模糊 辨识方法在T-S模糊模型的后件参数学习过程中采用结构风险最小化准则，提高 了模型的泛化能力。利用所建立的辨识方法进行热工对象逆系统模型辨识，证明 了该方法的有效性。关键词：最小二乘支持向量机；核函数；T-S模糊模型；逆模型；辨识 控制的核心问题。从逆控制的角度看，逆系统辨识，其本质是在某种优化意义 下，根据给定的系统输出过程，寻求最优的控制输入过程。采用支持向量机(support vector machine SVM)和T-S模

7、糊模型建立热工对象逆系统模型，已有较 好的研究基础1-2。SVM通过结构风险最小化原理提高模型的泛化能力，并较好地解决了高维数、局 部极小点等实际问题3。Suykens等4-6在标准SVM的基础上提出了最小二乘支 持向量机(least squares support vector machin，LSSVM)，并解决了标准 SVM 中存 在的鲁棒性、稀疏性和大规模运算问题，近年来受到了广泛关注7。核函数及其参数的选择对于SVM和LSSVM的学习性能和泛化能力有显著的影响。如何选 择合适的核函数，是1个需要继续研究的问题8。Takagi和Sugeno建立的T-S模糊模型以局部线性化为基础，通过模糊

8、推理实现 全局的非线性，具有结构简单，逼近能力强等特点，已成功用于复杂对象模型辨 识9-11。由于T-S模糊模型采用传统的经验风险最小化准则辨识模型结论参 数，导致所建立的T-S模糊模型难以具有良好的泛化能力7,11。本文通过LSSVM与模糊系统的融合，建立了 1种基于LSSVM的T-S模糊模型 辨识方法，通过T-S模型的前件辨识，构造LSSVM的模糊核函数，并证明了该 模糊核函数是Mercer核，较好地解决了 LSSVM核函数的确定问题；采用结构风 险最小化准则确定T-S模型的后件参数，提高了模型的泛化能力；将所建立的辨 识方法用于热工对象逆系统模0引言热工对象逆系统模型辨识是实现热工过程逆

9、 基金项目：国家自然科学基金项目(50776103)。Project Supported by Natio nal Natural Scie nee Foun dation of Chi na (50776103)104中国电机工程学报第30卷型辨识，取得了良好的结果。1基于LSSVM的模糊辨识方法1.1 T-S模糊模型结构辨识T-S模糊模型的第m条模糊规则Rm,即Rm:ifxism, m(x)theny?TqTm=pmx+m= m1, ,x m=1,2,c (1)式中：y?m为模糊规则的输出；c为模糊规则数，即样本空间的模糊聚类数；x Rn,为T-S模糊模型的输入向量；m Rn，为第m个聚类

10、子空间的中心向量；pi(x) 0,1，为输入向 量x对于模糊规则RTm的隶属度；0 m=qm,pmj为待辨识的结论参数；pnm R； qm R。T-S模糊模型的输出y ?按下式估算：？ccy=ETm(x)y?m=刀卩 m(x)(pmx+qm) (2) m=1m=1给定数据样本集xj,yj,j=1,2,N，输入xj Rn，输出yj R,通过结构辨识对输入向量空间进行模糊聚类，确定聚类中 心向量m和隶属度pm(xj)。本文采用模糊c-匀值算法12(fuzzy c-means FCM)对样本空间进行模糊聚类。聚类目 标函数及约束条件为? Nc? minJ(展gmj),m= 刀刀卩 m(xj)m?xj

11、=1m=1?c?s.t.刀卩m(xj)=1m=中g (1, 9为模糊因子，其大小反映了聚类的模糊”程度，一般可取g=2。采用密度函数法13确定聚类中心m的初始 值，通过迭代优化对样本空间进行模 糊聚类。迭代过程中，按下式对 m和pm(xj)进行更新：pm(xj)=1刀(xj-m/x2j-k)1/(g-1)k=1N=刀ugNmm(xj)xj/ 刀卩 m(xj)g j=1j=1记隶属度矩阵U=ym(xj)c N，第k次迭代对应 的隶属度矩阵为U(k)，若满足:U(k+1)-U(k) 类迭代过程停止。其中，氏(0,1)。聚1.2基于LSSVM的T-S模糊模型T-S模糊模型辨识的关键在于确定一组最优的

12、后件参数9Tm=qm,pm。为了有效提高T-S模糊模型的泛化能力，本文在进行模型后件参数辨识时引入LSSVM方法，根据结构风险最小化原理，通过综合考虑模型的学习能力和对特定样本的学习精度，确定前述的后件参数9mo参照LSSVM及结构风险最小化原则，建立与 T-S模型后件参数辨识对应的 优化问题：? minJ( 0 1cT1N2m, E j)=2 刀 pmpm+2丫刀三 j,?m=1j=1? j=1,2,N？c? s.t.y= 刀卩(x)(pTjmjmxj+qm)+ EjJ? m=1?j=1,2,N式中：丫为正则参数；E为损失函数的松弛因子。与该优化问题对应的Lagra nge函数为L( 0 m

13、, a j, E j)=J( 0 m, E j)-Enacj Eu m(xj)( pTmxj+qm)+ E j-yj j=1m=1式中 a j第为Lagrange乘子。根据 KKT(Karush-Kuhn-Tucker)条件3，Lagra nge 函数应满足：？L?p=0?L=0?L=0; m?qmEj?L?a =0 j从而有下列关系：?N? pm=Ea j 卩 m(xj)xj?j=1? N? Ea j 卩 m(xj)=0? a j=1(8) j= Y?j EcpTm(xj)(pmxj+qm)+ ? j-yj=0m=1式(8)中消去pm和?,经整理后得到? N? Ea j p m(x?)=01

14、(9) ? EcN p T?jm(xj)( Ea j p m(xj)xjxj+qm)+m=1j=1 丫 =yj从而，可将前述的优化问题转化为求解下列线性方程组问题：? 0U? ? U?+ Y Y ? q? ? T-1 ? ? ?a?=?O?y? (10)式中：0=0, 0, ,0T ; I=1, 1, ,1T ;q=q1,q2,qTc; a = a 1, a 2, ; a?=N|?ijN XN；?ij= E p m(xi) p m(xTj)xixjy=m=1第29期陈红等：基于最小二乘支持向量机的模糊辨识及其在热工对象逆系统建 模中的应用105y1,y2,yNT。由式和式(8)得：cy? p?

15、 N=Ep?m(x)? Ea jm(xj)xTjx+qr? m=1? j=1? (11)?由式(10)获得q和a后，对于给定的x，利用式(11)获得T-S模糊模型的输出y?。2模糊核函数及LSSVM核函数的构造由式(11)有Nccy?=Ea j刀卩 m(xj)卩 m(x)xTjx+ 刀卩 m(x)qm(12)j=1m=1m=1令：ck(xj,x)= 刀卩 m(xj)卩 m(x)xTjx (13)m=1cb=刀卩 m(x)qm (14)m=1则式(11)可以写为Ny?=Ea jk(xj,x)+b (15) j=称式(13)中的 k(? ,?)为基于 LSSVM 的 T-S 模型的模糊核函数。式(

16、13)与LSSVM模型具有相同的结构，只要该模糊核函数满足Mercer条件前述的基于LSSVM的T-S模糊模型就是1类选择模糊核函数k(? ,?)为核函数的LSSVM模型。下文将证明，模糊核函数k(?,?)为Mercer核，即k(? , ?)为满足Mercer条件的对称函数。 定理1定义在RnXRn的对称函数k(x, x )是Mercer核的充要条件是，对任意的x1,x2, xnN R，k(x, x 关于 x1,x2,xN 的 Gram矩阵是半正定的14。引理1式(13)中所定义的模糊核函数k(? ,?)是Mercer核函数。证明由式(13)可知k(x,x )=k(x，即模糊核函数k(? ,?

17、)为对称函数。其次，对任意的c1,c2,cN R,有:NNccicj m(xi) m(xj)xTixj=i, 刀 cicjk(xi,xj)=j=1i,刀j=1刀 m=lENcccicji,j=1mEy m(xi)xiT=1m刀卩 m(xj)xj=1NcTNcEE ci 卩 m(xi)xi EE cj 卩 m(xj)xj=i=1m=1j=1m=1EE Nc2ci m(xi)xi 0 (16)i=1m=1即k(x,x的)Gram矩阵K是半正定阵。其中K=Ki,jNN=k(xi,xj)NN,故式(13)所定义的模糊核函数是Mercer核。将式(15)与LSSVM模型进行比较，并结合本文给出的引理1,

18、不难发现，本文建立的基于LSSVM的T-S模糊模型是一类选择了特殊核函数的LSSVM模型，该LSSVM模型的核函数k(xj,x)和偏移量b与学习样本集的模糊聚类结果密切相关，分别由式(13)和式(14)确定。3热工对象逆系统建模仿真试验对煤气炉系统、锅炉过热器系统进行了逆模型辨识仿真试验。对于本文的辨识对象，根据数值试验结果取模糊规则数c=3,模糊因子g=2。煤气炉系统逆模型辨识选用文献15的实验数据。该实验数据包括296组测量 值，系统实际输入量是煤气流量u(k)，输出y(k)是炉膛出口 C02的百分含量。逆模型的输入向量取x(k)=y(k+1),y(k),y(k-1),u(k-1)(17)

19、逆模型的输出为u(k)。以前100组实验数据为学习样本进行逆模型辨识，后196组数据作为测试样本。系统逆模型辨识结果如图1所示。21)k(u0-1-2-3k图1煤气炉系统逆模型辨识结果Fig. 1 Ide ntificati on result of the in verse model of gas furn ace system在进行锅炉过热器系统逆模型辨识仿真试验时，过热器系统的传递函数模型取9为G(s)=-1.04(1+18 )s(1+18.4 )s (18)该模型的输入u(k)为减温器喷水流量的变化，kg/s；输出y(k)为主蒸汽温度的变化，C。假定u(k)按下式规律变化：u(t)=

20、1.5sin(n t/400)+cos( n t/5采样(1间取 5 s,由式(18)和式(19)获得 600组样本。以前100组为学习样本进行逆模型辨识，后500组数据作为测试样本。逆模型的输入向量同式(17)，逆模型的输出为采样时刻 k(k=1,2,600)106中国电机工程学报第30卷喷水流量变化的估计值u。系统逆模型辨识结果如图2所示。作为对比，在图2 中还给出了常规T-S模糊模型得到的辨识结果。43实际输入模型2)s/g1k(/u0-1-2-30500 1 000 1 500 2 000 2 500 3 000t/s图2过热汽温系统逆模型辨识结果Fig. 2 Ide ntificat

21、i on result of the in verse model of superheat steam temperature system由图1可以看出，对于训练样本之外的测试样本，本文模型表现出了良好的辨识 精度；由图2可见，由于常规的T-S模糊模型在后件参数辨识时采用经验风险最 小化准则，对于训练样本之外的输入向量，可能产生明显的误差，而本文的辨识 方法在学习过程中采用了结构风险最小化准则，明显提高了模型的泛化能力。3结论本文建立的基于最小二乘支持向量机的模糊辨识方法，可以直接根据T-S模糊模型的前件辨识结果，构造LSSVM的核函数；同时，由于该辨识方法采用结构风 险最小化准则确定T-

22、S模糊模型的后件参数，提高了模型的泛化能力。利用所建 立的辨识方法进行热工对象逆系统模型辨识，证明了该方法的有效性。参考文献I 沈曙光，王广军，陈红最小支持向量机在系统逆动力学辨识与控制中的应用J.中国电机工程学报，2008，28(5): 85-89. Shen Shuguang Wang Guangjun, Chen Hong. Application of RLS-SVM in identification and control for in verse dyn amics of systemProceed ings of the CSEE 2008，28(5): 85-89(in Ch

23、in ese). 2王广军，邓良才，陈红.锅炉汽温对象逆动力学过程模糊辨识J.中国电机工程学报，2007，27(20): 76-80.Wang Guangjun, Deng Liangcai， Chen Hong. Fuzzy identification on inverse dynamic process of steam temperature object of boile J Proceedings of the CSEE 2007， 27(20)： 76-80(in Chinese). 3 Vapnik V . The nature of statistical learning

24、theoryM . New York :Sprin ger-Verlag， 1999: 123-180.4 Suykens J A K，Vandewalle J. Least squares support vector machine classifiersJ. Neural Network Letters， 1999，9(3): 293-300. 5 Suykens J A K， Vandewalle J. Recurrent least squares support vectormachinesJ. IEEE Transactions on Circuits and Systems-，

25、2000，47(7)： 11091114.6 Suykens J A K. Support vector machines a nonlinear modeling and control perspective. European Journal of Contro，2001， 7(2-3): 311-327.7 李益国，沈炯.基于V-支持向量回归的T-S模糊模型辨识J.中 国电机工程学报，2006，26(18): 148-153.Li Yiguo , Shen Jiong. T-S fuzzy modeling based on v-support vector regression ma

26、chineJ. Proceedings of the CSEE 2006, 26(18): 148-153(in Chinese).8 Vladimir Cherkassky , Yunqian Ma. Practical selection of SVM parameters and noise estimation for SVM regressionJ Neural Networks, 2004, 17(1): 113-126.9 邓良才，王广军，陈红.锅炉汽温对象的在线模糊辨识J.中国电机工程学报，2006, 26(18): 111-115.Deng Liangcai, Wang Gu

27、angjun, Chen Hong. On-line fuzzy identification of the steam temperature object of boiler J Proceedings of the CSEE 2006, 26(18): 111-115(in Chinese). 10 Santos C L, Herrera B M. Fuzzy identification based on a chaoticparticle swarm optimizati on approach applied to a non li near Yo-yo moti on systemJ. IEEE Tran sactio ns on In dustrial Electro nics 2007, 54(6): 3234-3245. 11 Leski J M . TSK-Fuzzy modelin