（热能工程专业论文）基于基因表达式编程技术的非线性系统辨识研究.pdf

华北电力大学博士学位论文捅要随着科学技术的发展，现代工业过程变得越来越复杂，了解复杂对象的详细行为特征也越来越困难。基于观测数据通过系统辨识方法获取的对象数学模型，是人们对系统分析及控制的基础。近几十年来系统辨识方法已成为复杂非线性系统研究的重要手段，在各工程领域都得到广泛应用，然而，由于实际对象的复杂性，现有的辨识方法还存在着难以克服的困难，还有进一步研究的必要。基因表达式编程( g e p ) 技术是近几年来发展起来的全局优化搜索技术，其超强的搜索能力和极高的进化效率，使它迅速在许多领域里得到了应用。本文利用g e p技术，以模型的可解释性、简单实用性和辨识智能化为研究目标，研究了非线性模型辨识的进化方法，其主要内容可概括如下：1 给出了利用g e p 进行系统辨识的基本思想和实现框架，结合遗传算法、模拟退火算法和粒子群优化算法，提出了一种从g e p 表达式中进行常量提取和常量优化的方法，进行了静态非线性系统和时问序列预测模型辨识的研究，通过实验验证了算法的稳定性和优越性。2 分析了进化算法对动态系统进行建模的不足，提出了一种独特的动态项生成方案，引入可变终止符集概念，可以自由地生成动态系统所需的动态项。通过仿真实验验证了可变终止符集具有较高的性能。3 根据n a r m a x 模型和g e p 多基因染色体的特点，提出了利用g e p 进行各类n a r m a x 模型的系统辨识方法，给出了更加有效的模型描述方式，简化了染色体到模型的映射机制。4 提出了g e p 算法进行h a m m e r s t e i n 模型辨识的方案，通过加入一些超越函数，扩展了h a m m e r s t e i n 模型非线性部分的函数形式，有效地降低了模型非线性部分的项数。5 分析了现有系统建模中多目标方案的不足，提出了更加有效的综合精度和复杂度指标的多目标优化方案，并以多项式n a r m a x 模型的辨识算法为例，给出了具体的实现过程。定义了精度阈值和复杂度指标上限值，通过自调整方式，将进化种群中的有效解控制在预定义的范围内。克服了原有多目标优化算法有效解过多、容易使进化早熟的缺点，最终得到一组复杂度和精确度取得很好平衡的模型。关键词：非线性系统辨识，多目标优化，n a r m a x 模型，基因表达式编程，遗传算法华，l 匕电力大学l 尊士学位论文a b s t r a c tw i t ht h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y ，m o d e r ni n d u s t r i a lp r o c e s s e sb e c o m em o r ec o m p l e x ，a n dd e t a i l e du n d e r s t a n d i n go fc o m p l e xo b j e c tc h a r a c t e r i s t i c sa l s ob e c o m e si n c r e a s i n g l yd i f f i c u l t t h eo b j e c tm o d e lo b t a i n e dt h r o u g hs y s t e mi d e n t i f i c a t i o ni st h eb a s i so fi t sa n a l y s i sa n dc o n t r 0 1 i nr e c e n td e c a d e s ，s y s t e mi d e n t i f i c a t i o nm e t h o d sh a v eb e c o m ei m p o r t a n tt o o l so fs t u d y i n gc o m p l i c a t e dn o n l i n e a rs y s t e m s ，a n da r ew i d e l yu s e di nv a r i o u sa r e a so fe n g i n e e r i n g h o w e v e r ，b e c a u s eo ft h ec o m p l e x i t yo fa c t u a lo b j e c t s ，s o m ed i f f i c u l t i e ss t i l le x i s ti nt h ee x i s t i n gi d e n t i f i c a t i o nm e t h o d s ，a n dt h e r e f o r ef u r t h e rr e s e a r c hi sn e c e s s a r y g e n ee x p r e s s i o np r o g r a m m i n g ( g e p ) i sag l o b a lo p t i m i z a t i o ns e a r c ht e c h n o l o g yd e v e l o p e di nt h ep a s tf e wy e a r s ，a n dh a sb e e na p p l i e di nm a n ya r e a sb e c a u s eo fi t sp o w e r f u ls e a r c hc a p a b i l i t i e sa n dh i g he v o l u t i o ne f f i c i e n c y i nt h i sp a p e r ，e v o l u t i o n a r yn o n l i n e a ri d e n t i f i c a t i o nm e t h o d sb a s e do ng e pa r es t u d i e d ，a n dm o d e l s i n t e r p r e t a b i l i t y ，s i m p l ep r a c t i c a l i t ya n di n t e l l i g e n ti d e n t i f i c a t i o np r o g r e s sa r et a r g e t sf o rr e s e a r c h t h em a i nc o n t e n tc a nb es u m m a r i z e da sf o l l o w s 1 t h eb a s i ci d e aa n dt h er e a l i z i n gf r a m e w o r ko fs y s t e mi d e n t i f i c a t i o nu s i n gg e pi sg i v e n ，a n dt h em i x e dg e pa l g o r i t h mi sa l s op r e s e n t e d c o m b i n i n gg e n e t i ca l g o r i t h m ，s i m u l a t e da n n e a l i n ga n dp s oa l g o r i t h m ，am e t h o do fc o n s t a n te x t r a c t i o na n dc o n s t a n to p t i m i z a t i o nf r o mg e pe x p r e s s i o ni sp r o p o s e d t h em i x e dg e pi d e n t i f i c a t i o na l g o r i t h mf o rs t a t i cn o n l i n e a rs y s t e m sa n dt i m es e r i e sp r e d i c t i o nm o d e li sa l s os t u d i e d t h ee x p e r i m e n tr e s u l t si l l u s t r a t e dt h es t a b i l i t ya n ds u p e r i o r i t yo ft h ep r o p o s e da l g o r i t h m 2 t h ed r a w b a c k so ft h er e p r e s e n t a t i o no fd y n a m i cs y s t e mm o d e l i n gu s i n ge v o lu t i o n a r ya l g o r i t h ma r ea n a l y z e d ，a n da ne s p e c i a lm e t h o do fd y n a m i ci t e m sg e n e r a t i o ni sp r o p o s e d t h r o u g hi n t r o d u c t i o no fv a r i a b l et e r m i n a l ss e t ，t h ea l g o r i t h mc a ng e n e r a t ef r e e l yt h en e c e s s a r yd y n a m i ci t e m so fd y n a m i cs y s t e m t h es i m u l a t i o ne x p e r i m e n t si l l u s t r a t e dt h a tt h ev a r i a b l et e r m i n a l ss e th a sah i g h e rp e r f o r m a n c e 3 b a s e do nt h ec h a r a c t e r i s t i c so fn a r m a xm o d e la n dt h em u l t i g e n ec h r o m o s o m eo fg e p ，an a r m a xm o d e li d e n t i f i c a t i o na l g o r i t h mi sp r o p o s e d t h ea l g o r i t h mc a ng i v eam o r er e a s o n a b l ed e s c r i p t i o no ft h em o d e l ，a n ds i m p l i f yt h em a p p i n gm e c h a n i s mb e t w e e nm o d e l sa n dc h r o m o s o m e s 4 t h ec o d i n gs c h e m e sa b o u th a m m e r s t e i nm o d e lu s i n gg e pi sg i v e n a d d i n gs o m et r a n s c e n d e n t a lf u n c t i o n si nt h et e r m i n a l ss e t ，t h ea l g o r i t h me x p a n d st h ef u n c t i o ne x p r e s s i o no ft h eh a m m e r s t e i nm o d e l sn o n l i n e a rp a r t ，a n dc a ne f f e c t i v e l yr e d u c et h en 1 n u m b e ro ft h en o n l i n e a ri t e r n s 5 t h ed e f i c i e n c yo ft h ee x i s t i n gm u l t i o b j e c t i v es y s t e mm o d e l i n ga l g o r i t h mi sa n a l y z e d ，a n dam o r er e a s o n a b l em u l t i o b j e c t i v ee v o l u t i o n a r ya l g o r i t h mi sp r o p o s e d a n da ni m p l e m e n t a t i o np r o c e s sa b o u tp o l y n o m i a ln a r m a xm o d e li d e n t i f i c a t i o ni sg i v e ni nd e t a i l b yd e f i n i n gt h et h r e s h o l do fa c c u r a c ya n dt h eu p p e r 1 i m i tv a l u eo fc o m p l e x i t vi n d e x ，t h i sa l g o r i t h mc a na u t o m a t i c a l l ym a i n t a i nt h en u m b e ro fe f f e c t i v es o l u t i o n so ft h ee v o l u t i o np o p u l a t i o ni na ne f f e c t i v er a n g et h r o u g ha na u t o m a t i ca a i u s t m e n t ，a n do v e r c o m et h ed e f i c i e n c yo fe a r l yc o n v e r g e n c eo ft h eo r i g i n a lm u l t i o b ie c t i v eo p t i m i z a t i o na l g o r i t h mb e c a u s eo ft h es u p e r a b u n d a n te f f e c t i v es o l u t i o n s t h ef a c t o r so fm o d e l s7a c c u r a c ya n dc o m p l e x i t ya r et a k e ni n t oa c c o u n t ，a n dt h ea l g o r i t h mc a nm a k et h ef i n a ls o l u t i o n sa c h i e v eat r a d e - o f fb e t w e e nt h ea c c u r a c ya n dt h ec o m p l e x i t v k e yw o r d s ：n o n l i n e a rs y s t e mi d e n t i f i c a t i o n ，m u l t i o b j e c t i v eo p t i m i z a t i o n ，n a r m a xm o d e l ，g e n ee x p r e s s i o np r o g r a m m i n g ，g e n e t i ca l g o r i t h m1 v 声明尸明本人郑重声明：此处所提交的博士学位论文基于基因表达式编程技术的非线性系统辨识研究，是本人在华北电力大学攻读博士学位期间，在导师指导下，独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。签名：关于学位论文使用授权的说明本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学位论文的全部或部分内容。( 涉密的学位论文在解密后遵守此规定)作者签名：盐澎e t期：2 衄j ( ：芏：纱导师签名：日期：华北电力大学博士学位论文1 1 引言第一章绪论要使系统能够更加安全和经济地运行，了解对象的详细行为特征是十分必要的，而对对象进行行为分析的前提条件就是获取对象的模型，它是用来描述过程的运动规律，是分析过程和预报、控制过程行为特性的有利工具【。模型有多种表现形式，用数学结构的形式反映实际过程的行为特征的数学模型是最常用的形式之一。但多数情况下，对象的数学模型是未知的，所以，在分析对象的行为特征之前，必须建立对象的数学模型。建模方法可以分为两种：机理分析法和测试法。机理分析法就是通过分析过程的运动规律，运用已知的定律、定理和原理来建立过程的数学模型，也称作理论建模。测试法就是利用输入输出数据所提供的信息来建立过程的数学模型，也称辨识，因为过程的动态特性必然表现在这些输入输出数据之中。将两种方法结合的建模方法则称为“灰箱”建模方法。对于简单的系统，使用机理分析的方法可以获取系统的数学模型，而对于很多包含了复杂的物理和化学过程的实际系统，通过机理分析不但耗时，而且还不准确。一般需要凭借该系统的先验知识，假定其数学模型的结构，而模型的合理性和精确性与假设的模型结构的合理性有直接的联系。对于缺乏先验知识的系统，首先确定其模型结构是非常困难的，即使在许多假设条件下建立起了数学模型，其推广性和实用性却很差。对于复杂的缺乏先验知识的系统，比较通常的做法就是根据系统的输入输出数据来建立数学模型，即通过系统辨识方法。系统辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的系统。数据是辨识的基础，等价准则是辨识的优化目标，模型类是寻找模型的范围。实际上寻找与系统完全等价的模型是比较困难的，因此辨识还可以描述为按照一个准则从一组模型类中选择一个与数据拟合的最好的模型【。系统辨识按照其辨识对象的性质可分为线性系统和非线性系统辨识。线性系统辨识理论已经趋于成熟，但是一般的线性模型只是实际系统非线性特性被忽略或者是在特定条件下对某些系统行为的简单近似。由于非线性系统的复杂性，非线性系统辨识一直是国内外学者研究的热点，还有需多亟待解决的问题【铂。随着科学技术的迅猛发展，系统变得越来越复杂，人们对系统分析及控制的要求越来越高，用线性模型模拟系统的行为与实际系统甚至存在较大的误差，显然已第一章绪论经不能满足需要，所以研究非线性系统辨识算法有着很重要的实际意义。1 2 非线性系统辨识算法概述对于非线性系统的辨识问题，人们最早涉及的是某些特殊类型的非线性系统，如双线性系统模型、h a m m e r s t e i n 模型、w i e n e r 模型、非线性时间序列模型、输出仿射( o u t p u ta f f i n e ) 模型等i 引。针对每一类特殊模型，国内外许多学者都做了大量的工作，提出了不少辨识算法，同时也对这些算法的估计一致性问题进行了讨论【3 1 。这些模型只能正确描述一部分非线性系统，不能给出具有普遍意义的非线性系统模型描述。后来人们又提出了一些更为一般的普适性非线性模型的辨识方法，下面分别给予描述。1 2 1v o l t e r r a 泛函级数v o l t e r r a 泛函级数是1 8 8 0 年由意大利数学家v o l t e r r a 作为t a y l o r 级数的推广提出来的1 3 1 。其连续时间非线性动态系统的v o l t e r r a 级数1 4 l 可表示为：) ，o ) 2 荟y to )( )其中y 。o ) = h k p 。，吒) 兀k “o - - - c i 矽t ( 1 - 2 )式中纸瓴i p , ) q f f k ) 称为连续系统的v o l t e r r a 核。相应的离散时间动态系统的v o l t e r r a级数为：y ( _ ，1 ) 一y 。( 甩) ，l o ，1 ，2 ( 1 - 3 )七- 7其中y k 2 荟碱聃o _ ) 吖”)( 1 - 4 )理论上讲，v o l t e r r a 级数为一大类非线性系统提供了一种非常明确的模型描述，v o l t e r r a 核具有鲜明的物理意义，对非线性系统理论、函数逼近、辨识方法的发展有着非常重要的促进作用1 4 1 。但是，v o l t e r r a 核的测量或辨识并不是一件容易的事情，因为从模型辨识的角度看，v o l t e r r a 级数有一个明显的缺点，也就是需要估计相当多的参数才能取得满意的精度。例如当用v o l t e r r a 级数去逼近一个二阶非线性系统需要1 0 1 0 个参数1 4 1 ，对于高维系统来讲则会出现维数灾难 问题。基于v o l t e r r a级数模型研究的非线性系统，一般都假定对象为弱非线性情形，即假定研究对象可华北电力人学博士学位论文可由前两阶或三阶v o l t e r r a 核进行近似，这就大大限制了v o l t e r r a 级数模型的实际应用范围。+1 2 2n a r m a x 模型带外生变量的非线性自回归滑动平均( n o n l i n e a ra u t o r e g r e s s i v em o v i n ga v e r a g ew i t he x o g e n o u si n p u t s ，n a r m a x ) 模型是由l e o n t a r i t i s 和b i l l i n g s 在1 9 8 2 年提出的f 5 】，他们是类比于线性时间序列的带外生变量的自回归滑动平均( a r m a x )模型而得出的。最初的n a r m a x 模型是多项式形式的，关于参数线性，故也称为非线性a r m a x 模型。这类模型在实际应用中得到了广泛的关注，应用效果十分明显，在给定模型结构时，辨识问题简化为一个最小二乘参数估计问题。b i l l i n g s 等人在1 9 8 9 年i 扣7 】基于n e r o d e 的有限实现理论及泰勒定理证明了n a r m a x 模型存在一般性及普适性，并且指出以前研究的几乎所有非线性系统参数模型如双线性系统模型、h a m m e r s t e i n 模型、w i e n e r 模型、非线性时间序列模型、输出仿射模型等都是此类模型的特殊形式。这为使用n a r m a x 模型拟合未知非线性系统提供了理论依据。n a r m a x 模型的一般表述形式为：y ( k ) = f ( y ( k 一1 ) ，y ( 七一，l ，) ，“( 七一1 ) ，“( 七一，l 。) ，p ( 七一1 l ，e ( k i i e ) ) + e ( 尼) ( 1 5 )这里f ( ) 为非线性函数，“ ) ，y ) 为系统输入输出，p 似) 为随机噪声，以，仡，刀。为相应的最大延迟。这种模型为随机n a r m a x 模型。模型( 1 5 ) 的一个特例称为带外生变量的非线性自回归( n a r x ) 模型，可由下式表述：y ( k ) = e ( y ( k 一1 ) ，y ( k 一咒，) ，“( 七一1 ) ，u ( k 一以。”+ p ( 七)( 1 - 6 )由于噪声项的不可测量性，这种模型更常用。上两式是表述有限维输入输出非线性系统的最一般形式，要应用于实际，必须对之参数化。n a r m a x 模型的缺点是模型的精度和泛化能力依赖于模型结构的准确性。要想很好地使用n a r m a x 模型分析问题，必须获取具有正确结构和参数的模型。对于结构最简单的多项式n a r m a x 模型的辨识，当模型输入和输出的最大延迟和多项式阶次已知，且所有可能的模型项数目不大时，可以采用正交最小二乘算法计算各项的误差减小率( e r r o rr e d u c t i o nr a t i o ，e r r ) ，然后根据e r r 值选择合适的项1 7 】。反之，如果系统缺乏先验信息，则待选择的模型项数目就非常巨大，从大量的模型中确认合适的结构是非常困难的。一种方法是根据某种选项规则如e r r 准则或其它改进的e r r 准则l b 引，从所有可能的模型项中逐步选入合适的模型项( 即每次引入计算的模型项数目是一个较小的值) ，可实现边选择边剔除不重要的模型项。由于不要求保存全模型的巨大参数回归矩阵，部分地克服了由模型项数组合爆第一章绪论炸所带来的实际存储困难。但是这种算法的不足是最终模型的确定，很大程度上依赖于模型项选入的顺序，不同的顺序将导致不同的结果，不能保证模型结构的正确辨识，而且还会产生冗余项【8 枷j 。扩展的n a r m a x 模型和有理分式类n a r m a x 模型是n a r m a x 模型的另两个子集，由于其结构更加复杂，要想准确地辨识，其难度比多项式类n a r m a x 模型更大。往往都需要事先假定好模型的结构，然后对模型中的参数进行优化。总之，基于n a r m a x 模型的辨识方法，一般要求被辨识对象有着充足的先验信息，或者采用某种计算复杂的模型结构搜索方法，实际应用比较困难。因此有必要寻找更加简单有效的n a r m a x 模型辨识方法。1 2 3 人工神经网络人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n ) 具有逼近任意非线性函数的能力，随着大规模集成电路的发展和计算机技术的革命，复杂耗时的计算问题已不再是主要的障碍，因此人工神经网络在上世纪8 0 年代之后获得了长足发展，并且已被有效的用于非线性系统的辨识和控锘l j 4 , 1 6 j 。神经网络在非线性系统辨识领域的应用主要分为两类：多层( m u l t i 1 a y e r ) 神经网络用于静态非线性系统的辨识，递归( r e c u r r e n t ) 神经网络用于动态非线性模型的辨识【4 1 。特有的学习能力使其能适应系统或环境的变化，并行计算特点，使其有潜力快速实现大量复杂的运算，分布式信息存储与处理结构，使其具有容错性，多输入多输出结构可方便地进行多变量系统的辨识与控制i l 引。当然神经网络也具有一些不足，如训练算法、网络类型和结构都需要事先指定，它们的选择过于依赖先验知识和设计者经验。不能避免结构选择的问题，不好的结构往往会导致建模失败，网络最终的权值受初值影响较大，学习时间长，且在训练过程中，容易陷入局部极值，学习结果泛化能力不强，不能提供简洁优美的模型表示和显式的知识表达等。1 2 4 模糊逻辑由于模糊逻辑系统可以在任意精度上一致逼近任何定义在一个致密集上的非线性函数，所以模糊逻辑理论在非线性系统辨识领域也得到了广泛的应用 1 7 2 2 j 。有两大类模糊模型1 2 3 l ：p e d r y c z 于1 9 8 4 年提出的模糊关系模型和t a k a g i 与s u g e n o 在1 9 8 5 年提出的t s 模糊模型。两者区别在于模糊规则后件的不同，前者后件为模糊命题，为语义模型，后者后件为明确的函数。对于模糊辨识来讲，由于t s 模糊模型是以局部线性化为基础，通过模糊推理方法实现了全局的非线性，具有结构简单，逼近能力强等特点，已成为模糊辨识中华北电力人学博士学位论文最常用的模型。其主要思想是把输入空间划分成若干个模糊子空间，在每个模糊子空间里建立关于输入一输出的简单线性关系模型。由于其结论部分采用线性方程式来描述，因而便于采用传统的控制策略、设计相关的控制器和对控制系统进行分析。基于t s 模糊模型的辨识算法，总的来说，大都只利用了模糊系统的函数逼近能力，而很少注意模型的质量。实际应用中，除了要求模型的精度外，还需要考虑模型的可解释性、计算复杂度和可操作性。1 2 5 支持向量机基于统计学习理论的支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是一种新兴的通用机器学习工具，是专门针对有限样本来设计的，其目标不仅是得到样本趋于无穷大时的最优解，而且是得到现有信息下的最优解。算法最终将转化为一个二次规划问题，理论上可以得到全局最优点【2 引，解决了神经网络无法避免的局部极值问题。s v m 算法具有强大的非线性逼近功能，可通过控制模型的复杂度来提高模型的泛化能力，其训练算法可自动确定模型的结构和参数。采用结构风险最小化目标函数，有效避免了过拟合现象，可获得良好的泛化能力。s v m 中不敏感系数、惩罚系数和核函数类型的选择，对模型的精度和训练时间有较大的影响，若这些参数设置不当，可能导致训练时间过长和出现过拟合现象【l 。另外，s v m 所得到模型不能提供明确的数学表达式，模型中的参数没有任何实际物理意义，不能对控制系统进行稳定性分析和洞察系统的动态特性。所以s v m 更适合作为一种数据拟合工具。1 2 6 遗传算法遗传算法( g e n e t i ca l g o r i t h m ，g a ) 是美国h o l l a n d 教授及其同事于上世纪6 0 年代提出的，是一种基于d a r w i n 进化论和m e n d e l 的遗传学说的优化搜索方法。遗传算法在计算机上模拟自然界中物竞天择、适者生存的生物进化过程，不需要对象的特定知识，也不需要对象的搜索空间是连续可微的，具有全局寻优的能力。遗传算法还具有并行计算的特点，不宜陷入局部最优，能够快速有效的搜索复杂、高非线性和多维空间，为非线性系统辨识的研究与应用开辟了一条新的途径。最早的遗传算法称为标准遗传算法，在许多情况下也不十分有效，容易产生早熟和局部能力差的问题1 2 5 1 ，后来的研究者通过改进编码、修改遗传算子、改进选择机制以及混合其它算法对其进行了改进和扩展，使得遗传算法能够得到更加广泛的应用。而且有些改进和扩展己经和标准遗传算法在实现，功能，及主要应用范围等方面都发生了重大变化，人们也把这些算法看成一种新的算法来进行研究。最典型的代表是k o z a 的遗传编程( g e n e t i cp r o g r a m m i n g ，g p ) 3 5 - 3 7 j 和c a n d i d a 的基因表第一章绪论达式编程( g e n ee x p r e s s i o np r o g r a m m i n g ，g e p ) 1 3 8 4 0 1 。遗传算法以及改进的遗传算法已经成功应用到某些线性模型和非线性模型，静态模型和动态模型的系统辨识中【2 “3 4 1 。虽然应用方式略有不同，但其核心均是进行模型的参数估计，而对于模型的结构则都是假定己知或在有限的几个结构中进行比较，选择最好的结构。遗传算法在参数辨识领域有着非常突出的优点，但其却没有解决结构辨识的问题。遗传算法在系统辨识中的应用与其它方法有着一个根本的区别，即遗传算法不拘泥于模型的描述方法，只要具有参数的模型，一般来讲都可以用遗传算法进行参数估计。如前面描述的v o l t e r r a 级数、n a r m a x 模型、入工神经网络、模糊模型、支持向量机以及其它的具有参数的线性或非线性系统模型都可以用遗传算法进行参数估计。遗传编程又称遗传规划，是k o z a 教授于1 9 8 9 年提出的1 3 5 j ，是在遗传算法的基础上发展起来的，从某种意义上讲是遗传算法的一个子集。遗传编程是通过自动生成计算机程序来解决问题的，其群体中的个体是一个独立的程序，并不是基本遗传算法中的线性符号串。这里的程序有着广泛的含义，可以指数学公式、决策树、控制策略问题等。由于g p 的群体是由基于大小和复杂度动态可变的解析树组成的，可以更加自然和灵活的表达问题，具有搜索各种结构和解的能力。g p 中个体的树结构可以在进化过程中动态调整和不断进化，所以在非线性建模方面有着巨大的潜力。通常的辨识方法都是首先假定模型的结构，然后在所有可能的模型结构中逐个比较，从中选择最优的结构。而运用g p 辨识不需对模型的结构做任何假设，g p 将会自动寻找合适的模型结构，将结构选择问题转化为结构优化问题。使用g p 进行系统辨识，可以同时考虑多个目标，如模型的拟合精度、模型的复杂度指标，这比单独采用神经网络和支持向量机要优越得多。使用g p 可以同时优化结构和参数，不过当模型参数非最优的时候，好的结构并不具有高的适应度，通常的做法是进行结构优化的同时，进行参数优化过程。g e p 技术是c a n d i d a 在2 0 0 1 年提出来的1 3 8 j ，是对g a 技术的又一次扩展。由于其遗传编码采用固定长度的线性符号串，所有的遗传操作都是在符号串上进行的，使得遗传进化速度比操作树形结构的g p 大为提高。另外，由于其特殊的编码规则，线性符号串可以等价地转化成各种长短不定、形状各异的表达式，从而与g p一样具有表达复杂问题的能力，而且g p 在系统辨识中的优势g e p 同样具有，所以研究g e p 技术在系统辨识中的应用很有必要。关于g p 和g e p 有关的辨识研究将在下一节描述。华北电力大学博士学位论文1 3 国内外研究动态由于非线性系统的复杂性，非线性系统建模问题的研究一直都是国内外学者研究的热点，利用遗传算法对非线性系统进行辨识同样也受到许多研究者的关注。遗传算法在系统辨识中的应用最初都集中在模型的参数辨识上1 2 “3 4 1 ，随着k o z a的g p 技术和c a n d i d a 的g e p 技术的提出，利用g p 和g e p 进行对象系统辨识的应用越来越多。国外的学者利用g p 进行非线性系统建模的研究已经有许多，如文献 4 1 1 禾j j 用g p 和m a t l a b 的s i m u l i n k 工具箱，将已有的标准功能块进行随机组合来生成非线性模型，并通过模拟退火算法来进行参数优化；文献 4 2 1 利用多目标g p 技术进行最优t s 模糊系统结构的选取，同时兼顾了模型的复杂性指标；文献 4 3 1 利用g p 辨识h a m m e r s t e i n 模型中的静态非线性部分，然后与线性部分组成完整的模型；文献【1 2 】和1 1 3 1 禾i j 用g p 和多目标技术实现了简单的多项式n a r m a x 模型的辨识，并使用正交最小二乘( o l s ) 算法进行参数估计；文献1 4 4 在m a t l a b 中实现了g p 的非线性自回归模型辨识；文献f 4 5 1 在g p 中引入了一定数量的后移算子( b a c k s h i f to p e r a t o r s )用来表达输入输出的延迟，从而完成非线性动态输入输出系统的辨识；文献【4 6 1 在g p 中引入切换适应度函数的概念，来辨识用差分方程表示的非线性动态系统，提高了g p 算法的收敛速度，部分削弱了进化算法对参数配置的依赖；文献【4 7 1 使用g p 进行财政时间序列预报；文献 4 8 1 贝0 是使用g p 进行气象时间序列预测；文献f 4 9 】将g p 应用于复杂的医学数据模型结构辨识中；文献【5 0 】给出了g p 在有理分式类n a r m a x 模型中的辨识算法，使用g a 进行模型参数的估计；文献1 5 1 给出了在低信噪比的情况下使用最小二乘算法和g p 进行混沌系统辨识的方法；文献 5 2 1 用协同g p 算法辨识m i m o 混沌系统常微分方程。国内对g p 的研究起步较晚，将其应用于非线性系统建模的研究还不算多。国内关于遗传编程( 遗传规划) 的最早著作是文献【5 3 】，比较详细地介绍了g p 的基本原理和一些应用案例。文献1 5 4 1 阐述了g p 在混沌时间序列预测中的应用；文献1 5 5 】和【5 6 】给出了运用g p 辨识系统的常微分方程的方法；文献1 5 7 1 和 5 8 1 将g p 应用于电力系统负荷预测：文献 9 2 1 禾u 用g p 算法进行了钢球磨煤机简化模型的系统辨识研究；文献1 5 9 利用g p 的全局优化搜索技术，研究了材料非线性模型识别的进化方法；文献【6 0 】研究了多目标遗传规划的实现问题；文献f 6 1 1 对基于a n n 和g p 地热热泵系统的建模问题进行了对比研究，并指出了g p 建模的优势；文献【6 2 1 结合粒子群优化算法和混沌时间序列分析技术，提出了辨识混沌系统离散模型的方法；文献f 1 1 】和【6 3 结合多目标优化技术和协同多群体策略，给出了辨识s i s o 和m i m o 离散混沌系统的差分方程辨识方法；第一章绪论由于g e p 是比较新颖的一项进化算法，其在非线性系统辨识领域的研究文献相对更少一些。文献 6 4 1 给出了用g p 和g e p 进行非线性常微分方程的辨识方法；文献1 6 5 i j l 入可变染色体概念，提高了g e p 在符号回归问题上的执行效率，还将g e p应用到简单的时间序列预测中；文献 6 6 1 和【6 7 给出了使用g e p 进行时间序列预测的方法，并基于河流流量数据、财务数据和太阳黑子数据进行了建模；文献 6 8 6 9 】将g e p 算法应用于采煤工作面瓦斯涌出量的预测模型中；文献【7 0 】利用g e p 进行了水温模型的建模；文献 7 1 7 3 1 禾1 j 用g e p 构建了神经网络模型，提供了一种神经网络自动设计的方式。通过以上文献可以看出，目前遗传进化辨识的研究范围包含：微分方程差分方程的系统辨识；与其它参数优化方法的结合；结合多目标技术提高辨识模型的综合性能；其在不同领域里的应用研究。利用g e p 进行建模的研究正处于发展阶段，已有的研究主要集中在静态模型的函数拟合和简单的时间序列分析上，而对于动态模型的研究还不算多，很有进一步研究的必要。1 4g e p 进行系统辨识的优势g e p 与g p 算法相比具有同样的表达复杂问题的能力和更快的进化速度。利用g e p 进行非线性系统辨识，可以不依赖于对象的描述方式，使用灵活。可以得到对象的显式表达式，直接获得输入和输出之间的关系，使研究人员更容易理解。g e p 是一种启发式搜索算法，可以在缺乏对象先验知识的情况下，自动搜索所有可能的非线性模型空间，从而找到满足预定指标的模型。g e p 能够表达非线性系统的动态特性，可以发现拥有最好性能的动态表达式，可以产生任意复杂度的模型结构。利用g e p 进行系统辨识，可以采用多目标进化方案，使目标模型在精确度和复杂度之间取得平衡，获得综合指标最好的模型。利用g e p 可以获得一组具有较高适应度的模型，这是常规辨识算法不具备的。辨识结果不易陷入局部最优，能够更好的实现对复杂非线性系统的辨识。1 5 本文的结构及所要完成的任务利用遗传算法进行参数估计的研究已经比较成熟了，在实际中已经得到了很好的应用，而利用g p 和g e p 进行非线性系统建模的研究虽然已经取得了不错的成绩，但是总体来说还存在以下问题：( 1 ) 对于非线性动态系统的辨识，现有的动态项生成方案要么处理起来比较华北电力大学博士学位论文困难，要么最大动态时间延迟项的选取过于依赖经验，选择不好，将极大地降低进化效率，甚至找不到满足要求的模型。( 2 ) 染色体与模型之间的映射机制比较复杂，生成的染色体往往需要整理才能与实际的模型相对应。遗传操作需要过多的限制，进化速度不高。( 3 ) 收敛速度对进化参数的选取十分敏感，辨识速度较慢，对于较复杂的对象，将不能有效的辨识。( 4 ) 现有的多目标优化建模方法存在有效解过多、易于进化早熟的缺点。( 5 ) 进化算法应用领域还可以进一步扩展。本论文的主要贡献在于研究了g e p 在非线性系统建模中的应用。给出了利用g e p 进行系统辨识的基本思想和基本框架，提出了更加有效的模型描述方式，简化了染色体到非线性系统模型的映射机制。提出了更加有效的多目标进化方案，克服了现有算法有效解过多，容易使进化早熟的缺点。提出了新的动态项生成方案，有效地降低了人为经验因素的影响，提高了动态辨识的效率。整篇论文结构安排如下：第一章阐述了本文研究的背景和意义，简要介绍了全文研究的主要内容。第二章对g e p 技术进行了分析，给出了g e p 应用的一般步骤。第三章阐述了g e p 作为一种建模工具的应用思路，给出了利用g e p 进行模型辨识的基本框架，并给出了结合其它参数估计算法进行混合g e p 辨识应用的一般步骤。第四章给出了利用多基因染色体方案对各类n a r m a x 模型进行系统辨识的方法，提出了一种独特的动态项生成方案，可以自由选择和生成所需的动态项。给出了进行s l s o 和m i m o 模型辨识的方法。第五章对多目标进化方案进行了分析，提出了一种更加有效的适用于系统辨识的多目标优化方案。并对一些仿真对象进行了应用研究，以证明本文辨识算法的有效性。第六章对全文研究工作进行了总结和展望。第二章基冈表达式编科技术第二章基因表达式编程技术g e p 概念是c a n d i d a 在2 0 0 1 年提出的【3 8 l ，其中文译名“基因表达式编程 是由四川大学的唐常杰教授和他的学生们首次给出的【4 0 1 。g e p 是在遗传算法( g a ) 和遗传编程( 规划) ( g p ) 基础上发展起来的一种进化算法。从形式上，g e p 和遗传算法类似，采用等长线性符号编码作为遗传操作的染色体( c h r o m o s o m e ) ；从功能上，g e p 和遗传编程类似，可通过自动生成计算机程序来发现揭示问题本质的规则、公式以及描述问题解答过程的程序。这是一种遗传基因型( g e n o t y p e ) 和个体表现型( p h e n o t y p e l区分的设计思路，既兼顾了线性符号串容易操作的特点，又兼顾了表达式树( e x p r e s s i o nt r e e ，e t ) 可进行复杂问题表达的特点。由于g e p 综合了遗传算法和遗传编程两者之间的优点，使得g e p 的创始人c a n d i d a 声称，g e p 在解决复杂问题的时候，比传统的遗传编程方法效率高出2 4 个数量级【3 8 】。在g e p 中代表基因型的染色体到代表表现型的表达式树之间的转换是非常明确的，具有一一映射的关系。并且经过遗传操作的染色体仍然是合法有效的，仍能进行正确的表达。需要注意的是g e p 进行进化操作的对象是线性定长符号串，不是表达式树，表达式树只是对线性定长符号串的描述，这与g p 有着根本的不同。g e p 算法从产生后就被迅速的应用到符