（控制理论与控制工程专业论文）多变量系统辨识方法比较研究（Ⅰ）.pdf

摘要摘要随着现代工业的发展，越来越多的工业系统已不再局限于单变量系统，而是结构复杂的多变量系统，所以对多变量系统辨识方法的研究越来越重要本文拟定了多变量系统辨识方法比较研究课题，选题具有学术意义和应用前景作者在查阅了相关文献的基础上，对辨识算法的计算量和收敛性进行了深入的分析和研究，取得了下列创新性研究成果。1 针对多变量系统，利用梯度搜索原理，提出了多变量系统的随机梯度辨识算法和分子系统随机梯度辨识算法，并与现存递阶随机梯度算法在计算量、参数估计精度和算法收敛速度进行了仿真比较研究：三个算法中递阶随机梯度辨识算法计算量最少，计算效率最高，但参数估计性能介于随机梯度算法和分子系统随机梯度算法之间2 针对多变量系统，利用梯度迭代技术，提出了多变量系统的梯度迭代辨识算法和分子系统梯度迭代算法，与递阶梯度迭代辨识算法相比，它们的性能与上述随机梯度算法性能类似，但算法中收敛因子的取值影响着算法的收敛性能对于确定性系统，在容许范围内收敛因子越大，参数估计误差越小最后通过仿真例子比较了这些算法性能3 针对多变量系统，利用递推最小二乘原理，提出了分子系统最小二乘算法，并与现存多变量系统递推最小二乘算法和递阶最小二乘算法相比，三个最小二乘算法参数估计收敛性能基本相近，但递阶最小二乘算法计算量是三者中最小的，提出的分子系统最小二乘算法介于二者之间4 针对多变量系统，利用最小二乘迭代技术，提出了多变量系统的最小二乘迭代算法、分子系统最小二乘迭代算法，与现存递阶最小二乘迭代算法相比，三个算法参数估计收敛性能基本相近，但递阶最小二乘迭代算法计算量是三者中最小的，提出的分子系统最小二乘迭代算法介于二者之间并对每个算法进行了m a t l a b 仿真，仿真结果证实了理沦分析5 在研究了多变量系统分子系统随机梯度算法的基础上，通过对算法的分解，使其耦合变量最少，避免分子系统随机梯度算法的重复估计参数的缺点，提出了多变量分子系统随机梯度部分耦合算法，不必重复估计参数，计算量也减小，最后通过计算机仿真比较研究6 多变量系统递推最小二乘算法计算量很庞大，为减小计算量，将子系统分解思想与递阶辨识原理相结合，提出多变量分子系统最小二乘递阶辨识算法，大大减小了计算量文中还运用鞅收敛定理证明了在持续激励条件下，提出算法参数估计误差收敛于零，并进行了计算机仿真研究7 针对多变量系统，将多新息辨识理论与递阶辨识原理相结合，提出了递阶多新息随机梯度辨识算法和递阶多新息最小二乘辨识算法由于引入了新息长度参量，抑制了坏数据对参数估计的影响，算法的收敛速度和辨识精度有明显提高，并进行了计算机仿真比较研究摘要论文最后给出了一个总结和展望，并对所面临的一些困难和尚待深入研究的内容作了简单介绍，比如有些算法给出了具体的推导过程但是缺乏理论证明，另外，辨识算法在复杂工业控制过程的应用有待进一步的深入研究关键词：多变量系统，递推辨识，参数估计，最小二乘，随机梯度，递阶辨识，多新息a b s t r a c ta l o n gw i t ht h ed e v e l o p m e n to fm o d e mi n d u s t r y ，i n d u s t r i a ls y s t e m sn ol o n g e rl i m i tt ot h es i n g l e - v a r i a b l es y s t e m ，b u tt ot h em u l t i v a r i a b l es y s t e m sw i t hc o m p l e xs t r u c t u r e t h e r e f o r e ，t h i st h e s i si sn o to n l ys i g n i f i c a n ti nt h e o r y ，b u ta l s op o t e n t i a l l yv a l u a b l ei na p p l i c a t i o n s t h et h e s i sb a s e so nt h ep r o j e c t “s t u d yo fm o d e l l i n ga n di d e n t i f i c a t i o no fac l a s so fn o n l i n e a rs y s t e m s( t h en a t i o n a ln a t u r es c i e n c ef o u n d a t i o no fc h i n a6 0 5 7 4 0 51 ) ”t h i st h e s i si sak i n do fb a s a lr e s e a r c ha n dh a v em e a n i n gb o t hi nt h e a r o ya n da p p l i c a t i o n s a f t e rc o r r e l a t i v er e f e r e n c e sa r er e f e r e db yt h ea u t h o r ，t h ec o n v e r g e n c ep r o p e r t i e sa n dc o m p u t a t i o nl o a do ft h em e t h o d sp r o p e s e da r ea n a l y s e d a f t e rad e e pr e s e a r c h ，t h ei n n o v a t i o nr e s e a r c hr e s u l t si nt h et h e s i sa r ea sf o l l o w s 1 f o rt h em u l t i v a r i a b l es y s t e m ，t h i st h e s i sp r o p o s e st h es t o c h a s t i cg r a d i e n ta l g o r i t h ma n ds u b s y s t e ms t o c h a s t i cg r a d i e n ta l g o r i t h mb a s e do ng r a d i e n ts e a r c hp r i n c i p l e ，a n dc o m p a r e dw i t ht h eh i e r a r c h i c a ls t o c h a s t i cg r a d i e n ta l g o r i t h mi nt h ec o m p u t a t i o nl o a da n dc o n v e r g e n c ep r o p e r t i e s ，t h eh i e r a r c h i c a ls t o c h a s t i cg r a d i e n ta l g o r i t h mh a st h el e a s tc o m p u t a t i o nl o a da n dh i g h e s te f f i c i e n c ya m o n gt h et h r e ea l g o r i t h m s ，b u tt h ep a r a m e t e re s t i m a t i o np e r f o r m a n c ei ss it u a t e db e t w e e nt h es t o c h a s t i cg r a d i e n ta l g o r i t h ma n dt h es u b s y s t e ms t o c h a s t i cg r a d i e n ta l g o r i t h m 2 t h et h e s i sa l s op r o p o s e st h eg r a d i e n ti t e r a t i o na l g o r i t h ma n ds u b s y s t e mg r a d i e n ti t e r a t i o na l g o r i t h mu s i n gi t e r a t i o nt e c h n i q u e ，a n dc o m p a r e dw i t ht h eh i e r a r c h i c a lg r a d i e n ti t e r a t i o na l g o r i t h m ，t h ep e r f o r m a n c eo ft h et h r e ea l g o r i t h m sa r es i m i l a rt ot h ep e r f o r m a n c eo ft h ea b o v ea l g o r i t h m s ，b u tt h ev a l u eo ft h ec o n v e r g e n c ef a c t o ra f f e c t st h ec o n v e r g e n c eo ft h ea l g o r i t h m s ，f o rt h ed e f i n i t es y s t e m ，t h ec o n v e r g e n c ef a c t o ri sl a r g e r ，t h ep a r a m e t e re s t i m a t i o ne r r o ri ss m a l l e r f i n a l l y ，w ec o m p a r et h e s ea l g o r i t h m sb yas i m u l a t i o ne x a m p l e 3 b a s e do nt h es t u d i e so ft h em u l t i v a r i a b l es y s t e m ，t h et h e s i sp r o p o s e ss u b s y s t e ml e a s ts q u a r e sa l g o r i t h m ，c o m p a r e dw i t ht h ee x i s t i n gl e a s ts q u a r e sa l g o r i t h ma n dh i e r a r c h i c a ll e a s ts q u a r e sa l g o r i t h m ，t h ep e r f o r m a n c eo ft h ea l g o r i t h mi sc l o s et ot h eo t h e r s ，b u tt h ec o m p u t a t i o nl o a do ft h eh i e r a r c h i c a ll e a s ts q u a r e sa l g o r i t h mi sl e a s ta n dt h es e c o n di ss u b s y s t e ml e a s ts q u a r e sa l g o r i t h m 4 f o rt h em u l t i v a r i a b l es y s t e m ，t h et h e s i sa l s op r o p o s e st h el e a s ts q u a r e si t e r a t i o na l g o r i t h ma n dh i e r a r c h i c a ll e a s ts q u a r e si t e r a t i o na l g o r i t h mu s i n gl e a s ts q u a r e si t e r a t i o nt e c h n i q u e ，c o m p a r e dw i t ht h ee x i s t i n gh i e r a r c h i c a ll e a s ts q u a r e si t e r a t i o na l g o r i t h m ，t h ep e r f o r m a n c eo ft h ea l g o r i t h m sa r ec l o s et ot h eo t h e r s ，b u tt h ec o m p u t a t i o nl o a do ft h eh i e r a r c h i c a ll e a s ts q u a r e si t e r a t i o na l g o r i t h mi sl e a s t as i m u l a t i o ne x a m p l ei sg i v e n i i i5 f o rt h es u b s y s t e ms t o c h a s t i cg r a d i e n ta l g o r i t h ma b o v e ，r e d u c et h ec o u p l e dv a r i a b l et h r o u g hd e c o m p o s i n gt h ea l g o r i t h m ，t h e np r o p o s e st h es u b s y s t e ms t o c h a s t i cg r a d i e n tc o u p l e da l g o -r i t h m ，w h i c ha v o i d sr e p e a t i n ge s t i m a t i o na n dr e d u c e sc o m p u t a t i o nl o a d a n das i m u l a t i o ne x a m p l ei si n c l u d e d 6 t h el e a s ts q u a r e sa l g o r i t h mh a sh u g ec o m p u t a t i o nl o a d 。i no r d e rt or e d u c et h ec o m p u t a -t i o n ，t h et h e s i su n i f i e st h es u b s y s t e md e c o m p o s i t i o nt h o u g h ta n dh i e r a r c h i c a li d e n t i f i c a t i o np r i n c i p l e ，p r o p o s e st h es u b s y s t e ml e a s ts q u a r e sh i e r a r c h i c a la l g o r i t h m ，t h i sa l g o r i t h mr e -d u c e dt h ec o m p u t a t i o nl o a d ，t h ea n a l y s i si n d i c a t e st h a tt h ep a r a m e t e re s t i m a t i o ne r r o rg w e nb yt h ep r o p o s e da l g o r i t h mc o n v e r g e st oz e r ou n d e rt h ep e r s i s t e n te x c i t a t i o n ，a n dt h es i m u l a t i o nr e s u l ti n d i c a t e st h a tt h ea l g o r i t h mp r o p o s e di se f f e c t i v e 7 u n i f y i n gt h em u l t i i n n o v a t i o nt h e o r ye r a r c h i c a lm u l t i i n n o v a t i o ns t o c h a s t i ca n dh i e r a r c h i c a lp r i n c i p l e ，t h i st h e s i sp r o p o s e sh i g r a d i e n ti d e n t i f i c a t i o na l g o r i t h ma n dh i e r a r c h i c a lm u l t i i n n o v a t i o nl e a s ts q u a r e si d e n t i f i c a t i o na l g o r i t h m b e c a u s et h em u l t i i n n o v a t i o nc o u l ds u p p r e s st h ei n f l u e n c eo ft h eb a dd a t at ot h ep a r a m e t e re s t i m a t i o n ，a n dh a v et h eg o o di d e n t i f i c a t i o ne f f e c t ，t h ec o n v e r g e n c er a t ea n dt h ei d e n t i f i c a t i o np r e c i s i o no ft h ea l g o r i t h m sh a v eg r e a ti m p r o v e m e n t f i n a l l yas i m u l a t i o ne x a m p l ei si n c l u d e d f i n a l l y , as i m p l ec o n c l u s i o no ft h i st h e s i si sg i v e n t h ed i f f i c u l t i e sa n df u r t h e rr e s e a r c ha r ea l s os i m p l yo u t l i n e di nt h ee n d ，f o re x a m p l e ，s o m ep r o p o s e da l g o r i t h m sa r eg i v e nw i t h o u ta n yp r o o f ，m o r e o v e r ，t h ei d e n t i f i c a t i o na l g o r i t h ma r ed e s e r v e ds t u d yd e e p l yi nt h ec o m p l e xi n d u s t r ia lc o n t r o lp r o c e s s k e y w o r d s ：m u l t i v a r i a b l es y s t e m ，r e c u r s i v ei d e n t i f i c a t i o n ，l e a s ts q u a r e s ，s t o c h a s t i cg r a d i e n t ，h i e r a r c h i c a li d e n t i f i c a t i o n ，m u l t i i n n o v a t i o ni v独创 生声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：关于论文使用授权的说明本学位论文作者完全了解江南大学有关保留、使用学位论文的规定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。签名导师签名日期：第一章概论1 1问题提出与研究意义第一章概论1 问题提出随着工程实践的需要和控制理论的发展，越来越多的工业系统已不再局限于单变量系统，而是结构复杂、信息不完全、模型不确定的多变量系统对多变量系统辨识的研究正在引起越来越多的重视，但还远没有发展到单变量系统的成熟程度其原因包括：1 、对于一些具有强耦合性、不确定性、非线性、信息不完全性和大纯滞后性等特征的工业控制系统，多变量系统的复杂性大大增加；2 、多变量系统的结构辨识的复杂性；3 、多变量系统噪声模型的复杂性所以有必要进一步研究多变量系统辨识方法来适应现代工业系统的发展本课题的研究来自国家自然科学基金面上项目一类非线性系统辨识建模理论与方法的研究( 6 0 5 7 4 0 5 1 ) ( 2 0 0 6 0 1 2 0 0 8 1 2 ) 2 研究意义工业上许多被控对象的整体或局部都可以抽象成多变量模型，例如啤酒等特殊液体的生产、灌装过程，乙烯工程污水处理厂的自动排水处理过程，工业锅炉和结晶器液位控制等，多变量系统有较强的工业背景，所以考虑为本论文的研究模型是非常有意义的而随着过程工业日益走向大型化、集成化、连续化和复杂化，多变量系统工艺机理较复杂、变量间关联也较强，传统的p i d 控制对其无法得到满意的控制效果，这就要求在工业控制中结合多变量系统的辨识来达到复杂工业过程的控制要求经典的辨识方法体现了它的局限性和不足，所以有必要进一步研究多变量系统辨识方法来适应现代工业系统的发展对于多变量动态系统可以用不同的模型来表示，如传递函数矩阵、状态空间等，针对各种不同类型的模型，迄今为止已提出了许多相应的不同辨识方法，尤其是在参数估计方法上面，如g o p i n a t h1 1 】、b u d i n 【2 】和g u p t a1 3 】研究的多变量系统辨识，都是采用状态空间模型；后来研究方向转向了采用多项式矩阵的输入输出方程来表示多变量系统的结构的模型辨识，推出了子模型、子子模型，这样很好的解决了由于状态空问模型而引起的计算速度慢，不利于在线应用的问题；近年来，多变量系统辨识又有了新的发展，尤其是丁锋教授提出和创立的辅助模型辨识思想、递阶辨识原理和多新息辨识理论，并把这些原理应用到多变量系统中1 4 ，引，形成了一大类辨识方法族，丰富了多变量系统的辨识算法，解决了一类耦合多变量系统的辨识问题，如多变量系统状态空间模型递阶辨识方法i6 i ，它是直接递归估计系统未知参数和状态，是对子空间辨识方法1 7 】的发展和推广所以到目前为止，基于传递函数阵的多变量辨识方法比较多，考虑到辨识算法的实用性，需要寻求计算量小、收敛性能好的算法来指导实际应用，那么这些算法究竟哪个计算量更小，收敛性能更好，实用性更强，谁优谁劣究竟如何评判，哪些算法还需要进一步的改进等等这些问题具有实际的研究意义，通过对这些辨识方法的比较研究可以方便工业应用于是本文对这类辨识江南大学硕士学位论文方法的收敛精度与性能，计算量等各方面进行了比较研究，由于理论上也很难从多方面判断算法的优劣和实用性，所以本文还通过具体的仿真例子为辨识算法的选择作理论上的指导，使算法能更好的指导实际的应用1 2系统辨识方法综述系统辨识：通俗的说，是研究怎样利用包含未知因素系统的实验或运行数据( 输入输出数据) 来建立系统数学模型的学科1 9 6 2 年z a d e h 给它下了一个数学化的定义：系统辨识是在系统输入输出数据的基础上，从一组给定模型类中，确定一个与所测系统等价的模型此定义包含三要素：输入输出数据、模型类、等价准则按照对辨识对象的了解程度，系统辨识分为两类：整体辨识一黑箱问题，一无所知；部分辨识一灰箱问题，略有所知，但不全知工程问题大多为灰箱问题当系统结构已知，辨识就变为参数估计其实，通常所说的系统辨识侧重于参数估计目前，辨识理论日趋成熟，辨识的实践也涉及许多学科领域，系统参数估计方法和各种辨识应用软件工具已得到长足的发展1 8 ，9 | ，这些辨识方法就设计辨识模型来说，可以分为两类一类是非参数模型辨识方法，另一类是参数模型辨识方法非参数模型辨识方法( 亦称经典的辨识方法) 主要是指阶跃响应法、频率响应法和相关分析法这些辨识方法在工程上至今仍然采用参数模型辨识方法必须假定一定的模型结构，通过极小化模型与过程之间的误差准则函数来确定模型参数下面对一些参数模型辨识方法作简要介绍1 最小二乘类方法最j 、- - 乘类方法是利用最j 、- - 乘原理i s 】，通过极小化广义误差的平方和函数来确定模型的参数的一大类算法最j 、- - 乘理论首先是由高斯( g a u s s ) 约在1 7 9 5 年为进行行星轨道预测的研究而提出的现在最j 、- - 乘理论已经成为用于系统参数估计的主要方法之一最j 、- - 乘原理简单，易于理解和掌握，且最j 、- - 乘估计在一定条件下具有良好的统计特性( 一致性、无偏性等) ，因而最小二乘法得到了广泛应用下面针对各种模型分别介绍对应的辨识方法考虑下面线性受控自回归( c a r ) 模型a ( z ) y ( t ) = b ( z ) u ( t ) + u ( ) ，( 1 2 1 )其中a ( z ) = 1 + a l z _ 1 + + 。z 哪。，b ( z ) = b l z - 1 + + k b z r i b ，u ( t ) 和秒( ) 表示系统输入和输出序列，钉( t ) 是零均值随机白噪声序列，z _ 1 为单位后移算子f z - i u ( t ) = u ( t 一1 ) 1 ，式( 1 2 1 ) 可写成如下的向量形式u ( t ) = 妒t ( ) p + 钞( ) ，妒( ) r n ，口r 几，2第一章概论模型的递推最3 、- - 乘算法( r l s ) 为e ( t ) = 务( t 一1 ) + p ( ) 妒( ) 【秒( ) 一妒t ( ) 务( t 一1 ) 】，p - 1 ( ) = p _ 1 ( t 一1 ) + s o ( t ) s o t ( ) 若在算法中加入遗忘因子，则得到遗忘因子最小二乘法( r f f l s )务( ) = o ( t 一1 ) + p ( ) 妒( ) 【可( 亡) 一妒t ( ) 务( 一1 ) 】，p - 1 ( t ) = a p - 1 ( 一1 ) + s o ( t ) s o t ( ) 算法的跟踪能力加强，且能克服数据饱和现象考虑受控自回归滑动平均( c a r m a ) 模型a ( z ) 秒( ) = b ( z ) u ( t ) + d ( 名) u ( t ) ，则相应的参数估计方法为递推增广最小二乘算法( r e l s ) i8 1 考虑动态调节( c a r a r ) 模型，也称为d a ( d y n a m i ca d j u s t m e n t ) 模型a ( z ) 可( 。) = bz ) 札( 。) + 南u ( 。) ，相应的参数估计方法为递推广义最j 、- 乘算法( r gl s ) 考虑o e ( o u t p u te r r o r ) 模型，即输出误差模型比) = 器邮m ，相应的辨识方法为递推偏差补偿最小二乘算法( r b c l s ) 考虑有色噪声模型，即用有色噪声e ( t ) 代替噪声部分的模型a ( z ) y ( t ) = b ( z ) u ( t ) + e ( ) ，相应的辨识方法为递推辅助变量最j 、- - 乘算法( i v r l s ) 上述各种方针对各自的模型有较好的辨识效果2 随机梯度方法它利用最速下降法原理1 1 0 】，沿着误差准则函数关于参数模型的负梯度方向，逐步修改模型的参数估计值，直至模型准则函数达到最小值考虑式( 1 2 1 ) 所表示的c a r 模型，参数估计的递推算法务( ) = 台( 亡一1 ) + 工( ) b ( 亡) 一妒t ( ) 台( 一1 ) 】，( 1 2 2 )3江南大学硕士学位论文其中务( ) 为9 ( t ) 的估计根据随机逼近原理，工( z ) 的一种选择是l ( t ) = p ( t ) 妒( 亡)其中p ( t ) 是收敛因子，且满足一定的条件【引，下面介绍随机梯度算法c a r a b x 模型的随机梯度辨识算法( s g ) 为讯) 她川) + 籍一州咖_ 1 ) 】，r ( t ) = r ( 一1 ) + l i 妒( t ) 1 1 2 ，t ( o ) = 1 ，其中i i x l l 2 ：= t r x x t 】，s g 算法的收敛速度很慢i s 】，为此，引入一种改进的s g 算法，称之为遗忘因子随机梯度辨识算法( f f s g ) ，简称遗忘梯度算法( f c ) ，该算法如下，讯) 她) + 等- q o t ( 咖_ 1 ) 】，r ( t ) = 入r ( 一1 ) + i iq o ( t ) l i 2 ，0 入 1 ，r ( o ) = 1 ，遗忘因子可以用来调节参数估计误差的下降速度和算法跟踪性能，当a = 0 时，遗忘梯度算法退化为投影算法近年来，随着系统辨识领域研究的不断深入，辨识方法的研究越加成熟，但就新的辨识思想和方法而言，中国学者丁锋教授长期从事系统辨识的理论研究和教学工作，做了很大贡献他提出和创立了辅助模型辨识思想、递阶辨识原理、多新息辨识理论和估计误差界理论，建立了研究时变参数估计误差界的鞅超收敛定理，进而提出和发展了一系列辅助模型辨识方法族、递阶辨识方法族、多新息辨识方法族；提出了多率采样系统的多项式变换技术和递阶交互估计理论等，并对现存方法和新提出的方法在不同条件下进行了性能分析，形成了一套独特的理论，丰富和完善了现有的辨识方法体系这些新的辨识方法思想也将对本文的多变量系统辨识方法的比较研究产生很大的指导作用接下来，扼要地介绍一下这些成果1 辅助模型辨识方法辅助模型辨识的核心思想是代替，是丁锋在1 9 9 1 年提出的，顾名思义，辅助模型辨识思想，就是借助于一个辅助模型，用辅助模型的输出代替系统的不可测变量的一利t 辨识方法，并且通过选择辅助模型的参变量( 参数) ，使辅助模型的输出逼近这些不可测变量，从而获得系统的一致参数估计辅助模型辨识思想，主要用于解决系统某些变量( 如状态或输出) 不可测量的辨识问题起初用来研究多变量系统传递函数阵子子模型的辨识问题现在，基于辅助模型辨识思想的辅助模型辨识方法已成为一个新的辨识方法族，基于辅助模型辨识思想的辨识理论和方法已经形成了一个新的辨识领域，可以用于研究( 包括有色噪声模型干扰下) 线性和非线性模型的自适应信号处理、自适应辨识和参数估计等问题4第一章概论2 递阶辨识方法递阶辨识原理的概念，是丁锋1 9 9 7 年给清华大学研究生讲授系统分析理论及应用时，受大系统递阶控制的分解协调原理的启发而提出的对于维数高、待估计的参数数目多的系统，辨识方法的计算量和存储量急剧增加，以致常规辨识算法难以实现，这就是所谓的“维数灾”为解决这个问题，提出计算量小的递阶辨识方法，递阶辨识算法可以用于估计大系统的参数，具有良好的性能递阶辨识的基本原理是：( 1 ) 将一个系统分解为多个维数较小、变量较少的子系统( 这些子系统可能是虚拟的) ；( 2 ) 分别辨识每个子系统的参数向量或参数矩阵由于这种分解，使得各子系统间存在关联项，即一个子系统包含了其它一些子系统的未知变量，也就是说，第i 个子系统包含了其它一些子系统的未知参数向量或为参数矩阵，使得迭代计算难以进行递阶辨识原理指出t 在计算时刻t 第i 个子系统的参数估计时，包含在第i 个子系统中的其它子系统未知参数向量或参数矩阵，用它们在前一时刻的估计值代替递阶辨识实际上是一种交互估计理论基于递阶辨识原理的辨识方法已成为一大类递阶辨识方法族，其理论和方法已经形成了一个崭新的辨识领域，可以用于研究线性和非线性模型的自适应辨识和参数估计及其应用等问题对于状态不可测、一般双率采样数据系统状态空间模型及其规范模型的辨识问题，可应用递阶辨识原理提出相应的双率模型递阶辨识方法，解决了一般双率系统的模型化问题，以及对应单率模型的确定方法，递阶辨识原理可用来辨识传递函数阵模型1 4 ，5 j ，还应用在研究一般耦合矩阵方程中| 1 2 】，解决了一类耦合多变量系统辨识难题3 多新息辨识方法多新息辨识理论是丁锋1 9 9 4 年在其博士论文时变参数系统辨识及其应用中提出的多新息辨识理论拓宽了新息辨识的概念，它是将单新息修正技术加以推广，从新息修正角度建立了新息辨识理论，改善了已有辨识算法的性能，丰富了随机系统的辨识算法多新息辨识方法是受间断迭代思想的启发，最初用类比方法，直接给出了变迭代间隔多新息广义投影辨识算法的数学表达式后来经过丁锋等的深入的研究，从理论上详细推导了多新息投影辨识算法、多新息最小二乘辨识算法、变迭代问隔多新息最小二乘算法等等，使得多新息辨识算法有了严密的数学基础由于多新息辨识方法引入了新息长度参量，采用了间断迭代、变迭代间隔方式，使得其具有克服坏数据对参数估计的影响，减少参数估计误差上界，提高辨识精度，放宽了噪声平稳性假设，具有较强的鲁棒性，可以跟踪时变参数，提高参数估计精度，在处理损失数据系统或不规则采样数据系统的辨识问题，具有独到的特点多新息辨识已经成为一个崭新的辨识领域，多新息辨识理论也可以用于研究各种模型的辨识问题，随后，作者提出了一系列多新息辨识方法，如发表在2 0 0 3 年控制理论与应用上的多新息随机梯度辨识方法 1 3 j 最近，作者将多新息辨识理论推广用于a r m a 模型、双率系统和非线性系统的研究，提出了基于辅助模型的a r m a 系统的多新息辨识方法，基于辅助模型的双率系统多新息随机梯度辨识方法，非线性系统的辅助模型多新息辨识方法等5江南大学硕士学位论文1 3多变量系统辨识方法综述多变量系统( m i m o ) 的辨识是6 0 年代末建立和发展起来的，要比单变量系统( s i s o ) 的辨识复杂的多，在1 9 6 9 年g o p i n a t h 开始研究通过线性时不变多变量系统的输入输出数据来辨识多变量系统模型【1 l ，此后，p a s s e r i 和g u p t a 均采用状态空间模型来研究多变量系统辨识i 引但是状态空间模型辨识在当时仅限于观测值是无噪声的，而且用它来辨识多变量系统模型很耗费计算机系统内存，即使是在辨识低阶次的多变量系统，也需要很长的计算时间状态空间模型的不利于在线应用及浪费计算机内存与计算时间的缺点使得它的辨识理论及其在实际过程建模的应用远不及传统的辨识方法所以许多人把研究方向转向了采用多项式矩阵的输入输出方程来表示多变量系统的结构的模型辨识，这样很好的解决了由于状态空间模型而引起的计算速度慢，不利于在线应用的问题1 9 7 5 年，g u i d o z i 提出了利用线性多变量系统规范型进行系统辨识的参数化方法，建立了系统状态方程可观规范型和输入输出差分方程规范型之间的等价关系，从而把状态方程要辨识的结构参数同输入输出数据之间建立了直接的联系| 1 4 】后来s i n h a 等对参数的辨识导出了递推算法，并推广到有色噪声的辨识1 1 5 j ，又用随机逼近的方法对多变量线性系统的辨识进行了讨论1 1 6 j ；王秀峰和卢贵章提出了一个确定结构指标的递推辨识算法【1 7 】，它不需要求行列式值，一旦确定了子系统的结构，即可得到参数估计值，没有重复的运算，所需计算量比g u i d o r z i 方法大大减少随着现代控制理论的发展，状态空间模型在系统分析、系统控制、系统优化等方面展示出它独特的优点，如状态反馈极点配置、观测器设计、最优控制等，于是自上世纪8 0 年代末以来，人们又开始致力于状态空间模型辨识方法的研究并提出较著名的子空间辨识方法( 简称4 s i d ) ，但是都是基于输入输出变量可测时的情况，后来丁锋等又提出了多变量系统状态空间模型递阶辨识方法1 6 j ，它是直接递归估计系统未知参数和状态，用于状态未知时状态空间模型的辨识，是对4 s i d 辨识方法的发展和推广但是用状态空间模型来辨识多变量系统模型很耗费计算机系统内存，即使是在辨识低阶次的多变量系统，也需要很长的计算时间于是丁锋等将研究方向转向了采用传递函数阵模型和其它一些模型的辨识，即将状态空问模型转化为传递函数阵模型或者再进一步写成差分方程的形式，然后研究辨识方法，这样很好的解决了由于状态空间模型而引起的计算速度慢，不利于在线应用的问题如文【1 1 提出用辅助模型方法估计多变量系统传递函数阵子子模型和o e 模型参数1 1 8 】之后又提出了线性多变量系统的联合辨识算法( c i a ) 和增广最小二乘算法同时估计所有参数近年来丁锋等又研究把递阶辨识原理和多信息原理应用到多变量系统中1 4 5 j ，提出了递阶随机梯度辨识方法、递阶最小二乘辨识方法、多新息随机梯度辨识方法等，其中2 篇重要论文h i e r a r c h i c a lg r a d i e n t b a s e di d e n t i f i c a t i o no fm u l t i v a r i a b l ed i s c r e t e - t i m es y s t e m s 1 4j 和h i e r a r c h i c a ll e a s ts q u a r e si d e n t i f i c a t i o nm e t h o d sf o rm u l t i v a r i a b l es y s t e m s 1 5 1 分别发表在2 0 0 5 年国际顶级期刊a u t o m a t i c a 和i e e et r a n s a c t i o n so na u t o m a t i cc o n t r o l 上，再次丰富了多变量系统的辨识算法，所以研究比较这类算法的计算量和收敛性能，对提高多变量辨识算法的实际应用效果有重要意义6第一章概论目前，多率系统已广泛存在于工业过程中，如化工过程控制中的许多软测量问题等都可以归结为多率系统建模、参数估计等问题，多率系统已成为一个极其活跃的研究领域对于多率多变量系统的辨识问题，可以追溯到上世纪5 0 年代，首先是k r a n c 提出的的开关分解技术，后来f r i e d l a n d 等人引入提升技术，将一个周期离散时变系统转化为一个时不变系统，现在提升技术已成为处理多率系统一个标准工具，丁锋等利用多项式变换技术和提升技术，推导了一般双率系统的提升状态空间模型1 1 9 l ，由于系统提升，使得提升后的系统是一个具有更多变量的多变量系统，这样的话线性多变量系统的一些辨识方法从原则上可以使用，但是需要处理提升系统的因果约束提升后的系统一般是维数较高的多变量系统，虽然可以用递阶辨识可以辨识，但是如何解决计算量大的问题还有待进一步研究1 4 主要研究内容本文考虑的多变量系统首先是个状态空间模型，通过模型转换变为传递函数阵模型，再进一步写成线性回归模型形式，然后运用各类辨识算法来辨识这个模型的未知参数，并对这些算法的计算量和收敛性能进行比较，对于个别算法，文中还给出了对其收敛性等性能的分析和证明另外，本文还通过大量的数字仿真实例来更好的辅助说明这些辨识算法的优劣本文的第一章是引言部分，阐述了本课题研究的目的和意义，并对多变量系统辨识的现状进行了综述，论文的其余部分内容安排如下第二章简要介绍了本文所涉及到的一些数学和辨识理论方面的知识，包括最小二乘原理、梯度搜索原理、牛顿迭代算法和连续时间线性系统的离散化第三章针对多变量系统，利用梯度搜索原理，提出了多变量系统的随机梯度辨识算法和分子系统随机梯度辨识辨识算法，并与现存递阶随机梯度算法在计算量、参数估计精度和算法收敛速度进行了仿真比较研究；利用梯度迭代技术，提出了多变量系统的梯度迭代辨识算法和分子系统梯度迭代算法，与递阶梯度迭代辨识算法进行了比较研究；利用递推最小二乘原理，提出了分子系统最小二乘算法，并与现存多变量系统递推最小二乘算法和递阶最小二乘算法进行了比较研究；利用最小二乘迭代技术，提出了多变量系统的最小二乘迭代算法、分子系统最小二乘迭代算法，与现存递阶最小二乘迭代算法比较研究，在最后对每个算法进行了m a t l a b 仿真，仿真结果证实了理论分析第四章分为两个部分，首先在研究了分子系统随机梯度算法的基础上，通过引入耦合思想提出了分子系统随机梯度耦合算法，避免了分子系统随机梯度算法的重复估计参数的缺点，但是增加了计算量，于是进一步提出分子系统随机梯度部分耦合算法，不仅避免了重复估计参数的缺点，而且计算量很小，并通过仿真论证了算法的有效性；第二部分是针对多变量系统递推最小二乘算法计算量庞大的缺点，为减小计算量，将子系统分解思想与递阶辨识原理相结合，提出多变量分子系统最小二乘递阶辨识算法，大大减小了计算量文中还运用鞅收敛定理证明了在持续激励条件下，提出算法参数估计误差收敛于零并进行7江南大学硕士学位论文了计算机仿真研究第五章还是针对多变量系统，将多新息辨识理论与递阶辨识原理相结合，提出了递阶多新息随机梯度辨识算法和递阶多新息最小二乘辨识算法由于引入了新息长度参量，抑制了坏数据对参数估计的影响，算法的收敛速度和辨识精度有明显提高，并进行了计算机仿真比较研究最后一章是结论与展望，总结本论文的研究成果，并提出有待深入研究的课题8第二章预备知识第二章预备知识本章扼要的介绍一下论文所涉及到的一些基础知识和原理( 1 ) 最小二乘原理，针对c a r模型，简要介绍一次完成算法和递推最小二乘算法；( 2 ) 梯度搜索原理；( 3 ) 牛顿迭代算法，运用牛顿迭代算法求函数根和函数极值；( 4 ) 连续时间线性系统的离散化，主要介绍了阶跃不变变换和脉冲不变变换2 1 最小二乘原理考虑下面c a r a u x 模型a ( z ) y ( t ) = b ( z ) u ( t ) + 钉( ) ，( 2 1 1 )本章如不特别申明， 乱( 亡) ) 和 可( ) 表示系统输入和输出序列， ”( ) ) 是零均值随机白噪声序列，z 一1 为单位后移算子【z - 1 u ( t ) = u ( t 一1 ) 1 ，a ( z ) 和b ( z ) 是单位后移算子名- 1 的常系数时不变多项式，定义如下ta ( z ) = 1 + a l z 一1 + b 2 z 一2 + + a r i a z n