（控制理论与控制工程专业论文）多新息随机梯度型辨识方法.pdf

摘要 摘要 常规辨识方法，如最小二乘、卡尔曼滤波和最小均方算法都是采用单新息修正技术的辨识 方法多新息辨识方法拓宽了新息辨识的概念，它是单新息辨识算法的推广，它具有良好的收 敛性能和克服坏数据的能力，具有较强的鲁棒性，所以对它的研究既具有重要的理论意义，又 具有潜在的应用价值论文基于国家自然科学基金项目一类非线性系统辨识建模理论与方法 的研究，拟定了多新息随机梯度型辨识方法研究课题，选题属于应用基础研究，具有理论意 义和实用价值作者在查阅了相关文献的基础上，对有色噪声干扰系统和输入非线性系统的多 新息辨识问题进行了研究，并对提出的部分参数辨识方法收敛性进行了分析，取得了下列研究 成果 线性模型的多新息随机梯度型辨识方法： 1 带白噪声或有色噪声干扰的线性模型最j 、- - - 乘类辨识算法、随机梯度型辨识算法的研究相 当成熟但最小二乘辨识算法计算量大，随机梯度辨识算法的收敛速度较慢为了提高随 机梯度型辨识算法的收敛速率，论文首先针对线性受控a r 模型( c a r 模型) ，提出了c a r 模型的多新息随机梯度辨识算法，推导了有色噪声干扰受控a r m a 线性模型( c a r m a 模型) 的多新息增广随机梯度算法，运用随机过程理论和鞅理论详细的分析c a r m a 模型 的多新息增广随机梯度算法的收敛性，并用仿真例子说明提出的多新息随机梯度算法比经 典的随机梯度算法有更快的收敛速度 2 进一步将多新息辨识方法推广到更为复杂线性模型的辨识，如动态调节模型( c a r a r 模 型) 和一般随机系统模型( c a r a r m a 模型) ，提出了动态调节模型和c a r ，a r m a 模型多 新息广义随机梯度算法和多新息广义增广随机梯度算法，给出了计算参数估计的数学表达 式和详细计算步骤，利用数字仿真例子对算法辨识效果进行了验证 输入非线性模型的多新息随机梯度型辨识方法： 1 在研究了线性c a r 和c a r m a 模型的多新息( 增广) 随机梯度辨识方法基础上，将该方法 推广用于输入非线性c a r 模型的辨识，提出了输入非线性c a r 模型的多新息随机梯度 辨识算法，给出算法计算参数估计的步骤推导出输入非线性c a r 模型的多新息随机梯 度算法参数估计误差界，分析了该辨识算法在持续激励条件下参数估计误差满足的条件， 数字仿真结果也证明了算法的良好性能 2 针对有色噪声干扰的输入非线性模型，给出了输入非线性有色噪声干扰c a r m a 模型的 多新息增广随机梯度辨识算法、输入非线性动态调节模型( c a r a r 模型) 的多新息广义随 机梯度辨识方法、输入非线性c a r a r m a 模型的多新息广义增广随机梯度辨识算法，也 用仿真例子说明了算法的辨识效果。数字仿真表明：多新息随机梯度型辨识方法可以大大 提高参数估计的收敛速度和精度 论文最后给出了一个总结和展望，并对多新息随机梯度型辨识方法问题的研究所面临的 摘要 一些困难和尚值得继续深入研究的方向作了简单介绍 关键词：递推辨识，参数估计，多新息，随机梯度算法，非线性系统，数字仿真 a b s t r s c t a b s t r a c t r e g u l a ri d e n t i f i c a t i o n ，f o re x a m p l el e a s ts q u a r e s ，k a l m a nf i l t e r i n ga n dl e a s tm e a ns q u a r e a l g o r i t h ma r et h ep a r a m e t e re s t i m a t i o nm e t h o d su s i n gt h es i n g l e i n n o v a t i o nm o d i f i c a t i o nt e c h n o l o g y t h em u l t i i n n o v a t i o ni d e n t i f i c a t i o nm e t h o de x t e n d st h es i n g l e i n n o v a t i o ni d e n t i f i c a t i o n ， h a sg o o dc o n v e r g e n c ep r o p e r t ya n ds t r o n gr o b u s t n e s a n da n dc a no v e r c o m et h ee f f e c to fb a d d a t ao np a r a m e t e re s t i m a t i o n t h e r e f o r e ，t h i st h e s i si sn o to n l ys i g n i f i c a n ti nt h e o r y ，b u ta l s o p o t e n t i a l l yv a l u a b l ei na p p l i c a t i o n sa n dm u l t i - i n n o v a t i o ns t o c h a s t i cg r a d i e n tt y p ei d e n t i f i c a t i o n m e t h o d si sm a d eo ft h er e s e a r c ht i t l eo ft h et h e s i s ，w h i c hi sb a s e do nt h ep r o j e c t “s t u d yo f m o d e l l i n ga n di d e n t i f i c a t i o no fac l a s so fn o n l i n e a rs y s t e m s ( t h en a t i o n a ln a t u r es c i e n c e f o u n d a t i o no fc h i n a6 0 5 7 4 0 5 1 ) t h i st h e s i si sak i n do fb a s a lr e s e a r c ha n dh a sm e a n i n g b o t hi nt h e a r o ya n da p p l i c a t i o n s a f t e rc o r r e l a t i v er e f e r e n c e sa r er e f e r e db yt h ea u t h o r ，t h e m u l t i i n n o v a t i o ni d e n t i f i c a t i o np r o b l e m so fs y s t e m sw i t hc o l o r e dn o i s ea n dt h en o n l i n e a ri n p u t a r es t u d i e da n dc o n v e r g e n c ep r o p e r t i e so fs o m ep a r a m e t e re s t i m a t i o nm e t h o d sp r o p e s e da r e a n a l y z e d a n dr e s u l t sa r ep r e s e n t e da sf o l l o w s m u l t i i n n o v a t i o ns t o c h a s t i cg r a d i e n tt y p ei d e n t i f i c a t i o nm e t h o d sf o rl i n e a rm o d e l s ： 1 s o m em e t h o d sh a v eb e e ns t u d i e dt oi d e n t i f yt h ep a r a m e t e r so fl i n e a rm o d e l sw i t hc o l o r e dn o i s ei na c a d e m i a ，s u c ha sl e a s ts q u a r e s ，s t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o na n ds o o n b u tt h ec o m p u t a t i o no ft h el e a s ts q u a r e si st o ol a r g e ，a n dt i l ec o n v e r g e n g c er a t e o ft h es t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o ni st o os l o w i no r d e rt oi m p r o v ec o n v e r g e n c e r a t e ，t h et h e s i sf i r s tm a k e st h es t o c h a s t i cg r a d i e n tt y p ei d e n t i f i c a t i o nm e t h o db a s e do n t h em u l t i i n n o v a t i o nf o rt h el i n e a rc o n t r o l l e da rm o d e l s ( c a rm o d e l s ) t h e nt h et h e s i s d e r i v a t e st h em u l t i i n n o v a t i o ns t o c h a s t i cg r a d i e n tp a r a m e t e re a t i m a t i o nf o rt h ec o n t r o l l e d a r m am o d e l s ( c a r m am o d e l s ) b a s e do nt h ee x t e n d e ds t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o n w i t hs t o c h a s t i cp r o c e s st h e o r ya n dm a r t i n g a l et h e o r yt h ec o n v e r g e n c ep r o p e r t i e so fm u l t i i n n o v a t i o ne x t e n d e ds t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o nm e t h o da r ep r o v e d s o m ee x a m p l e s a r eg i v e nt ot e s t i f ym u l t i i n n o v a t i o ns t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o nm e t h o d sh a v ef a s t e r c o n v e r g e n c er a t et h a nt h er e g u l a rs t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o nm e t h o d si nt h ee n d 2 b a s e do nt h es t u d i e so fc a rm o d e l s ，t h et h e s i sa p p l i e sm u l t i i n n o v a t i o ni d e n t i f i c a t i o n m e t h o d st om o r ec o m p l i c a t e dl i n e a rm o d e l s ，j u s ta sd y n a m i ca d j u s t m e n tm o d e l s ( c a r a r m o d e l s ) a n dg e n e r a ls t o c h a s t i cs y s t e mm o d e l s ( c a r a r m am o d e l s ) a n dm u l t i i n n o v a t i o n g e n e r a l i z e ds t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o na n dm u l t i i n n o v a t i o ng e n e r a l i z e de x t e n d e d s t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o na r er e s e a r c h e dt oe s t i m a t ea n dc o m p u t ep a r a m e t e r so f t h e s em o d e l s t h e ns i m u l a t i o ne x a m p l e sa r eg i v e nt od e m o n s t r a t et h em e t h o d sf o rt h e s e m o d e l sa r ep r o p o s e d m u l t i i n n o v a t i o ns t o c h a s t i cg r a d i e n tt y p ei d e n t i f i c a t i o nm e t h o d so ft h en o n l i n e a ri n p u tm o d e l s ： i l l a b s t r a c t 3 b a s e do nt h es t u d i e so fm u l t i i n n o v a t i o n ( e x t e n d e d ) s t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o nf o rt h e l i n e a rc a ra n dc a r m am o d e l s ，w i t ht h i sm e t h o dt h et h e s i si d e n t i f i e st h en o n l i n e a ri n p u t c a rm o d e l sa n dg i v e st h ed e t a i l e ds t e p st oe s t i m a t ep a r a m e t e r s a n dt h e nt h ep a r a m e t e r e s t i m a t i o ne r r o r su n d e rt h ep e r s i s t e n te x c i t a t i o nc o n d i t i o ni ss t u d i e d t h ef o l l o w i n gd i g i t a l e x a m p l e si l l u s t r a t et h ep r o p e r t i e so ft h em e t h o d sa r eg o o d 4 t oa i ma tt h en o n l i n e a ri n p u tm o d e l sw i t hc o l o r e dn o i s e ，t h et h e s i sr e s e a r c h e so nm u l t i i n n o v a t i o ne x t e n d e ds t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o nf o rt h en o n l i n e a ri n p u tc a r m ar o o d e l s ，m u l t i i n n o v a t i o ng e n e r a l i z e ds t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o nf o rt h en o n l i n e a ri n p u t d y n a m i ca d j u s t m e n tm o d e l s ( c a r a rm o d e l s ) a n dm u l t i i n n o v a t i o ng e n e r a l i z e de x t e n d e d s t o c h a s t i cg r a d i e n ti d e n t i f i c a t i o nf o rt h en o n l i n e a ri n p u tc a r a r m am o d e l s a n dd i g i t a le x a m p l e si sc o n c l u d e d t h ed i g i t a ls i m u l a t i o ns h o w st h a tm u l t i - i n n o v a t i o ng e n e r a l i z e d s t o c h a s t i ct y p eg r a d i e n ti d e n t i f i c a t i o nm a yi m p r o v et h ec o n v e r g e n c er a t ea n di d e n t i f i c a t i o n p r e c i s i o nal o t f i n a l l y ，as i m p l ec o n c l u s i o no ft h i st h e s i si sg i v e n t h ed i f f i c u l t i e sa n df u r t h e ro b j e c t i v e so f s t o c h a s t i cg r a d i e n tt y p ei d e n t i f i c a t i o nm e t h o d sb a s e do nt h em u l t i i n n o v a t i o nt h e o r ya r ea l s o s i m p l yo u t l i n e di nt h ee n d k e y w o r d s ：r e c u r s i v ei d e n t i f i c a t i o n ，p a r a m e t e re s t i m a t i o n ，m u l t i i n n o v a t i o n ，s t o c h a s t i c g r a d i e n ta l g o r i t h m ，n o n l i n e a rs y s t e m s ，d i g i t a ls i m u l a t i o n i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得簟研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 签名： j 函 日 期： 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定 签名： 导师签名： 1 乏 l y ： 一一 j 日 期： 第一章概论 1 1 问题提出与研究意义 第一章概论 1 问题提出 多新息辨识理论是丁锋教授等于上世纪9 0 年代提出的从1 9 6 7 年国际自动控制联合 会( i f a c ) 每三年组织一次“辨识与系统参数估计”专题讨论会以来，系统参数估计方法 和各种辨识应用软件工具得到长足发展，辨识方法的( 有界) 收敛性、收敛速率、估计误差 上界的研究也取得了丰富的成果l a , 2 j 但是，诞生新辨识方法族的确不多，可见提出新的 辨识方法是最困难的研究课题多新息辨识理论已经形成了一套理论体系，使传统的系统 辨识揭开了新的一页基于多新息的辨识方法与最小二乘法、卡尔曼滤波算法、最小均方 算法一样，可用于解决多种模型的参数估计、自适应滤波和预测、自适应信号处理和构成 自适应控制等问题l 】但是，多新息方法与之相比具备可以减少参数估计误差上界，提 高辨识精度，克服坏数据，具备较强鲁棒性等优点，而且多新息辨识方法已经成功应用于 各类线性系统中，并取得了一定的研究成果l s - l o 】但是，在信息处理和生物系统等应用 中建立的模型都是带有色噪声干扰的或者是输入非线性的，然而对于带有色噪声和输入非 线性系统的参数估计在多新息领域还没有比较深入的研究因此，将研究课题确定为多新 息随机梯度型辨识方法的研究 2 研究意义 本课题的研究是受国家自然科学基金面上项目一类非线性系统辨识建模理论与方法 的研究( 6 0 5 7 4 0 5 1 ) 所支持，是从中派生出来的一个研究课题，同时，受江苏省自然科学 基金项目资助( b k 2 0 0 7 0 1 7 ) 和江南大学创新团队发展计划资助基于输入非线性系统的 多新息辨识是当前参数辨识领域的热点和难点问题它将多新息辨识方法应用到带有色噪 声干扰的线性系统和非线性系统辨识领域，拓展了多新息辨识方法的研究和应用范围，同 时也为带有色噪声线性系统和输入非线性系统的参数估计提供了更前沿的估计方法 1 2 系统辨识方法综述 1 多新息辨识方法 由于实际中会产生坏数据，而常规辨识算法对坏数据比较敏感，因此研究克服坏数据 影响的辨识方法成为必然多新息辨识算法就是为了解决这个问题而被提出的，它改善了 已有算法的性能，丰富了随机系统的辨识算法，它已经发展成为一个崭新的辨识领域。辨识 方法，如最小二乘类、最小均方类等的一个共同特点都是利用新息修正技术的辨识方法， u ( t ) = 妒t ( ) p + 口( z ) ，y ( t ) r 1 ，妒( 艺) r 住，0 r n ，v ( t ) r 1 ， 估计参数口的辨识算法可表示为 o ( t ) = o ( t 一1 ) + 工( ) e ( ) ， 1 江南大学硕士学位论文 其中l ( t ) r 仡增益向量，e ( t ) = y ( t ) 一垆t ( ) p ( 一1 ) 是新息 对于标量系统而言，e ( t ) 为标量它仅仅利用了迭代过程中单步的新息，因此称之为 单新息辨识( s i n g l e - i n n o v a t i o n ) 多新息修正技术是单新息修正技术的推广对标量系统而 言，多新息辨识算法是通过新息向量，即多新息( m u l t i i n n o v a t i o n ) 来进行修正的一种参数 估计方法，即后一时刻的参数估计o ( t 。) 是在o ( t 。一1 ) 的基础上依靠增益矩阵f ( p ，t 。) r 似p 与新息向量( 多新息) e ，t 。) 舻的乘积来修正的0 为新息长度) ，亦即o ( t 。) = o ( t 。一1 ) + r 劬，s ) _ e ，t 。) 新息向量( 多新息) e ，t 。) 包括了迭代过程中多步的新息，多新息辨识方 法也是由此而得名多新息辨识方法拓宽了先前( 单) 新息辨识的概念，改善了已有辨识算 法的性能，丰富了随机系统的辨识方法多新息修正的思想可以引入到多种辨识方法中， 所以对已有的辨识方法产生重大的影响，最初用类比方法，直接给出了变迭代间隔多新息 广义投影辨识算法的数学表达式当时尚无法给出详细的理论推导，后经过深入的研究， 从理论上详细推导了多新息随机梯度辨识算法、多新息投影辨识算法、多新息最j 、- - 乘辨 识算法、变迭代间隔多新息最小二乘算法等等这使得多新息辨识算法有了严密的数学基 础【l ，1 1 1 近年来多新息最小二乘算法已经应用于多入单出辅助模型系统的参数估计【8 】，多新息 投影算法在时变多变量系统的均方收敛性中得到了充分的应用i9 | 多新息随机梯度算法 的应用就更为广泛，它是系统辨识和参数估计的一种基本方法，由于采用了间断迭代，因 此可以克服坏数据对参数估计的影响，具有较强的鲁棒性，又可以跟踪时变参数1 1 i 因 此本文将研究多新息随机梯度型辨识方法算法的收敛性分析一直是辨识领域十分关注的 一个问题，包括不同激励条件下的收敛性分析，以及有界收敛、一致收敛、收敛速度和误 差界大小等，对于新提出的辨识算法，将其应用到不同模型中的收敛性也将是不断需要研 究的一个问题因此收敛性分析是本论文研究的一个重要内容 2 基于辅助模型的辨识方法 对于输出误差( g e ) 模型，常规最j 、_ _ - - 乘法不可能给出o e 模型参数的一致估计；而 用递推增广最j 、- - 乘法估计o e 模型的参数，不仅增加了系统待辨识参数数目，而且加大 了算法的计算量辅助模型辨识方法是辨识o e 模型参数的一种有效方法，它是丁锋教授 和谢新民教授于1 9 9 1 年提出的，主要用于解决系统状态或输出不可测量的辨识问题辅 助模型辨识的基本思想就是代替，即借助于辅助模型的输出代替系统的真实输出的一种辨 识方法，最终使辅助模型的输出逼近系统的真实输出丁锋和谢新民分别用辅助模型方法 估计多变量系统传递函数阵子子模型和o e 模型的参数，并在噪声方差无界或条件数无界 等较弱的假设下研究了辅助模型算法，它的参数估计仍然是一致收敛的 辅助模型选择的不同直接决定了系统参数辨识的精度以及收敛的速度等特性文献f 1 2 1 和【1 3 】就是分别采用单率模型的估计作为辅助模型以及对应于单率系统的有限脉冲响应 ( f i r ) 模型作为辅助模型来估计系统采样问( 损失) 输出，结合可测得的输出，构成快速率的 反馈输出文献【1 4 】采用辅助模型研究双率系统的联合参数和输出误差借助于辅助模型 的辨识算法也成功应用到对多变量系统的参数估计，同时对它的收敛性作了分析 1 4 - 1 6 1 2 第一章概论 3 双率、多率系统的辨识方法 存在两种及两种以上操作频率的系统称为多率系统例如，对于离散时间系统，当控 制的刷新周期与输出的采样周期不相同时，就得到了一个多率( m u l t i r a t e ) 系统当控制输 入刷新周期与输出采样周期相等时，则得到传统采样数据系统，单率( s i n g l e - r a t e ) 系统。 单率系统是多率系统的一个特例方崇智和萧德云的过程辨识l 引，瑞典学者l j u n g 的 系统辨识：使用者的理论1 1 7 j ，澳大利亚学者g o o d w i n 和s i n 的a d a p t i v ef i l t e r i n g ， p r e d i c t i o na n dc o n t r o l 【4 j 都是讨论单率系统的辨识和控制问题的 目前，多率系统是一个极其活跃的研究领域，仍然是国际过程控制领域的研究热点 近1 0 余年来，多率系统不仅在石油化工过程控制方面得到了成功应用1 1 8 - 2 0 】，在理论方面 也取得了一系列研究成果，其研究活动涉及多率系统的能控性和能观测性 2 1 , 2 2 l ，多率系 统的自适应控制1 1 9 , 2 s l ，多率系统的预测控制 2 2 , 2 4 , 2 5 】，多率信号处理1 2 6 - 2 s 】，多率系统模型 辨识【2 9 删，非均匀采样多率系统的模型及辨识f 2 2 j 等等对多率系统中较简单的双率系 统的辨识目前主要通过以下几种途径来实现： 提升技术提升技术的定义可以简单表述如下，设札( 尼) 是一个定义在o ，1 ，2 ，上的离 散时问信号序列，它可以表示为 u = u ( o ) ，乱( 1 ) ，礼( 2 ) ，钆( 七) ，) 对于整数口1 ，定义q 重提升算子厶和口重提升信号序列型( 尼) ，信号u ( 忌) 与提升信 号堕( 晃) 满足关系下列关系式 u ( k ) = l 口i t ， 其中 u ( k ) = u ( 0 ) 乱( 1 ) u ( q 一1 ) u ( q ) u ( q + 1 ) u ( 2 q 一1 ) u ( k q ) u ( k q + 1 ) u ( k q + q 一1 1 提升技术可以把一个周期时变系统变换成一个时不变系统系统提升以后，提升系统 肯定是一个多数如多输出的系统，即使对应的连续系统是但输入单输出的，文献【3 1 】 就是利用提升技术得到线性时不变系统的从提升技术的定义明显可以看出，它的计 算量增加了很多 多项式转换技术对于多项式转换技术，也可以用以下的式子进行简单的描述。假设图1 中被控系统r 经离散化得到的单率系统r 具有如下形式的传递函数 眦) ：器， 3 江南大学硕士学位论文 其中 a ( z ) = l + a l z 一1 + a 2 z 一2 + + a n z n ， b ( z ) = b o + b l z 一1 + b 2 z 一2 + + 6 住z n 设z i 是多项式a ( z ) 的根，则有 4 ( z ) = ( 1 一旎z - 1 ) 定义多项式 用九同乘以p 1 ( z ) 的分子和分母得到模型p 2 ： 踯) = 渊- - 一器， ( 1 2 1 ) 其中 n ( z 口) = n ( z ) 口( 名) = 1 + o l l z 一口+ q 2 名一z g + + q 扎z 一弘， z ( z ) = 6 ( z ) 如( z ) = z o + 屏名_ 1 + 屈z 卅+ + 风g z 一妒( 1 2 2 ) 容易看出，模型( 1 2 1 ) 的分母是z - - q 的多项式，分子是z 的多项式，它们不含有不可 得到的采样问输出数据，即它的递归方程只使用到了实际可以测量到的输入一输出数 据，文献f 3 2 】即是采用了这种技术来得到系统模型但是，这里z ( z ) 所需要估计的参 数比b ( z ) 的多( q 一1 ) 礼个，在q 值比较大的时候，计算量同样会大量增加 直接使用双率数据辨识单率模型辅助模型辨识思想可以用来有效地解决这类双率系统 单率模型的辨识问题辅助模型辨识方法是借助一个辅助模型，用辅助模型的输出代 替系统的不可测变量的一种辨识方法，通过选择合适的辅助模型，使得辅助模型的输 出逼近不可测变量，从而获得系统的一致参数估计辅助模型选择的不同直接影响到 系统参数辨识的精度以及收敛的速度等特性文献【1 2 ，1 3 】分别讨论了把对应于单率系 统的有限脉冲响应( f i r ) 模型作为辅助模型和把单率模型片( 名) 的估计p 1 ( z ) 作为辅 助模型的单率系统辨识问题 4 递阶辨识方法 对于维数高、待估计的参数数目多的大系统，辨识方法的计算量和存储量急剧增加， 以致常规辨识算法难以实现，这就是所谓的“维数灾”为此，必须提出计算量较小的辨识 算法以解决这个问题丁锋等提出了递阶辨识方法，显著减少了辨识的计算量，并用鞅超 收敛定理证明了它的收敛性 递阶辨识的基本原理是：首先将大系统分解为多个维数较小、变量数目较少的子系统， 然后分别估计每个子系统的参数但是，由于各子系统间存在关联变量，也就是说第i 个子 4 _ g z g0 z+ 2 一 名 孝 + 一 zz+，上 扎汹 = z 九 第一章概论 系统包含了其它一些子系统的未知参数向量0 30 i ) ，使得迭代计算难以进行为了解决 这一问题，在计算t 时刻9 t 的估计时，其它子系统的未知参数9 ，0 i ) 用它们在( t 一1 ) 时刻的估计值0 ，( t 一1 ) 代替 递阶辨识算法可以用于估计大系统的参数，具有良好的性能递阶最j 、- - 乘辨识的计 算量就比递推最小二乘辨识要小得多，因而具有占用内存少，容易实现的优点递阶辨识 中递阶分解的思想应用在传递函数阵的辨识上就产生了传递函数阵主模型和子模型的递阶 辨识算法大系统递阶辨识是把系统的参数分解为多个维数较小的参数向量( 或矩阵) 进 行辨识，而多变量系统传递函数阵主模型的递阶辨识，是把系统的参数分解为参数向量和 参数矩阵，然后分别进行辨识。传递函数阵主模型的参数向量是由系统的分母( 特征) 多项 式的系数构成的，而参数矩阵是由传递函数阵的各分子多项式的系数构成的 1 3 本文主要研究内容 基于在信息处理和生物系统等应用中建立的模型都是带有有色噪声干扰的或输入非线性 的，然而对于输入非线性系统的参数估计在多新息领域还没有比较深入的研究本文将着重研 究基于多新息随机梯度辨识算法的带有有色噪声和输入非线性模型的参数估计问题为了研 究方便，从简单的模型出发，再将其拓展到复杂模型论文将在受控自回归模型( c a r 模型) 的多新息随机梯度辨识算法的基础上，研究较复杂的线性受控a r m a 模型、动态调节模型和 受控a r a r m a 模型的多新息随机梯度参数估计；对于输入非线性模型首先讨论了比较简单 的输入非线性c a r 模型的参数估计问题，接着将模型扩展到输入非线性c a r m a ，以及输入 非线性动态调节模型并给出各种模型基于随机梯度型算法的辨识( 参数估计) 步骤；对于个 别模型的算法，给出它们的收敛性，收敛速度等相关性能的分析和证明；同时通过大量的仿真 实验说明提出的对应模型的对应算法的有效性 1 4 本文内容安排 本文给出了基于多新息随机梯度的带有色噪声的线性模型和非线性输入模型的参数辨识 方法，并详细给出了各种算法的表达式和推导过程，根据所采用的准则和简易程度，本文内容 安排如下 第一章首先说明多新息辨识的存在以及对于多新息问题研究的意义，并简要总结了多新息 问题研究的现状，对其他的辨识方法：基于辅助模型的辨识方法，双率、多率系统的辨识 方法，递阶辨识方法等进行了简单的综述，最后说明了本文主要的研究内容 第二章主要研究了带有色噪声干扰的线性模型基于多新息随机梯度辨识算法的参数估计问 题首先分析基于多新息随机梯度辨识算法的线性受控a r m a 模型的参数估计问题，给 出了相应的参数估计的详细数学表达式，并得到了相应的参数辨识方法多新息增广随机 梯度算法，运用随机过程理论和鞅理论详细的分析并证明了受控a r m a 模型基于多新息 增广随机梯度算法的收敛性说明这些算法有效性的仿真例子在随后给出。接着分析了较 5 江南大学硕士学位论文 复杂的带噪声干扰的动态调节模型和受控a r a r m a 模型，最终也得到了多新息广义随机 梯度辨识算法和多新息广义增广随机梯度辨识算法，算法的有效性由数字仿真得到验证 第三章在线性模型的研究基础上，对输入非线性c a r 系统的多新息随机梯度辨识问题进 行了研究，分析了该辨识算法在持续激励条件下参数估计误差满足的条件，并进一步研究 何时新息长度p 取得最佳值，参数收敛的效果比较好，数字仿真的结果也证明了算法的优 越性 第四章一般化非线性模型，研究了输入非线性c a r m a 模型采用多新息增广随机梯度算 法，同样在文中给出了参数估计算法的详细数学表达式以及说明该算法有效性的仿真实 例 第五章主要分析了输入非线性的动态调节模型的参数估计方法，由第四章推导的输入非线 性c a r m a 模型多新息增广随机梯度算法推广得到的多新息广义随机梯度算法，说明该 算法有效性的仿真例子也在文中给出 最后一章是结论与展望，综合本论文研究的基于多新息随机梯度辨识方法的各种带有色噪 声于扰的线性模型和输入非线性模型的参数估计，提出本论文的不足和可供继续研究的方 向 6 第二章带有色噪声干扰模型的多新息辨识方法 第二章带有色噪声干扰模型的多新息辨识方法 本章第1 节和第2 节内容主要节选自谢新民，丁锋所编著的自适应控制系统( 清华大 学出版社，2 0 0 2 ) 1 6 】，扼要介绍文中需要的一些基础知识：1 ) 随机系统模型和随机系统模型的 噪信比以及相应的计算；2 ) 多新息随机梯度辨识思想在此基础上先对简单的c a r 模型进 行算法推导，然后再对带有色噪声干扰的c a r m a 模型进行分析和收敛性证明等 2 1随机系统模型与系统噪信比 2 1 1 随机系统模型 对于实际系统而言，经常存在这样或那样的干扰作用，且这些干扰往往具有随机性，把这 些干扰统称为随机噪声当把这些干扰噪声项加到确定性模型上，就构成了系统的随机模型， 用随机模型描述的系统称为随机系统模型本论文主要讨论离散时间系统的辨识问题，故下面 的讨论针对离散时间随机系统模型 确定性系统用差分方程模型描述为 y ( 0 + a , v ( t 一1 ) + a 2 y ( t - 2 ) + + a n 。y ( t - n 。) = b i u ( t - 1 ) + b 2 u ( t - 2 ) + + k 6 u ( t n b ) ，( 2 1 1 ) 其中u ( t ) 为系统输入，秽( ) 为系统输出式( 2 1 1 ) 用后移算子z _ 1 ( z - 1 u ( ) = u ( t 一1 ) ) 可表 示为 a ( z ) y ( t ) = b ( 名) 乱( t ) ， ( 2 1 2 ) 其中 a ( z ) = 1 + a l z 一1 + a 2 z 一2 + + o z n 。， b ( z ) = b l z 一1 + b 2 z 一2 + + 6 竹b z 一佗6 式( 2 1 2 ) 称为确定性自回归滑动平均( d e t e r m i n i s t i ca u t o r e g r e s s i v em o v i n ga v e r a g e ) 模型， 简称为d a r m a 模型 在式( 2 1 2 ) 中加上噪声项e ( ) ，就得到随机系统模型 a ( z ) y ( t ) = b ( z ) u ( t ) + e ( ) ( 2 1 3 ) 由于u ( t ) 为系统输入，故b ( z ) u ( t ) 称为受控项，当e ( t ) = u ( ) ( 白噪声) 时，有 a ( z ) y ( t ) = u ( ) ， 称为自回归( a u t o r e g r e s s i v e ) 模型，简称a r 模型，故模型 a ( z ) y ( t ) = b ( z ) u ( t ) + 钉( ) ， 7 ( 2 1 4 ) 江南大学硕士学位论文 称为受控a r 模型，简称c a r 模型或者a r x 模型 在式( 2 1 4 ) 中令a ( z ) = 1 时，有 y ( t ) = b ( z ) u ( t ) + u ( ) ， 称为有限m a r k o v 参数模型 由于 e ( 亡) = d ( z ) 秽( t ) ，d ( z ) = 1 + d l z 一1 + d 2 z 一2 + + d n d z n 8 ， 是滑动平均( m o v i n ga v e r a g e ) 模型，简称m a 模型，故模型 a ( z ) y ( t ) = b ( z ) u ( t ) + d ( 名) u ( 亡) ， ( 2 1 5 ) ( 2 1 6 ) 称为受弪a r m a 模型，偷称c a r m a 模型或肴a r m a x 模型 而模型 们) = 器邮川现 ( 2 ”) 称为输出误差( o u t p u te r r o r ) 模型，简称o e 模型 由于e ( ) = 南钞( ) 为a r 模型，故模型 4 ( z ) y ( 。) = b ( 名) 钆( ) + 南蛾 ( 2 1 8 ) c ( z ) = l + c l z 一1 + c 2 z 一2 + + c z 一， 称为受控a r a r 模型，简称c a r a r 模型或d a ( d y n a m i ca d j u s t m e n t ) 模型 当e ( ) = 器钞( ) ( a r m a 模型) 时，模型 m 归即m + 器川) ， ( 2 1 9 ) 称为受控a r a r m a 模型，简称c a r a r m a 模型 式( 2 1 9 ) 是随机系统模型的最一般形式，它又等价于 u ( t ) = a ( z ) u ( t ) + ( 2 ) u ( ) ， ( 2 1 1 0 ) 其中a ( z ) = 搿称为系统模型的传递函数，h ( z ) = 者称为噪声模型的传递函数，有时 也把；筹称为噪声模型的传递函数图2 1 为随机系统结构图，图中z ( ) = c ( z ) u ( t ) 为系统 的无噪输出( 不可测) ，e ( ) = h ( z ) u ( ) 为噪声模型输出( 不可测) 第二章带有