（控制理论与控制工程专业论文）基于多新息参数估计的随机梯度自校正控制方法.pdf

摘要 摘要 传统的辨识方法一最小二乘( l s ) 、随机梯度( s g ) 类算法都是采用单新息修正技术的 辨识方法多新息辨识方法是对单新息辨识算法的推广，它具有良好的收敛性能和克服坏数据 的能力，它的研究既具有重要的理论意义，又具有潜在的应用价值现存自适应控制是针对参 数未知的控制系统，利用最小二乘算法或随机梯度算法来估计系统参数，进而设计控制器的方 法论文的主要贡献在于。利用多新息辨识方法来估计系统参数，进而研究基于多新息参数估 计的自适应控制算法论文拟定了基于多新息参数估计的自校正研究课题，选题具有理论意义 和应用前景作者在查阅了相关文献的基础上，研究了所提出的课题，取得了下列研究成果 1 论文在综述了自适应控制或自校正控制方法的研究现状基础上，详细介绍了多新息辨识方 法的基本思想和辨识原理，针对在白噪声干扰的线性受控自回归模型( a r x ) ，将多新息辨 识方法和自校正控制思想相结合，利用多新息投影辨识算法、多新息随机梯度辨识算法分 别估计系统参数，提出了多新息投影自校正控制算法和多新息随机梯度最小方差自校正控 制算法进一步将多新息随机梯度辨识算法与极点配置自校正策略相结合，提出了基于多 新息参数估计的极点配置自校正控制算法并利用了鞅收敛定理分析了闭环系统的稳定性 和收敛性，进行了计算机仿真对比研究，说明提出的基于多新息参数估计的自校正控制算 法优于基于随机梯度参数估计的自校正控制算法，且随新息长度增加，控制算法收敛速度 变快，跟踪性能更佳 2 针对在有色噪声干扰的受控自回归滑动平均( c a r m a ) 模型，提出了基于多新息增广随机 梯度估计系统参数的最小方差控制算法和极点配置自校正控制算法，研究了闭环系统的全 局稳定性，输出跟踪误差有界性，仿真例子说明；新息长度越大，提出的控制算法的收敛 速度越快 3 针对h a m m e r s t c i n 输入非线性( h a r x ) 系统，推导出其辨识模型，然后应用多新息辨识 方法来估计非线性h a m m c r s t e i n 系统的参数，提出了基于多新息随机梯度参数估计的最 小方差自校正控制算法和极点配置自校正控制算法仿真研究表明：基于多新息参数估计 的非线性系统自校正控制算法比相应的单新息控制算法收敛速度快 理论分析和数字仿真表明：与基于随机梯度参数估计的自校正控制算法相比，提出的基于 多新息参数估计的自校正控制算法有更快收敛速度 关键词：递推辨识，参数估计，随机梯度，多新息随机梯度，自适应控制 i a b s t r a c t a b s t r a c t t r a d i t i o n a li d e n t i f c a t i o nm e t h o d s - - l e a s ts q u a r e s ( l s ) a n ds t o c h a s t i cg r a d i e n t ( s g ) a l g o - r i t h m sa l la d o p tt h em e t h o d so fs i n g l e - i n n o v a t i o nc o r r e c t i n gt e c h n i q u e m u l t i i n n o v a t i o ni d e n t i - f i c a t i o ni n e t h o d s ，t h ee x t e n d i n go fs i n g l e - i n n o v a t i o no n e s ，h o l dg o o dc o n v e r g e n c ep r o p e r t i e sa n d a b i l i t yo fo v e r c o m i n gb a dd a t a ，t h es t u d yo fw h i c hh a sb o t hi m p o r t a n tt h e o r i e sm e a n i n g ，a n d l a t e n to fa p p l i e dv a l u e t h ea d a p t i v ec o n t r o lm e t h o d so nh a n da i ma tt h ec o n t r o ls y s t e m sw i t h u n k n o w np a r a m e t e r s ，w h i c ha r ee s t i m a t e db yl e a s ts q u a r e so rs t o c h a s t i cg r a d i e n ta l g o r i t h m s ， a n dt h e nd e s i g nt h ec o n t r o l l e r t h em a i nc o n t r i b u t i o ni st h a tt h eu n k n o w np a r a m e t e r sa r e e s t i m a t e db yu s i n gm u l t i - i n n o v a t i o ni d e n t i f i c a t i o nm e t h o d st os t u d ya d a p t i v ec o n t r o lm e t h o d s b a s e do nm u l t i i n n o v a t i o np a r a m e t e re s t i m a t i o n t h i st h e s i ss t u d yo u tt h es u b j e c to fs t o c h a s t i c g r a d i e n ts e l f - t u n i n gc o n t r o lb a s e do nm u l t i - i n n o v a t i o np a r a m e t e re s t i m a t i o n t h es u b j e c th a s t h e o r e t i c a ls i g n i f i c a n c ea n da p p l i c a t i o n i nc h e c k i n gt h ef o u n d a t i o no fr e l a t e dc u l t u r a lh e r i t a g e ， t h ea u t h o rs t u d i e dt h et o p i cp u tf o r w a r d ，o b t a i n i n gt h ef o l l o w i n gr e s e a r c hr e s u l t 1 i h et h e s i sb r i e f l yi n t r o d u c e st h eb a s i ci d e aa n di d e n t i f i c a t i o nt h e o r ya b o u tm u l t i i n n o v a t i o n i d e n t i f i c a t i o nm e t h o d sb a s e do nm a k i n gs o m es u r v e y so na d a p t i v ec o n t r o lm e t h o d s ，t h e n m u l t i i n n o v a t i o ni d e n t i f i c a t i o ni sc o m b i n e dw i t hs e l f - t u n i n gc o n t r o lm e t h o d sf o rt h e t h el i n e a rc o n t r o l l e da u t o r e g r e s s i o n ( a r x ) m o d e lw i t ht h ec i r c u m s t a n c e so fw h i t en o i s e ，s t o c h a s - t i cg r a d i e n tp r o j e c t i o ns e l f - t u n i n gc o n t r o la n ds t o c h a s t i cg r a d i e n ts e l f - t u n i n gc o n t r o lb a s e d o nm u l t i i n n o v a t i o np a r a m e t e re s t i m a t i o na l g o r i t h m sa r ep r e s e n t e db yt h eu s a g eo fm u l t i - i n n o v a t i o ns t o c h a s t i cg r a d i e n tp r o j e c t i o na l g o r i t h m sa n dm u l t i i n n o v a t i o ns t o c h a s t i cg r a - d i c n ta l g o r i t h m s ，f o rm o r es t o c h a s t i cg r a d i e n tp o l ea s s i g n m e n ts e l f - t u n i n gc o n t r o lb a s e d o i lm u l t i i n n o v a t i o np a r a m e t e re s t i m a t i o na l g o r i t h m sa r ep r e s e n t e db yt h eu s a g eo fm u l t i i n n o v a t i o ns t o c h a s t i cg r a d i e n ta l g o r i t h m sa n dp o l ea s s i g n m e n ts e l f - t u n i n gc o n t r o ls t r a t e g y t h ec o n t r a s t so fc o m p u t e rs i m u l a t i o na r es t u d i e db yu s i n gm a r t i n g a l ec o n v e r g e n c et h e o r e m t oa n a l y z et h es t a b i l i t ya n dc o n v e r g e n c eo fc l o s e d l o o ps y s t e m s i tc a nb es e e nt h a tt h e a l g o r i t h m so fs t o c h a s t i cg r a d i e n ts e l f - t u n i n gc o n t r o lb a s e do nm u l t i i n n o v a t i o np a r a m e t e r e s t i m a t i o na r eb e t t e rt h a nt h eo n e so fs t o c h a s t i cg r a d i e n ts e l f - t u n i n gc o n t r 0 1 a n dt h e l a r g e rt h ei n n o v a t i o nl e n g t hi s ，t h ef a s t e rt h ec o n t r o la l g o r i t h m s c o n v e r g e n c es p c e di s ，t h e b e t t e rt h et r a c k i n gp e r f o r m a n c ci s 2 f o rt h ec o n t r o l l e da u t o r e g r e s s i o nm o v i n ga v e r a g e ( c a r m a ) m o d e l ，s t o c h a s t i cg r a d i e n ts e l f - t u n i n gc o n t r o lb a s e do nm u l t i i n n o v a t i o np a r a m e t e re s t i m a t i o na l g o r i t h m ss t o c h a s t i cg r a - d i c n tp o l ea s s i g n m e n ts e l f - t u n i n gc o n t r o lb a s e do nm u l t i i n n o v a t i o np a r a m e t e re s t i m a t i o n a l g o r i t h m sa r ep r e s e n t e d ，t h eg l o b a ls t a b i l i t yo ft h ec l o s e d l o o ps y s t e m sa n dt h eb o u n d e d h e s so fo u t p u tt r a c k i n ge r r o r sa r es t u d i e d s i m u l a t i o ne x a m p l e ss h o wt h a tt h ec o n v e r g e n c e i i i a b s t r a c t s p e e do ft h ea l g o r i t h m si sf a s t e rb yt h ei n n o v a t i o nl e n g t hi n c r e a s i n g 3 f i n a l l yi d e n t i f i c a t i o nm o d e lo ft h en o n l i n e a rs y s t e mh a m m e r s t e i nc o n t r o l l e da u t o r e g r e s s i o n ( h a r x ) m o d e li sd e r i v e d ，t h e ne s t i m a t et h ep a r a m e t e r so ft h en o n l i n e a rh a m m e r s t e i n s y s t e mb yt h em e t h o d so fm u l t i i n n o v a t i o ni d e n t i f i c a t i o n ，s t o c h a s t i cg r a d i e n ts e l f - t u n i n g c o n t r o lb a s e do nm u l t i - i n n o v a t i o np a r a m e t e re s t i m a t i o na l g o r i t h m ss t o c h a s t i cg r a d i e n tp o l e a s s i g n m e n ts e l f - t u n i n gc o n t r o lb a s e do nm u l t i i n n o v a t i o np a r a m e t e re s t i m a t i o na l g o r i t h m s a r ep r e s e n t e d t h es i m u l a t i o ns e e m st h a tt h e c o n v e r g e n c es p e e do ft h es e l f - t u n i n gc o n t r o l b a s e do nm u l t i - i n n o v a t i o na l g o r i t h m sf o rt h en o n l i n e a rs y s t e m si sf a s t e rt h a nt h eo n eo f t h es e l f - t u n i n gc o n t r o lb a s e do ns i n g l e - i n n o v a t i o na l g o r i t h m s t h e o r e t i c a la n a l y s i sa n dd i g i t a ls i m u l a t i o nr e s u l t ss h o wt h a tc o m p a r e dw i t hu s u a ls t o c h a s - t i cg r a d i e n ts e l f - t u n i n gc o n t r o la l g o r i t h m s ，t h ea l g o r i t h m so fs t o c h a s t i cg r a d i e n ts e l f - t u n i n g c o n t r o lb a s e do nm u l t i i n n o v a t i o np a r a m e t e re s t i m a t i o nh a v ef a s t e rc o n v e r g e n c es p e e d k e y w o r d s ：r e c u r s i v ei d e n t i f i c a t i o n ，p a r a m e t e re s t i m a t i o n ，s t o c h a s t i cg r a d i e n t ，m u l t i - i n n o v a t i o ns t o c h a s t i cg r a d i e n t ，a d a p t i v ec o n t r o l i v 独创 生声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 l 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料。与我一同5 - 作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 签名：雅坡 e l 期： 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，- j - 以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名： 导师签名： 1 乏 j ： _ ，一 日 期： 第一章概论 1 1 问题提出与研究意义 1 问题提出 第一章概论 该课题来源于国家自然科学基金面上项目鬈一类非线性系统辨识建模理论与方法的研 究( 2 0 0 6 0 1 2 0 0 8 1 2 ) ，现存自适应控制是针对参数未知的控制系统，利用最b - 乘算 法或随机梯度算法来估计系统参数，进而设计控制器的方法本课题针对一些参数未知的 典型线性与非线性系统控制对象，引入多新息辨识算法，研究自适应控制算法论文的主 要贡献在于t 利用多新息辨识方法来估计系统参数，进而研究基于多新息参数估计的自适 应控制算法 2 研究意义 自从自适应控制提出以来，自适应控制方面的研究就越来越多，也形成了一些传统的 自适应控制理论i 卜4 1 ，1 9 7 3 年a 8 t r 6 m 和w i t t c n m a k 提出了自校正控制1 1 l 这一类方法 在后来得到了深入的研究和巨大的发展f 5 】自适应控制的目标是获得控制率到目前为 止也有许多这方面的研究1 6 】，前人提出了控制率的多种设计方法有的提出了随机小增益 理论来设计控制器【7 】，有的还针对非确定性系统提出了一些控制方法的研究1 8 1 自校正 控制是应用得比较成熟的控制方法，近些年来与其他一些先进技术结合1 9 ，1 0 ，并在化工领 域得到了广泛的应用 1 1 - 1 4 j 以上这些控制方法都是基于参数已知的情况下，在参数未知的情况下，我们就要进行 参数辨识，估计出系统模型的参数系统辨识发展到这些年以来已有很多研究成果1 1 5 - 1 9 j ， 但主要有两种典型的方法，最小二乘( l s ) 算法1 1 5 1 9 1 和随机梯度( s g ) 算法1 1 6 】这两种 算法已经得到了很深入的研究，l s 算法具有较强的鲁棒性和较高的收敛精度，而s g 算 法计算量小，但收敛速度慢，而且不能确保它的收敛性这两类算法发展得比较成熟，并 且应用到了自适应控制的多个领域 1 6 , 2 0 , 2 1 j 1 9 9 4 年丁锋在时变参数系统辨识及其应用中提出多新息辨识理论后，多新息理 论得到了发展：提出了一系列方法1 2 2 23 i ，也对多新息方法做出了性能分析 2 4 , 2 5 ，并进行 了收敛性分析 2 6 , 2 7 多新息算法可抑制坏数据对参数估计的影响，可跟踪时变参数，计 算量较小，尤其是多新息随机梯度算法，有较强的鲁棒性，估计性能明显优于随机梯度算 法 参数未知的自适应控制领域中具有挑战性的研究课题有：1 ) 提出新的辨识方法2 ) 辨识方法的( 有界) 收敛性、收敛速率、估计误差上界的研究3 ) 辨识试验中输人信号的 设计4 ) 控制率的设计5 ) 控制的稳定性、收敛性的研究等 1 江南大学硕士学位论文 多新息算法在国内国际上都有了一定的发展，但是这种算法还没有推广，还有很大的 发展空间对于线性系统的自适应控制的参数辨识，目前仅限于一些传统的辨识方法【6 】 而像多率系统模型的研究也并不久，其自适应控制刚刚研究基于l s 和s g 算法辨识模型 参数，并得到了一定的控制效果 2 0 , 2 1 对于非线性模型更只限于研究在传统辨识算法下 的辨识性能 1 6 , 2 8 因此对于线性系统和非线性系统一些典型模型的自适应控制，多新息算法尤其是多新 息随机梯度辨识算法具有很大的研究和发展空间，像他们的辨识收敛性，控制稳定性等性 能都是研究的重点和难点 1 2 自适应控制方法综述 个自适应系统，利用其中的可调系统的各种输入、状态和输出来度量某个性能指标，将 所测得的性能指标与规定的性能指标相比较，然后有自适应机构来修正可调系统的参数或者产 生一个辅助的输入信号，以保持系统的性能指标接近于规定的指标| 6 j 自上世纪5 0 年代末期美国麻省理工学院提出第一个自适应控制系统以来，自适应控制的 发展已有5 0 多年的历史，并且在近2 0 多年里得到了飞速的发展，已成为当代自动控制界的 少数热门前沿研究领域之一大批的科技工作者在从事自适应控制的研究与应用开发工作，每 年都有数千篇的学术论文与研究报告问世自适应控制理论已经在航空航天、机器人、冶金、 造纸、啤酒酿造、航海、水电站、机车控制、化工、窑炉控制、水下勘探等众多的工程技术领 域得到了成功的应用，取得了显著的社会效益与经济效益任何自适应控制系统都是非线性系 统自适应控制的主要理论基础是随机过程、线性代数、系统辨识、稳定性理论等一些新兴 的理论与技术，如：模糊集理论、人工神经元网络、小波变换和遗传算法等，对自适应控制理 论的发展也起到了很大的推动作用【驯 自适应控制系统大致可以分为如下几种形式；变增益自适应控制、模型参考自适应控制系 统、自校正控制系统、直接优化目标函数的自适应控制 1 模型参考自适应控制系统 模型参考自适应系统的设计方法大体上分为四个阶段：首先第一阶段主要是基于局部 参数最优化理论进行设计，w h i t a k e r 等人于1 9 5 8 年提出m i t 规则第二阶段b u t c h a r t 和s h a c h c l o t h ，p a r k ，p h i l l i p s o n 等人提出用李亚普诺夫稳定性理论设计m r a c 系统的方 法，l a n d a u 提出采用p o p o v 的超稳定性理论进行设计，这些理论保证了控制系统的稳定 性第三阶段m o n o p o l i 和n a r e n d r a ，v a l a v a n i 分别利用直接法设计了模型参考自适应系 统n a r e n d r a 和v a l a v a n i 又提出了间接修改控制器参数的m r a c 方案，解决了系统状态 不可测问题第四阶段主要是研究基于神经网络的模型参考自适应控制系统的设计例 2 第一章概论 2 自校正控制 自校正控制系统通常足属于随机自适应系统，它具有确定性等价性质，即当系统中所 有未知参数，用它们相应的估计值代替，根据给定的性能指标综合出系统的最优控制规律 在进行未知参数估计时，对输入输出观测数据使用此法可以有两种方式：是用来估 计受控系统模型本身的未知参数，也称显式算法或间接算法；另一种直接用来估计控制规 律中的未知参数，也叫隐式算法或直接算法自校正控制规律的设计有多种方案，常用的 有最小方差控制、二次型最优控制、极点配置等 3 自适应控制中的一些理论问题 实际工作中，自适应控制系统的分析是比较复杂的，目前主要的理论问题大概有： 稳定性问题；稳定性是控制系统设计的基本准则保证全局稳定性足自适应控制能正常 工作的前提条件对于确定性系统，目前主要的数学工具有l y a p u n o v 函数法和p o p o v 的超稳定性理论对应于新的自适应率的提出，如何保证全局稳定也是一大难点 收敛性问题：算法的收敛性问题是一个十分重要的问题对自适应控制来说，如果一 种自适应算法被证明是收敛的，那该算法就有实际的应用价值目前，收敛性的分析 仍然是比较困难的 鲁棒性问题：当被控过程存在未建模动态特性或者过程噪声或扰动远远比所设想的情 况复杂时，自适应控制系统会失去其稳定性质( 称为缺乏鲁棒性) ，从而根据结合鲁棒 性要求所设计的自适应控制系统比单纯按收敛性和稳定性指标所设计的系统具有更好 的控制效率目前，对于非线性控制系统的鲁棒性已有许多研究结果，研究一般是针 对一类仿射非线性系统进行的，对于系统的条件限制较严，研究中多采用基于梯度法 的自适应律为解决系统的全局稳定性及跟踪问题，通常要设定十分复杂的控制律 目前的研究结果还很难应用于工程实际中去 1 3 系统辨识方法综述 系统辨识的发展是与控制理论的发展紧密联系在一起的在控制理论出现以前，试验法 建模用于自然现象预测、天文学行星轨道预测、基础学科基本定律的建立，概率统计与回归分 析，这就是系统辨识的原型经典的控制理论诞生之后，它主要研究的模型是权函数，传递函 数和频率特性于是，经典辨识方法通常是在实验求的系统的阶跃响应、脉冲响应以及频率特 性等非参数模型的基础上，寻求系统参数模型，如传递函数或微分方程 现代控制论方法的特点足需要依赖对象数学模型设计控制系统，进入2 0 世纪8 0 年代， 系统辨识发展面临新形势，一方面由于鲁棒控制( r o b u s tc o n t r 0 1 ) 的出现，使自适应鲁棒控制 成为研究新热点，相比之下辨识本身的研究缺乏生气另一方面，一些过去认为陈旧的东西， 如连续时间系统辨识又以新面貌出现引起人们注意，回顾现代控制理论，经过一番考验进入 3 江南大学硕士学位论文 9 0 年代之后，系统辨识的研究出现新动向s 辨识与控制的配合以及鲁棒辨识，时变动态系统 的跟踪，向离散时间系统辨识发展，传统的辨识算法并行化( 矩阵优化计算的并行化算法) 与此同时，辨识的应用领域也大幅度扩展，更加专业化，辨识的内涵也在拓宽，改变了辨识仅 仅研究软件的概念，而把软硬件结合起来，研究微处理芯片几十年来，已经形成了一种成熟 的理论体系出现了一系列相关作品【3 1 3 3 】 对于工业过程建模理论、系统辨识与控制等方面教学和科研工作领域的一套国际前沿、具 有挑战性的最困难研究课题，丁锋等人提出和创立了辅助模型辨识思想删、递阶辨识原理 阳、多新息辨识理论【2 2 j 和参数估计误差界理论，并且建立了研究时变随机系统辨识收敛 性判据一鞅超收敛定理【3 7 】等；进而提出和发展了一系列辅助模型辨识方法族、递阶辨识方法 族，多新息辨识方法族；提出了非线性系统算子补偿适应控制原理：提出了多率采样系统的多 项式变换技术和递阶交互估计理论；开辟了辅助模型辨识领域、递阶辨识领域和多新息辨识领 域；解决了辨识与控制领域一系列关键性收敛问题；提出和证明了关于参数估计性能和输出跟 踪【3 8 】控制性能的一系列收敛性定理，以及现存辨识与控制方法和新提出方法在不同条件下的 性能分析等一系列研究成果，形成了一套完整的模型辨识与控制理论体系，丰富和完善了传统 辨识方法，使传统的系统建模理论和模型辨识与控制理论揭开了新的一页这些方法可用于解 决多种系统模型的参数估计、自适应滤波和预测、自适应信号处理、自适应控制和许多应用问 题 1 最小二乘类辨识方法 最小二乘类方法是利用最 、- - - 乘原理，通过极小化广义误差的平方和函数来确定模型 的参数最t b - 乘理论首先是由高斯( g a u s s ) 约在1 7 9 5 年为进行行星轨道预测的研究而 提出的现在最t j 、- - 乘理论已经成为用于系统参数估计的主要方法之一最d 、- - 乘原理简 单，易于理解和掌握，且最t 、- - 乘估计在一定条件下具有良好的统计特性( 一致性、无偏 性等) ，因而最t j 、- - 乘法得到了广泛应用但是同时它又具有两方面的缺陷：一是当模型噪 声是有色噪声时，最t j 、- - 乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓 的“数据饱和“现象针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记 忆法、偏差补偿法、增广最d 、- - 乘、广义最t b - - 乘、辅助变量法、二步法及多级最小二乘 法等 2 辅助变量算法 辅助模型辨识思想是丁锋1 9 9 0 年在其硕士论文多变量系统辨识中提出的辅助 模型辨识思想，就是借助于一个辅助模型，用辅助模型的输出代替系统的不可测变量的一 种辨识方法，并且通过选择辅助模型的参变量( 参数) ，使辅助模型的输出逼近这些不可测 变量，从而获得系统的一致参数估计辅助模型辨识思想主要用于解决系统某些变量( 如 状态或输出) 不可测量的辨识问题 4 第一章概论 起初，辅助模型思想被用来研究传递函数阵子予模型的辨识问题现在，基于辅助模 型辨识思想的辅助模型辨识方法已成为一个新的辨识方法族，基于辅助模型辨识思想的辨 识理论和方法已经形成了一个新的辨识领域，可以用于研究( 包括有色噪声模型干扰下) 线性和非线性模型的自适应信号处理、自适应辨识和参数估计等问题辅助模型辨识思想 也已经推广用于解决非线性系统和损失数据系统的辨识问题1 3 9 j 3 随机梯度算法 利用最速下降法原理，沿着误差准则函数关于参数模型的负梯度方向，逐步修改模型 的参数估计值，直至模型准则函数达到最小值 假设系统的辨识模型为 y ( t ) = 垆t ( t ) p ( t 一1 ) + 移 ) ， 其中耖( ) 为系统输出，o ( t 一1 ) r 是系统( 时变) 参数向量，妒( t ) r n 是由系统输出 和输入数据构成的回归信息向量，v ( t ) 是零均值随机噪声估计参数o ( t ) 的递推算法一 般可表示为 o ( t ) = o ( t 一1 ) + r 一1 ( t ) 垆( t ) b ( ) 一垆t ( z ) p 一1 ) 】， 其中o ( t ) 为o ( t ) 的估计矩阵r ( t ) 的选择方式不同，将导致一些不同的辨识算法，如最 j j 、- 乘法遗忘因子最t j 、- 乘法，随机梯度算法等 梯度类辨识方法的特点是算法中的协方差矩阵与最t j 、- 乘类算法相比，梯度类算法 计算量小，但收敛速度慢 4 极大似然法 极大似然方法，是概率性参数估计方法，也是一种非常有用的传统估计方法它是由 f i s h e r 发展起来的，其基本思想可以追溯到高斯( 1 8 0 9 年) 它需要构造一个联系未知参 数与观测数据的函数，即似然函数，根据极大似然原理，通过极大化似然函数来确定模型 的参数这意味着模型输出的概率分布将最大可能地逼近实际输出过程的概率分布在独 立观测条件下，也就必须知道输出量的概率分布；在序贯观测条件下，则需要确定基于t 时刻以前数据在t + 1 时刻输出量的条件分布它和另一种称作预报误差方法，在某种意 义上是等价的，它们所得的参数估计量都有良好的渐进性质，但是计算量较大1 3 1 】 5 多新息辨识理论 多新息辨识理论1 2 2 , 2 t 是丁锋1 9 9 4 年在其博士论文时变参数系统辨识及其应用 中提出的多新息辨识理论拓宽了新息辨识的概念，它是将单新息修正技术加以推广，从 新息修正角度建立了新息辨识理论，开辟多新息辨识领域，从而导致了一系列多新息辨识 方法多新息辨识方法是受间断迭代思想的启发，最初用类比方法，直接给出了变迭代间 5 江南大学硕士学位论文 隔多新息广义投影辨识算法的数学表达式当时尚无法给出详细的理论推导证明，后经过 深入的研究，从理论以上详细推导了多新息投影辨识算法、多新息最小二乘辨识算法、变 迭代间隔多新息最小二乘算法等等，使得多新息辨识算法有了严密的数学基础删 由于多新息辨识方法引入了新息长度参量，采用了间断迭代、变迭代间隔方式，使得 其具有克服坏数据对参数估计的影响，放宽了噪声平稳性假设，具有较强的鲁棒性，可以 跟踪时变参数，提高参数估计精度，在处理损失数据系统或不规则采样数据系统的辨识问 题，具有独到的特点多新息辨识已经成为一个崭新的辨识领域，多新息辨识理论也可以 用于研究各种模型的辨识问题，在处理损失数据系统的辨识问题，具有明显的优势 此外，他还建立了衰减激励下辨识方法收敛性分析的理论体系，提出了鞅超收敛定理 3 7 , 4 0 用以分析时变系统参数估计误差界，并解决了一系列辨识难题如时不变系统递推 最j 、- 乘( r l s ) 参数估计误差界及收敛速率【2 7 | 、多变量系统辅助变量最小二乘辨识的均 方收敛性【4 1 i 、多变量系统递推增广最小二乘( r e l s ) 法收敛性分析等 多新息辨识的基本原理就是：将单新息修正技术加以推广，从新息修正角度提出了多 新息修正技术辨识的概念，建立了多新息修正辨识算法顾名思义，多新息算法就是将新 息加以推广，即对标量系统而言，将算法中的标量新息e ( t ) 推广为新息向量e 0 ，t ) ，即多 新息( m u l t i i n n o v a t i o n ) ，这时算法可以写作 o ( t ) = o ( t 一1 ) + r p ，t ) e 0 ，t ) ，r ，t ) r n d ，e ，t ) r p ， 其中r ( v ，t ) 为增益矩阵( g a i nm a t r i x ) ，e ( p ，t ) 为新息向量( i n n o v a t i o nv e c t o r ) ，p 1 为 新息长度( i n n o v a t i o nl e n g t h ) t 时刻的参数估计台( t ) 是用增益矩阵r ( p ，) 与新息向量 e ( v ，t ) 的乘积对亡一1 时刻参数估计台 一1 ) 进行修正我们把基于多新息的辨识理论称 为多新息辨识理论( m u l t i i n n o v a t i o ni d e n t i f i c a t i o nt h e o r y ) ，把基于多新息的辨识方法称为 多新息辨识方法 统递推辨识方法( 如最t j 、- 乘算法) 的一个典型特征是：参数估计每步更新计算一次， 即当亡= 1 ，2 ，3 ，都计算一次参数估计，亦即迭代步长为1 迭代步长为1 的辨识算法 有一个最大缺点：当系统输入输出包含了不可信数据，即“坏数据”时，或某些数据采集 不到，即存在损失数据( m i s s i n g - d a t a ) 时，算法无法跳过这些数据，以避开坏数据对参数 估计的影响为此，我们提出了变迭代步长或变迭代间隔的递推辨识算法，它与多新息辨 识算法相结合，便导出本章要讨论的变迭代间隔多新息辨识算法多新息辨识方法又可分 为多新息最小二乘法、多新息随机梯度方法、多新息投影算法等等 多新息辨识算法有以下特点： ( a ) 可以通过适当选择q 值来减小参数估计误差，提高算法的辨识精度 ( b ) 充分利用了系统的数据信息，在一定程度上可以提高算法的收敛速度 6 第一章概论 ( c ) 多新息算法可以克服坏数据对参数估计的影响，计算量也较最小二乘法小 ( d ) 数据的平稳性有利于提高辨识精度 ( e ) 多新息算法可以作为系统辨识和参数估计的基本方法之一，它与最小二乘法，随机梯 度算法一样，可以用于各种模型的参数估计 ( f ) 多新息算法的一个重要性能足可以在无持续激励条件下或衰减条件下给出时不变参数 的一致估计 随着辨识理论的不断成熟和完善，辨识方法及辨识手段的改进，辨识的系统模型也在发生 这变化现在人们开始从线性系统转向非线性系统，从单率模型转向双率多率模型，从时不变 系统转向时变系统等 1 4 主要研究内容 根据前人的研究成果，遵循由简到难的研究方式，本文由几种典型的模型对象展开讨论研 究：从白噪声情况下到有色噪声情况下，从线性到非线性，根据已有的研究成果，把多新息辨 识方法与自校正方法结合起来用于几种典型对象的控制中，详细提出了算法及控制律，并对线 性对象控制稳定性作了详细的数学证明对于各种算法，为了更好地分析算法的性能和优点， 作了一系列相关的仿真试验，体现了多新息随机梯度类自校正控制算法的优点 第二章从最简单的模型一白噪声情况下的线性a r x 模型开始，提出了多新息投影算法 的自校正控制算法、多新息随机梯度自校正控制算法、多新息随机梯度极点配置自校正控 制算法，前两种算法的控制率设计思想都是最小方差自校正，而多新息投影也是多新息随 机梯度的一种特殊情况，后两种算法辨识部分的方法相同，控制律设计思想前者是最小方 差自校正，后者是极点配置方法，本章对这三种算法进行了详细地分析以及介绍，并进行 了收敛性分析和仿真 第三章研究对象扩展到有色噪声下的线性a r m a x 模型，介绍了多新息增广随机梯度自 校正控制和多新息增广随机梯度极点配置自校正控制推导算法，方法同上一章后两者，两 种算法辨识部分的方法相同，控制律设计思想前者是最小方差自校正，后面并进行了收敛 性分析和仿真 第四章把研究对象扩展到简单的非线性h a r x 模型，该系统由线性部分和非线性部分组 成，文中通过对非线性部分的处理，采用多新息随机梯度自校正控制和多新息随机梯度极 点配置自校正控制推导算法，方法同上一章，两种算法辨识部分的方法相同，控制律设计 思想前者是最小方差自校正，与第二章相比，控制对象增加了非线性部分，本章提出了算 法并作了相应的仿真研究 7 江南大学硕士学位论文 传统的辨识方法在参数未知自适应控制系统中已运用得相当成熟，而作为新提出的多新息 辨识方法，其在自适应控制中的应用很少，多新息算法尤其是随机梯度类算法比单新息算法有 较明显的优势，在自适应控制中具有一定的研究价值 8 第二章a r x 模型的多新息自校正控制方法 第二章a r x 模型的多新息自校正控制方法 2 1 多新息辨识方法简介 本节主要内容引自自适应控制系统( 清华大学出版社，2 0 0 2 ) 和f d i n g ，t c h c n p e r f o r m a n c ea n a l y s i so fm u l t i i n n o v a t i o ng r a d i e n tt y p ei d e n t i f i c a t i o nm e t h o d s a u t o m a t i c a ， 2 0 0 7 ，4 3 ( 1 ) ：1 1 4 多新息辨识就是将单新息修正技术加以推广，从新息修正角度提出了多新息修正技术辨识 的概念，建立了多新息修正辨识算法，对标量系统而言，将算法中的标量新息e ( t ) 推广为新息 向量e ( p ，t ) ，即多新息( m u l t i - i n n o v a t i o n ) 多新息辨识已经成为一个崭新的辨识领域，多新息辨识理论也可以用于研究各种模型的 辨识问题在传统的辨识方法的基础上产生出了多新息最小二乘辨识方法、多新息投影辨识方 法、多新息随机梯度辨识方法、多新息遗忘梯度辨识方法，多新息广义投影辨识方法以及一些 派生方法 与最小二乘类算法相比，梯度类算法收敛性较差，主要原因分析如下； 误差系统表现出来的参数估计误差等式在单位圆上有n 一1 个特征值，而只有一个特征值 在单位圆内 由于梯度类算法在递推估计中只利用了 可( t ) ，垆( ) ) 此刻的数据，而没有利用过去的数据 y ( t z ) ，垆( t i ) ：i = 1 ，2 ，) ，它不能充分有效利用系统的可用数据 对于有遗漏数据的系统，因为总是要假设y ( t ) 的有效性，所以梯度类算法不能处理它的辨 识问题 因此为了提高辨识算法的收敛性，我们对于梯度类算法进行扩展，采用了多新息的观点产 生了一