（检测技术与自动化装置专业论文）carma模型与输出误差模型迭代辨识.pdf

摘要 论文以国家自然科学基金项目一类非线性系统辨识建模理论与方法的研究为背景， 开展了c a r m a 模型和输出误差模型参数辨识方面的研究这两种模型广泛存在于工业生产 过程中，因而其参数估计方法的研究一直受人关注，这一研究既具有重要的理论意义，又具有 潜在的应用价值在查阅了相关文献的基础上，论文简要回顾了系统辨识的历史，综述了相关 参数估计方法，并对该课题进行了深入研究，取得了如下成果 1 提出了辨识c a r m a 模型的最小二乘迭代辨识算法和随机梯度迭代辨识算法，两种迭代 辨识方法在每步迭代计算过程中，同时使用系统可得的所有数据，以从数据中提取尽可能 多的知识来提高参数估计精度其基本思想是：采用交互估计理论和递阶辨识原理，在每 一步的迭代计算中，参数估计依赖于噪声估计，反过来噪声估计通过前一次迭代的参数估 计计算，这两者执行一个递阶计算过程由于它充分使用了系统所有的可量测数据，因而 相比递推算法，能够获得更高的参数估计精度 2 提出了辨识输出误差( o e ：o u t p u te r r o r ) 模型的最j 、- - 乘迭代辨识算法和随机梯度迭代 辨识算法输出误差模型是c a r m a 模型的一种特殊情形，尽管c a r m a 模型的最小二 乘迭代算法和随机梯度迭代辨识算法也可以应用于o e 模型的辨识，但要估计的参数数目 比应该估汁的多，为了避免此问题，论文提出了针对o e 模型的迭代辨识算法，在每一步 迭代计算中，参数估计依赖于系统内部未知变量( 不带噪声时的系统输出) 估计，反过来系 统内部未知变量的估计通过前一次迭代的参数估计计算 3 将输出误差模型最l 、- - 乘迭代辨识算法和随机梯度迭代辨识算法推广到了h a m m e r s t e i n 非线性输出误差模型，模型由一个非线性无记忆单元级联一个输出误差模型构成，通过令 非线性单元首项系数为1 ，得到了唯一的参数估计 4 将最小二乘迭代辨识算法应用一类非均匀采样多率系统上建立了非均匀采样多率系统 的状态空间模型，并根据传递函数模型与状态空间模型之间的转化关系，将状态空间模型 转化成传递函数模型，最后利用输出误差模型迭代辨识算法辨识得到的传递函数模型的参 数 通过仿真比较，论文提出的迭代辨识算法与传统的递推辨识算法相比，具有更高的参 数估计精度，提出的算法都是有效的 关键词：迭代辨识，最小二乘，c a r m a 模型，输出误差模型，h a m m e r s t e i n 非线性输出误差 模型，多率系统 a b s t r a c t b a s e do nt h ep r o j e c t “s t u d yo fm o d e l i n ga n di d e n t i f i c a t i o no fac l a s so fn o n l i n e a rs y s t e m s ( t i l en a t i o n a ln a t u r es c i e n c ef o u n d a t i o no fc h i n a ) ”，t h i st h e s i ss t u d i e si d e n t i f i c a t i o nm e t h o d s f o rt h ec a r m am o d e l sa n do u t p u te r r o rm o d e l sw i t hs i g n i f i c a n tt h e r o ya n dp o t e n t i a lv a l u e s i na p p l i c a t i o n s t h er e s u l t sa r ea sf o l l o w s ： 1 b a s e do nt h ei t e r a t i v el e a s ts q u a r e sp r i n c i p l e ，t w oi d e n t i f i c a t i o na l g o r i t h m s ，al e a s t s q u a r e s i t e r a t i v ea l l da ni t e r a t i v eg r a d i e n tb a s e da r ed e v e l o p e df o rc a r m am o d e l s c o m p a r e d w i t ht h er e c u r s i v el e a s ts q u a r e sa l g o r i t h m sa n dt h er e c u r s i v es t o c h a s t i cg r a d i e n ta l g o r i t h m ， t h e s et w oi t e r a t i v ea l g o r i t h m su s ea l lm e a s u r e di n p u t o u t p u td a t aa te a c hi t e r a t i o n ，a n d t h u sh a v eh i g ha c c u r a t ep a r a m e t e re s t i m a t i o na n df a s t e rc o n v e r g e n c er a t e s t h eb a s i c i d e ao ft h ei t e r a t i v em e t h o d si st oa d o p tt h ei t e r a t i v ee s t i m a t i o nt h e o r ya n dh i e r a r c h i c a l i d e n ti f i c a t i o np r i n c i p l e ，t h ep a r a m e t e re s t i m a t e sr e l yo nt h en o i s ee s t i m a t e s ，a n dt h en o i s e e s t i m a t e sa r ec o m p u t e db yt h ep r e c e d i n gp a r a m e t e re s t i m a t e s t h i sp e r f o r m sah i e r a r c h i c a l c o m p u t a t i o np r o c e s s e s 2 b a s e do nt h ei t e r a t i v el e a s ts q u a r e sp r i n c i p l e ，t w oi d e n t i f i c a t i o na l g o r i t h m s ，al e a s t s q u a r e s i t e r a t i v ea n da ni t e r a t i v eg r a d i e n tb a s e da r ed e v e l o p e df o ro u t p u te r r o rm o d e l s c o m p a r e d w i t ht h ea u x i l i a r ym o d e lb a s e dr e c u r s i v el e a s ts q u a r e sa l g o r i t h ma n da u x i l i a r ym o d e lb a s e d s t o c h a s t i cg r a d i e n ta l g o r i t h m ，t h e s et w oi t e r a t i v ea l g o r i t h m su s ea l lm e a s u r e di n p u t o u t p u t d a t aa te a c hi t e r a t i o n ，a n dt h u sh a v eh i g h e ra c c u r a t ep a r a m e t e re s t i m a t i o na n df a s t e r c o n v e r g e n c er a t e s 3 e x t e n d i n gt h ei t e r a t i v ea l g o r i t h m sf o ro u t p u te r r o rm o d e l st ot h eh a m m e r s t e i nn o n l i n e a r o u t p u te r r o rm o d e l sc o n s i s t i n go fm e m o r y l e s sn o n l i n e a rb l o c k sp l u sa l i n e a rd y n a m i c a lb l o c k d e s c r i b e db yo u t p u te r r o rm o d e l s ，w eg i v eal e a s t s q u a r e s i t e r a t i v ea l g o r i t h mb yf i x i n gt h e f i r s tc o e f f i c i e n to ft h en o n l i n e a rf u n c t i o nt ou n i t y 4 a p p l yt h ei t e r a t i v ea l g o r i t h m sp r o p o s e dt oak i n do fn o n - u n i f o r m l ys a m p l e d d a t as y s t e m s t h es t a t e - s p a c em o d e li se s t a b i l i s h e da n dt h e na c c o r d i n gt ot h et r a n s f o r mr e l a t i o nb e t w e e n t h et r a n s f e rf u n c t i o na n dt h es t a t e - s p a c em o d e l ，w ed e r i v et h et r a n s f e rf u n c t i o no fn o n - u n i f o r m l ys a m p l e d d a t as y s t e m sa n dg i v ea ni t e r a t i v ei d e n t i f i c a t i o na l g o r i t h m t h es i n m l a t i o nr e s u l t si n d i c a t et h a ta l lp r o p o s e da l g o r i t h m sc a np r o d u c eh i g h e ra c c u r a t e p a r a m e t e re s t i m a t i o nt h a ne x i s t i n gr e c u r s i v ei d e n t i f i c a t i o na l g o r i t h m s 江南大学硕士学位论文 k y e w o r d s ：i t e r a t i v ei d e n t i f i c a t i o n ，l e a s ts q u a r e ，c a r m am o d e l ，o u t p u te r r o rm o d e l ，h a m - m e r s t e i nm o d e l s ，m u l t i r a t es y s t e m i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 签名： 王金鱼 日 期： 趔孟：2 ：2 壁 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名： 金逸 导师签名： 五肠【)_ - 一 日 期：伊q ；。 1 1 问题提出与研究意义 1 问题提出 第一章绪论帚一早三百v 匕 本课题的研究是以国家自然科学基金面上项目一类非线性系统辨识建模理论与方法 的研究( 6 0 5 7 4 0 5 1 ) ( 2 0 0 6 0 1 2 0 0 8 1 2 ) 为背景展开的系统辨识( s y s t e mi d e n t i f i c a t i o n ) 可以定义为：根据系统的输入一输出数据( i 0 数据) ，从给定的模型中寻找与所研究的系 统等价的模型简言之，系统辨识就是利用系统的i 0 数据建立系统最优数学模型的理论 和方法根据这个定义，我们知道在系统辨识中必须确定三方面的问题：第一，必须指定 一类系统，即根据验前信息确定系统模型的类型第二，必须规定一类输入信号，例如正弦 信号，阶跃信号，脉冲信号，白噪声，伪随机信号等而且这些信号从时域考虑，必须能持 续地激励系统的所有模态；从频域考察，输入信号的频带能覆盖系统的频带宽度第三， 必须规定“系统等价”的含义及其度量准则从上述定义可以看出，系统辨识问题的提法 有相当大的自由度，这种自由度表现在模型类型的选择，输入信号的选择和评价准则上， 而这些选择很大程度上取决于辨识的目的，模型的最终用途，也与验前所得知识有关由 于系统的数学模型是一个表示输入和输出关系的数学表达式为此，可以利用各种信号去 激励系统，并测量其输出，通常这些输入输出数据都为噪声所污染，辨识技术就是通过处 理这样的数据而获得模型的或者可以定义系统辨识为通过测取研究对象在人为设定的输 入信号作用下的输出相应，或正常运行时的输入一输出数据记录，加以必要的数据处理和 数据计算，估计出对象的数学模型其中有参数模型和非参数模型，而参数模型又往往归 结为参数的最优估计问题通常总是将待辨识的系统看成“黑箱”，如图1 所示，只考虑 系统的输入输出特性，而不强调它的内部机理图1 1 中，输入u ( t ) 和输出v ( t ) 是可以 图1 1 过程的“黑箱”结构 f i g 1 1t h eb l a c kb o xs t r u c t u r eo fap r o c e s s 观测的；g ( z ) 为系统模型，用来描述过程的输入输出特性，通常可以表示成 ) = 器 l 江南大学硕士学位论文 其中 a ( z ) = 1 + a l z 一1 + a 2 z 一2 + + a r i a z 一， b ( z ) = 6 1 名一1 + b 2 z 一2 + + b n 6 z m ， n 。n 6 为模型结构的阶次 过程的输出除了受输入量u ( t ) 作用之外，它往往还要受到其他一些不确定因素的影 响，通常把这些不确定因素的影响都归结成附加噪声钉( 亡) 从含有噪声的数据中提取被研 究对象的数学模型，这一过程，辨识技术的作用只是帮助人们表征被研究的对象、现象和 过程的复杂的因果关系时，尽可地确立它们之间的定量依存关系，这个数学模型只能是对 象的输入输出特性在某种意义下的一种近似，近似的程度取决于人们对过程先验知识的认 识深化程度和对数据集合性质的了解，以及选用的辨识方法是否合理因此每一种辨识技 术都有其应用的场合和条件，至今人们仍在研究和探索新的辨识方法和技术以固立新的实 际应用要求系统辨识的内容包括：实验设计、模型结构确定、参数估计、模型验证等等 ( a ) 试验设计：在这一步中，除选择感兴趣的输入和输出变量外，还需要选择合适的试验 信号和确定此信号的参数； ( b ) 模型结构的选择：模型结构要根据关于系统行为特点的先验知识和系统分析与综合的 需要两方面来确定不同的模型之间可以进行转换，但是由于所假定的模型结构只是 实际过程的一种近似；数据受随机噪声污染；数据长度有限等原因，辨识所得的模型 必然存在误差一般说来，同个辨识结果，在一种评价标准下精度可能很高，而在另 一种评价标准下却未必也很高u n b e h a u e n 和s c h l e g a l 曾证明，在时域的大范围内小 误差可以酿成频域内的大误澎，反之亦然辨识所得模型之间的转换是需要慎重对待 的。同一系统不同的辨识方法辨识所得的不同的模型之间也未必存在完全的等价，所 以辨识模型结构的选择也是要慎重对待的； ( c ) 参数估计：采用离线辨识时，计算是一次性地成批处理收集到的全部数据；而采用在 线辨识时，数据的处理则采用实时的方式，即采用递推算法； ( d ) 输入一输出数据：可以是外施激励信号作用下的测量值，也可以是系统正常工作时的 运行数据 ( e ) 模型验证：对象合模型的等价性是通过引入评价函数定义的对某种相同的输入乱( 亡) 若实际系统的输出为可( 亡) ，模型的输出为( 亡) ，普遍采用的评价函数是 ，t = v ( y ，y m ) = z ( 可( ) ，y m ( t ) ) d t ，t 0 ， 0 2 第一章绪论 式中，2 为损失函数，是( t ) 与( t ) 偏差的非负标量函数在给定的模型类中，当 模型使评价函数最小时，定义模型与对象等价因此，辨识就是求评价函数最小的模 型的最优化问题若模型采用参数模型描述时，辨识就归结为参数最优化问题参数 估计要根据系统分析与综合所提出的精度要求和实时性要求，以及数据中包含噪声的 特点、统计规律选择参数估计的算法 2 研究意义 控制系统设计的基本要求是提高控制精度，包括跟踪有用信号和抑制干扰两个方面 以惯性导航系统的设计为例，目前用于大地测量和重力量测的系统要求定位精度达几分米 ( 相对误差小于1 0 山) ，垂直偏差测量精度达几分之一角秒单纯依靠控制元件的精度和古 典控制系统的综合方法是无法达到这样高的控制精度的六十年代初卡尔曼等人提出了控 制系统能观性和能控性的理论，对于控制系统内部的状态变量可以加以观测和估计，并且 进而可以辨识它们的数学模型和参数这样，提高控制系统的精度就有了新的技术途径 在精密的控制系统中，可以引入卡尔曼滤波器和辨识装置，通过实时的估计和辨识，对系 统中存在的干扰加以补偿，达到提高控制精度的目的 众所周知，系统辨识是当前发展很活跃很迅速的学科之一与最优控制，自适应控制 一样，它已经成为现代控制理论的主要支柱之一，也可以这么说，系统辨识是和状态估计、 控制理论相提并论的现代控制理论的三个相互渗透的领域之一，同样也是信号处理技术的 重要基础辨识的目的是为了充分掌握研究对象的运动规律，用数学的语言描述事物运动 的因果关系其应用遍及许多领域，每年都产生大量的辨识和参数估计的研究成果和科技 文献，是一门有着明显的使用价值的、极其活跃的学科领域中也存在着广泛的应用特别 是，系统辨识的进展和微处理机出色成果相结合，为实时辨识提供了廉价而有效的手段另 外，辨识在仿真中也有着极其重要的作用辨识与数字仿真是当代系统科学中发展迅速， 应用广泛且富有成果的两个分支学科，而且均源于计算机技术的长足进步而发展起来的 它们之间各有其定义的范围合内容与许多共通和互为覆盖的内容，方法及手段 它们都是对实际系统的研究，进一步说，它们都是基于对系统模型的研究； 它们都是采用计算机，特别是数字计算机为主要手段； 为能使用数字计算机，它们都存在模型的离散一数值化，计算机程序和语言，上机操 作等力断的共同知识，方法和技能； 系统辨识是建模，即根据实际系统的输入输出数据来建立一个系统的最佳模型 系统仿真即是根据实际系统的数学模型，由输入信号计算，研究内膝体的输出及其各 种性能系统的数学模型是仿真的依据和基础，虽然辨识只是建立模型方法中的一种，却 又是工程系统建模中比较重要的手段之一因而，系统辨识是系统仿真中的一种重要的依 3 江南大学硕士学位论文 据和手段而系统的辨识建模又是借助于计算机仿真，例如对模型结构的选择，参数最佳 拟合与模型校验等的大量计算工作都是通过仿真程序反复计算，最后达到满意的结果因 此，系统仿真又是系统辨识建模的工具和手段 1 2 辨识方法综述 1 最小二乘类算法 ( a ) 最小二乘法 对于参数模型的辨识有很多众所周知的方法，如极大似然法，相关函数法，辅助变 量法，随机逼近法，预报误差法，梯度校正法及其他诸多的参数估计的最优法方法 由于许多重要的原因，辨识主要依靠了最小二乘法其原因是：其一，最小二乘法是 一种最经典的方法，易于为人们所理解与掌握；其二，最小二乘法再其他辨识方法失 效的情况下仍能够提供解答；其三，最小二乘法的吸引力还在于，它对各种各样情况 能够提供简明而适用的概念对大多数实际问题，由最小二乘法所得到的估计值也有 着最佳的统计特性；其四，最小二乘法与其他方法存在某种内在联系因此，最j 、- - - 乘法以及由此所发展起来的各种方法，如递推最小二乘法，增广最小二乘法，广义最 小二乘法，辅助变量法等等，仍是当前普遍使用的行之有效的方法最小二乘法大约 是1 7 9 5 年高斯在他那著名的星体运动轨道预报研究工作中提出的后来，最i b c - 乘法 就成了估计理论的奠基石由于它原理简单，以选用误差平方和最小为准则，来拟合 出符合试验数据的最优参数估计的数学方法，编制程序也不困难，所以它颇受人们的 重视，应用相当广泛最d 、- - 乘法的基本结果有两种形式，一种是经典的一次完成算 法，也称离线辨识算法估计值是在全部数据记录的基础上计算的一种一次完成或成 批处理方式，它对于理论研究较有帮助；另一种是现代的递推算法，也称做在线辨识 法，它对于时变系统参数跟踪，以及自适应控制和自适应滤波都是十分必要的所谓 在线辨识，就是顺序地采样i o 数据，顺序地估计参数矢量或系统非参数模型的自然 特性由手在线辨识不含有任何矩阵求逆，因此可以快速计算，而初始值可以根据某 种工程经验来选择，或者由一次完成的最小二乘估计来选择 ( b ) 增广最小二乘法 设系统采用如下模型，即 a ( z ) y ( t ) = b ( z ) u ( 亡) + d ( z ) e ( 亡) ， 其中，e ( 考) 为白噪声，d ( z ) 为成形滤波器的有关参数设 a ( z ) = 1 + a l z 一1 + a 2 z 一2 + + 。z 一， 4 第一章绪论 b ( ：) = b 1 ：一1 + b 2 ：一2 + + b n h z 一讥? d ( z ) = d l z 一1 + d 2 z 一2 + + d n d z m 当系统中误差不是均值为0 ，协方差为盯2 及非相关白噪声时，采用普通的最小二乘法 估计出的参数将是有偏的。而增广最小二乘法却可解决相关有色噪声污染下的辨识问 题假设模型阶次已知，则上述问题的辨识可以用增广最小二乘法获得满意的结果 令 0 = 陋1 ，a 2 ，a n 。，b l ，b 2 ，k b ，d 1 ，d 2 ，磊d 】t ， z ( t ) = - y ( t 一1 ) ，- y ( t 一礼。) ，u ( 亡一1 ) ，u ( t n 6 ) ，e ( 亡一1 ) ，e ( t 一佗d ) 】 则可将模型化成最j 、- - 乘格式 y ( t ) = z t ( ) 8 + e ( 亡) ， 然而上式中e ( 亡) 是一些不可测的噪声量，故不能直接采用最小二乘法这时，取 芭( t ) = y ( t ) 一z t ( t ) p ( 一1 ) ， 来作为z ( 亡) 中的e ( ) 其中， 0 = a 1 ，a 2 ，a n 。，b l ，b 2 ，k b ，d 1 ，d 2 ，d n d 】t ， 根据采样数据增加时的递推最小二乘法的推导结果，可以得到如下增广最j 、- - - 乘的递 推算法： o ( t ) = o ( t 一1 ) + 工( 亡) 阿( 亡) 一z t ( 亡) p ( 亡一1 ) 】， 五( 亡) = p ( t 一1 ) z ( 亡) 【2 t ( 亡) p ( 七一1 ) x ( t ) + 1 】一1 ， p ( t ) = 1 一l ( t ) x t ( f ) 】p ( t 一1 ) 从辨识算法可以看出增广最小二乘法作为一般最小二乘法的一种简单推广，它只是扩 充了参数向量和信息向量的维数，把噪声模型的辨识同时考虑进去，故称之为增广最 t j 、- 乘算法最j 、- - - - 乘算法的许多结论对它都是适用的，但最小二乘法只能获得过程 模型的参数估计，而增广最j 、- - 乘法同时又能获得噪声模型的参数估计如果噪声模 型是用d ( z ) v ( t ) 表示时，只能用增广最j 、- 乘法方可获得无偏估计，这是普通最小二 乘算法所不能代替的 ( c ) 辅助变量法 对应不同的噪声模型，分别有不同的辨识方法，如普通最小二乘算法是针对c a r 模型的、增广最b - - 乘算法是针对c a r m a 模型的、递推偏差补偿最j 、- - - 乘算法是针 5 江南大学硕士学位论文 对输出误差模型的在实际过程中，噪声模型结构形式往往难以确知，或者很难用某 一特别噪声模型描述，或者噪声模型对研究不必要要获得这类系统模型参数的一致 无偏估计( u n b i a s e de s t i m a t e ) ，可用辅助变量法辅助变量辨识方法是一类重要的辨识 方法，因为它不需要噪声模型具体的结构形式，而可获得系统模型参数的一致估计 设系统方程为 y = 茁9 + e 假定存在一个( 2 n + 1 ) xn 的矩阵z ( 维数与刃相同) ，其中为数据长度 z 满足 下列极限性质： n l i r a 圮1 寸z l e = o ，n l i m 站1 寸z 1 茁= q 式中q 是非奇异矩阵用z t 左乘系统方程，解出 8 = ( z t z ) 一1 z t y 一( z t 刃) 一1 z t e ， 取 p i v = ( z t z ) 一1 z t y 作为p 的估计值该p 为辅助变量估计值，z 为辅助变量矩阵，z 中元素为辅助 变量该辅助变量估计值与最小二乘法的解具有相同的形式，因此，其计算与最j 、- - - 乘法一样简单，而且p i v 为是p 的一致估计值，即 ，l ，i r a8 i v = 口 o o 一 现在最重要的问题是确定构超z 所需的辅助变量根据z 的性质可知，辅助变量与 e 不相关或与随机干扰y 不相关，但与z 中的z z ( 老) ，y ( k ) 强烈相关所以，z 的理 想选择是：设输入u ( k ) 是2 n + l 阶持续激励，则 z = - w ( t )- w o ) u + 1 ) u ( 1 ) - w ( t + 1 )- - w ( 2 ) 乱 + 2 ) 乱( 2 ) 一协( t + n 1 ) 一w ( n ) ”( + n ) 让( ) 很显然，可以有许多方法选择辅助变量，使之满足辅助变量的一般条件，可以预料到， 辅助变量的不同选择，将会导致估计的不同有效性 6 第一章绪论 ( d ) 辅助模型法 设系统用输出误差模型 郧) = 器邮m 描述，其中a ( z ) ，b ( z ) 定义如前u ( 亡) 和箩( ) 分别是模型的输入和输出序列，秽( 亡) 为零均值不相关的随机噪声 在增广最j 、- - 乘算法中，信息向量中不可测噪声用其估计代替，而在这里，信息 向量中不可测输出用辅助模型的输出代替设 ) = 裂u ， 其中x ( t ) 是系统的不可测输出，y ( t ) 是x ( t ) 的含噪量测如果x ( t ) 是可测的，则利 用观测札( 亡) ，z ( 亡) 的最小二乘法可以给出该模型参数的一致无偏估计由于x ( t ) 不可 测，所以可以用辅助模型 童( ，) = 妒。t ( ，) 9 。( t ) 来计算其近似值，其中妒n ( 亡) 和9 n ( 亡) 分别是辅助模型在t 时刻的信息向量和参数向 量 妒8 ( 亡) 和0 b ( 亡) 的选择方式将决定算法的具体形式和收敛性能常用的一种选择 方法是 垆。( ) = 妒( ) ，9 。( ) = 8 ( 亡) ， 这样借助于辅助模型估计式参数的递推最j 、- 乘法可以表达为 e ( t ) = e ( t 一1 ) + 工( 亡) 阿( 亡) 一垆t ( 亡) 9 ( 亡一1 ) 】， l ( t ) = p ( t 一1 ) 妒( ) 妒t ( t ) p ( 芒一1 ) 妒( ) + 1 】一1 ， p ( t ) = 1 一l ( t ) c p t ( ) p ( t 一1 ) ， 妒t ( 右) = 一圣 一1 ) ，一2 ( 亡一n ) ，u ( t 一1 ) ，u ( t 一佗6 ) 】， 岔( 亡) = 矿( 亡) p ( 亡) ， 日1 ( t ) = 【a 1 ( t ) ，a n 。( 亡) ，b l ( t ) ，k 。( t ) ， = 【a l ，a ，b l ，b 】 该算法是辨识输出误差模型参数的一种有效方法，它是丁锋和谢新民1 9 9 1 年提出的， 主要用于解决系统状态或输出不可测量的辨识问题辅助模型辨识是借助于辅助模型 的输出代替系统的真实输出的一种辨识方法，最终使辅助模型的输出逼近系统的真实 7 江南大学硕士学位论文 输出丁锋和谢新民分别用辅助模型方法估计多变量系统传递函数阵子子模型和o e 模型的参数，并在噪声方差无界或条件数无界等弱的假设下研究了辅助模型算法，它 的参数估计仍然是一直收敛的 ( e ) 相关二步法 二步法的基本思想是把辨识分成二步进行第一步利用相关分分析法，获得对象 的非参数模型一脉冲相应或相关函数；第二步利用最d 、- - 乘法，辅助变量法或增广最 d 、- - 乘法等，进一步求得对象的参数模型当数据受到有色噪声污染的时候，最d 、- - 乘法不能给出好的辨识结果，而相关二步法实质上对数据先进行一次相关分析，滤出 了有色噪声的影响，再利用最d 、- - 乘法必然会改善辨识的结果不幸的是，相关二步 法和辅助变量法一样也不能同时获得噪声模型的参数估计值 ( f ) 递阶辨识方法 递阶辨识，即分解辨识的概念是丁锋教授1 9 9 7 年给清华大学研究生讲授大系 统理论及应用，受到大系统递阶控制的分解协调原理的启发提出来的递阶辨识的 基本原理分为两步：( 1 ) 将一个协调分解为多个维数较小，变量较少的子系统( 这些协 调可能是虚拟的) ；( 2 ) 分别辨识每个子系统的参数向量或参数矩阵由于这种分解， 辨识的困难在于各个子系统之间存在着关联项，即每一个子系统包含了其他一些子系 统的未知变量，也就是说，第i 个子系统包含了其他一些子系统的未知参数或参数矩 阵，使得迭代计算难以进行为了解决这一问题，在计算k 时刻第i 个子系统参数的 估计时，包含在第i 个子系统的其他子系统的未知参数或参数矩阵，用它们在前一时 刻k 一1 的估计值代替递阶辨识实际上是一种交互估计理论。递阶辨识不仅可以用 于解决维数大，变量数多的大系统辨识的计算量大问题，而且对所谓的小系统的辨识 也是非常有用的多变量系统传递函数主模型的辨识问题，( 耦合) 矩阵方程的递阶辨 识算法，显示出其独到的特点。基于递阶辨识原理的辨识方法已经成为大类递阶辨 识方法族，其理论和方法已经形成了一个崭新的辨识领域例如： 离散多变量系统的递阶梯度辨识方法 离散多变量系统的递阶最d 、- - 乘辨识方法 一般双率系统状态空间模型及其递阶辨识 非均匀周期采样多率系统的递阶辨识 传递函数模型的递阶多信息辨识方法及其仿真 2 梯度辨识算法 与最l j 、- - 乘算法相比，虽然梯度辨识算法收敛速度慢，但是它的计算量却相对较小 因而，它也具有一定的研究价值在介绍梯度算法之前，先简单说明一下与之有密切关系 的投影辨谚l 算法 8 第一章绪论 在最j 、- - 乘辨识算法中，如果选择 fr ( ，) = p 。1 ( t ) ， 【p 。( ) ：= 工+ s o ( t ) s o t ( t ) 则可以得到投影辨识算法： a ( 亡) = 台( t 一1 ) + 丁淼阿( 亡) - s o t ( 艺) 台( 一1 ) 】 这个算法能够估计时变参数，但是对噪声比较敏感，参数估计波动大由于算法中没有可 调节参量，无法控制估计误差丁锋等基于鞅超收敛定理，研究了时变系统投影辨识算法参 数估计误差上界1 2 0 】以及基于投影算法自校正控制闭环系统输出跟踪误差界【2 1 】文献f 2 2 1 提出了多变量系统递阶投影算法；文献( 2 3 】针对输入( h a m m e r s t e i n ) 非线性系统，提出了 蕈于噪声估计的梯度迭代辨识算法、递推随机梯度辨识算法和投影辨识算法；文献【2 4 】提 出了双率采样系统的辅助模型随机梯度算法和辅助模型投影辨识算法 下面是几种类型的梯度辨识算法： ( a ) 随机梯度辨识算法 如果选择 jr ( t ) = r ( t ) i ，r ( t ) ：= t r p 。1 ( 亡) 】， lp 一1 ( 亡) = p - 1 ( 右一1 ) + 妒( 舌) 妒t ( 亡) 则得到随机梯度辨识算法( s g ) ： 台( ) = 台( 一1 ) + 等等陟( ) 一妒t ( ) 台( 艺一1 ) 】， r ( t ) = r ( t 一1 ) + i i , p ( t ) 1 1 2 ，r ( o ) = 1 。 这个算法增益趋于零，只适用于估计时不变系统参数，但是参数估计收敛速度慢由 于其计算量小，可用构成自适应控制系统作者1 9 9 9 年在强持续激励条件和有界噪声 方差下，证明了s g 算法参数估计误差一致收敛于零 2 5 j ，并用例子说明了时不变系统 s g 算法引入遗忘因子后的性能和遗忘因子的选择方法；最近又在弱持续激励条件和 无界噪声方差下，证明了同一收敛结论，得到了迄今为止弱持续激励条件下，s g 算 法收敛的最弱条件 梯度搜索( 迭代) 原理可以用来研究许多系统的辨识问题例如，作者提出了多变 量系统递阶迭代辨识算法和递阶随机梯度辨识算法f 2 2 】，输入非线性系统的随机梯度辨 识算法，a r m a 模型的基于噪声估计随机梯度辨识算法【2 6 】，双率采样系统的辅助 模型随机梯度辨识算法i 矧，以及李雅普诺夫矩阵方程、一般矩阵方程和耦合矩阵方程 的梯度迭代算法和最小二乘迭代算法 9 江南大学硕士学位论文 ( b ) 遗忘梯度辨识算法 如果选择 ir ( t ) = r ( t ) i ，r ( t ) ：= t r p - 1 ( t ) 】， lp _ ( ) = a p 。( 一1 ) + 妒( 亡) 妒t ( ) ，0 a 1 则得到遗忘因子随机梯度辨识算法，简称遗忘梯度算法( f g ) ： 郎) 韧) + 籍一州咖叫】， r ( t ) = ar ( t 一1 ) + j i 妒( t ) j j 2 ，0 a 1 ，r ( o ) = 1 ， 其中a 为遗忘因子当入= 0 时，遗忘梯度算法退化为投影算法遗忘梯度算法是 f f r l s 算法的一种简化形式，其性能类似于f f r l s 算法丁锋在其博士论文中首次 提出了遗忘梯度算法f 3 3 j 在不同条件下( 如强持续激励条件，信息向量有下界等) 1 运 用随机过程理论或鞅超收敛定理 2 7 3 2 】，当信息向量有非零下界时，遗忘梯度算法参 数估计误差上界有更简单的形式作者又将遗忘因子引入到各种算法中，提出了遗忘 漂移时变系统的遗忘投影算法，遗忘梯度算法 3 s - 3 5 j ，时变系统的多新息遗忘梯度算法 【3 6 1 ，多变量系统遗忘因子递阶随机梯度算法【2 2 1 等 ( c ) 广义投影辨识算法 如果选择 r ( t ) = r ( t ) i ，r ( 亡) ：= t r p - 1 ( t ) 】 这里p ( t ) 是有限数据窗最小二乘算法中的协方差阵，就得到广义投影辨识算法( g p ) ： 郎) 她) + 籍一州咖- 1 ) 】， q 一1 r ( 亡) = i i 妒( t i ) 1 1 2 = r ( t 一1 ) + i i ￥ ( t ) 1 1 2 一1 1 妒( t q ) 1 1 2 ，r ( o ) = 1 如果上述算法中口用t 代替，就得到s g 算法( 假设t 0 时，v ( t ) = 0 和妒( t ) = o ) ； s g 算法活性低，没有跟踪时变参数的能力；如果取口= 1 ，就得到投影算法；投影算法 活性太强，对噪声太敏感因此，广义投影算法是s g 算法与投影算法的一个折中， 算法中的参量q 可以用来控制参数估计误差界在不同( 如强持续激励或弱持续激励) 条件下，广义投影辨识算法参数估计误差推导也是极具挑战性的研究课题 ( d ) 带遗忘因子广义投影辨识算法 上述四个算法可以统一为一个算法一带遗忘因子广义投影辨识算法( f f g p ) ： 蚍) 颉亡_ 1 ) + 籍 绯) 一州咖一1 ) 1 ， 】n 第一章绪论 q - 1 r ( 芒) = a i m ( t i ) 1 1 2 i = o = a r ( t 一1 ) + i m ( t ) 1 1 2 一a g 一1 f f 妒( 一q ) 1 1 2 ，r ( o ) = 1 当a = 1 时，f f g p 算法= g p 算法； f f g p 算法中取q = t ，就得到f g 算法； 能分析也有许多文章作 当g = 1 和入= 1 时，f f g p - - 投影算法；在 进一步令入= 1 就得到s g 算法这个算法的性 以上梯度类辨识算法有下列一个通式： o ( t ) = o ( t 一1 ) + p ( 亡) 妒( t ) 阿( 亡) 一垆t ( 亡) p ( 亡一1 ) 】， 其中弘( 亡) 为收敛因子或步长这个算法也称为最小均方算法( l m s ) 对于不同的算法，收 敛因子取不同的形式例如： 投影算法： p ( 亡) = 1 + i i 妒( t ) 1 1 2 】 随机梯度算法： rt1 1 肛( ) = ) + i i 妒( i ) i 1 2i 遗忘梯度算法： 厂 t 叫 肿卜卜+ p i l 以1 1 2 j 广义投影算法： 邢，= 隆卜训 2 r 理论分析表明：只要0 # ( t ) l l q o ( t ) 1 1 2 2 时，l m s 算法就收敛，但并不保证参数估 计精度为了方便研究，通常将l m s 算法修改为 a ( t ) = 台( 一1 ) + 弘( 亡) 端晦( 亡) 一妒t ( t ) 台( 亡一1 ) 】，。 弘( 亡) 2 针对时变系统和时不变系统，丁锋分别在强持续激励和衰减激励条件下，研究了这个算法 参数估计误差界和一致收敛性问题 2 7 , 3 7 , 3 s 有兴趣的读者可以研究；弱持续激励条件下 这个算法的收敛性能 1 1 江南大学硕士学位论文 3 多新息辨识方法 由于实际中会产生坏数据，而常规的辨识算法对坏数据又比较敏感，因而研究克服坏 数据影响的辨识算法成为一种必然多新息辨识算法就是为了解决这个问题而被提出来研 究的辨识方法，如最小二乘类，最小均方类等的一个共同特点都是利用新息修正技术的 辨识方法估计参数0 的辨识算法可以表示成如下的形式： o ( t ) = o ( t 一1 ) + l ( t ) e ( t ) ， 其中l ( t ) 是增益向量，e ( 亡) = v ( t ) 一9 ( 亡) 日( 亡一1 ) 是新息 对于标量系统而言，e ( 亡) 为标量它仅仅利用了迭代过程中单步的新息，因而称之为 单新息辨识多新息修正技术是单新息修正技术的推广对于多变量系统而言，多新息辨 识算法足通过新息向量，即多新息来进行修正的一种参数估计方法，即后一时刻的参数估 计是在前一时刻的基础上依靠增益矩阵与新息向量的乘积来修正的，新息向量( 多新息) 包 括了迭代过程中多步的新息多新息辨识方法拓宽了先前单新息辨识的概念，改善了已有 辨识算法的性能，可对已有的辨识算法产生重大的影响 算法的收敛性分析一直是辨识领域比较关心的问题，包括不同激励条件下的收敛性分 析，以及有界收敛，一致收敛，收敛速度和误差界大小等辨识算法的收敛性往往是考虑 时间趋于无穷时参数估计的行为，然而在实际中，不容许长时间加入一持续激励信号对系 统进行扰动试验，因此，衰减激励条件下或不满足常规激励条件下辨识算法的收敛性研究 受到了普遍重视 1 3 主要研究内容 本文给出了多种最小二乘迭代算法和梯度迭代算法的数学表达式，同时通过大量的数学仿 真实例来说明迭代算法的有效性并通过与与递推算法的对比，来说明迭代辨识算法的有点和 特性对于个别的算法，文中还给出了对其收敛性，收敛速度等性能的分析和证明 本文的内容安排如下； 1 第二章主要介绍本文中将要用到的一些离散模型，主要包括差分方程模型，确定性a r m a 模型，c a r 模型，c a r m a 模型，输出误差模型，脉冲相应模型等；介绍了s i s o 系统 和