系统辨识第三章.ppt

1,系统辨识基础,2,系统辨识,第一章模型方法与辨识第二章脉冲响应辨识第三章最小二乘辨识第四章极大似然辨识第五章时间序列建模与随机逼近辨识第六章模型阶次的辨识第七章闭环系统辨识,3,前言3-1最小二乘法3-2加权最小二乘法3-3递推最小二乘法3-4辅助变量法3-5广义最小二乘法3-6适应最小二乘法,第三章最小二乘辨识,4,第三章最小二乘辨识,用来进行系统参数辨识的最小二乘法，是一种经典的数据处理方法，最早的应用可追溯到18世纪，高斯为了提高天体运动观测的准确性，曾应用了最小二乘法。,本章将介绍一般最小二乘法、加权最小二乘法、递推最小二乘法以及广义最小二乘法等内容。,由于最小二乘法比较简单实用，而且又可与其他辨识方法相组合，因此最小二乘辨识是一种基本的、重要的辨识方法。,5,用最小二乘辨识技术辨识系统的数字模型的原理方块图如下：,一、最小二乘辨识方程,3-1最小二乘法,6,设被辨识系统的脉冲传递函数为,7,8,令（数据窗口长度），如下矩阵方程成立：,表示为:,9,10,二、最小二乘辨识定义,对于最小二乘辨识方程,寻求一个真实参数向量的估计值，使表示方程误差平方和的性能指标,取极小，则称是最小二乘意义下，的估值，表示为。,11,三、最小二乘估计的求法,解法,由最小二乘辨识定义，求的：,必要条件:,12,由,于是得：,最小二乘的法方程,由充分条件:,与参数向量无关。,13,解的唯一性,与无关，所以解唯一。,14,信息量需求：,为保证，数据窗口N的取值应满足：,其中为被辨识系统的阶数。且需要,最小二乘法所需信息量与持续激励条件,N个输入信息：,(N+1)个输出(测量)信息：,15,持续激励条件,有解,若输入序列采用随机序列或M序列，则满足；,若输入序列采用常值序列，则奇异，不满足持续激励条件。,16,例3-1已知模型方程如下：,测量值及测量时刻见下表,5.47,5.02,3.50,2.98,2.01,y(k),9,8,5,4,2,t(秒),试求及的最小二乘估计.,解：可按如下步骤求解,信息量检验,17,求取,18,四、病态法方程的H(Householder)变换求解,法方程：,若参数众多，法方程常是病态的，不宜采用求逆求解。H变换是一种不用求逆的解法。,H变换阵Q的定义,19,则满足下列关系式,的Q阵，称为H变换矩阵.,20,H变换矩阵的性质,性质1：Q为对称阵。,性质2：Q为正交阵。,21,则必存在一个H变换阵Q，使有,或,其中，,性质4：若已知任一维列向量,22,其中，上三角阵。,23,病态法方程的H变换求解,设法方程中,和Y各元已观测得到。根据性质5，求正交阵,使,定义,其中，。,24,由最小二乘性能准则,因为,故有,25,令,求得：,26,五、最小二乘估计的统计特性,统计特性是用来评价参数估计方法好坏的一些标准。对于最小二乘估计，要求根据有限的观测信息来估计未知参数。应当指出，待辨识的参数向量,是确定向量，不是随机量，但由于观测值Y中含有噪声，是随机量，因而估计显然是随机的。统计特性有如下几种。,无偏性,27,由最小二乘估计：,取期望(随机型,且与统计独立),若为零均值且统计独立随机向量，则有,28,一致性,令估计误差为,以估计误差平方均值作为性能准则，若,则称是的一致估计。,矩阵,29,如果测量矩阵为确定型矩阵，因,所以估计误差协方差：,30,31,估计误差的方差阵,估计误差的方差表示估值的散布范围。如果为确定型阵，且，则估计误差的方差阵,(测量矩阵确定型时),一般情况，最小二乘估计为有偏非一致性估计。但由于简单实用，仍不失为一种好的参数估计方法，为了克服最小二乘法的不足，在最小二乘法的基础上，发展了辅助变量法和广义最小二乘法，但计算量较大。,32,33,34,一般最小二乘辨识法，是成批处理观测结果的方法，辨识精确度较高，但要求计算机内存量大，称为离线辨识方法。,为了提高估计精度，可采用加权最小二乘法；,为了进行实时辨识(在线辨识)，可采用递推最小二乘法。,计算结果表明:若不存在噪声,可获得精确数值解;估值的均方差随噪声均方差的增大而增加。,35,3-2加权最小二乘法,最小二乘估计是一种等加权估计，其性能指标,（残差平方和),在估计过程中，对每次观测误差等同对待。然而，每次观测的误差是不相同的。为了提高估计精度，应对不同观测误差加不同的权，取性能指标,其中，W(n)为加权矩阵。显然，观测误差的方差越小，表示本次观测可信度大，应施加较大权因子；反之，则加较小权因子。,36,在过程辨识中，若有理由认为现时刻数据比过去时刻的数据可靠，则取现时刻数据的加权因子大。例如，常用的指数加权函数为,37,一、加权最小二乘估计定义,对于观测方程,使加权方程误差平方和的性能指标,为最小的估计，称为加权最小二乘估计，记为.其中权阵W通常取为正定对角阵，即,0,38,二、加权最小二乘估计的求法,令,因，有,当为正则矩阵（正定矩阵）时，有,39,此外,当W(N)为(N-n+1)维单位阵时，,40,41,证明取数学期望,因为确定性真实参数向量，与统计独立,故有,42,43,44,45,四、马尔可夫估计,马尔可夫估计是一种特殊的加权最小二乘估计，取权阵(量测噪声方差阵的逆)，即得马尔可夫估计,马尔可夫估计显然也是无偏估计，在所有加权最小二乘估计中，估计误差方差最小，其估计误差方差为,46,47,令,有,48,49,3-3递推最小二乘法,最小二乘法估计与加权最小二乘估计都是成批一次性数据处理算法，计算量大，不宜在线辨识。,递推最小二乘法估计是一种在线辨识方法，计算量小，利用被辨识系统序贯给出的输入信息和输出信息，采用新的估计值等于老的估计值加修正项构成递推算法。,一、递推算法,设已知估计,50,其中，权阵,当增加一对新的输入信息u(N)和输出信息y(N+1)后，可以组成下列增广观测方程：,式中,51,52,53,54,55,56,递推公式基本形成，但其中涉及矩阵求逆运算，即,为了避免求逆运算，由矩阵反演公式：,令,57,最后，加权最小二乘递推算法归纳如下：,在上列式中，令，得最小二乘递推算法。,58,二、初值的确定,进行递推估计，必须设定初值，可采用下列两种实用方法加以选择：,历史数据法,取前m组数据，利用成批数据处理算法，预先求出,59,60,61,62,63,64,例3-4设仿真对象如图示(见“过程辨识”一书),65,66,参数辨识的变化过程如下图:,67,为了确认辨识结果,可以检验拟合精度。下图所示的阶跃响应比较,表明模型与真实过程阶跃响应比较吻合，因此辨识结果是满意的。,68,3-4辅助变量法,辅助变量法是一种改进的最小二乘估计法。其运算与最小二乘法同样简单，但比最小二乘估计更有实用价值，辨识效果也优于最小二乘法。,当噪声为有色噪声时，最小二乘法不能获得模型参数的无偏一致估计，而辅助变量法能获得无偏一致估计；当噪声的模型结构不好确定时，最小二乘法不好直接应用，而辅助变量法不需要确定噪声的模型结构，因此辅助变量法更显得灵活、实用。,69,最小二乘一致性估计的条件,对于量测方程：,一、非递推的辅助变量法,其中V为独立同分布平稳随机噪声（独立同分布指不同时刻之间变量彼此统计独立，但具有相同的概率分布）。,最小二乘估计为：,70,其中：,71,因为,72,由Frechet定理知：最小二乘估计,73,74,辅助变量估计,在最小二乘一致性估计启发下，定义与阵同维矩阵的辅助矩阵：,75,76,定义,问题在于：如何选择辅助矩阵Z？,77,78,79,输入序列的选取,二、递推的辅助变量法,比较最小二乘估计与辅助变量估计：,80,81,82,证明,设已知,83,84,85,式中,为增益矩阵。,86,证毕。,类似于递推最小二乘法中初始值的选择方法，如用,进行递推起动。,为了避免计算中的矩阵求逆运算，由矩阵反演公式：,87,88,89,3-5广义最小二乘法,广义最小二乘法是一种改进的最小二乘法。当系统量测方程中，噪声为有色噪声时，利用广义最小二乘法可以得到无偏一致估计，且可得到噪声模型的参数估计值。,广义最小二乘法的基本思想是：通过成行滤波器，将有色噪声转化为零均值白噪声，然后分别对广义量测模型和噪声模型应用最小二乘法，得到迭代的无偏一致估计。,90,1、有声噪声下的参数估计问题,一、非递推的广义最小二乘法,设被辨识系统如下图所示：,其中，被辨识系统传递函数,91,系统有噪声时的输出序列：,92,系统有噪声时的输出序列：,可得：,式中,为有色噪声序列。,93,94,令k=n，n+1，N，得如下量测方程:,其中，V(N)为有色噪声向量。各项意义同3-1.,95,96,2、有色噪声的转化,有色噪声,白噪声只是数学上的一种抽象概括，实际物理系统或过程中存在的噪声常常是非白噪声，称为“有色噪声”。有色噪声并非“有色”，只是相对白噪声而言的取名。,有色噪声的主要特征是存在重要的时间相关性，简言之，有色噪声就是相关噪声。,相关噪声的时间相关性可用其协方差函数表征。若为有色噪声随机序列，其协方差必有,97,常见的有色噪声如：随机常数，随机游动，随机斜坡及指数相关随机序列。随机系统中的扰动，常用指数相关随机序列来描述。,成行滤波器,成行滤波器是将有色噪声转化为白噪声的“线形动态系统”，一经转化，便可采用一般的最小二乘法，得到有色噪声情况下的无偏一致估计。,目前，对于任意一个随机序列，还无法解决怎样导出其成形滤波器。然而，对平稳且具有有理谱密度函数的随机系列，可以导出其成形滤波器。,98,式中，m(z)为滤波器输入的零均值白噪声序列，v(z)为滤波器输出的零均值有色噪声序列，故有,于是,设为平稳且具有有理谱密度函数的随机序列，成形滤波器的脉冲传递函数,99,通分得：,其中m(k)为零均值白噪声序列。若令,100,则有等价白噪声作用下的被辨识系统差分方程:,101,102,令k=n，n+1，N，得如下等价量测方程:,103,104,成形滤波器得参数估计,在被辨识系统差分方程中，有色噪声v(k)是已知的，因此可用已知的v(k)得到成形滤波器的参数估计。,将F(z)展成z-1的无穷幕级数，并取其r阶近似:,105,代入F(z)近似表达式，并将近似相等符号写为等号，有,令k=n,n+1,N,可以导出,106,107,要求(N-n+1)r，则由最小二乘法，得成形滤波器的参数向量估计：,108,得到估值以后，立即可得等价输出及输入序列,同理,109,广义最小二乘迭代估计,通常，广义最小二乘估计的起动及迭代这样进行:不管噪声v(k)是什么性质的噪声，起动时按白噪声对待，用一般最小二乘法求出真实参数向量的初始估计。,110,111,112,113,114,结论,因将有色噪声转化为零均值白噪声，因此在一般情况下，多次迭代后，广义最小二乘估计会收敛到其稳态值，得到的一致估计；然而，若存在局部极小，特别在噪信比较大时，估值不一定收敛到真值。,115,二、递推的广义最小二乘法,广义最小二乘递推算法，只需从非递推广义最小二乘法的稳态估值和作为起动状态，然后把,这两个过程结合起来，得到递推广义最小二乘算法，其过程与递推最小二乘法或递推加权最小二乘法类似。,116,参数向量递推估计,式中,117,118,成形滤波器参数向量递推估计,式中,119,把上述两组递推公式结合起来，便可获得有色噪声下的广义最小二乘递推估计。因而，其递推估计也是一种迭代算法，其过程类似非递推情况。,120,例3-6设仿真对象如图示：,已知：v(k)，N(0,1),模型结构,121,采用广义最小二乘递推辨识结果见下表，为了便于对比，表中还存放了最小二乘递推辨识结果(针对v(k)为白噪声情况)。,两者结果基本一致。表明广义最小二乘法递推估计能同时给出噪声模型的参数估计值。,122,3-6适应最小二乘法,最小二乘法是一种最基本的辨识方法，但有两方面不足：一是当模型噪声为有色噪声时，最小二乘参数估计不是无偏一致估计；二是随着数据的增长，最小二乘法将出现“数据饱和”现象，使递推算法逐渐失去修正能力。,本节讨论的适应最小二乘法，包括遗忘因子法和限定记忆法两种算法，其实质也是改进的最小二乘法，不但适用于定常系统的参数估计，而且更主要的是适用于时变系统的参数估计。,123,一、“数据饱和”现象,数据饱和,所谓数据饱和，就是随着辨识时间的推移，采集到的数据越来越多，众多新、老数据并存于辨识算法之中，使新数据提供的信息，淹没在老数据的汪洋大海之中。由于辨识算法对所有数据给予同样信度，因而随着从新数据中获得的信息量相对下降，算法慢慢地失去了修正能力。,递推最小二乘法常常出现“数据饱和”，不能修正估值对真值的偏离；对时变系统或过程，导致参数估值不能跟踪时变参数的变化。,124,数据饱和现象的产生,已知递推最小二乘公式为：,增益阵：,125,且算法收敛，,必有,分子:,从而,126,127,数据饱和现象的克服,为了克服“数据饱和”现象。可以采用降低老数据信度的方法来修改算法，构成适应算法。其中，包括遗忘因子法和限定记忆法。这两种适应算法，都可以用于时变系统（或时变过程）的参数辨识。,128,二、遗忘因子法,遗忘因子法的基本思想是对老数据加上遗忘因子，以降低老数据的提供的信息量，而对新数据则不加遗忘因子（因子=1），从而增加新数据的信息量。,设最小二乘估计方程为,其中，v(k)为零均值不相关随机噪声，u(k)为输入序列，y(k)为输出序列。,129,令k=n，n+1，N，得量测方程,式中，N为数据长度，且,130,131,模型方程:,从而，带遗忘因子的最小二乘估计为,构造带遗忘因子的输出向量，量测矩阵及噪声向量:,132,133,取加遗忘因子的量测矩阵为：,其中：,134,1、基本思想,最小二乘法或遗忘因子法，在数据处理过程中，要求N-n+12n，其中n为被辨识系统的阶数，共需2N+1个数据，其中数据长度N是一定的，因而记忆是限定的。,三、限定记忆法,对于递推最小二乘算法一类的递推算法中，数据长度N就不是固定的了，随信息量的增加而不断加大，量测矩阵的行数也随之递增。因而，老数据的信息不断积累，新数据的作用不断削弱，其记忆是增长的。,135,对于指数加权的递推最小二乘法，通过加权，人为地强调当前数据的作用，因而历史数据逐渐遗忘。这种记忆是渐消的，也可用来估计时变参数。,如果在参数辨识过程