系统辨识与参数估计.ppt

Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计,3.1 Introduction 概述 3.1.1 What is the Model of Dynamic System? 什么是模型？ Theory model and experiment model 理论模型与实验模型 Modeling from Theory and Analysis: educe system model according to physical, chemical or other natural rules. 理论（分析）建模：根据已知的物理、化学规律推导 In practice, Theory Modeling is not easy. 现实中理论建模存在困难 Experiment Modeling: Fit the model to experimental data according to an optimized criterion. 实验建模：按一定准则的数据拟和 Experiment model: holistic approach, complemented by theory model 实验建模的特点：整体性、可用机理模型弥补（互补）,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 2,3.1.2 System Identification and Parameter Estimation 系统辨识与参数估计 System Identification: is the experimental approach to process modeling, and the modeling method for identification of dynamical systems from input/output data, which confirm a model in a set of models that presents the dynamic characteristics of the system under an optimized criterion. 系统辨识：根据系统的输入、输出数据，从一类模型中确定出一个在某中意义下最能代表该系统的数学模型。 Three essentials: an input/output dada, a set of models, and an optimized criterion 三个要素：输入/输出数据、模型集、最优准则 Parameter Estimation: a simplified system identification problem when the model structure is known, only its parameters is unknown. 参数估计：结构已知。参数未知时，系统辨识问题的简化,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 3,3.1.3 Development of System Identification 系统辨识的发展 Modern Control Theory is based on known a mathematic model of dynamic process. 现代控制理论建立在数学模型已知的前提下 The obstacle using Modern Control Theory in practice : It is not easy to obtain a mathematic model of dynamic process, thus the theory deviates from the practice. 实际应用中的障碍：数学模型并不容易获得，造成理论与实际脱节 System Identification and Parameter Estimation just fill up this gap between the theory and the practice. 系统辨识/参数估计正是为了弥合这一差距,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 4,3.1.4 System identification includes the following steps 系统辨识的步骤 Experiment design: Its purpose is to obtain good experimental data, it includes the choice of the measured variables and of the character of the input signals. 实验设计：如何获取尽可能多的信息，包括检测信号和输入信号的选取。 Selection of model structure: A suitable model structure is chosen using prior knowledge and trial and error. 模型结构：根据先验知识和试凑确定模型的结构。 Choice of the criterion to fit: A suitable cost function is chosen, which reflects how well the model fits the experimental data. 最优准则：选择能反应模型对实验数据拟合程度的目标函数。 Parameter estimation: An optimization problem is solved to obtain the numerical values of the model parameters. 参数估计：得到模型参数数值解的优化问题。 Model validation: The model is tested in order to reveal any inadequacies. 校验与确认：测试模型以发现存在的问题。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 5,3.1.5 System identification methods 系统辨识的方法 Method: There are many system identification methods, but the least squares estimation is used most frequently. 方法：有多种方法，其中最小二乘法最常用。 Off-line identification: complete estimation one time based on the data set in a long period. 离线辨识：将一定时间内积累的采样数据集中进行一次辨识计算. On-line identification : complete recursive estimation one time based on new data in every sampling interval. It is able to decrease calculating time spending and memory occupancy, and easy to find out system actuality. 在线辨识：每个采样周期都根据新的采样数据进行一次递推辨识计算，节省计算时间和内存空间，便于及时掌握系统现状。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 6,3.2 Linear Difference Equation Model 线性差分方程模型 3.2.1 Difference equation model of linear constant SISO system 线性定常单输入单输出系统的差分方程模型 (3.1) Here 其中 (3.2) (3.3) 3.2.2 The model of noise 噪声模型 Random variable 随机变量 x Mathematic description: probability density function 数学描述：概率密度函数,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 7,Mathematical expectation of random variable 数学期望（均值） E(x) Variance of random variable 方差（二阶中心距） D(x) (3.4) （2）Steady random sequence: Statistical character is independent of time 平稳随机序列：各个时刻随机变量的统计特征相同，即统计特征与时间无关 （3）White noise: is an independent steady random sequence. Random variable is independent of time, and can be described by E(x) and D(x). 白噪声：独立平稳随机序列。各个时刻随机变量独立，可由均值和方差两个特征描述。 均值=0，方差=2（常数） 因为其功率谱密度在整个频率范围内为常数，类似白光的光谱，故称为白噪声。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 8,（4）Non-white noise: is formed when white noise goes through a linear filter. 非白噪声：白噪声经过一线性滤波器后形成非白噪声 Moving average model 滑动平均（MA）模型 (3.5) (3.6) is a white noise sequence 为白噪声序列 Auto regressive model 自回归（AR）模型 (3.7) Auto regressive moving average model 自回归滑动平均（ARMA）模型 (3.8),Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 9,3.2.3 Mathematical Model of the process with random disturbance 受随机干扰的过程数学模型（CARMA） (3.9) In other form 可改写为： (3.10) Here, A,B,C is different from (3.9) 此时，A,B,C均不同于(3.9) CARMA model is based on following hypothesis: the disturbance is a an independent steady random sequence with zero means and rational spectral density. CARMA模型是基于下述假设：干扰为具有有理谱密度的零均值平稳序列,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 10,Fig 3.1 CARMA model 图3.1 CARMA模型 At any time, the model output y(k) is linear with unknown parameter ai, bi , ci , di and the model error is the white noise at this time, when previous input, output and noise and input at this time are known. 在任意时刻，只要已知该时刻及其之前的输入； 在任意时刻，只要已知该时刻之前的输出、噪声； 则模型输出y(k)与未知参数ai、 bi 、 ci 、 di成线性关系，且误差为该时刻的白噪声。,3.3 Least Squares Estimation of Linear Difference Equation Model 线性差分方程模型的最小二乘法 3.3.1 The principle of Least Squares Estimation (LSE) 最小二乘法原理 After the square difference of model output and observation value is multiplied by precision measurement, the result should be least. 一个数学模型的未知参数应按下述原则进行选择：各实测值与模型计算值之差的平方乘以度量其精度的数值后，所得的和值应最小。 Example: (3.12) y(t)：observation value 观测值； ：the vector of unknown parameters 未知参数向量 ； ：observable or known function depended on other variables 由其它变量决定的已知函数或可观测的.,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 11,The couple observation value can be get by experiments. 成对的观测值 可以由试验得到。 Example 3.1 Model 模型 observation value 实测数据 Then LSE is to solve the estimation value of unknown parameter a and b with the least error function 最小二乘法估计就是以 最小为目标函数由方程组求未知参数a、b的估计值。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 12,When we estimate parameters, (3.12) is rewrite as follows: 参数估计时，（3.12）可以改写为 We assume remnant error 引入残差 And 且 Least square error can be defined as follows: 最小二乘误差可表示为： （3.13） Here，式中,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 13,When is in existence, we have and is an exact solution of the parameter vector. 当 存在时， ，此时参数向量 的解是精确的。 Theorem 3.1： (Least squares estimation ) 定理3.1：（最小二乘估计 ） The parameter is satisfied with , which let Least square error （3.13）is minimum. If the matrix is a nonsingular matrix, this minimum is unique and 使最小二乘误差（3.13）式最小的参数 满足 ，如果矩阵 非奇异，则此最小值是唯一的， 由下式给出。 证明：From (3.13) (3.15) The matrix is non-negatively definite, then V must be get the minimum: 由于矩阵 非负定（等价于 非奇异），所以 V 有一最小值：,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 14,At , let , then: 当 时， 即 （3.16） When is in existence, we have： 只要 存在，即有 （3.17） Example 3.2： Least squares estimation of Example 3.1 例3.1的最小二乘估计 The observation value can be formed a data vector as follows: 原实测数据可以构成如下数据向量,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 15, In fact, least squares estimation can be used when experiment data is fitted by a model, which is in a linear recursive form . 实际上，只要是用一个模型来拟合实验数据，而该模型又可以写成线性回归形式 ，就可以用最小二乘法求解。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 16,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 17,3.3.2 Least Squares Estimation (LSE) of ARMA Model Parameters 最小二乘估计 (3.18) Rewrite it in difference equation: 写成差分方程 (3.19) That is: 即 (3.20),Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 18,Suppose na=nb=n. We measure N times (set k=n+1,n+2,n+N) 假定na=nb=n，进行N次测量（令k=n+1,n+2,n+N），则 Rewrite it in matrix equation: 写成矩阵形式 (3.21) Here: 式中,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 19,The least squares estimation is : 最小二乘估计为： 3.3.3 Statistical Characteristics of Least Squares Estimation (LSE) 最小二乘估计的统计特性 Unbiased Estimation: An estimator is called unbiased Estimator if its mathematical expectation is equal of the real value of the estimated variable. 无偏性：称某一估计是一个无偏的估计，它的数学期望应等于被估计量的真值。 In LSE:,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 20,Then its mathematical expectation: 两边取数学期望： When is white noise, the right second item is zero. Efficient Estimation: For a unbiased Estimation, it is called Efficient Estimation if the variance of any other estimator is bigger than its. 有效性：对无偏估计而言，一个估计算法称为有效的算法，就是任一种其它算法所得到的估计的方差都要比有效算法所得到的估计的方差大（即方差最小）。 In LSE:,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 21,When is white noise: Consistent Estimation: An Estimation is called Consistent Estimation, if the Estimation is converged at its actual value with 100% probability when sample amount N is increased infinitely. 一致性：当样本N无限增大时，估计值 以概率1收敛于真值 ，则这样的估计称为一致性估计。 当N很大时，一致性估计总是无偏的，但逆定理不成立。 In LSE:,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 22,Conclusion: When the equation error is white noise, Least Squares Estimation is a Non-biased , Efficient and Consistent Estimation 结论：在方程误差为白噪声的条件下，用最小二乘法估计参数所得到的参数的最小二乘估计是无偏的、有效的和一致的。 3.4 Recursive Least Squares Estimation (RLSE) 递推最小二乘估计 3.4.1 Why we need RLSE 为什么需要递推最小二乘估计 Batch Algorithm: calculate once in every sampling period 成批处理算法：每增加一次测量，根据所得到的测量数据，观测矩阵 及伪逆 都要重新计算一遍。 More calculating spending 随着观测数据增加，要求存储容量将不断增大，且由于存在矩阵求逆运算，计算时间也不断增加。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 23,3.4.2 Principle of RLSE 递推最小二乘估计基本原理 Assume input/output data at time k are known, we can estimate parameters : 设k时刻已获得输出，输入数据，并由此获得参数的估计值测量： At time k+1 而对于k+1时刻，有 Can be calculated from at time k and consisted of new data ? 于是提出，是否可以根据上一步的 和由新增加数据,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 24,3.4.3 Recursive Formula of RLSE 递推公式 Lemma 3.1 引理3.1 Assume A, B, C and D are matrix with respective proper dimension, we have : 设A、B、C、D是适当维数的矩阵 (3.22) Prove: 证明：Two sides are multiplied by from right,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 25,At time k : 在 k 时刻： (3.23) In which,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 26,At time k+1 : 在 k+1 时刻： (3.24) In which,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 27,At time k : 在 k 时刻：,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 28,According to Lemma 3.1: 根据引理3.1： (3.27),Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 29,Take (3.27) in to above expression: 将(3.27)式代入上式得： Simplify the expression in the big bracket in above expression 上式大括号中的两项可以简化为： (3.28) （3.27）and (3.28) are the recursive formula of RLSE. （3.27）与(3.28)就是最小二乘估计的递推公式。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 30,Estimation at time k+1 is equal to the estimation at time k plus a revised quantity. The revised quantity is consisted of three parts: 容易看出，k1时刻的参数估计值 等于 k 时刻的参数估计值 加上一个修正量。该修正量包括三个部分（乘积） ： Part One: Error of Prediction 第一部分：预报误差 是k1时刻新接收到输出值（实测值）， 与 的乘积则表示用 k 时刻得到的参数预报出的k1时刻的输出（模型值）。如果预报与实测相等，说明 k 时刻所估计的参数就是参数的真值，不用再做修正，即表现为（3.28）式最后一项为0，即,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 31,Part Two: Gain Factor 第二部分：增益因子 （3.29） 注意，它是一个标量，因此省掉了费时的矩阵求逆运算，计算效率大大提高。增益因子与预报误差的乘积确定出有多少输出误差需要经过修正参数来实现，至于哪一个参数调整多少需有第三部分， 即加权系数来决定。 Part Three: Weighing Coefficient 第三部分：加权系数 is called the covariance matrix of estimation , which is associated with covariance of , and is a measure of estimating accuracy. 的物理意义：与参数估计值 的协方差存在着联系，是参数估计精确程度的一种度量，通常称 为参数估计 的协方差阵。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 32,当 k 趋向于无穷时， 趋向于0。 In fact, the value of will be very small after estimating less than a hundred periods if an estimation algorithm has good convergence. 事实上，如果算法有良好的收敛性，递推估计几十步之后， 的值已很小了 （注意： 每一时刻都要更新）。 是一个方阵（ 2n+1 维，同参数个数），而 则是 2n+1 维的列向量，与参数个数一致，表示给每个参数的调整加一定的权（每个参数每次调整的权不一定相同）。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 33,综上所述，递推最小二乘估计公式的物理意义就是： Based on previous parameter estimation and new sample data, continuous recursive calculating can be implemented by the prediction error times weighing factor with different extent to every parameter. Parameter estimation will be available if a converged algorithm is used. 根据最新得到的数据，在原有参数估计值的基础上，对预报误差乘上加权增益因子，不同程度的修正每个参数，这样不断的递推更新，只要算法是收敛的，就一定能得到合乎要求的估计参数。 递推最小二乘估计的公式可整理为：,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 34,3.4.4 Recursive Calculation of RLSE 递推计算过程 Form the data vector 由 k+1 时刻的观测值 以及前2n个时刻的观测值形成向量 （数据向量，2n+1维，与参数个数一致） Calculating from (3.30) 由（3.30）式，用 及 计算 Calculating from (3.31) 由（3.31）式计算 Calculating from (3.32) 由（3.32）式计算协方差矩阵 ，为下一步递推计算作准备。 Return to step 1 and continue until parameter estimation is converged. 回到第一步，直到参数收敛,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 35,How to choice the initial value of , for recursive calculation. 递推初值的选择 From the initial N couples data 取最初 N 组数据（ ），即 N 个数据向量 和对应的 ，对参数进行成批处理的最小二乘估计。以此作为起始值，从 N+1 时刻进行递推计算。 取 为0或任意值， 其中 为充分大的实数， 为单位阵。 特点： 方法一：初始值比较精确，开始递推就可获得较好的估计值，缺点是运算量大； 方法二：简单，便于应用，但递推的最初几步参数估计的误差较大。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 36,3.5 Real-time Recursive Estimation of Slow Time-Varying Parameters 慢时变参数的实时递推估计 3.5.1 Introduction to the problem 问题的提出 In LSE, every observation value contributes equably to the estimation. 最小二乘估计的一个特点：参数估计算法对所有观测数据是同等看待的，或者说所有观测数据对参数估计提供的信息是同等重要的。 When the parameter is time-varying, That is unreasonable. 当被估计参数是未知常数时，这样处理是合理的；但当对象参数时变，或当作某一非线性系统的局部近似，随着时间变化或工作点变化，模型参数也发生变化。一句话参数在不断变化，这种新旧数据一视同仁的方法就不适合了。 Later the data are, more they should contribute to the estimation 这是因为系统不断变化，那么越新的数据就越能反映当前系统的特性和信息。所以新旧数据对参数估计所提供的信息应是有区别的。,Chapter 3 System Identification and Parameter Estimation 第三章 系统辨识与参数估计 37,As a on-line estimation algorithm, RLSE is not satisfying in following parameter change. 递推最小二乘估计是一种在线算法，在线估计的一个重要的功能就是跟踪被估计参数的变化，而一般最小二乘递推估计算法正是缺少这种功能，实用性不足。 Filtering saturation 滤波饱和问题 ， 总是设置成正定阵， 也总是非负定的。 也是非负定的，且 这意味着随着递推次数增加， 越来越小。 的减小，使修正项的调整值也越来越小。 最后趋向于0，这时新