现代控制理论 第十一章 参数估计方法

第三篇最优估计理论,概述,在科学和技术领域中，经常遇到“估计”问题。所谓“估计”，就是对受到随机干扰和随机测量误差作用的物理系统，按照某种性能指标为最优的原则，从具有随机误差的测量数据中提取，信息估计出系统的某些参数状态变量。这就提出了参数和状态估计问题。这些被估参数或被估状态可统称为被估量。,一般，估计问题分两大类，即参数估计和状态估计。,一、参数估计,参数估计属于曲线拟合问题。例如做完某项试验之后，得到若干个观测值与相应时间的关系。我们希望以一条曲线来表示和的关系，设,式中为已知的时间函数，一般是的幂函数、指数函数或正余弦函数等等。为个未知参数，它们不随时间而变。,根据对观测值来估计未知参数。按照什么准则来估计这些参数呢？这将是第十章讨论的主要问题。,二、状态估计,设系统的状态方程和观测方程分别为,式中，为状态变量，它是随时间而变的随机过程，为控制变量，为系统噪声，为测量噪声，为观测值。现要根据观测值来估计状态变量，这就是状态估计问题。卡尔曼滤波是一种最有效的状态估计方法，将在第十一章讨论这个问题。,人们希望估计出来的参数或状态愈接近真值愈好，因此提出了最优估计问题。所谓最优估计，是指在某一确定的准则条件下，从某种统计意义上来说，估计达到最优，显然，最优估计不是唯一的，它随着准则不同而不同，因此在估计时，要恰当选择估计准则。,在自动控制中，为了实现最优控制和自适应控制，遇到许多参数估计或状态估计问题，促进了估计理论和估计方法的发展。另外，由于电子计算机的迅猛发展和广泛使用，使得许多复杂的估计问题的解决成为可能，这也促进了估计理论的发展。所以近二十多年来最优估计理论及其应用得到迅速的发展。,第十一章参数估计方法,本章讨论参数估计准则和估计方法，根据对被估值统计特性的掌握程度不同，可提出不同的估计准则。依据不同的准则，就有相应的估计方法，即最小方差估计、线性最小方差估计、极大似然估计、极大验后估计、最小二乘估计等，本章将对这些估计方法进步不同程度的讨论。,第一节最小方差估计与线性最小方差估计,一、最小方差估计,最小方差准则，要求误差的方差为最小，它是一种最古典的估计方法，这呼估计方法需要知道被估随机变量的概率分布密度和数学期望。这种苛刻的先验条件，使此方法在工程上的应用受到很大限制。这里只以一维随机变量的估计为例，介绍最小方差估计方法。,将上式展开，得,求上式对的偏导数，令偏导数等于零，得,因此的最小方差估值为，估计误差为,即,如果估值的数学期望等于的数学期望，或者估计误差的数学期望为零，则最小方差估计是无偏的。因此的估计是无偏估计。,二、线性最小方差估计,线性最小方差估计就是估计值为观测值的线性函数，估计误差的方差为最小。在使用这种方法时，需要知道观测值和被估值的一、二阶矩，即数学期望和、方差Varz和Varx及协方差和。,将式(11-8)代入式(11-6)得,把上式改写成,展开上式得,下面讨论和都是多维随机变量的估计问题。设为维，为维，已知和的一、二阶矩，即,将式(11-14)代入式(11-15)得,将式(11-16)代入式(11-14)，可得,第二节极大似然法估计与极大验后法估计,一、极大似然法估计,极大似然法估计是以观测值出现的概率为最大作为估计准则的，它是一种常用的参数估计方法。,设是连续随机变量，其分布密度为，含有个未知参数。把个独立观测值分别代入中的，则得,称函数为似然函数。当固定时，是的函数。极大似然法的实质就是求出使达到极大时的的估值。从式(11-20)可看到是观测值的函数。,解上述方程组，可得使达到极大值的。按极大似然法确定的，使最有可能出现，并不需要的验前知识，即不需要知道的概率分布密度和一、二阶矩。,例11-1设有正态分布随机变量，给出个观测值。观测值相互独立，试根据这个观测值，确定分布密度中的各参数。,作似然函数：,对上式取对数，可得,将上式分别对和求偏导数，令偏导数等于零，可得,联立求解可得,上面介绍了极大似然法的基本概念。现在来讨论极大似然法估计参数的问题。,下面求似然函数,根据不同随机变量的概率密度变换公式，并考虑到与独立，可得,假定噪声是正态分布，其均值为零，方差阵为，则,二、极大验后估计,如果给出维随机变量的条件概率分布密度也称验后概率密度，怎样求的最优估值呢？极大验后估计准则：使的验后概率密度达到最大那个值为极大验后估值。可见，极大验后估计是已知求的最优估值的一种有效方法。,式中是的验前概率密度，是观测值的概率密度，可用计算方法或实验方法求得。为了计算需要知道。在没有验前知识可供利用时，可假定在很大范围内变化。,在这种情况下，可把的验前概率密度近似地看作方差阵趋于无限大的正态分布密度,根据式(11-29)得,第三节最小二乘法估计与加权最小二乘法估计,上面讨论的几种估计方法，分别对被估随机变量的概率分布密度、条件概率密度、以及一、二阶矩等条件有着不同的要求。假定我们并不掌握上述任何条件，仍要估计随机变量的最优估值，只有用高斯提出的最小二乘法。,一、最小二乘法估计,设次独立试验，得到对观测值：。这里表示时间或其他物理量。现在的任务是：根据这些观测值，用最优的形式来表示与之间的函数关系。,通常，的未知函数可用表示，的类型应根据这对数据（个点）的分布情况或所研究问题的物理性质来确定。,把对观测值代入式(11-35)或(11-36)，可得个方程式。如果，即方程数少于未知参数的数目。则方程的解不确定，不是唯一地确定解出。当时，方程数正好与未知参数的数目相等，能唯一地解出。在这种情况下，曲线一定通过每一个观测点。因为在观测结果中，不可避免地含有随机测量误差，如果曲线通过每一个观测点，则曲线将包含这些测量误差，反而不能真实地表达出与之间的正确函数关系。所以不应要求曲线一定通过每一个观测点。,一般，试验次数，而且希望比大得多，即方程数大于未知参数数目这种情况只能采用数理统计求估值的方法。下面讨论这一问题。,例11-2观测值和观测时刻如表11-1所示。,表11-1,设。用最小二乘法确定和。,解:,把值分别代入上面两个方程，经过整理后可得,解上述方程组，可得的估值：,所以,实际上与不可能完全一致，这是由于以下几个原因引起：,选得不够准确；,存在观测误差；,的模型方程选得不够确切。,式(11-39)可写成,求对的偏导数，令偏导数等于零，可得,例11-3观测值和观测时刻如例11-2，试用式(11-48)求的系数和。,解:,则,因此,二、加权最小二乘法,当的测量精度高时，大；反之，小。这样可使拟合曲线接近于测量精度高的点，从而保证拟合曲线有较高的准确度。,式中为对称矩阵，称为加权矩阵。求对的偏导数，并令其等于零，可得,由式(11-53)得加权最小二乘法的估计误差,可以证明，使估计误差的方差为最小，因而为最优的加权矩阵。有时，人们把式(11-59)称为马尔柯夫估计。,第四节递推最小二乘法估计,在前面所讨论的最小二乘法和加权最小二乘法，需要同时用到所有的测量数据，在计算时不考虑测量数据的时间顺序。当测量数据很多时，要求计算机具有很大的存储量。在实际处理过程中，测量数据往往是按时间顺序逐步给出的，我们可先处理已经得到的一批数据，得到的近似估值，来了新的数据后，再对原估值进行修正，这样可以减少计算机的存储量。,下面先讨论一维递推最小二乘法。设观测值是一维的，假定已进行了次观测，得到的个观测值。用和表示相应的向量和矩阵，即,先用加权最小二乘法处理这一批观测值，加权矩阵，一般为对角线矩阵。,则,下面通过个观测值，求得的估值，然后进一步推出与的递推关系。,再设,或,在式(11-73)和式(11-76)中的最优值为观测误差的方差，可用下式表示：,下面再讨论观测值是多维的，假定维数为。用表示的每次观测值，则,观测误差也为维，用表示每次观测误差,相应的观测矩阵为,则可得k个矩阵观测方程为,如果把次观测值合在一起，可用分块矩阵