状态空间模型和卡尔曼滤波ppt课件

第11章状态空间模型和卡尔曼滤波,20世纪60年代初，由于工程控制领域的需要，产生了卡尔曼滤波(KalmanFiltering)算法。进入70年代，人们明确提出了状态空间模型的标准形式，并开始将其应用到经济领域。80年代以后，状态空间模型已成为一种有力的建模工具。计量经济学领域中的诸多问题，如可变参数模型、时间序列分析模型、季节调整模型、景气指数的建立、不可观测变量的估计等都能转化为状态空间模型的形式，从而可以利用卡尔曼滤波来得出相应的估计及进行预测。,1,在一般的统计模型中出现的变量都是可以观测到的，这些模型以反映过去经济变动的时间序列数据为基础，利用回归或时间序列分析等方法估计参数，进而预测未来的值。状态空间模型的特点是提出了“状态”这一概念。实际上，无论是工程控制问题中出现的某些状态（如导弹轨迹）还是经济系统所存在的某些状态都是一种不可观测的变量，正是这种观测不到的变量反映了系统所具有的真实状态，所以被称为状态向量。这种含有不可观测变量的模型被称为UC模型(UnobservableComponentModel)，UC模型通过通常的回归方程式来估计是不可能的，必须利用状态空间模型来求解。状态空间模型建立了可观测变量和系统内部状态之间的关系，从而可以通过估计各种不同的状态向量达到分析和观测的目的。,2,11.1状态空间模型,一、状态空间模型的定义状态空间模型(StateSpaceModel)一般应用于多变量时间序列。设yt是包含k个经济变量的k1维可观测向量。这些变量与m1维向量t有关，t被称为状态向量。定义量测方程(MeasurementEquation)为(11.1.1)式中T表示样本长度，Zt是km矩阵，dt是k1向量，t是k1向量，是均值为0，协方差矩阵为Ht的连续的不相关扰动项，即(11.1.2),3,一般地，t的元素是不可观测的，然而可表示成一阶马尔可夫(Markov)过程。下面定义转移方程(TransitionEquation)为(11.1.3)式中Tt是mm矩阵，ct是m1向量，Rt是mg矩阵，t是g1向量，是均值为0，协方差矩阵为Qt的连续的不相关扰动项，即(11.1.4),4,若使上述的状态空间模型成立，还需要满足下面两个假定：(1)初始状态向量0的均值为a0，协方差矩阵为P0，即(11.1.6)(2)在所有的时间区间上，扰动项t和t是相互独立的，而且它们和初始状态0也不相关，即(11.1.7)且(11.1.8),5,量测方程中的矩阵Zt,dt,Ht与转移方程中的矩阵Tt,ct,Rt,Qt统称为系统矩阵。如不特殊指出，它们都被假定为非随机的。因此，尽管它们能随时间改变，但是都是可以预先确定的。对于任一时刻t，yt能够被表示为当前的和过去的t和t及初始向量0的线性组合，所以模型是线性的。,6,例1一阶移动平均模型MA(1)(11.1.9)通过定义状态向量t=(yt,t)可以写成状态空间形式(11.1.10)(11.1.11)这种形式的特点是不存在量测方程噪声。,7,对于任何特殊的统计模型，t的定义是由结构确定的。它的元素一般包含具有实际解释意义的成分，例如趋势或季节要素。状态空间模型的目标是，所建立的状态向量t包含了系统在时刻t的所有有关信息，同时又使用尽可能少的元素。所以如果状态空间模型的状态向量具有最小维数，则称为最小实现(MinimalRealization)。对一个好的状态空间模型，最小实现是一个基本准则。,8,然而，对于任一特殊问题的状态空间模型的表示形式却不是惟一的，这一点很容易验证。考虑通过定义一个任意的非奇异矩阵B，得到新的状态向量*t=Bt。用矩阵B左乘转移方程(11.1.3)，得到(11.1.12)式中T*t=BTtB-1，c*t=Bct，R*t=BRt。相应的量测方程是(11.1.13)式中Z*t=ZtB-1。,9,例2二阶自回归模型AR(2)(11.1.14)考虑两个可能的状态空间形式(k=1,m=2)是(11.1.15)(11.1.16)换一种形式(11.1.17),10,系统矩阵Zt，Ht，Tt，Rt，Qt依赖于一个未知参数的集合。状态空间模型的一个主要的任务就是估计这些参数，如在例题中的MA和AR模型的参数。为了和模型中的其它参数，如ct或dt相区别，这些参数被称为超参数(Hyperparameters)。超参数确定了模型的随机性质，而在ct和dt中出现的参数仅影响确定性的可观测变量和状态的期望值。,11,二、可变参数模型的状态空间表示通常的回归模型可用下式表示，即(11.1.18)式中yt是因变量，xt是1m的解释变量向量，是待估计的未知参数向量，t是扰动项。这种回归方程式的估计方法一般是使用普通最小二乘法(OLS)、工具变量法等计量经济模型的常用方法。但是不管用其中的哪一种方法，所估计的参数在样本期间内都是固定的。,12,近年来，我国由于经济改革、各种各样的外界冲击和政策变化等因素的影响，经济结构正在逐渐发生变化，而用以往的OLS等固定参数模型表现不出来这种经济结构的变化，因此，需要考虑采用可变参数模型(Time-varyingParameterModel)。下面利用状态空间模型来构造可变参数模型。,13,量测方程：(11.1.19)转移方程：(11.1.20)(11.1.21)在(11.1.19)式中，可变参数t是不可观测变量，必须利用可观测变量yt和xt来估计。t对应于(11.1.1)中的状态向量t，与(11.1.1)相对应，Zt=xt，dt=0。在(11.1.20)式中假定参数t的变动服从于AR(1)模型（也可以简单地扩展为AR(p)模型）。与(11.1.3)相对应，Tt=，ct=0，Rt=Im。根据(11.1.21)式t和t是相互独立的，且服从均值为0，方差为2和协方差矩阵为Q的正态分布。,14,当一个模型被表示成状态空间形式(StateSpaceForm，缩写为SSF)就可以对之应用一些重要的算法来求解。这些算法的核心是Kalman滤波。Kalman滤波是在时刻t基于所有可得到的信息计算状态向量的最理想的递推过程。Kalman滤波的主要作用是，当扰动项和初始状态向量服从正态分布时，能够通过预测误差分解来计算似然函数，从而可以对模型中的所有未知参数进行估计，并且当新的观测值一旦得到，就可以利用Kalman滤波连续地修正状态向量的估计。,11.2卡尔曼滤波,15,设YT表示在时刻T所有可利用信息的集合，即YT=yT,yT-1,y1。状态向量的估计问题根据信息的多少分为三种类型：(1)当tT时，超出样本的观测区间，是对未来状态的估计问题，称为预测(Prediction)；(2)当t=T时，估计观测区间的最终时点，即对现在状态的估计问题，称为滤波(Filtering)；(3)当tT时，是基于利用现在为止的观测值对过去状态的估计问题，称为光滑(Smoothing)。,16,进一步，假定att-1和Ptt-1分别表示以利用到t1为止的信息集合YT-1为条件的状态向量t的条件均值和条件误差协方差矩阵，即在本节假定系统矩阵Zt,Ht,Tt,Rt和Qt是已知的，设初始状态向量0的均值和误差协方差矩阵的初值为a0和P0，并假定a0和P0也是已知的。,17,考虑状态空间模型(11.1.1)、(11.1.3)，设at-1表示基于信息集合YT-1的t-1的估计量，Pt1表示估计误差的mm协方差矩阵，即(11.2.1)当给定at-1和Pt1时，t的条件分布的均值由下式给定，即(11.2.2)在11.3节中将要证明在扰动项和初始状态向量服从正态分布的假设下，t的条件分布的均值att-1是在最小均方误差意义下的一个最优估计量。估计误差的协方差矩阵是(11.2.3)方程(11.2.2)、(11.2.3)叫预测方程(PredictionEquations)。,18,一旦得到新的观测值yt，就能够修正t的估计att-1，更新方程(UpdatingEquations)是(11.2.4)和(11.2.5)其中,(11.2.6)上述的(11.2.2)(11.2.6)一起构成Kalman滤波的公式。,19,Kalman滤波的初值可以按a0和P0或a10和P10来指定。这样每当得到一个观测值时，Kalman滤波提供了状态向量的最优估计。当所有的T个观测值都已处理，Kalman滤波基于信息集合YT，产生当前状态向量和下一时间期间状态向量的最优估计。这个估计包含了产生未来状态向量的最优预测所需的所有信息。,20,预测误差(11.2.23)被称为新息(Innovations)，因为它代表了最后观测的新信息。从更新方程(11.2.4)中可以看出，新息vt对修正状态向量的估计量起到了关键的作用。在正态假定下，根据是最小均方误差意义下的最优估计量，可以推断vt的均值是零向量。进一步地，从(11.2.23)式容易看出(11.2.24)式中Ft由(11.2.6)式给定。在不同的时间区间，新息vt是不相关的，即,(11.2.25),21,在上一节讨论利用Kalman滤波递推公式求状态向量的估计量时，假定状态空间模型的系统矩阵Zt,Ht,Tt,Rt和Qt是已知的。但实际上系统矩阵是依赖于一个未知参数的集合，这些未知参数用向量表示，并被称为超参数。本节对于状态空间模型的量测方程(11.1.1)和转移方程(11.1.3)中含有未知参数的情况，介绍超参数的估计方法。,11.3状态空间模型超参数的估计,22,11.3.1极大似然估计和预测误差分解,在许多问题中，特别在关于正态分布的各种估计问题中，极大似然法是最常用的方法，这主要表现在极大似然估计量常具有某些优良的性质。这里我们采用极大似然法来估计未知的超参数。极大似然法的原理是建立在观测值y1,yT是独立地且具有同样的分布，于是它们的联合密度函数被给定为(11.3.1)式中P(yt)是第t个观测值集合的(联合)概率密度函数。一旦得到观测值，L(y;)就可以被解释为极大似然函数，并且可以通过关于使函数L(y;)达到最大来求出极大似然估计。,23,然而经济时间序列的一个重要特征是观测值是不独立的，因此不能用(11.3.1)式，于是利用条件概率密度函数来代替联合密度函数(11.3.2)式中P(ytYt-1)表示yt以时刻t-1的信息集合为条件的条件分布，即Yt-1=yt-1,yt-2,y1，P(ytYt-1)=P(yty1,yt-1)。如果量测方程(11.1.1)的扰动项和初始状态向量服从多元正态分布，则yt以YT-1为条件的条件分布也是正态的。进一步地，这个条件分布的均值和协方差矩阵可以直接由Kalman滤波给定。,24,由Kalman滤波的推导，我们可以知道，以信息集YT-1为条件，t服从具有均值att1和协方差矩阵Ptt1的正态分布。如果量测方程被写为(11.3.3)可以直接看出yt的条件分布是正态的，均值为(11.3.4)协方差矩阵由(11.2.6)的Ft给定，即(11.3.5),25,极大似然原则就是寻求参数的估计值，使得在这种参数值之下，出现所给样本值的概率密度（即似然函数）值为最大。在现在的情形下，就是寻求的估计值，使得似然函数L(y;)相对于给定的观测值y1,yT而言达到最大值。在L(y;)关于i(i=1,n,n是未知参数的个数）存在偏导数时，要使L(y;)取最大值，必须满足(11.3.6)由上式可解得n1向量的极大似然估计值。因为L(y;)与logL(y;)在同一点处取极值，所以也可以由(11.3.7)求得，这往往较直接使用(11.3.6)式来得方便。,26,因此可以将(11.3.2)的对数似然函数直接写为(11.3.8)式中(11.3.9)由前面论述可以知道条件均值是yt的最小均方误差意义的最优估计量(MMSE)，所以k1向量vt可以作为一个预测误差向量来解释。因此(11.3.6)式有时也称为似然函数形式的预测误差分解。,27,极大似然估计量的计算方法有许多种，有解析方法，也有数值解法，本节介绍几种常用的方法。首先求极大似然估计的迭代公式。为求极大似然估计，需要求解,11.3.2极大似然估计量的计算方法,28,设是超参数