时间序列分析方法第章Kalman滤波

1、第十卡尔曼滤波在本章中，我们介绍一种被称为卡尔曼滤波的十分有用的工具。卡尔曼滤波的基本思 想是将动态系统表示成为一种称为状态空间表示的特殊情形。卡尔曼滤波是对系统线性投 影进行序列更新的算法。除了一般的优点以外，这种算法对计算确切的有限样本预测、计 算Gauss ARMA莫型的确切似然函数、估计具有时变参数的自回归模型等，都提供了重要 方法。§13.1 动态系统的状态空间表示 我们已经介绍过一些随机过程的动态表示方法，下面我们在以前的假设基础上，继续 分析动态系统的表示方法。13.1.1 继续使用的假设假设yt表示时刻t观测到的n维随机向量，一类非常丰富的描述yt动态性的模型可以 利

2、用一些可能无法观测的被称为状态向量(state vector)的r维向量&表示，因此表示yt动 态性的状态空间表示 (state-space representation) 由下列方程系统给出：&t 1 F &tvt 1状态方程(state model) (13.1)y t A xt H &t w t量测方程 (observation model)(13.2)这里F , A和H分别是阶数为r r , n k和n r的参数矩阵，xt是k 1的外生或者 前定变量。方程 (13.1) 被称为状态方程 (state model) ，方程(13.2) 被称为量测方程 (o

3、bservation model) , r 1维向量vt和n 1维向量wt都是向量白噪声，满足：E(vtv )Q, t0, t(13.3)E(wtw )R, t0, t(13.4)这里Q和R是r r和n n阶矩阵。假设扰动项Vt和Wt对于所有阶滞后都是不相关的， 即对所有 t 和 ，有：E(vtw ) 0(13.5)xt是外生或者前定变量的假定意味着，在除了包含在yt 1 ,yt 2, ,y1内的信息以外，xt没 有为Et s和Wts(s 0,1,2,)提供任何新的信息。例如，xt可以包括yt的滞后值，也可以包 括与 & 和 w ( 任意 ) 不相关的变量。方程系统中方程 (13.1)

4、 至方程(13.5) 可以表示有限观测值的序列 y1,y2, ,yT ，这时 需要状态向量初始值&。假设E与vt和Wt的任何实现都不相关：E(vtE1) 0，对任意 t 1,2, ,T(13.6)E(WtE1) 0，对任意 t 1,2, ,T(13.7)状态方程(13.1)表明，&可以表示成为 &,v2,v3, ,vt的线性函数：EtvtFvt1F2vt2Ft2v2Ft 1E1， t 2,3, ,T(13.8)因此，方程(13.6)和方程(13.3)意味着vt与所有&的滞后值都是不相关的:E(vtE )0，t 1,t2,1(13.9)类似地，可以得到：E(Wt

5、E )0， 1,2,T(13.10)E(wty )Ewt(A xt0H i1 Wt)t 1,t 2,1(13.11)E(vty )0，t 1,t2,1(13.12)上述系统是相当灵活的，它的一些结论也可以推广到Vt与Wt相关的系统中，而且系数矩阵(F,Q,A,H,R)也可以是时间的函数。如果我们仅仅关注到上述系统的基本形式，则下 面的论述将是十分清晰的。13.1.2 状态空间表示的例子考虑一元AR(p)过程：这个AR(p)过程可以表示成为下面的状态空间模型形式：状态方程(r p)yt 112p 1:ytt 11000ytyt 100100(13.13)yt p 2yt p 100010量测方程

6、：ytyt100yt 1(13.14)yt p i对应地，我们指定：yt12p 1pt2001000yt 10000，F 0100， VtQyt p 100000010这里变量和参数矩阵对应为：ytyt，a，xt1，H1 00， Wt0，R0注意到这里的状态方程只是一个一阶向量自回归方程，量测方程只是一个简单的等式。因此，我们已经看到，状态空间表示只是总结AR( p)过程的另外一种方式。将AR(p)过程表示成为这种方式的原因在于，这样可以获得归纳AR(p)过程动态性的合适方式，这是我们对任何系统状态空间表示感兴趣的基本原因。另外一个例子是，我们考虑一元 MA(1)过程： 对应地，它可以表示成为

7、状态空间模型形式为: 状态方程(r 2):量测方程(n 1):这里:,Vt,WtR 0将给定系统表示成为状态方程的方式有多种。例如，可以将ytyt,XtMA(1)过程表示成为下面类型的状态空间模型:状态方程(r 2):量测方程(n 1):显然上面的MA(1)过程、两种状态空间模型表示都是具有相同特征的过程表示，这三种 表示都具有相同的预测和相同的似然函数值，也就无须讨论哪一种方式更为合适。更一般地，一元ARMA( p, q)模型可以通过定义r maX p,q 1进行状态空间模型表示:yt1(yt 1) 2(% 2)r(y )t 1 t 12 t 2r 1 t r 1这里的参数约束是：当j p时

8、，j 0 ;当j q时，j 0 考虑下列状态空间模型表示为：状态方程(rmaX p,q1):12r 1r1000t 10& 1 0100 &(13.16)00100量测方程(n1):yt112r 1Et(13.15)为了验证方程(13.16)和方程(13.17)表示了系统与方程(13.15) 致，假设jt表示向量Et的第j个元素，因此状态方程的第2行表示:第3行表明:更一般地，第j行表示： 因此状态方程的第1行意味着:或者：(13.18)(13.19)rLr)，并利用方程(13.18)，可2r L )1,t 1(11L 2 L2量测方程表明：2r 1yt(11L2Lr 1L )

9、 E,t在方程(13.19)两端乘以算子多项式(11L 2L2以得到：这就是原来的ARMA( p, q)模型，即方程(13.15)。状态空间形式是描述随机过程的和，或者测量误差结果的模型的非常合适的方式。例 如，Fama和Gibbons (1982)开始着手研究事前实际利率(ex ante real interest rate ) 行为(事前实际利率是名义利率it减去预期通货膨胀率te) 0由于经济计量学家通过证券市 场推断的预期通货膨胀率的数据，因此这个变量不是可以观测的。因此在这种应用中状态变量是一个标量，即： t it te，这里表示平均事前实际利率。Fama和Gibbons (1982

10、)假设事前实际利率服从 AR(1) 过程：t 1 t vt 1 (13.20)经济计量学家可以观测到事后实际利率(名义利率it减去真实通货膨胀率t)，这可以表 示为：it t (it t ) ( tt ) t t wt(13.21)这里 wt ( te t) 是人们预测通货膨胀率时的误差。 如果人们以最优的方式形成通货膨 胀率预测，则与自身的滞后值和事前实际利率是无关的。因此方程(13.20)和方程(13.21) 是状态空间模型，这里 r n 1， F ， yt it t， A xt ， H 1， wt te t。状态空间模型框架的另外一个有趣例子是 Stock 和 Waston (1991)

11、 的研究，他们假设存 在表示经济周期状态的不可观测变量 Ct。假设(y1t,y2t, ,ynt)是n个可以观测的宏观经济变 量，每个都受到经济周期的影响，并且具有与 yjt, j i 中移动不相关的奇异成分 (表示为it)。如果经济周期和每个奇异成分可以利用一元 AR(1)过程描述，则(n 1) 1维状态向量 是：1t2tCt(13.22)nt该状态变量具有的状态方程为：Ct 1C000CtvC, t 11t 10C001tv1t 12t 100C02tv2t 1(13.23)nt 1000Cntvnt 1量测方程为：y1t11100Cty2t220101ty3t330002t(13.24)y

12、ntnn001nt因此，参数i 描述第i 个序列对经济周期反应的敏感性。为了出现和描述 p 阶动态性，Stock和Waston (1991)将方程(13.22)中的G和让替换为(p 1)阶向量(G,Ct1, ,CtpJ 和(it, it 1, it p 1)，这时Et是(n 1)p 1维向量。这时方程(13.23)中的标量i需要利用(p p)阶矩Fi阵替换，该矩阵结构与方程(13.13)类似。还需要在量测方程(13.24)中H 的列中加入阶数为 (n (p 1)的零子块。§ 13.2 卡尔曼滤波的推导 卡尔曼滤波是估计状态空间模型的重要方法，也是应用广泛的参数估计方法。下面我 们介绍

13、卡尔曼滤波的有关公式。13.2.1 卡尔曼滤波的回顾 Overview of the Kalman Filter 考虑上述讨论的状态空间模型的一般形式，为了方便，我们将使用的一些关键方程在 这里重复表示如下：Q, tE(vt v ) r r ，0, t假设我们已经得到了观测值 y1,y2, ,yT ，x1,x2, ,xT ；一个最终目标是基于这些观测 值估计系统的所有未知参数。但是，目前我们暂时假设参数矩阵 (F,Q,A, H,R) 的特定数值 都是确定性已知的。如何估计这些参数在后面的内容中讨论。卡尔曼滤波具有多种应用。它的基本动因是作为一种计算状态向量基于时刻 t 观测到 的数据进行最小二

14、乘预测的算法。?t i|t E?( &i| Yt)(13.25)这里：这里E?( & i | Yt)表示& i基于Yt和常数的线性投影。卡尔曼滤波是采用叠代算法计算这 些预测的，按顺序分别产生？1|0，?2|1，,?T|T 1。与这些预测有关的是均方误差矩阵， 可以由一个 r r 阶矩阵表示：Pt 1|t E( A 1|t)( &1 ?t1|t)(13.26)1322叠代的开始叠代首先从？no开始，。表示在没有y和x观测值的基础上对&的预测。这就是&的 无条件均值：与此相关的MSE为：例如，对 MA(1) 系统的状态空间表示，状态向量为：这时有：

15、P1|tE10020 2 2002 ，2 E( t2)更一般地， 如果矩阵 F 的特征根都落在单位圆内， 则状态方程表示的过程 t 是协方差 平稳的。因此，对状态方程两端取无条件数学期望，可以得到：由于过程 t 是协方差平稳的，则有：由于矩阵F没有单位根，因此矩阵(1F)是非奇异的，因此这个方程存在唯一零解， 也就是有： E( t) 0。则 t 的无条件方差也可以类似地得到，取矩阵的转置并取数学期 望，可以得到 (由于存在正交性，下面的交叉项的数学期望为零 )：假设矩阵艺表示 &的协方差矩阵，则有：这个方程的解可以表示为：因此，一般情况下， 如果矩阵 F 的特征根都落在单位圆内， 因此

16、卡尔曼滤波的叠代可以 从？1|o0和P1|o开始，这里的P1|o表示成为列向量可以从下式得到：如果矩阵 F 的部分特征根落在单位圆上或者单位圆外，或者 1无法从状态方程中获得， 这时？1|o可以利用分析者对初始&的最优猜测来替代，而P1|o是归纳这种预测置信区间的正 定矩阵。P1|o中对角线上比较大的数值对应着对 舀真实取值较高的非确定性。13.2.3 预测 y t给定开始的初值li|0和Pi|0，下一步是计算下一个时期类似的数量 £|1和P2|1。由于计算 对t 2,3, ,T都具有相同的形式，因此我们讨论在时刻 t的一般形式。给定和Pt|t i , 目的是计算?t i|t

17、和Pt i|t。首先，我们需要注意到，我们假设除了包含在ti内的信息以外，xt不再包含关于&的 信息，因此有：下面我们考虑对yt的预测：注意到根据状态方程，可以得到： 因此，根据投影的叠代定律，有：这个预测的误差为： 因此预测的MSE为： 由于Ewt（ ©也1） 0，因此上式中交叉项为零。这个正交条件需要根据假设和投影 性质加以验证。这时可以将MSE表示为：13.2.4 关于&推断的更新给定开始的初值？1|0和Pl|0，下一步是计算下一个时期类似的数量?2|1和P2|1 o由于计算对13.2.5 产生Et1的预测给定开始的初值？1|0和P1|0，下一步是计算下一个时期类似的数量?2|1和P2|1 o由于计算对13.2.6 归纳和注释给定开始的初值？1|0和R|0，下一步是计算下一个时期类似的数量?2|1和P2|1 o由于计算对§ 13.3 基于状态空间表示的预测Forecasts Based on the State-SpaceRepresentation§ 13.4 参数的极大似然估计 Maximum Likelihood Estimation of Parameter