时间序列分析方法第优选章优选Kalman滤波

1、第十三章 卡尔曼滤波在本章中，我们介绍一种被称为卡尔曼滤波的十分有用的工具。卡尔曼滤波的 基本思想是将动态系统表示成为一种称为状态空间表示的特殊情形。卡尔曼滤波是 对系统线性投影进行序列更新的算法。除了一般的优点以外，这种算法对计算确切 的有限样本预测、计算 Gauss ARMA模型的确切似然函数、估计具有时变参数的自 回归模型等，都提供了重要方法。13.1 动态系统的状态空间表示 我们已经介绍过一些随机过程的动态表示方法，下面我们在以前的假设基础 上，继续分析动态系统的表示方法。13.1.1 继续使用的假设假设y t表示时刻t观测到的n维随机向量，一类非常丰富的描述yt动态性的模型可以利用一

2、些可能无法观测的被称为状态向量(state vector)的r维向量&表示,因此表示yt动态性的状态空间表示(state-space representation)由下列方程系统给出：&t 1 F &t v t 1状态方程 (state model)(13.1)yt A xt H &t w t量测方程 (observation model)(13.2)这里F , A和H分别是阶数为r r , n k和n r的参数矩阵，xt是k 1的外生 或者前定变量。方程 (13.1) 被称为状态方程 (state model) ，方程 (13.2) 被称为量 测方程(observation model) ,

3、 r 1维向量vt和n 1维向量wt都是向量白噪声，满足:Q, tE(vtv )0Q, tt(13.3)E(wtw )R, t0, t(13.4)这里Q和R是r r和n n阶矩阵。假设扰动项Vt和Wt对于所有阶滞后都是不相 关的，即对所有t和，有：E(vtw ) 0(13.5)xt是外生或者前定变量的假定意味着，在除了包含在yt1,yt2, ,y1内的信息以外，Xt没有为&s和Wt s( s 0,1, 2,)提供任何新的信息。例如，Xt可以包括yt的滞 后值，也可以包括与&和w (任意)不相关的变量。方程系统中方程 (13.1) 至方程 (13.5) 可以表示有限观测值的序列 y1,y2, ,

4、yT ， 这时需要状态向量初始值&1。假设&与vt和wt的任何实现都不相关：E(vt&1) 0，对任意 t 1, 2, ,T(13.6)E(wt &) 0 ,对任意 t 1,2, ,T(13.7)状态方程(13.1)表明，&可以表示成为Ei,V2,V3, ,Vj的线性函数： 石 Vt FVti F2Vt 2 Ft 2V2 Ft 1 石,t 2,3, ,T(13.8)因此，方程(13.6)和方程(13.3)意味着vt与所有E的滞后值都是不相关的:E(vtE )0，t 1,t2,1(13.9)类似地，可以得到：E(wt E )0， 1,2,T(13.10)E(wty )Ewt(A xtHEtwt)

5、 ，t 1,t 2,1(13.11)0E(Vty )0，t 1,t2,1(13.12)上述系统是相当灵活的，它的一些结论也可以推广到vt与wt相关的系统中，而且系数矩阵(F,Q,A,H,R)也可以是时间的函数。如果我们仅仅关注到上述系统的基 本形式，则下面的论述将是十分清晰的。13.1.2 状态空间表示的例子考虑一元AR(p)过程：这个AR(p)过程可以表示成为下面的状态空间模型形式：量测方程：状态方程 ( r p)yt 112p1pytt11000yt0100yt 10(13.13)yt p 20010yt p 10ytyt 1 yt1 0 0 t 1yt p 1(13.14) 对应地，我们

6、指定：yt12p1pt2001000yt 10000Et t1， F 0100， Vt，Qyt p 100000010这里变量和参数矩阵对应为：yt yt， A，xt1 ，H100 ， wt0， R 0注意到这里的状态方程只是一个一阶向量自回归方程，量测方程只是一个简单 的等式。因此，我们已经看到，状态空间表示只是总结AR(p)过程的另外一种方式。将AR(p)过程表示成为这种方式的原因在于，这样可以获得归纳AR( p)过程动态性的合适方式，这是我们对任何系统状态空间表示感兴趣的基本原因。另外一个例子是，我们考虑一元MA(1)过程：2):1):对应地，它可以表示成为状态空间模型形式为: 状态方程

7、(r 量测方程(n 这里：Vt.t；tt 1ytyt，Xt，wt将给定系统表示成为状态方程的方式有多种。例如，可以将MA(1)过程表示成为F面类型的状态空间模型:状态方程(r 2):量测方程(n 1):显然上面的MA(1)过程、两种状态空间模型表示都是具有相同特征的过程表示， 这三种表示都具有相同的预测和相同的似然函数值，也就无须讨论哪一种方式更为 合适。更一般地，一元ARMA(p, q)模型可以通过定义r ma% p, q 1进行状态空间模型表示：yt1(yt 1 ) 2(yt 2 )r(yt r )t 1 t 12 t 2r 1 t r 1这里的参数约束是：当j p时，j 0 ;当j q时

8、，j 0 考虑下列状态空间模型表示为：状态方程(r maX p, q 1):1 21 0r 10r0t100 EtEt 10100 0100(13.16)量测方程(n1):yt112r 1Et(13.15)为了验证方程(13.16)和方程(13.17)表示了系统与方程(13.15) 致,假设jt表示向量Et的第j个兀素，因此状态方程的第 2行表示：第3行表明：更一般地，第j行表示：因此状态方程的第1行意味着:18)或者：rr L ) 1,t 1 t 12L22(1 1L 2 L2(1量测方程表明：yt(1 1L(13.19)r Lr ) ， 并 利 用 方 程在方程(13.19) 两端乘以算子

9、多项式 (1 1L2L2(13.18) ，可以得到：这就是原来的ARMA(p, q)模型，即方程(13.15)。状态空间形式是描述随机过程的和，或者测量误差结果的模型的非常合适的方 式。例如， Fama 和 Gibbons (1982) 开始着手研究事前实际利率(ex ante realinterest rate )行为(事前实际利率是名义利率it减去预期通货膨胀率 ：)。由于经济计量学家通过证券市场推断的预期通货膨胀率的数据，因此这个变量不是可以 观测的。因此在这种应用中状态变量是一个标量，即： t it te，这里 表示平均事前实际利率。Fama和 Gibbons (1982)假设事前实际

10、利率服从 AR(1)过程：t 1t vt 1(13.20)经济计量学家可以观测到事后实际利率(名义利率it减去真实通货膨胀率t)，这可以表示为：it t (itt ) ( tt )t t wt(13.21)这里wt ( tet)是人们预测通货膨胀率时的误差。如果人们以最优的方式形成通货膨胀率预测，则wt与自身的滞后值和事前实际利率是无关的。因此方程(13.20)和方程(13.21) 是状态空间模型，这里 r n 1， F ， yt itt， A xt， H 1，ewttt。状态空间模型框架的另外一个有趣例子是 Stock 和 Waston (1991) 的研究， 他们 假设存在表示经济周期状态

11、的不可观测变量Ct。假设(y1t,y2t, ,ynt)是n个可以观测的宏观经济变量，每个都受到经济周期的影响， 并且具有与yjt,j i中移动不相关的 奇异成分(表示为讥)。如果经济周期和每个奇异成分可以利用一元 AR过程描述， 则 (n 1) 1 维状态向量是：Ct1tEt2tnt(13.22)该状态变量具有的状态方程为：Ct 1C000CtvC, t 11t 10C001tv1 t 12t 100C02tv2t 1(13.23)nt 1000Cntvnt 1量测方程为：y1t11100 Cty2t220101ty3t330002tyntnn001 nt(13.24)因此，参数i 描述第i

12、个序列对经济周期反应的敏感性。为了出现和描述p 阶动态性，Stock和Waston (1991)将方程(13.22)中的和 让替换为(p 1)阶向量(Ct ,Ct 1,Ct p 1)和( it,it 1, , it p 1)，这时&是(n 1)p 1维向量。这时方程(13.23)中的标量i 需要利用(pp)阶矩Fi阵替换，该矩阵结构与方程(13.13)类似。还需要在量测方程 (13.24)中H的列中加入阶数为 (n (p 1)的零子块。13.2 卡尔曼滤波的推导 卡尔曼滤波是估计状态空间模型的重要方法，也是应用广泛的参数估计方法。 下面我们介绍卡尔曼滤波的有关公式。13.2.1 卡尔曼滤波的回

13、顾 Overview of the Kalman Filter 考虑上述讨论的状态空间模型的一般形式，为了方便，我们将使用的一些关键 方程在这里重复表示如下：Q, tE(vt v ) r r ，0, t假设我们已经得到了观测值 yi2, X1,X2, ,Xt ; 个最终目标是基于这些 观测值估计系统的所有未知参数。但是，目前我们暂时假设参数矩阵(F,Q, A,H,R)的特定数值都是确定性已知的。如何估计这些参数在后面的内容中讨论。卡尔曼滤波具有多种应用。它的基本动因是作为一种计算状态向量基于时刻t观测到的数据进行最小二乘预测的算法。It i|t E( & i | Yt)(13.25)这里：这里

14、氏&til Yt)表示&1基于Yt和常数的线性投影。卡尔曼滤波是采用叠代算法 计算这些预测的，按顺序分别产生？1|0 , ?2|1,?T|T1。与这些预测有关的是均方误差矩阵，可以由一个 r r 阶矩阵表示：Pt 1|t E( t 1 ?t 1|t)( t 1 ?t 1|t) (13.26)13.2.2 叠代的开始叠代首先从?1|0幵始，ho表示在没有y和x观测值的基础上对$的预测。这就是 $的无条件均值：与此相关的MSE为：例如，对 MA(1) 系统的状态空间表示，状态向量为：E( t2)这时有：P1|t E 1 00更一般地，如果矩阵F 的特征根都落在单位圆内，则状态方程表示的过程协方差平

15、稳的。因此，对状态方程两端取无条件数学期望，可以得到：由于过程 &是协方差平稳的，则有：由于矩阵F没有单位根，因此矩阵(lr F)是非奇异的，因此这个方程存在唯一 零解，也就是有：E(G 0。则 &的无条件方差也可以类似地得到，取矩阵的转置 并取数学期望，可以得到 (由于存在正交性，下面的交叉项的数学期望为零 )：假设矩阵艺表示 &的协方差矩阵，则有： 这个方程的解可以表示为：因此，一般情况下， 如果矩阵 F 的特征根都落在单位圆内， 因此卡尔曼滤波的叠 代可以从?1|0 0和Pi|o幵始，这里的Pi|o表示成为列向量可以从下式得到：如果矩阵F的部分特征根落在单位圆上或者单位圆外， 或者$1无

16、法从状态方程中 获得，这时？i|o可以利用分析者对初始$1的最优猜测来替代，而Pi|o是归纳这种预测 置信区间的正定矩阵。Pi|o中对角线上比较大的数值对应着对 &真实取值较高的非 确定性。13.2.3 预测 yt给定幵始的初值？1|0和Pi|o，下一步是计算下一个时期类似的数量?2|1和P2|i。由于计算对 t 2,3, ,T 都具有相同的形式，因此我们讨论在时刻 t 的一般形式。给定 t 1和Pt|t 1，目的是计算?t 1|t和Pt 1|t。首先，我们需要注意到，我们假设除了包含在t1内的信息以外，Xt不再包含关于$t的信息，因此有：下面我们考虑对yt的预测：注意到根据状态方程，可以得到

17、：因此，根据投影的叠代定律，有：这个预测的误差为： 因此预测的MSE为： 由于 Ewt( t ?t|t 1) 0，因此上式中交叉项为零。这个正交条件需要根据假设和 投影性质加以验证。这时可以将MSE表示为：13.2.4 关于$t推断的更新给定幵始的初值？1|o和P1|o，下一步是计算下一个时期类似的数量?2|1和P211。由于计算对13.2.5 产生的预测给定幵始的初值 ho和Pl|0，下一步是计算下一个时期类似的数量？2|1和P2|1。由于计算对13.2.6 归纳和注释给定幵始的初值？1|0和P1|0，下一步是计算下一个时期类似的数量?2|1和P2|1。由于计算对 13.3 基于状态空间表示的预测 Forecasts Based on the State-Space Representation 13.4 参数的极大似然估计 Maximum Likelihood E