状态空间模型和卡尔曼滤波.ppt

第11章状态空间模型和卡尔曼滤波 20世纪60年代初 由于工程控制领域的需要 产生了卡尔曼滤波 KalmanFiltering 算法 进入70年代 人们明确提出了状态空间模型的标准形式 并开始将其应用到经济领域 80年代以后 状态空间模型已成为一种有力的建模工具 计量经济学领域中的诸多问题 如可变参数模型 时间序列分析模型 季节调整模型 景气指数的建立 不可观测变量的估计等都能转化为状态空间模型的形式 从而可以利用卡尔曼滤波来得出相应的估计及进行预测 在一般的统计模型中出现的变量都是可以观测到的 这些模型以反映过去经济变动的时间序列数据为基础 利用回归或时间序列分析等方法估计参数 进而预测未来的值 状态空间模型的特点是提出了 状态 这一概念 实际上 无论是工程控制问题中出现的某些状态 如导弹轨迹 还是经济系统所存在的某些状态都是一种不可观测的变量 正是这种观测不到的变量反映了系统所具有的真实状态 所以被称为状态向量 这种含有不可观测变量的模型被称为UC模型 UnobservableComponentModel UC模型通过通常的回归方程式来估计是不可能的 必须利用状态空间模型来求解 状态空间模型建立了可观测变量和系统内部状态之间的关系 从而可以通过估计各种不同的状态向量达到分析和观测的目的 11 1状态空间模型 一 状态空间模型的定义状态空间模型 StateSpaceModel 一般应用于多变量时间序列 设yt是包含k个经济变量的k 1维可观测向量 这些变量与m 1维向量 t有关 t被称为状态向量 定义量测方程 MeasurementEquation 为 11 1 1 式中T表示样本长度 Zt是k m矩阵 dt是k 1向量 t是k 1向量 是均值为0 协方差矩阵为Ht的连续的不相关扰动项 即 11 1 2 一般地 t的元素是不可观测的 然而可表示成一阶马尔可夫 Markov 过程 下面定义转移方程 TransitionEquation 为 11 1 3 式中Tt是m m矩阵 ct是m 1向量 Rt是m g矩阵 t是g 1向量 是均值为0 协方差矩阵为Qt的连续的不相关扰动项 即 11 1 4 若使上述的状态空间模型成立 还需要满足下面两个假定 1 初始状态向量 0的均值为a0 协方差矩阵为P0 即 11 1 6 2 在所有的时间区间上 扰动项 t和 t是相互独立的 而且它们和初始状态 0也不相关 即 11 1 7 且 11 1 8 量测方程中的矩阵Zt dt Ht与转移方程中的矩阵Tt ct Rt Qt统称为系统矩阵 如不特殊指出 它们都被假定为非随机的 因此 尽管它们能随时间改变 但是都是可以预先确定的 对于任一时刻t yt能够被表示为当前的和过去的 t和 t及初始向量 0的线性组合 所以模型是线性的 例1 一阶移动平均模型MA 1 11 1 9 通过定义状态向量 t yt t 可以写成状态空间形式 11 1 10 11 1 11 这种形式的特点是不存在量测方程噪声 对于任何特殊的统计模型 t的定义是由结构确定的 它的元素一般包含具有实际解释意义的成分 例如趋势或季节要素 状态空间模型的目标是 所建立的状态向量 t包含了系统在时刻t的所有有关信息 同时又使用尽可能少的元素 所以如果状态空间模型的状态向量具有最小维数 则称为最小实现 MinimalRealization 对一个好的状态空间模型 最小实现是一个基本准则 然而 对于任一特殊问题的状态空间模型的表示形式却不是惟一的 这一点很容易验证 考虑通过定义一个任意的非奇异矩阵B 得到新的状态向量 t B t 用矩阵B左乘转移方程 11 1 3 得到 11 1 12 式中T t BTtB 1 c t Bct R t BRt 相应的量测方程是 11 1 13 式中Z t ZtB 1 例2 二阶自回归模型AR 2 11 1 14 考虑两个可能的状态空间形式 k 1 m 2 是 11 1 15 11 1 16 换一种形式 11 1 17 系统矩阵Zt Ht Tt Rt Qt依赖于一个未知参数的集合 状态空间模型的一个主要的任务就是估计这些参数 如在例题中的MA和AR模型的参数 为了和模型中的其它参数 如ct或dt相区别 这些参数被称为超参数 Hyperparameters 超参数确定了模型的随机性质 而在ct和dt中出现的参数仅影响确定性的可观测变量和状态的期望值 二 可变参数模型的状态空间表示通常的回归模型可用下式表示 即 11 1 18 式中yt是因变量 xt是1 m的解释变量向量 是待估计的未知参数向量 t是扰动项 这种回归方程式的估计方法一般是使用普通最小二乘法 OLS 工具变量法等计量经济模型的常用方法 但是不管用其中的哪一种方法 所估计的参数在样本期间内都是固定的 近年来 我国由于经济改革 各种各样的外界冲击和政策变化等因素的影响 经济结构正在逐渐发生变化 而用以往的OLS等固定参数模型表现不出来这种经济结构的变化 因此 需要考虑采用可变参数模型 Time varyingParameterModel 下面利用状态空间模型来构造可变参数模型 量测方程 11 1 19 转移方程 11 1 20 11 1 21 在 11 1 19 式中 可变参数 t是不可观测变量 必须利用可观测变量yt和xt来估计 t对应于 11 1 1 中的状态向量 t 与 11 1 1 相对应 Zt xt dt 0 在 11 1 20 式中假定参数 t的变动服从于AR 1 模型 也可以简单地扩展为AR p 模型 与 11 1 3 相对应 Tt ct 0 Rt Im 根据 11 1 21 式 t和 t是相互独立的 且服从均值为0 方差为 2和协方差矩阵为Q的正态分布 当一个模型被表示成状态空间形式 StateSpaceForm 缩写为SSF 就可以对之应用一些重要的算法来求解 这些算法的核心是Kalman滤波 Kalman滤波是在时刻t基于所有可得到的信息计算状态向量的最理想的递推过程 Kalman滤波的主要作用是 当扰动项和初始状态向量服从正态分布时 能够通过预测误差分解来计算似然函数 从而可以对模型中的所有未知参数进行估计 并且当新的观测值一旦得到 就可以利用Kalman滤波连续地修正状态向量的估计 11 2卡尔曼滤波 设YT表示在时刻T所有可利用信息的集合 即YT yT yT 1 y1 状态向量的估计问题根据信息的多少分为三种类型 1 当t T时 超出样本的观测区间 是对未来状态的估计问题 称为预测 Prediction 2 当t T时 估计观测区间的最终时点 即对现在状态的估计问题 称为滤波 Filtering 3 当t T时 是基于利用现在为止的观测值对过去状态的估计问题 称为光滑 Smoothing 进一步 假定at t 1和Pt t 1分别表示以利用到t 1为止的信息集合YT 1为条件的状态向量 t的条件均值和条件误差协方差矩阵 即在本节假定系统矩阵Zt Ht Tt Rt和Qt是已知的 设初始状态向量 0的均值和误差协方差矩阵的初值为a0和P0 并假定a0和P0也是已知的 考虑状态空间模型 11 1 1 11 1 3 设at 1表示基于信息集合YT 1的 t 1的估计量 Pt 1表示估计误差的m m协方差矩阵 即 11 2 1 当给定at 1和Pt 1时 t的条件分布的均值由下式给定 即 11 2 2 在11 3节中将要证明在扰动项和初始状态向量服从正态分布的假设下 t的条件分布的均值at t 1是在最小均方误差意义下的一个最优估计量 估计误差的协方差矩阵是 11 2 3 方程 11 2 2 11 2 3 叫预测方程 PredictionEquations 一旦得到新的观测值yt 就能够修正 t的估计at t 1 更新方程 UpdatingEquations 是 11 2 4 和 11 2 5 其中 11 2 6 上述的 11 2 2 11 2 6 一起构成Kalman滤波的公式 Kalman滤波的初值可以按a0和P0或a1 0和P1 0来指定 这样每当得到一个观测值时 Kalman滤波提供了状态向量的最优估计 当所有的T个观测值都已处理 Kalman滤波基于信息集合YT 产生当前状态向量和下一时间期间状态向量的最优估计 这个估计包含了产生未来状态向量的最优预测所需的所有信息 预测误差 11 2 23 被称为新息 Innovations 因为它代表了最后观测的新信息 从更新方程 11 2 4 中可以看出 新息vt对修正状态向量的估计量起到了关键的作用 在正态假定下 根据是最小均方误差意义下的最优估计量 可以推断vt的均值是零向量 进一步地 从 11 2 23 式容易看出 11 2 24 式中Ft由 11 2 6 式给定 在不同的时间区间 新息vt是不相关的 即 11 2 25 在上一节讨论利用Kalman滤波递推公式求状态向量的估计量时 假定状态空间模型的系统矩阵Zt Ht Tt Rt和Qt是已知的 但实际上系统矩阵是依赖于一个未知参数的集合 这些未知参数用向量 表示 并被称为超参数 本节对于状态空间模型的量测方程 11 1 1 和转移方程 11 1 3 中含有未知参数的情况 介绍超参数的估计方法 11 3状态空间模型超参数的估计 11 3 1极大似然估计和预测误差分解 在许多问题中 特别在关于正态分布的各种估计问题中 极大似然法是最常用的方法 这主要表现在极大似然估计量常具有某些优良的性质 这里我们采用极大似然法来估计未知的超参数 极大似然法的原理是建立在观测值y1 yT是独立地且具有同样的分布 于是它们的联合密度函数被给定为 11 3 1 式中P yt 是第t个观测值集合的 联合 概率密度函数 一旦得到观测值 L y 就可以被解释为极大似然函数 并且可以通过关于 使函数L y 达到最大来求出极大似然估计 然而经济时间序列的一个重要特征是观测值是不独立的 因此不能用 11 3 1 式 于是利用条件概率密度函数来代替联合密度函数 11 3 2 式中P yt Yt 1 表示yt以时刻t 1的信息集合为条件的条件分布 即Yt 1 yt 1 yt 2 y1 P yt Yt 1 P yt y1 yt 1 如果量测方程 11 1 1 的扰动项和初始状态向量服从多元正态分布 则yt以YT 1为条件的条件分布也是正态的 进一步地 这个条件分布的均值和协方差矩阵可以直接由Kalman滤波给定 由Kalman滤波的推导 我们可以知道 以信息集YT 1为条件 t服从具有均值at t 1和协方差矩阵Pt t 1的正态分布 如果量测方程被写为 11 3 3 可以直接看出yt的条件分布是正态的 均值为 11 3 4 协方差矩阵由 11 2 6 的Ft给定 即 11 3 5 极大似然原则就是寻求参数的估计值 使得在这种参数值之下 出现所给样本值的概率密度 即似然函数 值为最大 在现在的情形下 就是寻求 的估计值 使得似然函数L y 相对于给定的观测值y1 yT而言达到最大值 在L y 关于 i i 1 n n是未知参数的个数 存在偏导数时 要使L y 取最大值 必须满足 11 3 6 由上式可解得n 1向量 的极大似然估计值 因为L y 与logL y 在同一点处取极值 所以也可以由 11 3 7 求得 这往往较直接使用 11 3 6 式来得方便 因此可以将 11 3 2 的对数似然函数直接写为 11 3 8 式中 11 3 9 由前面论述可以知道条件均值是yt的最小均方误差意义的最优估计量 MMSE 所以k 1向量vt可以作为一个预测误差向量来解释 因此 11 3 6 式有时也称为似然函数形式的预测误差分解 极大似然估计量的计算方法有许多种 有解析方法 也有数值解法 本节介绍几种常用的方法 首先求极大似然估计的迭代公式 为求极大似然估计 需要求解 11 3 2极大似然估计量的计算方法