时间序列分析方法第4章预测

1、时间序列分析方法讲义 第3章 预测第三章 预 测预测是经济分析的重要内容，也是经济计量模型的主要功能。在本章中，我们主要讨论预测的一般概念和方法，然后分析利用模型进行预测的问题。§3.1 预期的基本原理利用各种条件对某个变量下一个时点或者时间阶段内取值的判断是预测的重要情形。为此，需要了解如何确定预测值和度量预测的精度。3.1.1 基于条件数学预期的预测假设我们可以观察到一组随机变量的样本值，然后利用这些数据预测随机变量的值。特别地，一个最为简单的情形就是利用的前个样本值预测，此时可以描述为：假设表示根据对于作出的预测。那么预测效果如何呢？我们需要利用损失函数度量预测效果的好坏。假设

2、预测与真实值之间的偏离作为损失，则简单的二次损失函数可以表示为(该度量也称为预测的均方误差)：定理3.1 使得预测均方误差达到最小的预测是给定时，对的条件数学期望，即：证明：假设基于对的任意预测值为：则此预测的均方误差为：对上式均方误差进行分解，可以得到：其中交叉项的数学期望为(利用数学期望的叠代法则)：因此均方误差为：为了使得均方误差达到最小，则有：此时最优预测的均方误差为：3.1.2 基于线性投影的预测由于上述条件数学期望比较难以确定，因此将预测函数的范围限制在线性函数中，我们考虑下述线性预测：定义3.1 如果我们可以求出一个系数向量值，使得预测误差与不相关：则称预测为基于的线性投影。定理

3、3.2 在所有线性预测中，线性投影预测具有最小的均方误差，因此线性投影是线性预测类中的“最优”预测。证明：假设是任意一个线性预测，则对应的均方误差可以分解为：由于是线性投影，则有：因此均方误差为：为了使得均方误差达到最小，线性预测满足：这是一个线性投影。我们将线性投影预测表示为：或者简化为：显然线性投影的预测误差仍然不小于条件期望预测，因此有：当条件当中包含常数的时候，此时线性投影当中就含有常数，为此使用表示含有常数项的线性投影预测，即：3.1.3 线性投影的性质根据线性投影的定义，我们可以求出投影的系数向量：如果是可逆的，则有：命题3.1 线性投影具有下述基本性质：(1) 最优线性预测的均方

4、误差为：(2) 线性投影满足线性平移性质：证明：(1) 根据投影向量的表达式，可以得到：化简就可以得到命题的表达式。(2) 需要证明是的线性投影。显然，它是线性函数，其次，可以证明满足正交性质。 3.1.4 线性投影和普通最小二乘回归线性投影与最小二乘估计紧密相关，这两种概念之间存在联系。例如，将基于建立线性回归方程，得到：对于给定和的T个样本，样本残差平方和定义为：使得残差平方和达到最小的系数最小二乘估计为：如果过程是协方差平稳过程且关于二阶矩是遍历的，则有：因此上述OLS估计按概率收敛到线性投影系数：因此，可以利用样本回归的普通最小二乘估计来替代线性投影系数。3.1.5 向量预测上述结果可

5、以推广到利用维向量预测维向量，记为：其中为投影系数的一个阶矩阵，满足正交条件：上式说明预测误差的每一个分量与条件变量的每一个分量都无关。命题3.2 假设是的最小均方误差线性预测，则对任意的线性组合：它的最小均方误差线性预测为：。证明：只需证明是线性投影即可，这时需要验证相应的正交性。类似地，投影矩阵为：与此对应的均方误差矩阵为：§3.2 基于无限个观测值的预测无论是条件期望预测还是正交线性预测，都是基于有限个条件变量的，下面我们分析基于无限个观测值情形下的预测问题。此时，上述预测基本原理仍然成立。3.2.1 基于无限个滞后误差的预测我们考察一个无限阶移动平均过程，对应的表达式为：，假

6、设我们已经知道过去所有时间阶段的残差观测值，也知道模型中各种参数的数值。现在我们要预测个阶段以后的，根据上述模型，它的表达式是：对此最优线性预测形式为它的条件数学期望，因此得到：此时，我们应用了模型表达式获得了条件数学期望的具体数值，这是基于模型假设进行预测的主要特点。这个预测值的对应误差为：上述误差在样本发生后可以观察，但是在预测时点上无法获得，但是我们可以获得这个预测值的均方误差为：获得上述预测误差以后，我们不进可以构造预测的区间估计，同时可以对预测进行假设检验。例3.1 试求过程的最优线性预测。解：因为过程的表达式为：，则它的最优线性预测为：该预测的误差为：对应的均方误差为： 上述预测具

7、有清楚的统计含义，在时间间隔以后，使用过程的均值进行预测，而预测方差是过程的无条件方差。同时，我们还需要注意，此时的最优线性预测也是最优预测，因为我们获得的仍然是条件数学期望预测。3.2.2 基于无限多滞后Y值的预测一般情况下，我们仅仅可以观察到Y的样本值，而不是获得误差的观测值。为此，我们假设移动平均过程具有可逆表示：其中：，假设上述AR过程与MA过程之间滞后算子多项式的关系为：例如下面情形就是上面的转换过程：1. 自回归过程的表式协方差平稳的过程为：表示成为滞后算子多项式形式：其中滞后算子多项式满足：，2. 移动平均过程的表式一个过程可以表示成为：也可以表示成为算子多项式形式：在可逆性假设

8、条件下，则有：，如果给出了观测值，我们可以在模型中构造出残差序列，然后利用这些已知残差作为预测观测值，再利用上面的预测公式进行预测。例如在过程中，我们采用上述表达式，可以直接获得残差表达式：对于给定系数和，由上式可以计算出：再例如，在可逆的过程中，可以通过转换，得到残差表达式为：最后，在具有自回归表示式的模型中，我们可以得到给定条件下的预测公式为：或者：上述公式也被称为Wiener-Kolmogorov预测公式。上述公式中的算子是截断形式的算子表达式，算子表达式中将滞后算子的负指数项省略。3.2.3 预测一个过程对于一个平稳的过程，可以将算子多项式表示成为：利用上述公式，可以得到阶段后的最优线

9、性预测为：上述预测公式说明，随着预测阶段的增加，预测值将趋于长期均值。对应的预测误差为：随着预测阶段的增加，预测误差也趋于无条件方差。3.2.4 预测一个过程对于一个平稳的过程，我们可以利用Wiener-Kolmogorov预测公式进行预测。该预测公式的主要特点在于：它可以利用过去的过程观测值和未来的残差值来表示预测值，然后将未来的残差值利用数学期望来加以消除。例如，我们已知过程的分量表示为：其中表示矩阵中第行、第列元素，矩阵为： ，这时阶段的最优预测为：显然上述预测是均值基础上加上观测值的一个线性组合，因此是样本观测值的线性函数，也是最优线性预测。这个预测相应的预测误差为：于是可以得到对应的

10、预测方差表达式。下面我们给出具体的预测推导过程：(1) 首先进行1个时期的预测，它满足：(2) 将预测时间的开始阶段换为，可以得到：显然，上述公式包含着未知的样本值，但是根据多重投影定理可以断言，如果的期预测是期信息的投影，则该预测也是期进行的最优线性预测，则有：将第1期预测代入上式子，我们可以得到：(3) 过程的前j期预测，根据叠代可以得到：，其中：，显然，上述预测的叠代过程是比较容易实现的。3.2.5 预测一个过程我们继续考察一个过程，可以利用滞后算子将1其表示为：，利用Wiener-Kolmogorov预测公式进行预测，可以得到：因为：因此向前预测1期的预测值为：又由于预测步长超过1时：

11、则对应的预测值为：显然，当预测步长超过1个单位时间后，过程的预测以均值作为最优预测值，但是预测方差出现的递增变化。3.2.6 预测一个过程我们继续考察一个可逆的过程，该过程表达式为：由于我们现在已知观测值，因此我们继续利用Wiener-Kolmogorov预测公式进行预测，可以得到：其中：对于比较近期的预测()有：其中是利用样本值对误差的估计，即：可以利用下述递推表示：关键问题是如何对上述预测误差的估计进行递推计算。一般情况下，我们可以先假设初值水平，例如可以假设，那么可以得到：，对于比较远期的预测()比较简单：显然，当预测步长超过移动平均的滞后阶数以后，仍然选择均值作为最优预测。3.2.7

12、预测一个过程我们假设过程可以表示为：假设该过程是平稳的()和可逆的()，则：其中：代入到预测公式中：其实，上述预测公式已经可以实施计算了，但是为了更清楚地揭示预测过程，我们注意到对于任意，预测值满足递推公式：这意味着预测值按照几何方式以速度收敛到无条件均值。前1期预测由下式给出：上式可以等价地表示为：其中：或者：这个公式给出了模型误差与预测之间的关系，可以作为一个重要的叠代公式来应用。3.2.8 预测一个过程综合上述各种预测情形，我们可以归纳得到预测平稳过程的方法。此时仍然是以假设获得样本观测值为预测前提的。过程可以表示为：最优线性预测方程可以表示为： 其中可以利用下述递推公式来表示：则前期预

13、测为：其中：，§3.2 基于有限个样本观测值的预测下面我们假设已知模型的参数，但是只获得了有限样本情形下的预测问题。3.3.1 最优预测的近似基于有限个观察值的预测方法是假设样本之前的残差都为零，这是因为有下面的近似公式存在：3.3.2 有限样本情形下的精确预测利用线性投影可以得到有限样本情形下的精确预测：§3.7 ARMA(1)过程之和的性质下面我们考虑两个ARMA过程相加所得到的时间序列性质。3.7.1 MA(1)过程与白噪声之和假设一个序列是零均值的过程：其中是白噪声序列，满足：此时过程自协方差函数为：假设随机过程是另外一个白噪声过程，满足：假设两个白噪声序列之间在任

14、何时点都是不相关的，也即有：，这是也有：，目前的问题是，如何观测到一个序列是上述移动平均过程和白噪声过程的和，那么这个和过程的性质如何？显然，上述过程仍然具有零均值，它的自协方差函数可以表示为：由此可见，随机过程也是平稳过程，它的自协方差函数与过程是类似的。此时，我们设想是否有一个过程：其中白噪声满足：它具有与和过程一致的自协方差函数？如何是这样，则要求白噪声的方差满足：对于给定的参数：，满足上述要求的值为：在特殊情形下，如果，则上式变为：对于其他情形，可以分析具有相同自协方差函数的自回归系数的要求。3.7.2 两个移动平均过程之和假设是过程，是过程，并且两个过程的残差在任何时点都不相关，则可

15、以证明，他们的和过程满足过程。3.7.2 两个自回归过程之和的性质假设随机过程和是两个过程，满足：其中和是两个在任何时点上都不相关的白噪声序列。假设我们可以观察到并且想利用来对进行预测。为此，我们需要分析时间序列的结构。在特殊情形下，如果一旦自回归系数相同，或，则直接得到的自回归表示：如果，则有：可以等价地表示为：对应的要求为：因此可以知道：更为一般地，对于两个残差序列不相关的自回归过程而言：它们相加可以得到一个过程：，§3.8 Wold分解和Box-Jenkins建模思想最后我们建立平稳随机过程与移动平均过程之间的内在关联，并介绍Box-Jenkins的建模思想。3.8.1 Wol

16、d分解定理3.1 (Wold分解定理) 任何零均值协方差平稳过程可以表示成为如下形式：其中：，是利用预测时产生的误差：对于任意，与不相关，并且也可以利用进行预测：称为过程的线性确定性成分，而称为过程的线性非确定性成分。如果，则称该过程是纯线性不确定性的。上述定理具有明确的统计意义，建立了线性预测成分与平稳随机过程之间的关联。3.8.2 Box-Jenkins建模思想(1) 建立模型一个基本出发点是，所采用的模型越节俭越好，所要估计的参数越多，模型出现错误的可能性就越大。(2) 即使一个复杂的模型描述和模拟历史数据的能力很好，但是有时进行预测时的误差却很大。以前大型经济计量模型的失败则说明了这一

17、点。Box-Jenkins提出并倡导的预测方法主要步骤为：(1) 如果有必要，可以对数据进行变化，使得数据的协方差平稳性变得更为合理。(2) 对于描述平稳性数据的模型的阶数做出一个初始的数值比较小的猜测。(3) 估计自回归和移动平均算子多项式中的系数。(4) 对模型进行诊断分析以确定所得到的模型确实与观测到的数据具有类似的特征。其中数据变化主要根据经济时间序列的特征，对数序列的差分是非常常用的变换方法。时间序列模型的估计与诊断是后面讨论的主要内容。3.8.3 样本自相关函数为了确定模型的阶数，我们首先讨论自相关函数的估计问题。一般情况下可以利用样本的矩估计进行：，根据和过程的性质，我们可以根据上述样本自协方差函数收敛到零的性质，区分出两类过程。如果数据由一个高斯过程生成，则估计的方差近似为：，特别地，如果认为该数据是由高斯白噪声数据生成的，则对于任意的，应该在95%的时间内落在之间。3.8.4 偏自