第2章平稳时间序列模型.doc

第二章 平稳时间序列模型 本章将介绍Box-Jenkins方法，主要包括一元平稳时间序列的识别、估计、诊断和预测方法。21 平稳性 考虑时间序列，对任何整数，可得到一个随机向量。要想确定所有随机向量的分布是不可能的（虽然理论上存在），但可以确定 和协方差 一个随机过程的线性性质可由均值和协方差来描述。如果这个过程是正态过程，则是维正态分布，可以完全刻画这个随机过程的分布性质。如果没有正态性质，但生成过程是线性的，则在它的均值和方差中可获得关于这个过程的更多的重要特征。下面的问题是如何来估计，对于一些过程我们可以得到大量的实现（反复做观测）那么，的估计是 但对大多数过程来说，得不到更多的实现。如，不可能把经济停下来，然后重新开始观测。对一个实现，不可能估计出。 为了克服这个困难，时间序列分析要做如下的假设：均值和方差不随时间而改变。 如果对任何t, t-s, 都有 这里 都是常量，与时间无关，是依赖于的常量。这样的随机过程称为协方差平稳。可以简单地说，如果一个时间序列的均值和协方差不受时间变化影响，则称这个时间序列是协方差平稳。在一些文献中，协方差平稳的过程也称为弱平稳，二阶矩平稳或宽平稳过程。（注意一个强平稳过程不一定有有限的均值和方差）。一个更进一步的假设是这个随机过程是遍历的（ergodic）。这是一个较难理解的一个概念。遍历性是指：如果一个过程对于时间间隔充分远的值之间几乎是无关的，使得这个序列通过时间来平均，总有新的有用的信息增加到平均值中。因此，按时间平均 是总体均值的无偏、一致估计。即。同理，的估计也是一致的。 因此，如果有平稳性和遍历性的假设，利用关于时间的平均，就可以得到较好的估计。遍历性的一个必要条件（但不充分）是。对于一个协方差平稳的序列，和之间的自相关系数可定义为 因此， 之间的自相关系数与之间的自相关系数相同，显然。序列描述了这个过程的一个值与先前的值的相关程度，所以自相关系数可用来测量过程本身的记忆性的长度和强度，即在时刻t的值与时刻t-s 的值的相关程度。的图形被称为相关图。用来刻画这个过程生成机制的线性性质。 2.2 白噪声 一个基本的时间序列：白噪声。一个序列被称为白噪声序列如果序列中每个元素都有零均值，常数方差，序列是不相关的，即 对任何t 对任何t 对任何t, s (st)2.3 自回归模型如果一个时间序列可表示成是零均值白噪声则称为一阶自回归过程。记为。由Yule (1927) 引入，起源于实践。如，每月的失业人数可认为是上月失业人数的一个固定比例，加上寻求职业的工人数。如果这些人数形成一个白噪声序列，那么，失业序列就是一阶自回归。一些经济时间序列可认为是由下列机制生成：处值=处值的期望+误差项误差项通常取为白噪声序列。如果将处值的期望取为期值的固定比例，这时就是一阶自回归。如果将处值的期望取为过去值的加权平均 称为阶自回归过程。记为。如果过程是平稳的，的根必须在单位园外。这里。用滞后算子表示为 ，它的一般解为 。如果平稳性条件成立，则。这里，。特别地，如果那么，所以， (2.3.1)如果，则，由此可看出，如果，的解具有发散性质。 2.4 运动平均模型设是零均值白噪声序列，则序列比原来的白噪声序列更光滑些。更一般的运动平均的模型是 对每个t, 是由和分别相乘求和而得到。按这样方式构成的序列被称为阶为q的运动平均，记为MA(q)。 对一阶运动平均，如果，则它比白噪声更光滑， 随着增加，光滑性增加。虽然是白噪声序列，如果中有2个或2个以上不为零，则将不是白噪声序列。运动平均过程由Yule （1926）引出，Wold （1938）进行了详细地研究。如果一个经济变量处在均衡中， 如果受到来自经济系统内部（或外部）不可预期事件的冲击而偏离原来状态。如果本系统并不能立刻吸收这些冲击效应，那么，将出现一个运动平均模型。如，一个小型商品市场得到了一系列关于农产品状况的信息， 一条特别新闻对价格有即时影响，也有不同程度的滞后影响，令表示价格在t 处的变化，假设这种冲击影响价格变化，直到q 天以后这种冲击影响消失。 这时，较适当的模型是MA(q)如果），即天前的影响是，则 , 由（2.3.1），可表示成 这时，过程等价于过程。 由2.3节知道，平稳的过程可以写成，那么，过程是否可以写成？ 对于过程， 如果平稳性条件成立，即的根在单位园外（称为可逆性），则过程可以写成过程。 2.5 ARMA 模型将自回归模型和运动平均模型结合起来， （2.5.1）总可以将标准化成1，如果自回归部分和运动平均部分的滞后阶数分别为p,q，模型被称为ARMA(p,q)。如果q=0，这过程被称为自回归过程AR(p), 如果p=0, 这过程是运动平均过程MA(q)。在ARMA模型中，允许p,q是无限的。用滞后算子表示为 这里。这时容易知道：（1） 如果的根在单位园外，则过程是平稳的。（2） 如果过程是平稳的，则有一个等价的过程。（3） 如果的根在单位园外（通常称为可逆性条件），则有一个等价的过程。 这说明，一个平稳的ARMA过程可以由高阶MA 过程来逼近。如果过程满足可逆性条件， 这过程可由高阶AR 过程来逼近。 对于AR(1)模型，运动平均表示为对于一般的ARMA(p,q)模型（2.5.1），用滞后算子表示为 的解为 上式可表示成MA()过程的条件是：多项式的根必须在单位圆外。 26 自相关函数 Box-Jenkins(1976)在识别和估计时间序列时，给出了非常有用的工具是自协方差和自相关。如AR(1)模型 每个除，得到自相关。对于AR(1)过程，平稳的必要条件是。因此，相对 s的图形称为自相关函数(ACF), 如果这个序列是平稳的，这个自相关函数是几何收敛到零。如果是正的，则这个自相关函数直接收敛到零。如果是负的，这个自相关函数按振荡的方式收敛到零。AR(2)过程的自相关函数 （2.6.1）这里省略了截距项，这是因为截距不影响ACF。下面利用Yule-Walker方程的方法：对s=0,1,2,用分别乘方程（2.4.1）两边，并取期望，可得由于 ，可得 （2.6.2） （2.6.3） （2.6.4）用除方程（2.6.3），（2.6.4）得 （2.6.5） （2.6.6）由，有，因此，利用方程（2.6.6）可求出所有。 对于二阶过程的平稳性限制条件是的根在单位圆外，如果根是实的，自相关按指数衰减；如果根是复的，自相关按震荡式衰减。MA(1)过程的自相关函数下面考虑MA(1)过程。用乘方程两边，并取期望，可得Yule-Walker方程并，用除可得ACF：。下面求MA(q) 过程，的自相关函数。所以， 。因此，对充分大的。 下面求ARMA(1，1)过程的自相关函数 考虑ARMA(1，1)过程，可同样求出Yule-Walker方程： 因此， 。因此，ARMA(1.1)的ACF类似于AR(1)的ACF。如果收敛是直接的，如果，收敛是振荡的。 27 偏自相关函数为了说明偏自相关函数的作用，考虑自回归过程AR(p)则有，两端同除得 对任何随机过程，偏自相关被定义为下面方程的解： 因而，对任何阶为p的自回归过程，偏自相关，阶数大于p的偏自相关为零。在AR(1)过程中，虽然没有直接出现在模型中，但是相关的。之间的相关性等于之间的相关性再乘以之间的相关性，即。所有这些间接相关性都在ACF中给出。相反， 之间的偏自相关不依赖于 之间的们的相关性。对于AR(1)过程，之间的偏自相关等于零。求偏自相关函数的直接方法是：首先从序列中减去序列的平均值，获得一个新序列，然后构造一阶自回归，这里是误差项，可以不是白噪声。这时，既是之间的自相关也是偏自相关。构造二阶自回归是之间的偏自相关函数。即是之间除去的影响后的相关系数。 重复这个过程得到偏自相关函数(PACF)。在实际中，如果时间序列的样本大小为T，只有T/4的滞值可用来计算这个序列的样本PACF。 因为大多数统计计算软件包都有相应程序。但基于Yule-Walker方程的计算方法是简单、可行的。 也可以利用自相关得到偏自相关：这里 由上方讨论可知，对于一个 AR(p)过程， 是不相关的，都为零。也就是说，对于一个纯AR(p)过程，当阶大于p时，PACF都为零。这是识别AR(p)过程时PACF的一个有用性质。 下面考虑MA(1)过程，只要，则可写成。 它的无穷阶自回归表示为 因为与它自身所有滞后相关，所以PACF将不会为零。MA(1)过程，只要，PACF的系数是几何衰减到零。如果，衰减是直接的，如果，PACF的系数衰减是振荡的。 对于一般平稳的ARMA(p, q)过程的PACF，在p阶滞后以后，最终都一定衰减到零。衰减的方式取决于多项式的系数。下面给出了各种ARMA过程的ACF和PACF的性质。表2.7.1 ACF和PACF的性质过程ACFPACF白噪声所有所有AR(1):,直接指数衰减：AR(1):,振荡衰减：AR(p)衰减到零，系数可以振荡在期前有峰值，但在期之后MA(1):在滞后1期处有正峰值，但振荡衰减，MA(1):在滞后1期处有负峰值，但几何衰减，ARMA(1，1) 在滞后1期处开始按几何衰减 在滞后1期处振荡衰减 ARMA(1，1) 在滞后1期处开始振荡衰减 在滞后1期处按指数衰减ARMA(p,q)在滞后q期处开始衰减（或直接或振荡）在滞后p期开始衰减（或直接或振荡）对于平稳过程，需要注意的关键点是：1. ARMA(p,q)过程的ACF在q阶滞后以后开始衰减, 在滞后q阶以后,ACF的系数将满足差分方程.q阶滞后以后,自相关将会衰减,衰减方式将依赖于特征根的形式。2. ARMA(p,q)过程的PACF在p阶滞后开始衰减, 在滞后p阶之后, PACF的系数将按模型的ACF系数的方式变化。 2.8 平稳序列的样本自相关 在实际中,一个序列的理论均值、方差、自相关通常是未知的。如果这序列是平稳的,我们可以用样本均值,样本方差,样本自相关来估计它们。假设有T个观测值,令是的估计量： 对每个可用样本自相关函数ACF和样本偏相关函数PACF与理论值做比较来识别数据生成过程的性质。Box-Jenkins(1976)在是平稳具有正态误差条件下，讨论了样本值的分布。令表示的样本方差，在零假设（即，如果真实数据生成过程是MA(s-1)过程）下，渐近服从均值为零的正态分布，其中方差为 （2.6.1）对于PACF系数，在零假设（即，如果真实数据生成过程是）下，渐近服从均值为零的正态分布，其中，的方差渐近于。 在实际中，我们可以使用这些样本值构造样本自相关和偏相关函数，利用（2.6.1）进行显著性检验。例如，如果我们使用95%置信区间（即，2个标准差），且计算出的值大于，则拒绝零假设-一阶自相关在统计意义上不是显著异于零。拒绝MA(s-1)=MA(0)的零假设意味着接受备择假设。下面检验，如果 则=0.015,标准差为0.123。如果 超过，则拒绝假设。因此，拒绝零假设意味着接受备择假设。重复上述过程，我们可确定这个过程的阶数。样本自相关和偏自相关所使用的最大样本个数是T/4。Q-统计量可用来检验自相关是否显著不为零，Box-Pierce (1970) 利用样本自相关构造了统计量在下，Q是渐近-分布，自由度为s，较高的样本自相关可导致较大Q的值。显然，白噪声过程（所有的自相关都为零）的Q值为零。如果Q的值超过表中的临界值，我们能拒绝没有自相关的零假设。拒绝零假设意味着接受备择假设：至少有一个自相关不为零。 然而，即使在大样本情况下，Box-Pierce的Q统计量有偏差，Ljung和Box(1978)给出了修正的Q-统计量如果这个Q值超过表中的临界值，那么至少有一个在给定的显著水平上显著不为零。 Box-Pierce和Ljung-Box的Q统计量可用来检验来自于ARMA(p,q)模型的残差是否为白噪声。但是，如果从被估计的模型ARMA(p,q)中得到s个自相关，则自由度就会由待估计的系数个数增加而减少。因此，如果使用ARMA(p,q)模型的残差时，Q有自由度为s-p-q的分布，（如果包含常数的话，自由度就是s-p-q-1） 2.9 选择模型准则一个自然的问题是：所选择的模型拟合数据效果如何？增加滞后阶数一定能减少残差平方和。但，增加滞后阶数需要估计更多的参数，使自由度减少。而且，系数个数的增加降低预测的精度。因而产生了各种选择模型的准则（能降低残差平方的更节俭的模型）。有两个通常使用的准则是Akaike信息准则(AIC)和Schwartz Bayesian准则(SBC). AIC=T ln(残差平方和)+2n SBC=T ln（残差平方和）+n ln(T)这里n=估计的参数的个数（p+q+常数项个数），T=观测值个数。当使用滞后变量估计模型时，一些观测值被损失。为了比较选择的模型，T应当是固定的。否则，就会发生在不同的样本期间内来比较模型的性能。而且，T的减少将会降低AIC和SBC的效果，而我们的目的并不是选择有最少观测值的模型。当然希望AIC和SBC尽可能小（也可能是负的）,随着模型拟合的改进，AIC和SBC将趋于。我们能利用这些准则，选择最适合的模型；对于模型A的AIC（或SBC）小于模型B的AIC（或SBC），我们就说模型A拟合的比B好。在使用这些准则对不同的模型进行比较时，必须在相同的样本期间内进行估计，以使它们可进行比较。回归变量个数n的增加，可以降低残差平方和。因此，如果一个回归变量没有解释能力，把它添加到模型中会引起AIC和SBC增加。由于ln(T)大于2，所以，SBC总是比AIC选择更节俭的模型；使用SBC准则来评价增加回归变量所带来的的边际成本，要大于使用AIC准则来评价增加回归变量的边际成本。两个准则中，SBC有更好的大样本性质。令数据生成过程的真正阶为，假设我们利用AIC和SBC估计阶为(p,q)的ARMA模型，这里 ，当样本个数趋于无穷时，AIC和SBC都将选择阶数大于等于的模型。然而，AIC 倾向于选择参数过多的模型，而SBC却是渐进一致的。但在小样本中，AIC优于 SBC。如果AIC和SBC选择了同一模型，对这个模型就应当有较大的信心。如果两个准则选择了不同的模型，这时就需要再进一步的分析。由于SBC倾向于选择更节俭的模型，所以一旦选择了这个节俭模型，还需要检验残差是否为白噪声。因为AIC能选择参数过多的模型，所有系数的t-统计量都应是显著的（在适当的显著水平下）。以后我们还会介绍更多的诊断检验来检验模型的充足性。对所估计的模型保持适度的怀疑是明智的。 2.10 AR(1)模型的估计 让我们使用一个特殊的例子，说明利用样本自相关，偏相关函数来识别ARMA模型。利用计算机生成100个正态分布的随机数（方差为1），这些随机变量称为.由和初始条件生成上图给出了样本自相关和偏自相关函数的图形。在实际中，我们不知道真实的数据生成过程。假设我们利用这100个数据（样本值）来找出真正过程。第一步，比较ACF和PACF。ACF的衰减和PACF在滞后一阶处的截尾说明了AR(1)模型。前三个自相关（有时大于理论值）。在PACF中，滞后1阶处有一个显著的高峰值0.74，所有其它偏自相关（除在滞后12阶处）都非常小。 在零假设（MA（0）过程）下， 的标准差是，因为=0.74的样本值大于7个标准差。我们可以拒绝=0的零假设。再计算方差 因为的标准差，的样本值大于3倍（0.58/0.15）的标准差；在通常的显著水平下，我们可以拒绝=0的零假设。我们可同样检验其它自相关值的显著性。除外，所有偏自相关函数（除滞后12阶外），都小于。ACF的衰减和PACF的一个高峰值建议了一阶自回归模型。然而，如果我们不知道真正过程，而且使用了月度数据，这时需要关注偏自相关函数在滞后12阶处的显著性，需要关注和的直接关系。尽管我们这里知道这过程是由AR(1) 生成的，下面我们将两个不同的模型作一比较。假设我们估计AR(1)模型，并试图用MA系数捕捉的在滞后12阶处峰值。因此，考虑两个模型模型1：模型2：下表报告了两个估计结果，模型1的系数满足稳定性条件且标准差较低（零假设的t-统计量值大于12）。作为诊断检验，也可以做出拟合模型的残差的相关图。这些残差的Q-统计量说明：每个自相关都小于2倍标准差。这些残差的Ljung-Box的Q统计量说明：Q(8)、Q(12)、Q(24)都显著为零（接受原假设）。这强烈说明AR(1)模型拟合数据拟合的较好。如果残差的自相关是显著的，说明AR(1)模型没能利用所有信息。 模型1 模型2自由度9998残差平方和85.2185.17的估计（标准差）0.7910(0.0622) 12.70.7953(0.0638) 12.5的估计 （标准差）-0.033(0.1134) -0.29AIC, SBC441.9, 444.5443.9, 449.1残差的Ljung-Box Q统计量（括号内的值为拒绝原假设的最小显著水平-P值）Q(8)=6.43(0.490)Q(16)=15.86(0.391)Q（24)=21.74(0.536)Q(8)=6.48(0.485)Q(16)=15.75(0.4)Q(24)=21.56(0.547)考察模型2，注意两个模型产生类似的一阶自回归系数和标准差。然而，系数的估计是不显著的，应该被去掉。通