平稳时间序列的ARMA模型

1、第五讲（续）平稳时间序列的ARMA 模型1 平稳性有一类描述时间序列的重要随机模型受到了人们的广泛关注，这就是所谓的平稳模型。这类模型假设随机过程在一个不变的均值附近保持平衡。其统计规律不会随着时间的推移发生变化。平稳的定义分为严平稳和 宽平稳。定义 1（严平稳）设 xt , t T 是一个随机过程 , xt 是在不同的时刻 t 的随机变量，在不同的时刻 t 是不同的随机变量， 任取 n 个值 t1,K , tn 和任意的实数 h ，则 x1,K , xn 分布函数满足关系式Fn ( x1 ,L , xn; t1,L tn )Fn (x1,L , xn ;t1h,L tnh)则称xt ,tT

2、为严平稳过程。在实际中，这几乎是不可能的。由此考虑到是否可以把条件放宽，仅仅要求其数字特征( 数学期望和协方差)相等。定义 2（宽平稳）若随机变量xt , tT的均值（一阶矩）和协方差（二阶矩）存在，且满足：（1）任取 tT ，有 E(xt )c ；（2）任取 tT ， tT ，有E( X (t )a)( X (t)a)R( )协方差是时间间隔的函数。则称xt ,tT为宽平稳过程，其中 R( ) 为协方差函数。2 各种随机时间序列的表现形式白噪声过程 （white noise ，如图 1）。属于平稳过程。 yt = ut, ut IID(0, 2)图 1 白噪声序列（2=1）随机游走过程（ra

3、ndom walk ，如图 11）。属于非平稳过程。 yt = yt-1 + ut, ut IID(0,2)图 2 随机游走序列（ 2=1）图 3 日元兑美元差分序列图 4 股票综合指数图 5 随机趋势非平稳序列（= 0.1）图 6 随机趋势非平稳序列（= -0.1 ）图 7 对数的中国国民收入序列图 8中国人口序列3 延迟算子延迟算子类似于一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻，记 B 为延迟算子，有 xB p x ,p 1。t pt特别（1 B) 是差分算子。4ARMA(p,q) 模型及其平稳性和可逆性4.1模型类型及其表示在平稳时间序列的分

4、析中，应用最广泛的是有限参数模型。pX tX t1 Xt12 X t2Lp Xtpatat是白噪声。q 阶移动平均模型：用现在和过去的随机干扰表X t 。X tat1at12 at2Lqat qp 阶自回归和q 阶移动平均模型：自己的过去及过去和现在的随机干扰表X t 。X t1 Xt 12 X t2Lp X tpat1 at12 at2Lq atq其中 at 是白噪声序列。4.2 平稳性Xt1Xt 12Xt 2LpXt pa 是平稳时间序列的反映t吗？如果它是平稳时间序列的模型，回归系数应该满足何种条件呢？例设 X t 是一 阶 自 回归 模 型 ， 即 Xt1Xt 1a 或t(B) Xta

5、t ，其中( B)1 1B则 X1a（利用等比级数的通项和公式）t(11 B) t=jB j a1tj 0=ja1t jj 0如果 |1| 1，Xtjaj， a的系数随着 j 的增加而1tt jj 0趋于无穷大，这显然违背了“远小近大 ”的原则，由此可见，平稳的充分必要条件是 |1 |1， |1 |1的充分必要条件方程11 z0 的根在单位圆外。设 xt 是一个 p 阶自回归模型X t1 X t 12 X t 23 X t 3p X t pat或( B) X tat其中：( B)1 1 B2 B23 B3Lp B p 。 xt 平稳的充分必要条件是：112233Lpp0 的根在单位圆外；pp

6、1p 2p 3L123p 0的根在单位圆 1。4.3 可逆性我们可以考虑到一个时间序列 Xt 是否可以用它的 现在值和过去值 来表示 现在时刻 的随机干扰 at 呢？即atI (B) Xt这种表达式称为 “逆转形式 ”。如果一个时间序列具有逆转形式，也就是说逆转形式存在且平稳， 通常称该过程 X t 具1证明请参看附录1。有可逆性。例设 X t 是一阶滑动平均模型，即Xt at 1at 1或Xt(B)at ，其中(B)1 1B则 a1Xt（利用等比级数的通项和公式）t(11B)=1j B j Xtj 0=1j X t jj 0对于一阶滑动平均模型 Xt at1at 1 ，无论1 取何值，Xta

7、t1at 1 是 一 个 名 副 其 实 的 平 稳 序 列 ， 但 是 对 于Xtat1at 1的 “逆转形式 ”是否存在，则取决于| 1| 是否小于 1。如果 |1 |1，XtjXt jaj11tX tj 的系数随着 j的增加而趋于无穷大，这显然违背了“远小近大 ”的原则，由此可见，Xtat1at 1的逆转形式存在的充分必要条件为| 1|1，| 1| 1的充分必要条件方程11z0 的根在单位圆外。Xtat1at 12at 2Lq at q( B) at 可 逆 的 充 分 必要条件为，方程( z) 11 z2 z2Lq zq0的根在单位圆外。qq 1q 2L12由于自回归模型q 0的根在单

8、位圆 2。X t1 X t 12 X t23 X t3Lp X tpat 稍微变形，就是用系统的现在和过去值表示随机干扰项，所以自回归模型自然可逆。4.4ARMA （ p， q）的平稳性和可逆性设时间序列X t 是 ARMA （p,q）模型Xt1 X t 12 X t2Lp Xtp2证明参看附录2。at1at 12 at 2Lqat q令(B)11 B2 B2Lp B p(B) 11 B2 B2Lq Bq则模型记为()XttB(B)a如果 1. p0， q0 ；2. (B) 和 (B)无公共因子；3. (z) 0 和 (z) 0 的根在单位圆外。则 X t 是自回归移动平均模型，平稳且可逆。它

9、有传递形式X( B) a ，由此可以认为， 任何一个自回归滑动平均模型t(B) t都可以用一个足够高阶的滑动平均模型逼近。逆转形式a(B) X，可见任何一个自回归滑动平均模型都可以用一t(B)t个足够高阶的自回归模型逼近。5 平稳时间序列的统计特征5.1 总体的自相关函数和样本的自相关函数（看参考教材 王燕，应用时间序列分析，中国人大，2005）一、AR(p) 模型的自相关函数AR(p) 模型，自相关函数快速收敛于零，但不等于零, “拖尾”。又因为 ARMA （p， q）模型(B)xt( B) t 的可逆性，即(B) x ，所以任何一个ARMA （ p，q）模型都可以表t( B) t示为一个足

10、够高阶的AR （p）模型，所以ARMA （p，q）模型与 AR （ p）模型有相同的统计特性。下面从可以从图 18 到图 25 观察时间序列图与其自相关函数图的特点。3210-1-2-320406080100120140160180200E图 9 白噪声序列的自相关函数图 10 白噪声序列的自相关函数图420-2-420406080100120140160180200Z图 11人工模拟序列 X t =0.65X t-1 +0.36X t-2 +at 图图 12人工模拟序列X t =0.65X t-1 +0.36X t-2 +at 的自相关函数图2520151050-52040608010012

11、0140160180200Z图 13模拟随机游走序列xtxt 1at 图图 14模拟随机游走序列xtxt 1at 的自相关关函数图二、 MA （ q）的自相关函数结论： MA （ q）模型的自相关函数 q 阶截尾，即在 q+1 及以后为零。 图 2-7 是模拟一阶移动平均模型 Xt at 0.8at 1趋势图，图2-8 是 Xtat0.8at 1 自相关函数图420-2-420406080100120140160180200X图 15Xtat0.8at 1 趋势图图 16X tat0.8at 1 自相关函数图由此，我们已经有了识别MA （ q）模型的工具，自相关函数 q 阶截尾。但是对于AR（

12、 p）和ARMA （ p，q）模型，则无法区别了。偏自相关函数kk由 AR（ p）模型本身看，只涉及到 n 步相关性，但序列的自相关函数 k 确是拖尾的。AR （ P）模型的偏自相关函数 p 阶截尾。kk 0,k p 。注：偏自相关函数的概率意义是在给定Xt 1 ,L , Xt k 1 的条件下， X t 和 X t k 的相关系数。ARMA(p,q) 模型自相关和偏自相关均拖尾，但是快速收表1自相关和偏自相关特征表模 型自相关函数偏自相关函数AR （ p）拖 尾截 尾MA 截拖（ q）尾尾ARMA拖拖（ P，q）尾尾对一个实际时间序列， 我们能掌握的是一段样本数据， 所以首先要利用样本数据估

13、计模型的自相关函数和偏自相关函数。【例】利用 1997 年 1 月 2002 年 12 月到海外旅游人数资料绘制自相关和偏自相关图，在这里去掉了2003 年的数据是由于非典的流行使2003 年到旅游的人数锐减，出现奇异值，不具有一般性。如图17 所示。SRASeulaV40302010016111621263136414651566166717681Case Num ber图 171997 年 1 月 2002 年 12 月到海外旅游人数曲线图Autocorrelations:SARSAuto- Stand.Lag Corr.Err. -1 -.75 -.5 -.250.25 .5.751Bo

14、x-Ljung Prob.1.587.115.*.*25.892 .0002.358.115.*.*35.657.0003.166.114.* .37.775.0004.074.113.* .38.205.0005.068.112.* .38.573.0006.183.111.*41.281.0007.034.110.* .41.377.0008.011.110. * .41.387 .0009.095.109.* .42.154.00010.253.108.*.*47.641.00011.427.107.*.*63.578.00012.660.106.*.*102.277 .00013.38

15、6.105.*.*115.737.00014.179.104.*118.679.00015.038.103.* .118.814.00016-.022.103. * .118.860 .000Autocorrelations:SARSPlot Symbols:Autocorrelations *Two Standard Error Limits .图 18 97 年 1 月到 02 年 12 月到海外旅游人数自相关图图 18 显示滞后一期和滞后两期的自相关函数分别为0.5874 和 0.35818，超过了两倍标准差，显著不为零， 以后的自相关函数均显著为零， 直到滞后期为周期的长度12 时，自

16、相关函数出现了峰值，为 0.66015，这是季节性时间序列的十分典型的特征，该序列从自相关函数看长期趋势并不十分显著。而且可能建立MA 模型会产生过多的参数，于是可能适应的 AR 模型。根据偏相关系数，如图19 所示Partial Autocorrelations:SARSPr-Aut- Stand.Lag Corr.Err. -1 -.75 -.5 -.250.25 .5.7511.587.118.*.*2.020.118.* .3-.080.118.*.4.003.118.* .5.064.118.* .6.197.118.*.7-.255.118*.8.036.118.* .9.223.

17、118.*.10.248.118.*11.239.118.*12.391.118.*.*13-.305.118*.*.14-.165.118. *.15-.044.118.*.16-.029.118.*.Plot Symbols:Autocorrelations *Two Standard Error Limits .图1997 年1 月到02 年12 月到海外旅游人数偏自相关图偏自相关函数图19 显示滞后期为1，7，12 和 13 的偏自相关函数分别为0.5874、-0.2555、0.39145 和 -0.30474，显著不为零，该时间序列的偏自相关函数显示该时间序列可能适应的模型 (11

18、B)(112 B12 ) X tat 和(1 1B7 B712 B1213 B13 ) X tat 。我们模拟模型为 (11B)(112B12)Xta 。t表 2模型 (11 B)(112 B12 ) X tat 的参数估计表参数参数估计标准差t 值P 值10.4959420.09480105.2314030.0000120.7672140.076675610.0059730.000022.7398662.186436110.4004260.0000Standard error3.1740588 Log likelihood-189.48646AIC384.97291 SBC391.80291

19、表 2 显示，该模型为Xt22.739866at(10.495942B)(10.767214B12 )进一步对模型的适应性进行检验，回归系数均显著外，残差的自相关函数均落在两倍标准差，可以认为残差序列是白噪声序列，如图20 所示。Auto- Stand.Lag Corr.Err. -1 -.75 -.5 -.250.25 .5.751Box-Ljung Prob.1-.048.115.*.175.6762.039.115.* .292.8643.040.114.* .416.9374.056.113.* .664.9565-.007.112.* .668 .9856.112.111.* .1.

20、681.9477.028.110.* .1.747.9728-.045.110. *.1.917.9839.117.109.* .3.083.96110.031.108.* .3.167.97711-.037.107. *.3.286.98612-.047.106. *.3.485.99113.130.105.*.5.011.97514.025.104.* .5.070.98515.017.103.* .5.096.99116.067.103.*.5.517 .993图 20 最终模型残差的自相关函数图最终模型残差的白噪声检验结果表明残差序列可以视为白噪声序列，模型是适应的。当模型通过了检验，

21、我们可以用该模型进行结构分析和预测分析了。3 时间序列建模的方法为了对时间序列建模有一个较全面的了解，下面从样本观测数据出发，介绍建立时间序列模型的基本步骤。Box-Jenkins 方法是以序列的自相关函数和偏自相关函数的统计特性为依据，找出序列可能适应的模型，然后对模型进行估计。通常可以考虑的模型ARMA 、 ARIMA和乘积型季节模型。（一）模型的识别对于一组长度为N 的样本观测数据x1 , x2 , xN ，首先要对数据进行预处理，预处理的目的是实现平稳化，处理的手段包括差分和季节差分等。经过预处理的新序列能较好满足平稳性条件。模型的识别包括差分阶数d、季节差分阶数D、模型阶数、q、k

22、和 m 的识别。识别的工具是自相关函数和偏自相关函数。如果样本的自相关函数?(s)当 sq 时显著为零，则序列适应的模型是MAq 。如果样本的偏自相关函数?ss 当 sp 时显著为零，则序列适应的模型是 AR p 。若样本的自相关函数和偏自相关函数均拖尾，并且按负指数衰减，则序列是 ARMA 序列，这时应该从高阶到低阶拟合模型，从中选择最佳的。当自相关函数缓慢下降，或是具有季节变化，那么观测的序列是具有趋势变动或季节变动的非平稳序列，则需要做差分或季节差分，如果差分后的序列的样本的自相关函数和偏自相关函数既不截尾又不拖尾，而在周期s 的整倍数时出现峰值，则序列遵从乘积型季节模型，否则遵从ARI

23、MA模型。（二）模型的估计当模型的阶数确定之后，利用有效的拟合方法。如最小二乘估计，极大似然估计等方法，估计模型各部分的参数。（三）诊断性检验模型选择检验所选择的模型是否能较好地拟合数据。它包括模型过拟合和欠拟合检验。通过检验的结果，修改模型。时间序列建模应该基于简约的原则，即用尽可能少的模型参数，对模型做出尽可能精确估计。所以在选择模型时应该反复试探，这是一个识别，建模，再识别，再建模的过程。附录 1AR 模型平稳的充分必要条件。由于(B) Xtat有1( B) atXt设(B)0 有 1,1,L ,1p 个根，则( B) 可表示为12p(B)c(1 1 B)(1 2 B)L (1p B) ，c 为常数，不妨假设为 1。则 Xt1at = (1 1B)(11at(B)2 B)L (1 p B)用待定系数法，有1pAkatXa =（其中 Ak 是有限实数）(B)k 1 (1ttk B)再用等比级数通项和公式，有Xt1at(B)pAk= k 1 (1k B)atp=A (jB j )akktk 1j 0p=(Ak kj )