时间序列b第二章平稳时间序列模型

1、应用时间序列分析应用时间序列分析第二章第二章 平稳时间序列模型平稳时间序列模型2 时间序列的模型类型很多，我们这里只讨论平稳时间序列模型。这里讲的平稳是指宽平稳，其特性是序列的统计特性不随时间的平移而变化，即均值和协方差不随时间的平移而变化。 n时域分析方法的产生最早可以追溯到时域分析方法的产生最早可以追溯到1927年，英国统计学家年，英国统计学家G. U. Yule（1871-1951）提出自回归模型）提出自回归模型.（autoregressive, AR）34第一节第一节 一阶自回归模型一阶自回归模型一、一阶自回归模型一、一阶自回归模型如果时间序列 ), 2 , 1(tXt后一时刻的行为主

2、要与其前一时刻 的行为有关，而与其前一时刻以前的行为无直接关系，即一期记忆，也就是一阶动态性。 描述这种关系的数学模型就是一阶自回归模型: ttiaXX11(2.1.1) 记作AR(1)。其中， tX为为零均值零均值(即中心化处理后的即中心化处理后的)平稳序列平稳序列. 1为 tX对 1tX的依赖程度， ta为随机扰动。 51. 一阶自回归模型的特点一阶自回归模型的特点 AR(1)模型也把模型也把 tX分解为独立的两部分：一是依赖于分解为独立的两部分：一是依赖于 1tX的部分的部分11tX；二是与；二是与 1tX不相关的部分不相关的部分 ta(独立正态同分布序列独立正态同分布序列 )一阶自回归

3、模型的基本假定一阶自回归模型的基本假定 对对 有线性相关关系有线性相关关系6tX1 - tXtsaaEaVaraEtsatt, 0)(,)(, 0)(2即即 为零均值白噪声序列为零均值白噪声序列tat与与Xt-j（j=1,2,-)独立。独立。72. AR(1)与普通一元线性回归的区别与普通一元线性回归的区别 (1)普通线性回归模型需要一组确定性变量值和相应的观测普通线性回归模型需要一组确定性变量值和相应的观测值；值； AR(1)模型只需要一组随机变量的观测值。模型只需要一组随机变量的观测值。 (2)普通线性回归表示一个随机变量对另一个确定性变量的普通线性回归表示一个随机变量对另一个确定性变量的

4、依存依存 关系；而关系；而AR(1)表示一个随机变量对其自身过去值的表示一个随机变量对其自身过去值的依存关系。依存关系。 (3)普通线性回归是静态模型；普通线性回归是静态模型；AR(1)是动态模型。是动态模型。(4)二者的假定不同。二者的假定不同。 (5)普通回归模型实质上是一种条件回归，普通回归模型实质上是一种条件回归，AR(1)是无条件回是无条件回归。归。 n固定时刻固定时刻t-1,且观测值且观测值Xt-1已知时，已知时，AR(1)就是就是一个普通的一元线性回归模型一个普通的一元线性回归模型8AR(1)与普通一元线性回归的的与普通一元线性回归的的主要联系主要联系93. 相关序列的独立化过程

5、相关序列的独立化过程 (2.1.1)式的另一种形式为：式的另一种形式为： 11tttXXa(2.1.3)上式揭示了上式揭示了AR(1)的一个实质性问题：的一个实质性问题：AR(1)模型是一个使模型是一个使相关数据转化为独立数据的变化器。由于就相关数据转化为独立数据的变化器。由于就AR(1)系统来说，系统来说，仅有一阶动态性，即在仅有一阶动态性，即在 1tX已知的条件下， 主要表现为对 1tX的直接依赖性，显然，只要把的直接依赖性，显然，只要把 中依赖于中依赖于 1tX的部分的部分 消除以后，剩下的部分消除以后，剩下的部分 )(11ttXX自然就是独立的了。自然就是独立的了。 tXtX10二、二

6、、 AR(1)模型的特例模型的特例随机游动随机游动1. 11时的时的AR(1)模型模型 或或差分是差分是 tX与其前一期值的差。从统计上讲，差分结与其前一期值的差。从统计上讲，差分结果所得到的序列就是逐期增长量。果所得到的序列就是逐期增长量。一般地一般地k阶差分记作阶差分记作 tkXtttaXX1tttaXX1ttaX nk阶季节差分阶季节差分 k X t = X t X t-k11n差分可以使非平稳序列转化为平稳序列。差分可以使非平稳序列转化为平稳序列。nBox-Jenkins(简称记为简称记为B-J)，就是利用类似于，就是利用类似于这种数学工具来处理非平稳序列的。这种数学工具来处理非平稳序

7、列的。 1213(1) 系统具有极强的一期记忆性，即惯性。也就是说，系统系统具有极强的一期记忆性，即惯性。也就是说，系统在在t-1 和和t时刻的响应，除随机扰动外，完全一致。差异完全时刻的响应，除随机扰动外，完全一致。差异完全是由扰动引起的。是由扰动引起的。 (2) 在时刻在时刻t-1时，系统的一步超前预测就是系统在时，系统的一步超前预测就是系统在t-1时的时的响应响应 1tX，即 1)1(1ttXX(3) 系统行为是一系列独立随机变量的和，即系统行为是一系列独立随机变量的和，即 0ttjjXa2. 特例形式的特性特例形式的特性14 第二节第二节 一般自回归模型一般自回归模型 对于自回归系统来

8、说，当对于自回归系统来说，当 tX不仅与前期值不仅与前期值 1tX有关，而且与有关，而且与 2tX相关时，显然，相关时，显然，AR(1)模型就不再是适应模型了。如果对这种模型就不再是适应模型了。如果对这种情形拟合情形拟合AR模型，模型， ta不仅对不仅对 1tX, ,而且对而且对 2tX呈现出一定的相关性，呈现出一定的相关性， 因此，因此，AR(1)模型就不适应了。模型就不适应了。 15一、一、 tata2tX的依赖性的依赖性 对对ta2tX当当AR(1)模型中的模型中的与与不独立时不独立时, ,我们将我们将 记为记为 , ,于是于是tata可以分解为可以分解为22tttaXa (2.2.1)

9、从而从而(2.2.1)式的形式变为式的形式变为 ttttaXXX2211(2.2.2)可见，可见， tX与与 1tX和和 2tX有关，所以有关，所以(2.2.2)式是一个式是一个AR(2)模型。模型。 16二、二、 AR(2)模型的假设和结构模型的假设和结构 1. AR(2)模型的基本假设模型的基本假设tX1tX2tX(1) 假设假设 与与 和和 有直接关系有直接关系, ,而与而与 无关无关; ;)4 , 3(jXjt(2)ta是一个白噪声序列。是一个白噪声序列。 这就是这就是AR(2)模型的两个基本假设。模型的两个基本假设。 2. AR(2)模型的结构模型的结构AR(2)模型是由三个部分组成

10、的：第一部分是依赖于模型是由三个部分组成的：第一部分是依赖于 的部的部 1tX分，用分，用 表示表示; ; 11tX第二部分是依赖于第二部分是依赖于 的部分的部分, ,用用 2tX21tX来表示来表示. .第三部分是独立于前两部分的白噪声第三部分是独立于前两部分的白噪声 . . ta17三、三、 一般自回归模型一般自回归模型 当当AR(2)模型的基本假设被违背以后，模型的基本假设被违背以后， 我们可以类似从我们可以类似从AR(1)到到AR(2)模型的推广方法模型的推广方法, ,得到更为一般的自回归模型得到更为一般的自回归模型AR(n)模模型型: :tntntttaXXXX2211上式还可以表示

11、为上式还可以表示为 ntnttttXXXXa2211可见，可见，AR(n)系统的响应系统的响应 tX具有具有 n阶动态性。拟合阶动态性。拟合AR(n)模模 型的过程也就是使相关序列独立化的过程。型的过程也就是使相关序列独立化的过程。18 第三节第三节 移动平均模型移动平均模型 AR系统的特征是系统在系统的特征是系统在 t时刻的响应时刻的响应 tX仅与其以前时刻仅与其以前时刻的响应的响应ntttXXX,.21有关，而与之前时刻进入系统的扰动无关。有关，而与之前时刻进入系统的扰动无关。 如果一个系统在如果一个系统在 t时刻的响应时刻的响应 tX，与其以前时刻，与其以前时刻 , 2, 1 tt的响应

12、的响应 21.ttXX无关，而与其以前时刻无关，而与其以前时刻 , 2, 1 tt进入系统的进入系统的扰动扰动,21ttaa存在着一定的相关关系，那么，这一类系统则为存在着一定的相关关系，那么，这一类系统则为MA系统。系统。n英国数学家、天文学家英国数学家、天文学家G. T. Walker爵士在分爵士在分析印度大气规律时使用了移动平均模型（析印度大气规律时使用了移动平均模型（moving average, MA）和）和 自回归移动平均模型（自回归移动平均模型（1931年）。年）。（autoregressive moving average, ARMA）1920一、一阶移动平均模型：一、一阶移动

13、平均模型：MA(1) tX对于一个对于一个MA系统来说，如果系统的响应系统来说，如果系统的响应 tX刻进入系统的扰动刻进入系统的扰动 仅与其前一时仅与其前一时1ta存在一定的相关关系，我们就得到模型存在一定的相关关系，我们就得到模型:11tttXaa其中：其中： ta为白噪声。为白噪声。 MA(1)模型的基本假设为：系统的响应模型的基本假设为：系统的响应 仅与其前一时刻进入仅与其前一时刻进入系统的扰动系统的扰动1ta有一定的依存关系；而且有一定的依存关系；而且 ta为白噪声。为白噪声。21二、一般移动平均模型二、一般移动平均模型类似与类似与AR模型模型,当当MA(1)的假设被违背时的假设被违背

14、时,我们把我们把MA(1)模型模型推广到推广到MA(2),进而再对广到更进而再对广到更一般的一般的MA(m)模型，即：模型，即： mtmttttaaaaX2211tX仅与仅与 这时这时12,ttt maaa有关，而与有关，而与 (1,2,)tjajmm无关，无关，且且ta为白噪声序列，这就是一般移动平均模型的基本假设。为白噪声序列，这就是一般移动平均模型的基本假设。 n关于产科医院的例子：设关于产科医院的例子：设t是在第是在第t天新住院天新住院的病员人数，而且，假定这个病员人数构成的病员人数，而且，假定这个病员人数构成的序列是白噪声序列，那么，某一天的住院的序列是白噪声序列，那么，某一天的住院

15、病员人数与第二天的住院病员人数是无关的病员人数与第二天的住院病员人数是无关的。再假定典型的情形是：。再假定典型的情形是：10%的病人住院一的病人住院一天，天，50%的病人住院二天，的病人住院二天，30%的病人住院的病人住院三天，三天，10%的病人住院四天，那么，第的病人住院四天，那么，第t天住天住院的病员人数院的病员人数Xt将由下式给出将由下式给出 X t = t +0.9t-1 +0.4t-2 +0.1t-3 即为即为 X tMA(3)2223第四节第四节 自回归移动平均模型自回归移动平均模型一个系统，如果它在时刻一个系统，如果它在时刻t的响应的响应 tX，不仅与以前时刻的自，不仅与以前时刻

16、的自身值有关，而且还与其以前时刻进入系统的扰动存在一定的依身值有关，而且还与其以前时刻进入系统的扰动存在一定的依存关系，那么，这个系统就是自回归移动平均系统，相应的存关系，那么，这个系统就是自回归移动平均系统，相应的模模 型记作型记作ARMA. . 则对于这样的系统要使响应则对于这样的系统要使响应 tX转化为独立序列转化为独立序列 ta，不仅要消除，不仅要消除 tX依赖于依赖于t时刻以前的自身部分，而且还必须消时刻以前的自身部分，而且还必须消除除tX依赖于依赖于t时刻以前进入系统的扰动的部分。时刻以前进入系统的扰动的部分。 24一、一、ARMA(2，1)模型模型 ta1. ta对对 2tX和和

17、 1ta的相关性的相关性 由于由于AR(1)模型：模型： tttaXX11已不是适应模型，即已不是适应模型，即 与与 2tX1ta和和不独立，所以，这里的剩余不独立，所以，这里的剩余 不是我们所假设的不是我们所假设的 tata，将其记作，将其记作 , ,将其分解为将其分解为: : tattttaaXa1122将上式代入将上式代入AR(1)模型，得模型，得 112211tttttXXXaa这就是这就是ARMA(2,1)模型。模型。 252. ARMA(2,1)模型的基本假设模型的基本假设 在在ARMA模型中，若模型中，若 tX中确实除了对中确实除了对 1,tX2tX和和 1ta系外，在系外，在

18、和和 已知的条件下对已知的条件下对的依存关的依存关1tX2tX)4 , 3(jXjt和和 )3 , 2(jajt不存在相关关系，那么不存在相关关系，那么 ta一定独立于一定独立于 )3 , 2(jajt当然也就独立于当然也就独立于 )4 , 3(jXjt,这就是这就是ARMA(2,1)模型的基本假设。模型的基本假设。 263.ARMA(2,1)模型的结构模型的结构从模型从模型 112211tttttaaXXX中不难看出，中不难看出，ARMA(2,1)模型把模型把 tX分解成了独立的四个部分，分解成了独立的四个部分， 所以，其结构是由一个所以，其结构是由一个AR(2)和一个和一个MA(1)两部分

19、构成的，两部分构成的， 具体具体地说， 是由上述四部分构成的。是由上述四部分构成的。 274. 相关序列的独立化过程相关序列的独立化过程 将将ARMA(2,1)模型如下变形：模型如下变形： 112211tttttaXXXa可见，可见，ARMA(2,1)是通过从是通过从 tX中消除中消除 tX对对 21,ttXX以及以及 1ta的依赖性之后，使得相关序列的依赖性之后，使得相关序列 tX转化成为独立序列转化成为独立序列 ta ，即它，即它是一个使相关序列转化为独立序列的变换器。是一个使相关序列转化为独立序列的变换器。 285. ARMA(2,1)与与AR(1)的区别的区别 从模型形式看，从模型形式

20、看，ARMA(2,1)比比AR(1)的项数多；的项数多； 从模型的动态从模型的动态 性看，性看，ARMA(2,1)比比AR(1)具有更长的记忆；具有更长的记忆； 从计算从计算 ta所需的所需的资料看，资料看， ARMA(2,1)需要用需要用t 期以前的期以前的 ,21ttaa初期开始递初期开始递 ，这就需要从，这就需要从归地计算出归地计算出 来，通常来，通常t0 时的时的 tata取序列 的 ta均值零；均值零； 从参数估计来看，从参数估计来看，ARMA(2,1)比比AR(1)困难得多。困难得多。29二、二、ARMA(2，1)模型的非线性回归模型的非线性回归 为了计算为了计算 的值，必须知道的

21、值，必须知道 的值，然而在动态的条件的值，然而在动态的条件tX1ta1ta下，下， 本身又取决于本身又取决于 和和 , ,则则有有 321,tttXXX2tattttttttaaXXXXXX)(213221111211tttttaaXXX2213212112111上式是非线性的，那么估计参数时，只能用非线性最小二乘法，上式是非线性的，那么估计参数时，只能用非线性最小二乘法，其基本思想就是在曲面上搜索使得剩余平方和最小的参数值，其基本思想就是在曲面上搜索使得剩余平方和最小的参数值，有计算程序，多次迭代即可。有计算程序，多次迭代即可。 30三、三、ARMA(2，1)模型的其他特殊情形模型的其他特殊

22、情形 1. ARMA(1，1)当当ARMA(2，1)中的系数中的系数 时，有时，有 02ttttaaXX1121即为即为ARMA(1，1)模型。模型。 2. MA(1) 当当ARMA(2，1)中的系数中的系数 时，有时，有 02111tttaaX即为即为MA(1)模型。模型。 313. AR(1) 模型模型当当ARMA(2，1)中的中的 时，有时，有 012tttaXX11即为即为AR(1)模型。模型。 因此，在建立模型时，首先拟合一个因此，在建立模型时，首先拟合一个ARMA(2.1)模型，然后模型，然后根据其参数值根据其参数值 和和 是否显著小这一信息，来寻找较合理是否显著小这一信息，来寻找

23、较合理21,1的模型，然后拟合出那个较合理的模型，并检验其适应性。的模型，然后拟合出那个较合理的模型，并检验其适应性。 32四、四、ARMA(n,n-1)模型模型 tX如果一个如果一个ARMA(2，1)模型是不适应的，则是违背了基本假设，模型是不适应的，则是违背了基本假设， 按照和推导按照和推导ARMA(2,1)模型相同的思路，可以考虑模型相同的思路，可以考虑 tX不仅依赖不仅依赖于于 和和21,ttXX1ta，可能比，可能比ARMA(2，1)的记忆长。按照这种思的记忆长。按照这种思想，一直如此类推下去，便可得到想，一直如此类推下去，便可得到ARMA(n,n-1)模型模型:111111ntnttntnttaaaXXX作如下变形作如下变形 111111ntntntntttaaXXXaARMA(n,n-1)模型使相关序列模型使相关序列 转化为独立序列转化为独立序列 ta33五、五、 ARMA(n,n-1)与与ARMA(n,m) 1. 建模策略建模策略 利用上述利用上述ARMA模型的生成过程及其特性，我们可以得到模型的生成过程