平稳时间序列模型概述(PPT 73页).ppt

第一章平稳时间序列模型,组长：李国凤组员：李俐芸孙炜指导教师：桂文林,2,方法平稳序列建模序列预测eviews软件演示,本章结构,3,方法,AR模型（AutoRegressionModel）MA模型（MovingAverageModel）ARMA模型（AutoRegressionMovingAveragemodel）,4,时间序列的模型类型很多，我们这里只讨论平稳时间序列模型。这里讲的平稳是指宽平稳，其特性是序列的统计特性不随时间的平移而变化，即均值和协方差不随时间的平移而变化。,纯随机性方差齐性各序列值之间没有任何相关关系，即为“没有记忆”的序列方差齐性根据马尔可夫定理，只有方差齐性假定成立时，用最小二乘法得到的未知参数估计值才是准确的、有效的,返回本节首页,白噪声序列的性质,数据的平稳性,一.图示判断1.平稳时间序列在图形上表现处围绕其均值不断波动的过程；,2.根据相关图，若一个随机过程是平稳的，其特征根应都在单位圆外，倒数都在单位圆内；,3.在分析相关图时，如果自相关函数衰减很慢，近似呈线性衰减，即可认为该序列是非平稳的。,自回归AR模型,具有如下结构的模型称为阶自回归模型，简记为特别当时，称为中心化模型,10,第一节一阶自回归模型(AutoregressiveModel),一、一阶自回归模型,如果时间序列,后一时刻的行为主要与其前一时刻,的行为有关，而与其前一时刻以前的行为无直接关系，即一期记忆，也就是一阶动态性。,描述这种关系的数学模型就是一阶自回归模型:,(2.1.1),记作AR(1)。其中，,为零均值(即中心化处理后的)平稳序列.,为,对,的依赖程度，,为随机扰动。,11,1.一阶自回归模型的特点,AR(1)模型也把,分解为独立的两部分：一是依赖于,的部分,；二是与,不相关的部分,(独立正态同分布序列),12,2.AR(1)与普通一元线性回归的区别:,(1)普通线性回归模型需要一组确定性变量值和相应的观测值；AR(1)模型只需要一组随机变量的观测值。,(2)普通线性回归表示一个随机变量对另一个确定性变量的依存关系；而AR(1)表示一个随机变量对其自身过去值的依存关系。,(3)普通线性回归是静态模型；AR(1)是动态模型。,(4)二者的假定不同。,(5)普通回归模型实质上是一种条件回归，AR(1)是无条件回归。,13,3.相关序列的独立化过程,(2.1.1)式的另一种形式为：,(2.1.3),上式揭示了AR(1)的一个实质性问题：AR(1)模型是一个使相关数据转化为独立数据的变化器。由于就AR(1)系统来说，仅有一阶动态性，即在,已知的条件下，,主要表现为对,的直接依赖性，显然，只要把,中依赖于,的部分,消除以后，剩下的部分,自然就是独立的了。,14,二、AR(1)模型的特例随机游动(Randomwalk),1.,时的AR(1)模型：,此时(2.1.1)式的具体形式为,也可以用差分表示,或,所谓差分，就是,与其前一期值的差，从统计上讲，差分结,果所得到的序列就是逐期增长量。,一般地k阶差分记作,差分可以使非平稳序列转化为平稳序列。Box-Jenkins(简称记为B-J)，就是利用类似于这种数学工具来处理非平稳序列的。,。,15,一阶自回归模型AR（1）,16,AR（1）模型的特例随机游动,17,2.特例形式的特性：,(1)系统具有极强的一期记忆性，即惯性。也就是说，系统在t-1和t时刻的响应，除随机扰动外，完全一致。差异完全是由扰动引起的。,(2)在时刻t-1时，系统的一步超前预测就是系统在t-1时的响应,，即,(3)系统行为是一系列独立随机变量的和，即,18,第二节一般自回归模型,对于自回归系统来说，当,不仅与前期值,有关，而且与,相关时，显然，AR(1)模型就不再是适应模型了。如果对这种,情形拟合AR模型，,不仅对,而且对,呈现出一定的相关性，,因此，AR(1)模型就不适应了。,19,一、,的依赖性,对,当AR(1)模型中的,与,不独立时,我们将记为,于是,可以分解为,(2.2.1),从而(2.2.1)式的形式变为,(2.2.2),可见，,与,和,有关，所以(2.2.2)式是一个AR(2)模型。,20,二、AR(2)模型的假设和结构,1.AR(2)模型的基本假设:,(1),假设与和有直接关系,而与无关;,(2),是一个白噪声序列。,这就是AR(2)模型的两个基本假设。,2.AR(2)模型的结构:,AR(2)模型是由三个部分组成的：第一部分是依赖于的部,分，用表示;,第二部分是依赖于的部分;用,来表示.,第三部分是独立于前两部分的白噪声.,21,三、一般自回归模型,当AR(2)模型的基本假设被违背以后，我们可以类似从AR(1)到AR(2)模型的推广方法,得到更为一般的自回归模型AR(n)模型:,上式还可以表示为,可见，AR(n)系统的响应,具有,阶动态性。拟合AR(n)模,型的过程也就是使相关序列独立化的过程。,AR模型平稳性判别方法,特征根判别AR(p)模型平稳的充要条件是它的p个特征根都在单位圆内根据特征根和自回归系数多项式的根成倒数的性质，等价判别条件是该模型的自回归系数多项式的根都在单位圆外。,移动平均MA模型,具有如下结构的模型称为阶自回归模型，简记为特别当时，称为中心化模型,24,第三节移动平均模型(MovingAverageModel),AR系统的特征是系统在,时刻的响应,仅与其以前时刻,的响应,有关，而与之前时刻进入系统的扰动无关。,如果一个系统在,时刻的响应,，与其以前时刻,的响应,无关，而与其以前时刻,进入系统的,扰动,存在着一定的相关关系，那么，这一类系统则为,MA系统。,25,一、一阶移动平均模型：MA(1),对于一个MA系统来说，如果系统的响应,刻进入系统的扰动,仅与其前一时,存在一定的相关关系，我们就得到模型:,其中：,为白噪声。,MA(1)模型的基本假设为：系统的响应,仅与其前一时刻进入,系统的扰动,有一定的依存关系；而且,为白噪声。,26,二、一般移动平均模型,类似与AR模型,当MA(1)的假设被违背时,我们把MA(1)模型推广到MA(2),进而再对广到更一般的MA(m)模型，即：,仅与,这时,有关，而与,无关，,且,为白噪声序列，这就是一般移动平均模型的基本假设。,MA模型的可逆性,可逆MA模型定义若一个MA模型能够表示称为收敛的AR模型形式，那么该MA模型称为可逆MA模型一个自相关系数列唯一对应一个可逆MA模型。,MA模型的可逆条件,MA(q)模型的可逆条件是：MA(q)模型的特征根都在单位圆内等价条件是移动平滑系数多项式的根都在单位圆外,ARMA模型的定义,具有如下结构的模型称为自回归移动平均模型，简记为特别当时，称为中心化模型,30,第四节自回归移动平均模型AutoregressiveMovingAverageModel,一个系统，如果它在时刻t的响应,，不仅与以前时刻的自,身值有关，而且还与其以前时刻进入系统的扰动存在一定的依,存关系，那么，这个系统就是自回归移动平均系统，相应的模,型记作ARMA.则对于这样的系统要使响应,转化为独立序列,，不仅要消除,依赖于t时刻以前的自身部分，而且还必须消,除,依赖于t时刻以前进入系统的扰动的部分。,31,一、ARMA(2，1)模型,1.,对,和,的相关性,由于AR(1)模型：,已不是适应模型，即与,和,不独立，所以，这里的剩余不是我们所假设的,，将其记作,将其分解为:,将上式代入AR(1)模型，得,这就是ARMA(2,1)模型。,32,2.ARMA(2,1)模型的基本假设,在ARMA模型中，若,中确实除了对,和,系外，在和已知的条件下对,的依存关,和,不存在相关关系，那么,一定独立于,当然也就独立于,这就是ARMA(2,1)模型的基本假设。,33,3.ARMA(2,1)模型的结构,从模型,中不难看出，ARMA(2,1)模型把,分解成了独立的四个部分，,所以，其结构是由一个AR(2)和一个MA(1)两部分构成的，,具体,地说，,是由上述四部分构成的。,34,4.相关序列的独立化过程,将ARMA(2,1)模型如下变形：,可见，ARMA(2,1)是通过从,中消除,对,以及,的依赖性之后，使得相关序列,转化成为独立序列,，即它,是一个使相关序列转化为独立序列的变换器。,35,5.ARMA(2,1)与AR(1)的区别,从模型形式看，ARMA(2,1)比AR(1)的项数多；,从模型的动态,性看，ARMA(2,1)比AR(1)具有更长的记忆；,从计算,所需的,资料看，,ARMA(2,1)需要用t期以前的,初期开始递,，这就需要从,归地计算出来，通常t0时的,取序列的,均值零；,从参数估计来看，ARMA(2,1)比AR(1)困难得多。,36,二、ARMA(2，1)模型的非线性回归,为了计算的值，必须知道的值，然而在动态的条件,下，本身又取决于和,则有,上式是非线性的，那么估计参数时，只能用非线性最小二乘法，,其基本思想就是在曲面上搜索使得剩余平方和最小的参数值，,有计算程序，多次迭代即可。,37,三、ARMA(2，1)模型的其他特殊情形,1.ARMA(1，1),当ARMA(2，1)中的系数时，有,即为ARMA(1，1)模型。,2.MA(1),当ARMA(2，1)中的系数时，有,即为MA(1)模型。,38,3.AR(1)模型,当ARMA(2，1)中的时，有,即为AR(1)模型。,因此，在建立模型时，首先拟合一个ARMA(2.1)模型，然后,根据其参数值和是否显著小这一信息，来寻找较合理,的模型，然后拟合出那个较合理的模型，并检验其适应性。,39,四、ARMA(n,n-1)模型,如果一个ARMA(2，1)模型是不适应的，则是违背了基本假设，,按照和推导ARMA(2,1)模型相同的思路，可以考虑,不仅依赖,于和,，可能比ARMA(2，1)的记忆长。按照这种思,想，一直如此类推下去，便可得到ARMA(n,n-1)模型:,作如下变形,ARMA(n,n-1)模型使相关序列转化为独立序列,40,五、ARMA(n,n-1)与ARMA(n,m),1.建模策略,利用上述ARMA模型的生成过程及其特性，我们可以得到对某一系统的一系列动态观察数据拟合ARMA模型的基本策略。即通过逐渐增加ARMA(n,n-1)模型的阶数，使得越来越接近一组数据的依存关系，停止在不能使这种逼近更有效地得到改善的n的数值上。,2.ARMA(n,m)模型,ARMA(n,m)模型实际上是ARMA(n,n-1)模型的某些参数或,为零的特殊情形，所以建模策略仍适应。,41,六、ARMA(n,n-1)模型的合理性,第二、理论依据：用Hilbert空间线性算子的基本理论可以证明，对于任何平稳随机系统，我们都可以用一个ARMA(n,n-1)模型近似到我们想要达到的程度；用差分方程的理论也可以证明，对于n阶自回归，MA模型的阶数应该是n-1。,第一、AR、MA、ARMA(n,m)模型都是ARMA(n,n-1)模型的特殊情形。,第三、从连续系统离散化过程来看，ARMA(n,n-1)也是合理的。在一个n阶自回归线性微分方程和任意阶的移动平均数的形式下，如果一个连续自回归移动平均过程在一致区间上抽样，那么，这个抽样过程的结果是ARMA(n,n-1)。,平稳条件与可逆条件,ARMA(p,q)模型的平稳条件P阶自回归系数多项式的根都在单位圆外即ARMA(p,q)模型的平稳性完全由其自回归部分的平稳性决定ARMA(p,q)模型的可逆条件q阶移动平均系数多项式的根都在单位圆外即ARMA(p,q)模型的可逆性完全由其移动平滑部分的可逆性决定,ARMA模型相关性特征,平稳时间序列建模与预测,平稳时间序列建模平稳时间序列预测,第一节建模步骤,平稳非白噪声序列,计算样本相关系数,模型识别,参数估计,模型检验,模型优化,序列预测,Y,N,一、计算样本相关系数,样本自相关系数,样本偏自相关系数,返回本节首页,二、模型识别,基本原则,模型定阶的困难,因为由于样本的随机性，样本的相关系数不会呈现出理论截尾的完美情况，本应截尾的或仍会呈现出小值振荡的情况。由于平稳时间序列通常都具有短期相关性，随着延迟阶数增大，与都会衰减至零值附近作小值波动？当或在延迟若干阶之后衰减为小值波动时，什么情况下该看作为相关系数截尾，什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢？,模型定阶经验方法,95的置信区间模型定阶的经验方法如果样本(偏)自相关系数在最初的d阶明显大于两倍标准差范围，而后几乎95的自相关系数都落在2倍标准差的范围以内，而且通常由非零自相关系数衰减为小值波动的过程非常突然。这时，通常视为(偏)自相关系数截尾。截尾阶数为d。,三、参数估计,待估参数非中心化ARMA(P,q)模型有个未知参数常用估计方法矩估计极大似然估计最小二乘估计,返回本节首页,1.矩估计,原理样本自相关系数估计总体自相关系数样本一阶均值估计总体均值，样本方差估计总体方差,2.极大似然估计,原理在极大似然准则下，认为样本来自使该样本出现概率最大的总体。因此未知参数的极大似然估计就是使得似然函数（即联合密度函数）达到最大的参数值,3.最小二乘估计,原理使残差平方和达到最小的那组参数值即为最小二乘估计值,4.条件最小二乘估计,实际中最常用的参数估计方法假设条件残差平方和方程解法迭代法,四、模型检验,模型的显著性检验整个模型对信息的提取是否充分参数的显著性检验模型结构是否最简,返回本节首页,1.模型的显著性检验,目的检验模型的有效性（对信息的提取是否充分）检验对象残差序列判定原则一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息，即残差序列应该为白噪声序列反之，如果残差序列为非白噪声序列，那就意味着残差序列中还残留着相关信息未被提取，这就说明拟合模型不够有效,假设条件,原假设：残差序列为白噪声序列备择假设：残差序列为非白噪声序列,2.参数显著性检验,目的检验每一个未知参数是否显著非零。删除不显著参数使模型结构最精简假设条件检验统计量,五、模型优化,问题提出当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。优化的目的选择相对最优模型,返回本节首页,问题同一个