应用数学基础--随机过程-4.ppt

1、平稳随机过程,硕士研究生学位课程应用数学基础,(Stationary stochastic process),(演示文稿),主讲教师 段禅伦 2008年秋季学期,第八章 时间序列分析,时间序列是指按时间先后顺序排列的随机序列,或者 说是定义在概率空间(,F,P)上的一串有序随机变量集 合Xt,t=0,1,简记为Xt;它的每一个样本(现实) 序列,是指按时间先后顺序对Xt所反映的具体随机现象或 系统进行观测或试验所得到的一串动态数Xt,t=0,1, .所谓时间序列分析,就是根据有序随机变量或者观测 得到的有序数据之间相互依赖所包含的信息,用概率统计 方法定量地建立一个合适的数学模型,并根据这个模

2、型对 相应序列所反映的过程或系统作出预报或进行控制. 本章主要以平稳时间序列为讨论对象,着重介绍一类 具体的,在自然科学、工程技术及社会、经济学的建模分 析中起着非常重要作用的平稳时间序列模型-自回归滑 动平均模型,简称ARMA模型.,ARMA模型,8.1 ARMA模型 1.自回归模型 设Xt为零均值的实平稳时间序列, 定义阶数为p的自 回归模型为 Xt=1Xt-1+2Xt-2+pXt-p+at, () Eat=0, EatXt=0,st, Easat= 模型()简记为AR(p). AR(p)是一个动态模型, 是时间序列Xt自身回归的表 达式,所以称自回归模型.满足AR(p)模型的随机序列称为

3、 AR(p)序列,其中yk,k=1,2,p称为自回归系数. 从白 噪声序列at所满足的条件看出,at之间互不相关,且at与 以前的观测值也不相关,at亦称为新信息序列, 在时间 序列分析的预报理论中有重要应用.,t=s, 0, ts.,ARMA模型,为方便起见,引进延迟算子概念.令 BXt=Xt-1, B2Xt=B(BXt)=Xt-2 . 一般有BkXt=Xt-k(k=1,2,3,),称B为一步延迟算子,Bk为 k步延迟算子. 于是()式可以写成 (B)Xt=at, () 其中(B)=1-1B-2B2-pBp. () 对于()式的AR(p)模型,若满足条件:(B)=0的根全在单 位圆外,即所有

4、根的模都大于l, 则称此条件为AR(p)模型 的平稳性条件.当模型()满足平稳性条件时,-1(B)存在 且一般是B的幂级数,于是()式又可写作 Xt=-1(B)at.,ARMA模型,称为逆转形式.模型()可以看做是把相关的Xt变为一 个互不相关序列at的系统. 2.滑动平均模型 设Xt为零均值的实平稳时间序列, 定义阶数为q的滑 动平均模型为 Xt=at-1at-1-qat-q, () 其中(k,k=1,2,q. t称为滑动平均系数并简记() 模型为MA(q).满足MA(q)模型的随机序列称为MA(q)序列. 用延迟算子表示,()式可以写成 Xt=(B)at, () 其中(B)=1-1B-qB

5、q. () 对于()式的MA(q)模型, 若满足条件: (B)=0的根全,ARMA模型,在单位圆外,即所有根的模都大于1, 则称此条件为MA(q) 模型的可逆性条件.当模型()满足可逆性条件时,-1(B) 存在,此时()式可以写成 at=-1(B)Xt, 称它为逆转形式.模型()中的Xt可以看做是白噪声序列 at输入线性系统中的输出. 3.自回归滑动平均模型 设Xt是零均值的实平稳时间序列,定义p阶自回归q阶 滑动平均混合模型为 Xt-1Xt-1+2Xt-2+pXt-p=at-1at-1-qat-q,() 或 (B)Xt=(B)at. () 其中(B)和(B)分别由()式和()式所表示,且(B

6、)和,ARMA模型,(B)无公共因子,(B)满足平稳性条件,(B)满足可逆性 条件.模型()记为ARMA(p,q). 满足ARMA(p,q)模型的随 机序列,称为ARMA(p,q)序列. 显然当q=0时,ARMA(p,0)就是AR(p);当p=0时,ARMA(0,q) 就是MA(q). 如平稳过程的时域分析与频域分析有对应关系一样,这 里介绍ARMA(p,q)序列与具有有理谱密度的平稳序列之间 存在着对应关系,并且指出一个平稳序列在什么条件下是 ARMA(p,q)序列. 定义8.1 设Xt是零均值平稳序列, 它的谱密度f()是 e-i2的有理函数: f()=,模型的识别,其中()和()是形如(

7、)和()式的多项式, 且它 们无公共因子,()满足平稳性条件,()满足可逆性 条件.则称Xt是具有有理谱密度的平稳序列. 定理8.1 均值为零的平稳时间序列Xt满足()式的充 要条件是: Xt具有形如定义8.1中表式的有理谱密度. 从定理8.1看出, 只要平稳序列的谱密度是有理函数形 式,则它一定是一个ARMA(p,q)序列. 因此,总可以找到一 个ARMA(p,q)序列, 满足预先给定的精度去逼近所研究的 平稳序列. 8.2 模型的识别 对于一个平稳时间序列预测问题,首先要考虑的是寻求 与它拟合最好的预测模型.而模型的识别与阶数的确定则,模型的识别,是选择模型的关键.本节先对AR(p),MA

8、(q)与ARMA(p,q)序 列作相关分析,讨论其理论自相关函数和偏相关函数所具 有的特性,以求找到识别模型的方法.在8.3节再讨论模型 阶数的确定. 1.MA(q)序列的自相关函数 用Xt-k乘以()式两边,再取均值(由于序列的均值为零, 所以自相关函数与协方差函数相同),为了不致混淆,记所 得协方差函数为k: k=EXtXt-k =E(at-1at-1-qat-q)(at-k-1at-k-1-qat-k-q) =Eatat-k- jEatat-k-j- iEat-iat-k+ ijEat-iat-k-j.,模型的识别,由阶数为p的自回归模型定义中的Easat的取值知,上页 等式右端第2项,

9、对一切k都为0,而其余各项的值依赖于k. (1)当k=0时, 0=E + E = + ; (2)1kq, k=-kE + ii-kE =-k + ii-k ; (3)当kq时,等式右端4项都为0,此时k=0. 用0除以k得标准化自相关函数k=k/0,简称为 自相关函数. 综上便得MA(q)序列的协方差函数k和自相关函数k: k=,(1+ + ), k=0,0, kq;,(-k+k+1 1 +qq-k),1kq,模型的识别,k= 从上式看出,MA(q)序列的自相关函数k在kq时全为零. 这种性质称为q步截尾性. 这表明MA(q)序列只有q步相关 性,即当|t-s|q时,Xs与Xt不相关.这是MA

10、(q)模型所具有 的本质特性,截尾处的k值就是模型的阶数. 定理8.2 设零均值平稳时间序列Xt具有谱密度f()0, 则Xt是MA(q)序列的充要条件,是它的自相关函数q步 截尾(定理的必要性由以上的讨论可得,充分性证明略). 例8.1 已知MA(2)模型Xt=at+0.5at-1-0.3at-2,试验证模型 满足可逆性条件,并求自相关函数.,1, kq.,1, k=0, 1k0,模型的识别,解: 因为(B)=1+0.5B-0.3B2,令其为零,得 1+0.5B-0.3B2=0. 解得 B1=1.17, B2=-2.84. 由于|B1|1,|B2|1,所以模型满足可逆性条件. 将1=-0.5,

11、 2=0.3代入k的等式,得自相关函数 0=1, 1= =0.2612, 2= =0.2239, k=0(k2). 2.AR(p)序列的自相关函数 用Xt-k乘阶数为p的自回归模型的两边,再取均值,得 k=lk-1+pk-p , k0. 除以0得: k=lk-1-pk-p=0,() 即,模型的识别,(B)k=0,k0. () 令()式的k=1,2,p,得 1=l+21+pp-1, 2=l1+2+31+pp-2, () p=lp-1+2p-2+p. 写成矩阵式有 1 1 1 2 p-1 l 2 1 1 1 p-2 2 p p-1 p-2 p-3 1 p 此矩阵式称为尤尔-瓦尔克方程.而()式是k

12、所满足的 差分方程.参数 由下式给出 =0- jj. (),=,.(),模型的识别,这是因为 =E =EXt-tXt-1-pXt-p2 =0-2 jj+ ijj-i =0-2 jj+ j( ij-i) =0-2 jj+ jj-i =0- jj . 定理8.3 AR(p)序列Xt的自相关函数满足()式,白噪声 序列at的方差满足()式. 定理指出了AR(p)序列Xt的自相关函数所满足的方程, 但尚未讨论其求解方法. 不过应当了解:由线性差分方程,模型的识别,理论可以证明,AR(p)序列的自相关函数,不能在某步之后 截尾,而是随k增大逐渐衰减,其衰减的速度受负指数函数 控制. 这种特性称为拖尾性.

13、 如何理解拖尾性? 例8.2 求AR(1)序列的自相关函数. 解: 因为AR(1模型为Xt-lXt-1=at,由()式得 1=l, 2=l1=l2, , k=lk-1=lk. 由(B)=1-l(B)=0知,B=1/l. 在满足平稳性条件下,|l|1,所以当k时,有 k0. 考虑到lk= 且|l|1,即ln|l|0,故存在c1 0,c20使|k|c1 ,k被负指数函数控制.,模型的识别,例8.3 AR(2)模型为 Xt=0.1Xt-1+0.2Xt-2+at. 验证它满足平稳性条件,并求自相关函数. 解: 由伊(B)=1-0.1B-0.2B2=0,解得B1=2,B2=-2.5. 由于 |B1|1,

14、|B2|1,所以模型满足平稳性条件. 由()式得 1= , k=1k-1+2k-2, k2. 代入1=0.1, 2=0.2得 1=0.125, 2=0.213, 3=0.046, 4=0.047, 5=0.014, 6=0.011, 7=0.004, 8=0.003, 9=0.001, . 从例中的数值看出,k具有拖尾性.,模型的识别,3.ARMA(p,q)序列的自相关函数 根据自回归滑动平均模型中的(B)Xt=(B)at式,若(B) 满足平稳性条件,则Xt的平稳解为 Xt=-1(B)(B)at 将-1(B)写成B的级数形式,令 G(B)=-1(B)(B)= GiBi, G0=1, () 其中

15、系数序列Gi称为格林函数. 于是Xt可用at的现在 和过去的值表示为 Xt=( GiBi)ai= Giat-i. () 上式称为(Xt的传递形式,它的系数Gi是at-i的权重,表示 i个单位时间以前的at对现在Xt的影响,称为Wold系数.上 式也可以看做是无穷阶的MA序列.,模型的识别,与()式相反, 若(B)满足可逆条件,则Xt的另一种逆转 形式表达式为 at=-1(B)(B)Xt. 写成级数形式,得 at=I(B)Xt= - IjBjXt=Xt- IjXt-j,I0=-1.() 其中I(B)=1- IjBj=-1(B)(B),Ij称为逆函数. 因而逆 转形式可以看做是将at表示成Xt的历

16、史值的加权和. 现在将(B)G(B)=(B)的两边展开成多项式,有 ( Bi)( GiBi)= Bi. 比较系数得Gi的递推式 Gi= - Gi-j , G0=1.,模型的识别,式中 j, 1jp j, 1jq 0, jp ; 0, jq . 现在利用()式来导出ARMA(p,q)序列的自相关函数关 系式. 为此,将p阶自回归q阶滑动平均混合模型()式 Xt-1Xt-1+2Xt-2+pXt-p=at-1at-1-qat-q 的两边同乘Xt-k并取均值,得 k-Xt-1k-1-pk-p=k(X,a)-1k-1(X,a)- -qk-q(X,a), 即 (B)k=(B)k(X,a), () 其中 k

17、(X,a)=EXtat+k=E Gjat-jat+k, GjEat-jat+k= (),=,=,G-k , k0, 0, k0.,模型的识别,将()式代入()式并除以0,写成自相关函数,注意到 k为偶函数,可得 k=0时,有 (1-11-pp)=(1-1G1-qGq) , k=1时,有 (1-10-21-pp-1) =(1-2G1-qGq-1) , k=q时,有 (q-1q-1-pp-q)=q , kq时,有k-1k-1-pp-q=0,即(B)k=0. 若令上式之k=q+1,q+p,可得矩阵式 q q-1 q-p+1 1 q+1 q+1 q q-p+2 2 q+2 q+p-1 q+p-2 q

18、p q+p,=,(),模型的识别,定理8.4 零均值平稳时间序列Xt为ARMA(p,q)序列的充 要条件是其自相关函数满足式. 比较式和2.AR(p)序列的自相关函数项下的()式知, ARMA(p,q)序列与AR(p)序列的自相关函数,满足相同的差 分方程以(B)k=0(kq).因此和AR(p)序列类似,ARMA(p, q)序列的自相关函数也是拖尾的,且受负指数函数控制. 例8.4 求ARMA(1,1)模型Xt-1Xt-1=at-1at-1的自相关函数. 解: 设ai的方差为 ,|1|1, 则 Xi=G(B)ai= . 所以 G0+G1+G2B2+=(1-1B)(1+1B+ B2+) =1+(

19、1-1)B+( -11)B2 +.,模型的识别,比较系数得 G0=1,G1=1-1,G2= -11, 由式得 (1-11)=(1-1G1) =1-1(1-1) ,k=0, (1-1)=1 , k=1, k=1k-1, k=2,3, . 解得 = , 1= . 故有 k= , k=1,2,3, . 例8.5 求ARMA(2,1的自相关函数. 解: 因为ARMA(2,1)模型为 Xt-1Xt-1-2Xt-2=at-1at-1,(1-1B-2B2)=(1-1B)at.,模型的识别,设模型满足平稳性、可逆条件,且冉的方差为2,于是 G(B)= =1+(1-1)B+1(1-1)+2B2+ . 得格林函数

20、 G0=1,G1=1-1,G2=1(1-1)+2 , 由式得 (1-11-22)=(1-1G1) =(1+ -11) ,k=0, (1-1-21)=-1 , k=1, k-1k-1-2k-2=0, k=2,3, . 将2=11+2代入上面第一式得 1- +1(2-1)1=(1+ -11) .,模型的识别,将此式与上面第二式联立得 1-11+ -1(2-1) 1- -1(2-1) -1 1-2 -1 1-2 1- 1-11+ 1-11+ -1(2-1) -1 -1 -1 1-2 1,2,通过递归方法或者齐次差分方程方法可求得. 4.偏相关函数 从上面的讨论知,对于自相关函数,只有MA(q)序列是

21、截 尾的,AR(p)和ARMA(p,q)序列则是拖尾的. 为了进一步区 分AR(p)序列和ARMA(p,q)序列,以下引入偏相关函数的概 念.,=,1=,模型的识别,从概率论知,在给定随机变量W的条件下,随机变量U与V 的联合条件密度函数为f(u,v|w), 此时,定义U与V的偏相 关函数为 = . 类似地,在零均值平稳时间序列中,给定义Xt-1,Xt-k+1, Xt与Xt-k之间的偏相关函数定义为 = . () 其中,E表示关于条件密度函数f(xt,xt-k|xt-1,xt-2,xt- k+1)的条件期望.,模型的识别,(1).AR(p)序列的偏相关函数 设Xt是零均值的平稳序列,它满足AR

22、(k)模型,即 Xt=k1Xt-1+k2Xt-2+kkXt-k+at. 用Xt-k乘上式两边,当给定Xt-1=xt-1,Xt-k+1=xt-k+1时,取 条件期望得 EXt Xt-k=k1xt-1EXt-k+kk-1xt-k+1EXt-k +kkE +EatXt-k. 因k0时,EatXt-k=0,且 EXt Xt-k=kkDXt-k=kk , 所以 kk= , k=1,2, . () 根据()式知,kk即为AR(p)序列的偏相关函数,同时它又,模型的识别,是AR(k)模型的最后一个自回归系数k . 为了探讨AR(p)序列的偏相关函数的特性,考虑Xt-1, Xt-k对Xt的最小方差估计,即要求

23、确定k1,kk,使 Q=min EXt- kjXt-j2. 根据AR(p)模型定义,有 Q=E( jXt-j+at- kjXt-j)2 =E(at+ (j-kj)Xt-j- kjXt-j)2 =E +2Eat( (j-kj)Xt-j- kjXt-j) +E( (j-kj)Xt-j- kjXt-j)2. 因EatXt-j=0(j0),故有 Q= +E( (j-kj)Xt-j- kjXt-j)2.,模型的识别,这里,欲使Q=min,因取 kj= 这说明AR(p)序列有kj=j(j=1,p),且由()式,pp =p即为偏相关函数.当是kp时,有kk=0. 换句话说,AR(p) 序列的偏相关函数为:1

24、1,22,pp,0,0.即偏相关函 数在k步截尾,其截尾的k值就是模型的阶数. 这是AR(p)序 列具有的本质特性. (2).ARMA(p,q)序列和MA(q)序列的偏相关函数 类似(l)的讨论, 考虑用Xt-1,Xt-k对Xt作最小方差估 计来求ARMA(p,q)序列(把MA(q)看做p=0的特例)Xt的偏 相关函数kk,同时推出偏相关函数与自相关函数的关系. 为了使Q=min,k1,kk应满足方程组 =0,j=1,2,k.,j, 1jp, 0, p+1jk.,模型的识别,由 Q=EXt- kjXt-j2 =E -2 kjEXtXt-j+ kjkiEXt-jXt-i =0-2 kjj+ kj

25、kij-i , 于是 = -j+ kij-i=0, j=1,2,k. 这等价于 -j+ kij-i=0, j=1,2,k. 1=k10+k21+kkk-1, 2=k11+k20+kkk-2, k=k1k-1+k2k-2+kk0. 写成矩阵形式,即,或,(),模型的识别,1 1 k-1 k1 1 1 1 k-2 k2 2 k-1 k-2 1 kk k ()式说明, 由自相关函数的值可以求出偏相关函数kk. 系数kj(j=1,2,k)可以由()式直接求解. 以下给出求解kj的常用递推式: 11=1, ()k+1,k+1=(k+1- k+1-jkj)(1- jkj)-1, k+1,j=kj-k+1,

26、k+1k,k+1-j ,j=1,2,k. 事实上,以k=1替代()式的k,即有以下矩阵式, = .,(),模型的识别,1 1 k-1 k k+1,1 1 1 1 k-2 k-1 k+1,2 2 k k-1 1 1 k+1,k+1 k+1 取前k个方程得 1 1 k-1 k+1,1 1 k k+1,1 1 1 k-2 k+1,2 2 k-1 k+1,2 k-1k-2 1 k+1,k k 1 k+1,k 1 1 k-1 1 1 1 k-1 k 1 1 k-2 2 1 1 k-2 k-1 k-1k-2 1 k+1 k-1k-2 1 1, = ., = -k+1,k+1 ,-k+1,k+1,-1,-1

27、,=,模型的识别,k1 kk k2 k,k-1 kk k1 于是: k+1,j=kj-k+1,k+1 , j=1,2,k. 再用()式有 k+1= k+1,jk+1-j =k+1,k+1+ k+1,jk+1-j =k+1,k+1+ (kj-k+1,k+1k+1,k+1-j)k+1-j =k+1,k+1+ kjk+1-j-k+1,k+1 k,k+1-jk+1-j =k+1,k+1(1- kl kl)+ kjk+1-j.,= -k+1,k+1 .,模型的识别,所以 k+1,k+1=(k+1- k+1-jkj)(1- jkj)-1. 例8.6 求下列模型的偏相关函数: (1) Xt+0.5Xt-1-

28、0.4Xt-2=at ; (2) Xt-0.5Xt-1=at-0.3at-1 . 解:(1)因为是AR(2)模型,例8.3中已求得自相关函数为 0=1, 1=1/(1-2), k=1k-1+2k-2 ,k2. 其中1=0.5, 2=0.4. 由()式得 11=1=-0.833. 对()式取k=1,得 22=(2-111)(1-111)-1=0.4, kk=0,k2. (2)因为是ARMA(1,1)模型,例8.4已推出自相关系数 k= , k1.,模型的识别,其中1=0.5,1=0.3.代入上式得 k=0.2150.5k-1, k1. 由()式得 11=1=0.215. 对()式取k=1,得 2

29、2=(2-111)(1-111)-1=0.113, 21=11-2211=0.191. 对()式取k=2,并代入 2=0.108, 3=0.054得 31=21-3322=0.19 , 32=22-3321=0.111. 对()式取k=3, 可依次递推求出44,41,42,43,等偏 相关函数的值. 对于ARMA(p,q)模型,(B)Xt=(B)at ,由()式的逆转,模型的识别,at=I(B)Xt= (-Ii)BiXt, I0=-1, 看出:有限阶的ARMA(p,q)序列或MA(q)序列可以转化为无 限阶的AR(p)序列.因此,它们的偏相关函数将是拖尾的. 以上对平稳时间序列的特性进行了理论

30、的分析,上述结 果对初步识别平稳时间序列的类型提供了依据.下面是这 些结果的汇总表: 模 型 类 别 模型方程 (B)Xt=at Xt=(B)at (B)Xt=(B)at (B)=0的根 (B)=0的根全在 全在单位圆 单位圆外 自相关函数 拖尾 截尾 拖尾 偏相关函数 截尾 拖尾 拖尾,AR(p) MA(q) ARMA(p,q),平稳条件,无条件平稳,模型阶数的确定,8.3 模型阶数的确定 在8.2节中讨论了模型的识别, 是通过理论自相关函数 或偏相关函数是否截尾来判断的. 但是,在实际中人们所 获得的观测数据只是一个有限长度N的样本值x1,x2,xN, 由它们算出的样本自相关函数 ,样本偏

31、相关函数 只是 k和kk的估计值.由于样本的随机性,其估计总可能有误 差. 故对于AR(p)序列,当kp时, 可能不会全为零,而是 在零附近波动. 同理,对于MA(q)序列,当kq时, 也可能 不会全为零. 本节讨论的问题,就是如何用样本自相关函 数和样本偏相关函数来推断模型的阶. 1.样本自相关函数和样本偏相关函数 设有零均值平稳时间序列Xt的一段样本观测值x1,x2,模型阶数的确定,xN,样本协方差函数定义为 = = xixi+k, k=0,1,N-1. 一般, 是k的无偏估计,但不一定是非负定的.因而常 用估计式 = xixi+k, k=0,1,N-1 () 代替 . 样本自相关函数定义

32、为 = , k=0,1,N-1. () ()式是 的有偏估计,但 是非负定的. 不过,设当t N或t0时,xt=0,则对任意的m个实数1,2,m有 ij = ij xtxt+|j-i| = ij xtxt+|j-i|,模型阶数的确定,= ij xtxt+j-i = ij xt+ixt+j = ( ixt+i)2 0. 实际问题中,N一般取得较大(不少于50),故()式看做是 渐近无偏的.由于()式的估计误差随k增大而增大,一般 取kN/4(常取k=N/10左右). 由()式计算得 后,代入()式即得 的值. 2. 和 的渐进分布及模型的阶 下面不加证明地给出 和 的渐近分布. (1)设Xt是正

33、态的零均值平稳MA(q)序列,则对于充分,模型阶数的确定,大的N, 的分布渐近于正态分布 N(0, (1+2 ). 由正态分布的性质知,有 P| | (1+2 ) 0.683, P| | (1+2 ) 0.955. 实际应用中,因为q一般不很大,而N很大,此时常取 (1+2 ) . 即认为 的分布渐近于正态分布N(0,( )2 ),于是有 P| | 0.683, 或P| | 0.955.,模型阶数的确定,于是, 的截尾性判断如下:首先计算 , , , (取M N/10),因为q值未知,故令q取值从小到大,分别检验 , , 满足 | | ,或 | | 的比例是否占总个数M的68.3%或95.5%

34、. 第一个满足上述 条件的q就是 的截尾处,即MA(q)模型的阶数. (2)设Xt是正态的零均值的平稳AR(p)序列,则对于充 分大的N, 的分布也渐近于正态分布N(0,( )2 ), 所 以,可类似于(1)的步骤对 的截尾性进行判断. (3)若 和 均不截尾,但收敛于零的速度较快, 则Xt可能是ARMA(p,q)序列.此时阶数比较难以确定,一,模型阶数的确定,般采用由低阶到高阶逐个试探,如取(p,q)为(1,1),(1,2), (2,1),直到经检验认为模型合适为止. 例8.7 设从观测样本大小N=150的时间序列数据计算得样 本自相关函数值和偏相关函数值如下表: k 1 2 3 4 5 6

35、 7 8 0.80 0.59 0.42 0.32 0.25 0.17 0.10 0.05 0.80 -0.15 0 0.08 -0.03 -0.06 -0.02 0.02 k 9 10 11 12 13 14 15 16 0.03 0.03 0.03 0 -0.05 -0.07 -0.08 -0.04 0 0.04 -0.02 -0.09 -0.04 0.01 0 0.09 因为2/N=0.163,从表中数据看出, 随k增大趋于零,但不 能认为是截尾的.而 有截尾性, 从k=2起它取值的绝对 值都小于0.16, 故初步识别该序列属于AR(1)模型. 由于,模型阶数的确定,| |=0.15很接近

36、于0.16,故也可以考虑它是AR(2)模型. 例中看出模型的识别有一定的灵活性,同一序列可以考 虑不同的模型拟合. 但是,在样本大小N一定时,模型的阶 数尽量定低,因阶数越高,各种参数估计精度会降低.在实 际应用中,应根据实际效果的好坏进行考核模型是否可以 接受.当然,在理论上也可以探讨较精确的识别模型方法, 或对模型进行理论考核的方法.下面来做进一步讨论. 3.模型定阶的AIC准则 现在给出AIC准则,其定义是 AIC(k)=ln +2k/N, k=0,1,L. 其中 = - ,N为样本大小,L为预先给定的最高 阶数.,模型参数的估计,若AIC(p)=min AIC(k),则确定AR模型的阶

37、数为p. 同理,定义ARMA序列的AIC准则为 AIC(n,m)=ln +2(n+m+1)/N. 若AIC(p,q)=min AIC(n,m),则确定ARMA模型的阶数为(p, q).其中 是相应的ARMA序列的 极大似然估计. 8.4 模型参数的估计 当选定模型及确定阶数后,进一步的问题是要估计出模 型的未知参数.参数估计方法有矩法、最小二乘法及极大 似然法等. 这里仅介绍矩法.它虽然较粗糙,但较简单,且 在有些情况下,矩法与其它比较精确的估计很接近. 1.AR(p)模型的参数估计,0kL,模型参数的估计,设Xt的拟合模型为 Xt=1Xt-1+2Xt-2+pXt-p+at. 此时要估计的参数

38、为1,2,p和 .利用尤尔-瓦尔克 方程及对 估计的()式,将各参数换成相应的估计,得 1 1 1 = - = (1- ). 以上两式是AR(p)模型全部参数的估计公式. 2. MA(q)模型的参数估计 设Xt的拟合模型为,=,-1,模型参数的估计,Xt=at-1at-1-2at-2-qat-q. 此时要估计的参数为1,2,q和 .利用MA(q)序列的 协方差函数式,将各参数换成估计,得 (1+ + ), k=0, (- + + ), 1kq. 上式是参数的非线性方程组, 可以直接求解,也可以用其 它方法求解. 以下介绍用迭代法求解的步骤.为此首先将 = (1+ + )-1, =- / + +

39、 , =- / + + , =- / + , =- / .,=,(),模型参数的估计,然后,选取一组初始值,如 (O)= (O)=0, (O)= (0) (或记 (O)= /2),代入上式右边,可得一步迭代值 (1)= , (1)=- , k=1,2,q. 再将它们代入这一式,可得二步迭代值 (2)= /(1+ ), (2)=- + + , (2)=- + + , (2)=- + , (2)=- . 如此重复迭代,直至 (m)与 (m-1), (m)与 (m-1)变 化不大,达到精度要求为止.此时参数的估计值为 = (m), = (m),k=1,2,q.,模型参数的估计,3.ARMA(p,q)

40、模型的参数估计 设Xt的拟合模型为 Xt-1Xt-1-2Xt-2-+pXt-p=at-1at-1-2at-2-qat-q. 此时要估计的参数为1,2,p,1,2,q, .它们按 下列步骤进行估计. 第一步,先求AR部分的参数估计值. 利用ARMA(p,q)的自相关函数()式, 将参数换成相应 的估计,得 这里由于未考虑MA部分的作用,故所得的 是近似值.,=,-1,模型参数的估计,第二步,令Yt=Xt- Xt-1- Xt-p,得Yt的协方差函数 (Y)=EYtYt+k= EXt-iXt-j-k = , =-1. 用Xt的协方差估计 代替 ,得 (y)的表达式 (y)= . 第三步, 把Yt近似

41、看做MA(q)序列,将ARMA(p,q)模型 改写成 Ytat-1at-1-qat-q. 此时可用MA(q)模型参数估计法得 , , . 利用以上介绍的模型参数估计方法和公式,一般可以在 计算机上进行各种参数估计.作为例题,对较低阶数模型, 可以采用解方程的方法,直接求出参数估计的表达式.,模型参数的估计,例8.8 求AR(1)模型和AR(2模型的参数估计式. 解:利用AR(p)序列自相关函数()式和()式,对于AR(1) 模型有 = , = - = (1- ). 对AR(2)模型,有 = + , = + , 解得 = (1- )/(1- ), =( - )/(1- ), = (1- - ).

42、 例8.9 求MA(1)模型和MA(2)模型的参数估计式. 解:利用()式,对于MA(1)模型,有,模型参数的估计,= (1+ ), = (- ). 于是 = - . 代入第一式得 ( )2- + =0. 解得 = . 将 代入 式中,得 = . 注意到可逆性条件,应取| |1. 因为,模型参数的估计,故取 = , = . 对于MA(2),可类似MA(1)进行推导,但较繁,只给出结果: = - - , 其中“”号依 0或 0分别取“-”或“+”., =1,| |1,= , =- .,模型的检验,8.5 模型的检验 由样本观测序列xt,t=1,2,N,经过模型的识别、 阶数的确定和参数估计,可以

43、初步建立Xt的模型. 这样 建立的模型一般还需要进行统计检验,只有经检验确认模 型基本上能反映Xt的统计特性时,用它进行预测才能获 得良好的效果. 模型的所谓自相关函数检验法,其基本思 想是, 如果模型是正确的,则模型的估计值与实际观测值 所产生的残差序列at=xt- (t=1,2,N)应是随机干扰产 生的误差, 即at应是白噪声序列. 否则,模型不正确. 设x1,x2,xN为观测序列,不妨设初步选定为ARMA(p, q)模型 at=Xt-1Xt-1-2Xt-2-+pXt-p+1at-1+2at-2+qat-q.,模型的检验,代入参数估计值和观测值得 ai=Xi- Xi-1-+ Xi-p+ a

44、i-1+ ai-q, i=1,2,N. 若t=0作为开始时刻,则上式中对于ip,iq的下标为零 或负的项,其值规定取为零,由上式得 a1=x1, a2=x2- x1+ a1=x2-( - )x1, a3=x3- x2+ a2 =x3-( - )x2-( - )+ ( - )x1, aN=xN- xN-1+ aN-1. 现在的问题是要检验假设 H0:at,t=1,2,N为白噪声 序列.,模型的检验,由a1,a2,aN计算序列的协方差函数和自相关函数估 计值,记 (a)= atat+k, k=0,1,M. 其中M取N/10左右. (a)= (a)/ (a), k=0,1,M. 可以证明当H0为真时

45、,对于充分大的N,( (a), (a), , (a)的联合分布渐近于M维独立标准正态分布N( 0,IM ). 于是,统计量 QM=N (a) 服从自由度为M的X2分布.由假设检验理论知,对于给定的 显著性水平,查表得Xa2(M), 若计量得QMXa2(M),则在 水平上否定假设H0,即所选择的估计模型不合适, 应重 新选择较合适的模型;否则,就认为估计模型选择合适.,平稳时间序列预报,8.6平稳时间序列预报 根据时间序列观测数据,建立了一个与实际问题相适应 的模型后,就可以利用过去和现在的观测值, 对该序列未 来时刻的取值进行估计,即预报. 关于预报效果优劣的标 准,下面采用的是在平稳线性最小

46、方差意义下的预报. 1.最小方差预报 设Xt是零均值平稳序列,并假定它是正态的.令 (l ) 表示用时刻t及它之前的全部观测数据,即Xt,Xt-1,的 取值对未来t+l 时刻的Xt+l(l 0)的取值所作的预报. 现在的问题是,要找出一个如下形式的线性函数 (l )=c0Xt+c1Xt-1+c2Xt-2+ 使预报的误差均方值,平稳时间序列预报,Eek(l )2=EXt+l (l )2=min. () 这样的 (l )称为Xt+l 的线性最小方差预报. 由于Xt,Xt-1,一般是相关的, 故 (l )用它们的线 性组合形式表示不便于研究,为此先介绍几个定理. 对于零均值正态ARMA(p,q)序列

47、,利用其等价的传递 形式和逆转形式,令 Xk=X|X= cjXk-j, cj是实数, , Ak=a|a= djak-j, dj是实数, , 则有Xk=Ak.事实上,对任何YAk,必存在实数uj, ,使Y= ujak-j.利用ARMA(p,q)序列自相关函数的逆 转形式()式, ak-j均可表示成Xk的线性组合形式,故Y Xk;反之,对任意YXk,利用ARMA(p,q)序列自相关函数,平稳时间序列预报,的传递形式(),Xk-j均可表示成ak的线性组合形式, 故Y Ak. 对于正态平稳序列,满足()式的平稳线性最小方差预 报 (l )就是Xk+l 在给定Xk,Xk-1,时的条件均值, 且可 表示为

48、 (l )=EXk+l |Xk-j=xk-j,j=0,1, =EXk+l |Xk =EXk+l |Ak. 最小方差预报具有性质: (1)E cjXk-j|Xk= cjEXk-j|Xk; (2)EXk+l |Xk=EXk+l |Ak= () (3)Eak+l |Ak=Eak+l |Xk=,(l ), l0, Xk+l , l0; 0, l0, ak+l , l0.,平稳时间序列预报,定理8.5 设零均值ARMA(p,q)序列Xt具有传递形式Xt= Gjat-j,其中Gj为格林函数,则 (l )= Gjat-j, () Dek(l )= . () 证明:因为 (l )Ak ,所以有 (l )= a

49、t-j, () Dek(l )=Xk+l - (l )2 =E Gjak+l -j- ak-j2 =E Gjak+l j+ (Gj+l - )ak-j2 = Eak+l j2+ (Gj+l - )2Eakj2 = + (Gj+l - )2.,平稳时间序列预报,显然,当取Gj+l = 时,有Dek(l )= ,其值为min. 于是()式得证.再代入()式便得()式. 定理的()式给出了计算l 步预测值的格林函数方法,格 林函数Gj可由ARMA(p,q)模型的参数递推计算. 当 =Gj+l 时,易知 ek(l )=Xk+l - (l )=ak+l +G1ak+l -1+Gl -1ak+l , 令l

50、 =1得 ek(l )=Xk+l - (l )=ak+l . 这说明k时刻的一步预报误差就是ak+l ,因此Dek(l )= . 在正态性假定下,Xk+l 对于给定Xk,Xk-1,)的条件分布 为N( (l ),Dek(l ),因此, Xk+l 的1-置信区间为 (l ) u/2(1+ + )1/2 .,平稳时间序列预报,定理8.6 设Xt是零均值ARMA(p,q)序列,则有预报的差 分方程 (l )=1 (l -1)+p (l -p), lq. () 证明:因为 Xk+l =1Xk+l -1+pXk+l -p+ak+l -1ak+l -1-qak+l -q. 当l q时,由()式可得 (l

51、)=EXk+l|Xk =1EXk+l -1|Xk+pEXk+l -p|Xk =1 (l -1)+p (l -p). 定理表明,若q步以内的预报值 (1), (l )已知,则超 过q步的预报值可由()式推得. 特别,当Xt是MA(q)序列时,()式变为,平稳时间序列预报,(l )=0, l q. () 这表明,对于MA(q)序列,超过q步的预报值为零. 定理8.7 设Xt是零均值ARMA(p,q)序列,则有预报递推 公式 (l )= (l -1)+GlXk+1- (1). 证明:由()式有 (l )= Gl +jak+1-j=Gl ak+1+ Gl +jak+1-j =Gl Xk+1- (1)+

52、 Gl +j+1ak-j =Gl Xk+1- (1)+ (l +1). 定理表明, 基于k+1时刻的l 步预测值,可由该时刻的观测 值与基于前一时刻k的l +1步预报值递推而得.,平稳时间序列预报,2.各种模型的预报方法 (l)AR(p)序列的预报 由()式,令q=0即得AR(p)序列的预报递推公式 (l )=1 (l -1)+p (l -p), l p. () 对于l 0,显然有 (l )=Xk+l , 其中i(i=1,2,p)是由样本序列确定的估计值.由以上 两式可得 (1)=1Xk+2Xk-1+pXk-p+1, (2)=1 (1)+2Xk+pXk-p+2, (p)=1 (p-1)+2 (

53、p-2)+p-1 (1)+pXk, (l )=1 (l -1)+p (l -p), (l -p).,(),平稳时间序列预报,从前式看出,对于AR(p)序列, 其预报 (l )计算只需用 到k时刻前的p个观测数据Xk,Xk-1,Xk-p+1. 预报精度随 步数l 增大而降低. 利用置信区间式确定AR(p)序列的Xk+l 的1一置信区间 时,其格林函数Gj(j=1,2,l -1可用下列方法递推而得. 因为AR(p)模型为(B)Xt=t, 传递形式为Xt=G(B)t, 代入上式得 (B)G(B)t=t, 即 (B)G(B)=(1-1B-1Bp)(1+GlB+G2B2+)=1. 上式展开成B的级数,并比较系数可得 Gl-1=0, G2-Gl1-1=0, G3-G21-Gl2-3=0, 递推求解上述方程组,得,平稳时间序列预报,Gl=l, G2= +2, G3= +2l2-3, G4= +3 2+2l3+ +4, 例8.10 求AR(1)序列的预报式. 解:因AR(1)模型为Xt-lXt-1=at, 由AR(p)序列的预报递推 公式得 (l