时间序列分析部分讲义中国科学研究院安鸿志

1、时间序列分析 (J.D.Hamilton)前言: 3.平稳ARMA过程(p49-78),6.谱分析(p180-202),11.向量自回归(p345-409),21.异方差时间序列模型(p799-823).3. 平稳ARMA过程3.0 概述 (认识论,方法论,历史观,发展观)什么是”回归模型”? 什么是”自回归模型”? 它们有什么联系 ?为什么用”回归”一词 ? 它们的推广模型是什么 ?它们的应用背景是什么 ?* 考虑 ”父-子身高的关系”X-父亲的身高,Y-儿子的身高,它们有关系吗? 有什么样的关系呢?不是确定的关系! 又不是没有关系!在同族中抽取n对父-子的身高, 即有n对数据:(X1,Y1

2、), (X2,Y2), , (Xn,Yn).Yk a + bXk , 1£k£n.Yk = a + bXk + ek , 1£k£n. (0.1)* 此为一元线性回归模型. ek-个体差异, 其他因素, 等等.* 如果, 如果能记录到一个父系的长子身高序列, 即X1,X2,Xn , 显然, (X1,X2),(X2,X3),(Xn-1,Xn)是(n-1)对父-子身高数据, 与(Xk,Yk)相比, 这里的 Yk = Xk+1 , k=1,2,n-1.依同样论述有Xk +1 = a + bXk + ek , 1£k£n. (0.2)* 此为

3、一元线性自回归模型(自变元Yk是因变元Xk的延迟)* 回归¬英文翻译¬Regression¬(0.2),具体说来如下:m-男人平均身高. 由(0.2)得 Xk +1-m = a + bXk + ek -m (注意m=(b-1)m+bm) = a +(b-1)m + b(Xk -m)+ ek.Wk = (Xk -m)-第k代长子身高与平均身高之差,c= a +(b-1)m,于是有Wk+1 = c + bWk + ek. (0.3)特别人们发现: 0<b<1.它表明:平均说来, 当父亲身高超过平均身高时, 其子身高也会超过平均身高, 但是比父亲身高更靠近平

4、均身高.有回归平均身高的趋向! 稳定系统!* 回归模型的推广: (线性模型)* 增加自变元个数: 比如, 儿子身高不仅与父亲还与母亲, 甚至于祖父母有关, 于是(0.1)式应推广为:Yk = a + b1X1k + bpXpk +ek , 1£k£n. (0.4)* 此为p元线性回归模型.* 向非线性推广:仍以父-子身高的关系为例, 它们的真实关系应是比(0.1)式更一般的形式:Yk = j(Xk )+ ek , 1£k£n. (0.5)(0.4)式 更一般的形式:Yk = j(X1k,Xpk )+ ek , 1£k£n. (0.6)

5、 近年来, 又引出了比(0.6)式更广的模型:Yk =j(X1k,Xpk )+s(X1k,Xpk )ek ,1£k£n. (0.7)* 此为异方差回归模型. (0.7)式的更一般的形式:Yk =y(X1k,Xpk ;ek ),1£k£n. (0.8) 模型越复杂, 越近似真实情况, 也越难统计分析.* 应用背景:非常广泛!主要用于预报,控制,检测,管理.模型的获得方法有两类.3.1 期望,平稳性,遍历性:确切说, 是对(0.1)至(0.8)式中ek的最起码的假定, 根据这些假定就可以引出随机过程和各种模型概念, 用它们近似描述ek(本来是说不清的).而且

6、, 对这些起码的假定, 也只是以最直观的方式, 而非严格的概率论观点, 加以介绍.* 期望和随机过程* 随机过程: X(t);-¥<t<¥,其中X(t)是随机变量.* 随机序列: Xk;k=,-1,0,1,其中Xk是随机变量.特别当Xk=X(kh)时,序列Xk是过程X(t)的等间隔采样序列. 回忆随机变量X和它的样本的定义, 我们有:* 样本序列:,x-1,x0,x1,是序列Xk的一个样本序列,又称为一个实现, 又称为一个观测序列,等等.请注意: 随机变量X的一个样本,就是一个数; 随机向量X的一个样本,就是一个向量数; 随机序列Xk的一个样本, 是一个无穷数列

7、;在实际应用中, 我们无法记录无穷数列,从而在讨论随机序列Xk的样本时, 只能考虑一个样本的有限部分, 比如x1,x2,xn是序列Xk的一段观测值序列.在理论讨论时,为了方便又不得不涉及无穷数列. 这些都是学习和掌握时间序列分析时, 首先要认清的起点.* 序列的分布 :回忆随机变量X的定义便知,它的特征被它的概率分布所确定. 同样, 随机序列也被它的概率分布所确定.不过, 随机序列的分布是无穷个随机变量的概率分布,其复杂性可以想得到. 这里为了避免涉及太深的概率论概念, 我们仅考虑最简单的特疏情况, 即XkN(mk,s2k), 它有密度fk(x)=(2ps2k)-1/2exp(x-mk)2/2

8、s2k而且(Xk+1,Xk+2,Xk+m)有联合正态分布. 于是有:* 期望(均值): EXk=òxfk(x)dx=mk,* 方差: Var(Xk)=E(Xk-mk)2=ò(x-mk)2fk(x)dx=s2k.* 自协方差: gkj=E(Xk-mk)(Xj-mj)=òò(x-mk)(y-mj)fkj(x,y)dxdy= E(Xj-mj)(Xk-mk)= gjk.回忆二元随机变量X和Y的协方差定义便可理解上式.* 平稳序列:一类重要的特疏随机序列.弱平稳序列: 如果 mk=m; gkj=gk-j=gj-k .严平稳序列: 如果 (Xk+1,Xk+2,Xk+

9、m)的分布与k无关!正态平稳序列: 弱平稳序列 严平稳序列!* 遍历性:一个重要性质-时间序列统计分析的基础.(与大数是律有关)(1/n)åk=1nXk ® EXk=òxfk(x)dx=mk, 当n®¥.(1/n)åk=1ng(Xk )® Eg(Xk)=òg(x)fk(x)dx, 当n®¥.3.2 白噪声序列: 什么是? 为什么叫? 有什么用?它是基楚性的随机序列,具体来说,e-1,e0,是相互独立相同分布的随机变量序列,且均值为零,方差为s2.(常用i.i.d.et表示) Eet=0, Eet

10、2=s2, Eetes=0,(t¹s)() (3.2.2) (3.2.3)因为, 当t¹s时gts=E(et-Eet)(es-Ees)=Eetes=EetEes=0=gt-s.为什么叫白噪声序列,在讲谱分析更能看清.它有什么用呢 ? 可以说,很多很多的随机序列都是通过白噪声序列的变化生成的!* 请看几个例子: 例1. Yt=a+bt+et, (确定函数+白噪声) mt=EYt=E(a+bt+et)=a+bt+Eet=a+bt, gkj=E(Yk-EYk)(Yj-EYj)=Eekej=EekEej=0,(j¹k) gkk=E(Yk-EYk)2=Eek2=s2. 例2

11、. Yt=et+a1et-1+a2et-2, (白噪声延迟的线性和) 例3. Yt=etet-1, (白噪声´白噪声延迟) 例4. Yt=et/(1+et-12). (白噪声+白噪声延迟的函数)l 一个有趣的问题: 是否用白噪声序列能生成所有的平稳序列 ? (回答是, 不能!)3.3 移动平均过程(滑动平均序列Moving Average-MA)* 移动平均过程定义的由来-概述:设ek为白噪声序列, 顾名思义, 滑动平均序列是:Yt=(et+et-1+et-m+1)/m, t=,-1,0,1,推而广之Yt=(q0et+q1et-1+qmet-m+1)/(q0+q1+qm), 更广之

12、Yt=m+q1et-1+qmet-m+1+et, ()或Yt=m+åi=0¥yiet-i. (线性序列) ()Yt=m+åi=-¥¥yiet-i. (线性序列,非现实)* 移动平均过程的特征:* 均值函数: EYt=m+åi=0¥yiEet-i=m. (By Eet-i=0) (*)* 自协方差函数:gkj=E(Yk-m)(Yj-m) (用上式)=Eåi=0¥yiek-i åi=0¥yiej-i = Eåi=0¥ås=0¥yiysek-iej-s

13、= åi=0¥ås=0¥yiysEek-iej-s(By Eek-iej-s=0,if k-i¹j-s) = åi=0¥yiyi+|k-j| Ee12 (By Ee12=s2)= s2åi=0¥yiyi+|k-j| = gk-j. ()*可见, ()式的Yt是平稳序列. 特别当ek为正态白噪声序列时, Yt也是正态平稳序列.还特别指出: 为保证()式可求和, 要求 åi=0¥yi2<¥. ()或者更强的要求åi=0¥|yi|<¥. (

14、)由此式可导出 åi=0¥|gi|<¥. ()此式能保证序列Yt具有遍历性.* 一阶移动平均过程(MA(1)Yt=m+qet-1+et, () 相当于()式中的 y0=1,y1=q,其它yi=0. 以此代入(*)和(3.3.13)式则有 EYt=m, ()g0=s2(1+q2), g1=g-1=s2q, gi=0, 当|i|>1时.() (3.3.4) (3.3.5)()式是一阶移动平均过程的基本特征!它表现为自协方差函数序列g0,g1,g2,在1以后是截尾的, 即g0,g1,0,0,0,.易见, 这一特征与g0和g1的具体取值并不密切, 所以,可用序

15、列的自相关函数表述.* 自相关函数: rk=gk/g0, k=0,1, ()这是因为rk=gk/g0=gk/g01/2g01/2=E(Yt+k-m)(Yt-m)/E(Yt+k-m)2E(Yt-m)21/2,它是Yt+k和Yt的相关系数, 依平稳性它与t无关, 但与k有关, 所以称函数, 又因是序列自身的关系, 所以称自相关函数.* 对于()的一阶移动平均过程而言, 由(3.3.4)和(3.3.5)知 r0=1, r1=q/(1+q2), 当k>1,rk=0. ()可见, 自相关函数在1以后全为零(截尾)是一阶移动平均过程的本质性特征!* 以上内容不难推广到* q阶移动平均过程:(MA(q

16、)(见p58-59)模型Yt=m+q1et-1+qqet-q+et, ()特征gk=0, rk=0, 当k>q. ()即,它的自协方差函数在q步以后截尾.关于g0, g1,gq的具体表达式为 g0=(1+q12+q22+qq2)s2, (s2=Eet2) ()gj=(qj+qj+1q1+qj+2q2+qqqq-j)s2,j=1,2,q ()注意, 以上()和(3.3.10)式, 表达了g0, g1,gq和参数q1,q2,qq2,s2的相互依赖关系! 但是, 除非q=1,一般很难求解. 况且, 它们的解还有不唯一性问题, 此问题方在3.7节中解答.例2(见p59).3.4自回归过程.(自回

17、归序列AutoRegression-AR)* 一阶自回归过程(AR(1) (相当于概述)* 实际背景:* 定义:Yt= c + fYt-1 + et , ()其中et是白噪声序列, 而且, et与Yt-1,Yt-2,独立!所以, 在文献中, et又被称为新息序列!* 求解: 由()式反复迭代有: (不妨叫反复迭代法) Yt=c+fYt-1 +et =c+f(c+fYt-2 +et-1)+et=c+fc+f2Yt-2 +fet-1+et=f2Yt-2+(c+fc)+(et+fet-1)=f3Yt-3+(c+fc+f2c)+(et+fet-1+f2et-2)=fnYt-n+(c+fc+fn-1c)

18、+(et+fet-1+fn-1et-n+1)®(c+fc+f2c+)+(et+fet-1+f2et-2) (当n®¥)=c/(1-f)+åk=0¥fket-k. ()* 平稳性: 显然, 上式成立的充分必要条件是:|f|<1. 即 fÎ(-1, 1)于是有名称: 区间(-1,1)为AR(1)模型的平稳域; ()式的解为AR(1)模型的平稳解; - AR(1)平稳序列; 它也是MA(¥)序列(见()式).* 均值函数:由()式和Eet=0,有 Yt=c/(1-f)=m. ()* 自相关函数: 在()式, 此时yj=fj,

19、 j=0,1,于是AR(1)的自协方差函数为 gk=s2fj/(1-f2)=fjg0, j=0,1, ()AR(1)的自相关函数为 rk=gk/g0=fj, j=0,1, ()* 模型推演方法:(不用()式)回顾模型AR(1)()式Yt=c+fYt-1 +et, 两边同取均值得m=EYt=Ec+fEYt-1 +Eet=c+fm Þ m=c/(1-f).在()式两边同减上式 m=c+fm 得 (Yt-m)=f(Yt-1-m) +et.记Wt=(Yt-m), 它是Yt的中心化序列! 它满足中心化的AR(1)模型 Wt=fWt-1 +et. ()以Wt-k(k³1)同乘上式两边,

20、 然后再同取均值得gk=EWtWt-k=fEWt-1Wt-k+EetWt-k=fgk-1, k=1,2, ()其中用到et与Wt-k独立,和Eet=0,即EetWt-k=EetEWt-k=0.由此可得 gk=fkg0.将Wt=fWt-1 +et两边平方后, 再同取均值得g0=EWt2=f2EWt-1 2+Eet2+2fEWt-1et=f2g0+s2Þg0=s2/(1-f2).记L为(一步)延迟算子(运算), 即Let=et-1,L2Wt=Wt-2,等等. 于是, Wt=fWt-1 +et 可写成Wt=fLWt +et 或者 Wt-fLWt =et 或者 (1-fL)Wt=et . (

21、)对上式进行形式上的代数运算可得 Wt=(1-fL)-1et=åk=0¥fkLket=åk=0¥fket-k.其中 (1-fL)-1=åk=0¥fkLk Û (1-fL)åk=0¥fkLk=1.以上推演方法, 不仅简便, 而且能推广到高阶情况!* 高阶推广:Yt=c+f1Yt-1+fpYt-p +et , ()m=c+f1m+fpm,Wt=f1Wt-1+fpWt-p +et ,记, , .则 Wt=f1Wt-1+fpWt-p +et 等价于 Zt=AZt-1+U et . (*)于是, 以上对模型AR(1

22、)的推演步骤都无困难地推广到以上p元一阶AR模型. 唯一的差别就是要用到矩阵运算. 例如, 类似于()式的解为 Zt=åk=0¥A kU et-k. (*)此时()式具有平稳解的充分必要条件是: A 的本征值的模都小于1, r(A)<1. (对比 |f|<1, r(A)是A的谱半径)我们所说的模型推演方法暂叙到此.* 二阶AR模型:(见p64-66)(概述其难点所在)模型: Yt=c+f1Yt-1 +f2Yt-2+et, Wt=f1Wt-1 +f2Wt-2+et, ()依前所述, 只要求得()式的解, 就不难获得AR(2)模型的个项特征量. 要获得(3.4.10

23、)式的解,就等价于求Wt的()式中的系数yj(0£j<¥). 如上所述, 我们有两种方法: 一是用()式反复迭法;(仿(3.4.2)式)一是算子的代数运算法;(求二元一阶AR模型的解)说实话,都不简单! 为什么? 请看若用()式反复迭法, 则有Wt=f1Wt-1 +f2Wt-2+et=et+f1(f1Wt-2 +f2Wt-3+et-1) +f2Wt-2 =et+f1et-1+(f12+f2)Wt-2+f1f2Wt-3=以下难于寻找 et-2, et-3,的系数的表示法. (难于寻找规律) 若用算子的代数运算求解()式, 此时 Zt=, A=,在用(*)式求Zt的表达式

24、时, 要求出Ak(k=1,2,), 同样难于寻找规律!究其根源在于: 此时()式可写为Wt-f1Wt-1 -f2Wt-2=et, ()记 F(L)=1-f1L -f2L2, 则()式又可写为 F(L)Wt=et, ()于是有解Wt=F-1(L)et=åj=0¥yjet-j (=Yt-m=Yt-cF-1(1)其中 F-1(L)=åi=0¥yiLj Û F(L)=åi=0¥yiLj=1式中的系数yj与F(x)=0的根有关, 而且只有当 F(x)=0的根都在单位圆外, 即F(x)¹0,对|x|<1.()()式才有平

25、稳解! 而且,一般难于给出yj的显示表达式! 对Ak而言也如此!注意AR(1)时只有一个实根;AR(2)时可能有两个不同的实根, 有一个的实的双重根, 有两个不同的但是共轭的复根.对于注重应用者, 更关心自协方差函数, 请看:将 Wt=f1Wt-1 +f2Wt-2+et 两边同乘 Wt-k , 再求均值可得EWtWt-k=f1EWt-1Wt-k+f2EWt-2Wt-k+EetWt-k 注意, 对于k³1时, EetWt-k=EetEWt-k=0, 于是有 gk=f1gk-1 +f2gk-2, k³1, 或者 ()gk-f1gk-1 -f2gk-2=0, k³1.

26、()当k=0时, 将Wt=f1Wt-1 +f2Wt-2+et 两边同乘Wt, 再求均值得EWtWt=f1EWt-1Wt+f2EWt-2Wt+EetWt =f1g1+f2g2+Eet(f1Wt-1 +f2Wt-2+et) =f1g1+f2g2+f1EetWt-1+f2EetWt-2+Eet2 (By EetWt-j=0,j³1)=f1g1+f2g2+s2. ()至此我们得到了()式和(3.4.25)式. 人们已注意到, (3.4.25)式也是二阶差分方程, 也难得显示解. 但是我们不关心它的解, 而关心g0,g1,g2和参数f1,f2,s2的相互依赖关系! 至于g3,g4, 它们被 g

27、0,g1,g2(或f1,f2,s2)唯一确定, 而且不被关注. 进一步而言, (3.4.29)式和(3.4.25)式中取k=1,2就唯一确定了g0,g1,g2和参数f1,f2,s2的相互依赖关系! 现写下这三个方程: g0=f1g1+f2g2+s2, g1=f1g0 +f2g1,g2=f1g1 +f2g0.将g0同除以上后两式的 r1=f1+f2r1, ()r2=f1r1 +f2. ()由此不难解出r1,r2与f1,f2的关系.其实,我们更关心f1,f2对r1,r2的依赖关系! 注意,()和(3.4.28)式联合起来, 称为(AR(2)的)Yule-Walker方程.* p阶AR模型:(见p6

28、6-68)模型: Yt=c+f1Yt-1 +fpYt-p+et, () 记Wt=Yt-m=Yt-c/(1-f1 -fp),Wt=f1Wt-1 +fpWt-p+et, ()Wt-f1Wt-1 -fpWt-p=et, F(L)Wt=et,F(L)=1-f1L -fpLp.平稳条件: F(x)=0的根都在单位圆外, 即F(x)¹0,对|x|<1.()Y-W方程:rt=f1rt-1 +fprt-p, t=1,2, ()若记 f=(f1,f2,fp)t, r=(r1,r2,rp)t, 再记 R=则 由()式可得 Rf=r. ()有解f=R-1r. ()* 偏相关函数: 若将()中的p用k

29、代替, 并记相应的记号为f(k)=(f1k,f2k,fkk)t, r(k)=(r1,r2,rk)t和R(k),则有f(k)=R-1(k)r(k), k=1,2, ()* 序列fkk:k=1,2,为偏相关函数列.请注意, rk是Wt+k和 Wt的相关系数,而fkk是在已知Wt+1,Wt+2,Wt+k-1条件下, Wt+k和 Wt的相关系数. 粗略地说, 在扣除Wt+1,Wt+2,Wt+k-1的影响后, Wt+k和 Wt的相关系数.可以证明, 对于平稳AR(p)序列而言, 偏相关函数列在p以后都为零, 也称截尾, 即fkk:k=1,2,=f11,f22,fpp,0,0,. (*)3.5自回归滑动平

30、均过程:(ARMA(p,q)讨论ARMA(p,q)模型时, 用多元化的方法并不方便, 常用的方法是延迟算子的方法. 具体如下:* ARMA(p,q)模型:Yt=c+f1Yt-1+fpYt-p+q1et-1+qqet-q+et. ()Yt-f1Yt-1-fpYt-p=c+et+q1et-1+qqet-q记F(L)= 1-f1L-fpLp ; Q(L)= 1+q1L+qqLq ;于是()式可写成 F(L)Yt=c+Q(L)et, ()上式有解 Yt=F-1(L)c+F-1(L)Q(L)et, =m+y(L)et. 其中m=c/(1-f1-fp) (书中有此式,但无编号)=cF-1(1)y(L)et

31、=F-1(L)Q(L)et=(åk=0¥jkLk)Q(L)et =åk=0¥ykLket=åk=0¥yket-k=Wt.于是()(或(3.5.2)有解Yt=m+Wt=m+åk=0¥yket-k. (*)中心化的ARMA模型为F(L)Wt=Q(L)et, ()Wt=F-1(L)Q(L)et.关于ARMA(p,q)模型的特性, 能说些什么呢 ? 它的自相关函数和偏相关函数都不截尾, 可以说, 正因为都不截尾,就不得不考虑引入ARMA(p,q)模型.当然也不是无条件的, 细究起来要读第5章. 在此, 我们仅介绍以下性质.

32、* ()有平稳解的条件:F(x)=0的根都在单位圆外, 即F(x)¹0,对|x|<1.()* 自协方差序列的尾部特征: 将()两边同乘Wt-k(k>q), 再取均值得E(Wt-f1Wt-1-fpWt-p)Wt-k=E(et+q1et-1+qqet-q)Wt-k即有gt-f1gt-1 +fpgt-p=0, t=q+1,q+2, ()很有趣, 虽然ARMA(p,q)序列的自协方差序列不截尾, 但是它的线性组和序列gt-f1gt-1 +fpgt-p确在q步后截尾. 由此既可给出此模型的判别依据, 又可找到g0,g1 ,gp+q和参数f1,f2,fp,q1,q2,qq,s2的依赖

33、关系.(见第5章)3.6自协方差生成函数(谱表示)(移至第6章)3.7可逆性:* 先举两个例子,首先看Wt=et+(1/2)et-1 (*)其中et为正态白噪声,即 etN(0,s2). 于是有EWt=0, EWt2=s2+(1/2)2s2=(1+(1/4)s2=(5/4)s2,g1=EWtWt-1=E(et+(1/2)et-1)(et-1+(1/2)et-2)=(1/2)s2.再考查另一模型Zt=ht+2ht-1, (*)其中ht为正态白噪声,即 htN(0,s2/4), 即,Eht2=sh2=s2/4, 于是有EZt=0, EZt2=sh2+4sh2=5sh2=(5/4)s2,g1=EZtZt-1=E