时间序列分析-第二章 自回归模型[高等教学]

1、第二章 自回归模型 本章目录本章目录 推移算子和常系数差分方程 自回归模型及其平稳性 序列的谱密度和Yule-Walker方程 平稳序列的偏相关系数和Levinson递推公式 序列举例 )(pAR )(pAR 1专业课专业课 2.1推移算子和常系数差分方程 一.推移算子 对任何时间序列 和无穷级数 只要级数 在某种意义下收敛，就定义 并称B是时间t的后向推移算子，简称推移算子。 推移算子有称为时滞算子或延迟算子，推移算子的性质： （1）对和t无关的随机变量Y有BY=Y， （2） （3） t X( ) j j j zb z jtj j b X ( ) ( ) j j j j tjtjtj jj

2、b XbXb X () nn ttt n BaXaB XaX () n mnm ttt n m BXBBXX 2专业课专业课 （4）对多项式 （5) 对多项式 的乘积 有 (6) 对时间序列 ， ,多项式 和随机变量U,V,W有 00 ( )( ) pp jjtjtj jj zc zB Xc X 有 0 ( ) p jj jj j zc zz 和 (z)=d ( )( )A zz(z) ( )( )( ) ttt A B XBXB X(z)(B) t X t Y 0 ( ) p jj j zc z ( )()( )( )(1) tttt B UXVYWUB XVB YW 3专业课专业课 二.常

3、系数齐次线性差分方程 给定p个实数 ,我们称 为p阶齐次常系数线性差分方程，简称齐次差分方程。 满足上式方程的实数列称为它的解， 满足上式的实值（或复值）时间序列也成为它的解。 上式的解可以由p个初值逐次递推得到 若初值是随机变量则递推得到的是时间序列。 12 ,0 pp a aa a 1122 0, tttptp Xa Xa Xa XtZ 1122 112211 , 1 ,0 tttptp tptttptp p Xa Xa Xa Xtp XXa Xa XaXtp a 4专业课专业课 用推移算子把差分方程写成 称为差分方程的特征多项式。 解有线性性质： 和Y t 是解，则 也是解。 差分方程的

4、基础解：设多项式A(z)是k个互不相同的零点 ， 其中z j是r(j)重零点。 可以证明对每个z j有 1 ( )0,( )10,1 p j tj j A B XtZA za zz 其中 ( )A z t X+ tt XY 12 , k z zz ( )0,0,1,2,( ) 1 t j A B t zlr j 5专业课专业课 证明:设A(z)有分解 则有 1( ) 1 1( ) 1 ( )(1) ( )(1) k r j j j k r j j j A zz z A Bz B 6专业课专业课 齐次线性差分方程的通解 定理1.1 设A(z)是k个互不相同的零点 其中z j 是r(j)重零点。则

5、 是（1.2）的p个解，而且（1.2)的任何解都可以写成 这p个解的线性组合 （1.7） 其中的随机变量 可以由 的初值唯一决定，（1.7）称为 齐次线性差分方程（1.2）的通解。 12 , k z zz ,0,1,2,( ) 1,1,2, t l j z tlr jjk ( ) 1 , 10 , r jk t tl jj jl XU t zt Z , l j U t X 7专业课专业课 差分方程（1.2）的实值解可以表示为 可以由初始值唯一决定。 通解的收敛性 如果差分方程的特征多项式A(Z)的根都在单位圆外： 取 于是方程的任意解满足 称Xt以负指数阶收 敛到0. ( ) 1 , 10 c

6、os(), r jk t l jjjj jl V ttt Z , , l jl j V 1,1,2,( )0,1 j zjkA zz 或 1min:1,2, (/)() j lltt jj zjk t ztzo 则 () . ., t t Xoa s t 8专业课专业课 通解不收敛的情形 如果特征多项式有单位根，则方程有一个周期解 如果单位圆内有根，则方程有一个爆炸解 cos(), tj Xt tZ 1 ()cos(), tj j Xt tZ 9专业课专业课 非齐次线性差分方程及其通解 设Yt为实值时间序列 （1.10） 满足（1.10）的时间序列称为（1.10）的解。 如果有（1.10）的某

7、个解，则通解可以写成 ( ), tt A B XY tZ ( ) 1 (0) , 10 , r jk t ttl jj jl XXU t zt Z 10专业课专业课 2.2 自回归模型及其平稳性 例子： 单摆的120个观测值(a=-0.35) 020406080100120 -4 -2 0 2 4 6 8 11专业课专业课 单摆的120个观测值(a=-0.85)： 020406080100120 -8 -6 -4 -2 0 2 4 6 8 12专业课专业课 单摆的10000个观测值(a=1)： 010002000300040005000600070008000900010000 -80 -60

8、 -40 -20 0 20 40 60 80 100 13专业课专业课 单摆的120个观测值(a=-1.25)： 020406080100120 -4 -3 -2 -1 0 1 2 3 x 1012 14专业课专业课 模型 定义2.1（ 模型） 如果 是白噪声WN(0， ),实数 使得多项式A(z)的零点都在单位圆外 则称P阶差分方程 是一个p阶自回归模型，简称为 模型 )(pAR )(pAR t 2 12 ,0 pp a aa a 1 ( )10,1 p j j j A za zz 1 , p tjtjt j Xa XtZ )(pAR 15专业课专业课 满足 模型(2.5)的平稳时间序列称为

9、（2.5）的平稳解或 序列 称 为 模型的自回归系数。 称条件（2.4）是稳定性条件或最小相位条件。 A（z）称为模型（2.5）的特征多项式。 的平稳解 设多项式A(Z)的互异根是 取 从而有泰勒级数 )(pAR)(pAR 12 ( ,)T p aa aa)(pAR )(pAR 2 10t 0, WN(0,xx 生成） 1min j z 1 0 tjtj j XA t （B) 16专业课专业课 令 如果Xt是（2.6）的平稳解，则 由此可见平稳解如果存在必然为 称为平稳序列的Wold系数。 1 0 ) j j j AB （B 11 ( ) ( )( ) ttt XAB A B XAB 1 0

10、( ) ttjtj j XAB 17专业课专业课 Wold系数的推导 0 ( ) j j j A za z 0 记a =-1则 1 00 ( )( )() p m jmj mj A z Azaz 1= 1 =,1,2.0 p mmj j am 于是，m0 1 =,1,2. p mmj j am 于是 18专业课专业课 AR(p)的平稳解及通解定理 定理2.1 （1） 由（2.9）定义的时间序列是AR(p)模型 （2.5）的唯一平稳解。 （2）AR(p)的模型的通解有如下的形式 (-1 , 010 , r jk t tjtjl jj jjl YU t ztZ ） 19专业课专业课 引理2 设实系

11、数多项式 且满足最想相位条件 则存在0使得 1 ( )10,1 p j j j A zzz 1 0 1 ,1 ( ) j j j Azz A z （z) 20专业课专业课 定理2.1的证明 21专业课专业课 通解与平稳解的关系 AR()的通解Yt与平稳解有如下关系 可以用此事实作为模拟产生AR()序列的理论基础。 (-1 , 10 (), . . 1min r jk tt ttl jj jl j YXU t zoa st z ） 其中 22专业课专业课 AR序列的模拟 取 迭代得到 取 n0取50即可，但特征根接近单位圆是要取大的n0 2 10t 0, WN(0,xx 生成） ,1,2,tn

12、0 tt+n y =x 23专业课专业课 AR(p)模拟(AR(4) 01020304050607080 -6 -4 -2 0 2 4 6 24专业课专业课 01020304050607080 -3 -2 -1 0 1 2 3 4 25专业课专业课 2.3 AR()序列的谱密度和Yule-Walker方程 AR()序列的谱密度 由线性平稳列的谱密度公式得到平稳解的谱密度 如果A(Z)有靠近单位圆的根 则 会接近于零，造成谱密 度在 处有一个峰值。 2 2 0 2 2 ( ) 2 1 ( ) 2 () ij j j i fe f A e j i je () j i A e j 26专业课专业课

13、22 00 1 01 1min ,( ()() j j kjj kjl jjl k k l kl k zo cc 设则）有 即 为复指数衰减。 Xt序列前后的相关减少很快，称为时间序列的短记忆性。 k 27专业课专业课 自协方差函数 因为AR()的平稳解为 由线性平稳性质知道Xt为零均值，自协方差函数为 1 0 tjtj j XA t （B) 2 0 (),0,1,2. kt ktjj k j E XXk 28专业课专业课 谱密度的自协方差函数 谱函数的定义是满足 是非负可积函数。 利用公式计算 - =e( )d ik k f k - 2 l(l-j) - j=00 2 l(l-j-k) j=

14、00 2 0 =e( )d ed 2 ed 2 ik k jl l jl l jj k j f 29专业课专业课 定理3.1 如果平稳序列Xt的自协方差函数k绝对可和： 则 Xt有谱函数 （3.4） 由于谱函数是实值函数，所以（3.4）还可以写成 k 1 ( ) 2 ik k j fe 0 1 11 ( )cos()2cos() 22 kk kk fkk 30专业课专业课 31专业课专业课 32专业课专业课 推论3.2 AR(）的平稳解序列Xt有谱密度 Yule-Walker方程 对np,把 的递推时写成矩阵形式的 2 2 11 ( ) 22 () j ik k i k fe A e 11 ,

15、 ttt n XXX 12 1111 12311 ,1,2,12 (,.)( ,.,0,.0) tttt nt ttttnt n t nt nt ntt n TT nnnn np XXXX XXXX a XXXX aaaaa aa 其中 33专业课专业课 定义Xt的自协方差矩阵 在上式中两边同时乘上Xt-1后取得数学期望，利用Xt 与未来输入的不相关性有 0111 1022 120 = n n nn nnn 和 n 1122 =a , .,1 ( )0,1 nn kkkpkp k np aaak A Bk 34专业课专业课 22 0 1 2 1 2 2 () () p tjtjt j p jt

16、jt j T nnn T nn EXEa X Ea XE aa a 对 有 于是可以写成AR(）序列的自协方差函数Y Yule-Walker 方程 定理3.3（ Y Yule-Walker方程） AR(）序列的自协方差函数满足 0 2 n0 =a ,=, T nnnn anp 35专业课专业课 自协方差函数的周期性 对k0,定义 推论3.4 AR(）序列的自协方差函数 满足和AR(）模型 相应的差分方程 证明： 0 k k ( ) tt A B X 2 011221 1 .), nnnnk YaaYa YaYkZ 1122 t-k 0 2 0 (.) () () kkkpkp t ktj tj

17、t kjt j k k aaa E XXa X E XE p tj j=1 时即定理结论。k0, 36专业课专业课 例子：AR(4）模型1 周期为2/(/3)=6和2/(2/3)=3 AR(4）模型2 AR(4）模型3 /32/3 1234 ,1.09,1.098 ii z zez ze /32/3 1234 ,1.26,1.273 ii z zez ze /32/3 1234 ,1.635,1.647 ii z zez ze 37专业课专业课 AR(4)模型1的谱密度 00.511.522.533.5 0 0.5 1 1.5 2 2.5 lamda=1.1 lamda=2.07 38专业课专

18、业课 0510152025 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 39专业课专业课 AR(4)模型1、2、3的谱密度 00.511.522.533.5 0 0.5 1 1.5 2 2.5 40专业课专业课 0510152025 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3 41专业课专业课 自协方差函数的正定性 AR(）平稳解唯一故自协方差函数自回归系数和白噪声唯一 决定。 反之，若 正定，则根据Yule-Walker方程可以从 解出AR(）模型的自回归系数和白噪声的方差 其中 许多自协方差矩阵是正定的，特别AR(）序列的自协方差矩 阵总是正定的

19、。 p 12 , p 2 12 , p 121 0 , pppppp 42专业课专业课 定理3.5 设 是平稳序列Xt的n阶自协方差矩阵， 。 （1）如果Xt的谱密度 存在，则对 正定； (2) 如果 ，则对 正定。 证明：（1）对 至多有n-1个零点。 ，于是 n 0 0 f（ ） 1, n n 1, n n lim0 k n 1 12 1 ( ,) , n Tj nj j bb bbb z 0 ( )0fd 1 ( )0 n Tij nj j bbb efd 43专业课专业课 44专业课专业课 45专业课专业课 46专业课专业课 47专业课专业课 推论3.6 线性平稳序列的自协方差矩阵总是

20、正定的。 定理3.7 设离散谱序列Xt在第一章的定义，如果它的谱函数 恰有n个跳跃点，则 正定， 退化。如果 有无穷 个跳跃点，则对任何 正定。 n 1n 1, n n ( )F 48专业课专业课 时间序列的可完全预测性 对于方差有限的随机变量 ，如果有不全为零的 常数 ,使得 则称随机变量 是线性相关的，否则是线性无关的。 线性相关时，存在常数b0使得 成立。 Yn可由 线性表示 称Yn可以由 完全线性预测。 12 , n XXX Y 12 , n Y YY 12 , n b bb 2 0 1 0 n jj j Eb Yb 0 1 , . . n jj j b Yb a s 121 , n

21、Y YY 011221 1 . nnnn YaaYa YaY 121 , n Y YY 49专业课专业课 n k n t X 定义4.1 设 和 分别是平稳序列 的自协方差函数和n 阶自协方 矩阵， 由（3.8）定义，方程组 称为 的n阶Yule-Walker方程，其中的 称为 的n阶Yule-Walker系数。 下面的定理说明对于一般的平稳序列，p阶Yule-Walker系数 是否满足最小相位条件。 nnn a ,1,2, (,.)T nnnn n aaaa k k 2.4 平稳序列的偏相关系数和Levinson递推公式 50专业课专业课 定理4.1 如果实数 使得 正定，则有定义4.1定定

22、义的Yule-Walker系数满足最小相位 条件 ,0,1,2, k kn 011 102 1 120 n n n nn , 1 10 n j n j j az 51专业课专业课 最优线性预测 设 是随机变量。考虑估计问题 称 为Y关于 的最优线性估计。 是Y关于 上的投影。 12 , n XXX Y 2 12 (|,)argmin() n L Y XXXE YY 12 (|,) n L Y XXX 12 , n XXX 12 (|,) n L Y XXX 12 (1,) n LXXX 52专业课专业课 为了更快的计算Yule-Walker系数，通常采用下面的递推公式。 定理4.2（Levin

23、son递推公式）如果 正定，对 有 1n 1kn 2 00 1,110 222 1, 1,11,2, 1,1 01,12,2, 1,1,1 / (1) kkk k kkkkkkk k kk kkkk k kjk jkk a a aaa a aaa aaaa 53专业课专业课 偏相关系数 定义4.1 如果 正定，称 为 或 的n接偏相关系数。 设Xt是AR(）序列。其自协方差函数正定。 由Yule-Walker方程知其n阶Y-W系数为 其偏相关系数满足 称为偏相关系数P步截尾。 n t X k ,n n a ,1,2,12 (,.)( ,.,0,.0) , TT nnnn np aaaaa aanp , 0, 0, p n n anp a np 54专业课专业课 反之，如果一个零均值平均列偏相关系数p步截尾，则它必是 AR(）序列。 偏相关截尾隐含要求自协方差列正定。 下面一个定理告诉我们这个平稳序列一定是AR(）序列。 55专业课专业课 定理4.3 零均值平稳序列Xt是AR(）序列的充分必要条件是， 它的偏相关系数 p步截尾。 证明只要证明充分性。记 令 ，只要证明 是白噪声。 最小相位由定理4.1给出。 ,n n a ,1,2,12 (,.)( ,.) TT pppp pp aaaaa aa tj X