时间序列分析 时间序列PPT学习教案

1、时间序列分析时间序列分析 时间序列时间序列12,XX1,23,nx xxxn第1页/共75页, 2 , 1, tRSTXtttt 趋势项 ，季节项 ，随机项注：1.单周期季节项： 只需要 且可设 2.随机项：可设 3.tTtStR()( ),S tsS tt1 ,2,SSSS10sjjS0,tERttsttttttXT SRXTS R第2页/共75页分解方法: 1.趋势项估计 （1）分段趋势(年平均)（2）线性回归拟合直线（3）二次曲线回归（4）滑动平均估计tT第3页/共75页2.估计趋势项后,所得数据由季节项和随机项组成, 季节项估计可由该数据的每个季节平均而得.3. 随机项估计即为tS方法

2、一：分段趋势法方法一：分段趋势法1 趋势项（年平均）ttTX 第4页/共75页ttTX 第5页/共75页tS第6页/共75页.24, 2 , 1,tSTxRtttt第7页/共75页.24, 2 , 1,9 .211 .5780ttTt2421111,),(.24, 2 , 1,21YxxxXtbtaxTttYXYYbaTT1)(), (第8页/共75页第9页/共75页ttTX 第10页/共75页24, 2 , 1,tSt第11页/共75页.24, 2 , 1,tSTxRtttt第12页/共75页YXYYcbaTT1)(),(26 . 10 .175 .5948ttxt24, 2 , 1,2tc

3、tbtaxtt第13页/共75页第14页/共75页第15页/共75页05101520253030003500400045005000550060006500第16页/共75页第17页/共75页051015202530-1000-800-600-400-2000200400600800第18页/共75页0204060801001201401601802001616.51717.51818.5第19页/共75页020406080100120140160180200-1-0.500.511.5一阶差分1,2197tttyxxt 第20页/共75页三 时间序列和随机过程 设 是实数 的子集，如果对每个

4、t属于T，都有一个随机变量 与之对应，就称随机变量的集合 是一个随机过程。 当T是全体整数或全体非负整数时，称相应的随机过程为随机序列。 把随机序列的指标集合T看成时间指标时，这个随机过程就是时间序列。 当T是全体实数或全体非负实数时，相应的随机过程称为连续时随机过程。 如果把T认为时间指标，连续是的随机过程就是连续的时间序列。 (,)R tX,ttXX t第21页/共75页一 平稳序列 定义 如果时间序列 满足 （1） 对任何的 （2） 对任何的 （3） 对任何的 就称是 平稳时间序列，简称时间序列。称实数 为 的自协方差函数。 平稳序列中随机变量 的均值为 ，方差为 都是和t无关的常数。

5、协方差结构的平移不变性是平稳序列的特性，所以平稳序列是二阶矩平稳序列。:ttXXtN2,ttN EX ,ttN EX, ()()tst st sN E XXtXtX ttXtEX2var()()ttXE X第22页/共75页（1）对称性： 对所有的K成立。（2）非负定性：对任何的 ，n阶自协方差矩阵 是非负定的矩阵。（3）有界性： 对所有的k成立。 满足上述性质的实数列都称为非负定序列。kknN011122, 1120()nnnnk j k jnn 0k第23页/共75页Tnaaa),(21n0 )()(211111 niiininjjijininjjijinTXaEXXaaEaa第24页/共

6、75页22()E XYEX EY为证明有界性，我们先介绍一个常用的不等式.引理 (Schwarz不等式） 对任何方差有限的随机变量X和Y,有证明 不妨设 ,关于a的一元 于是，判别式 取 时，有界性有Schwarz不等式得到： 20EX222()2 ()()0E XaE XYEYE aXY22224( ()40E XEX EYtYtX221 1110()kKkE YYEYEY第25页/共75页线性相关性定义： 自协方差矩阵退化的充分必要条件是存在非零的n维实向量 使得 这时我们称随机变量是线性相关的。 Tnaaa),(211var()0niiia X自相关系数 定义：设平稳序列 是标准化的序列

7、 ， 的自协方 差函数 称为平稳序列的自相关系数。 tX tY tY0/,kkkZ第26页/共75页最简单的平稳序列是白噪声，它在时间序列分析中有特殊的重要地位。定义（白噪声） 设 是一个平稳序列，如果对任意的称 是一个白噪声，记做 当 是独立序列时，称 是独立白噪声； 当 时，称为零均值白噪声； 当 称为标准白噪声。 t, s tN2,cov()0,ttstsEts t2( ,)WN t t020,1第27页/共75页例2.3 Poisson过程和Poisson白噪声如果连续时的随机过程满足（1） ，且对任何的ts0和非负整数k，（2）N(t)有独立增量性：对任何n1和 随机变量 相互独立，

8、则称N(t)是一个强度为的Poisson过程。 数学期望和方差分别为 (0)0N( ()( )( )exp(),!ktsP N tN sktsk其中 是正数010nttt1( )(),1,2,3,jjN tN tjn( ),var( )E N ttN tt第28页/共75页定义：满足上面三个条件称为Poisson白噪声。 ave 表示的样本均值，std表示样本的标准差。下面的例子是Poisson白噪声的60个样本。 (1),1,2,nN nN nn（10(2)var(3) nnnE（）是一个独立的白噪声第29页/共75页第30页/共75页0102030405060-1-0.500.511.52

9、2.533.54第31页/共75页0102030405060-1-0.500.511.52第32页/共75页第33页/共75页 设X和Y是方差有限的随机变量，如果E(XY)=0，就称X和Y是正交的，如果c o v(X,Y）=0，就称X和Y是不相关的。 定义 对于平稳序列 和 ， （1） 如果对任何的 s, t Z, ，则称 和 是正交的； （2 ）如果对任何的 s, t Z， ，则称 和 是不相关的。定理2.2 设 和 分别是平稳序列 和 的自协方差函数， 记 定义 tXt Y()0tsE XY tXt Ycov()0tsX YtXt Y( )Xk( )YktXt YxtytEXEY和t,tt

10、ZXY tZ第34页/共75页（1）如果 和 正交，则 是平稳序列，有自协方差函数 （2）如果 和 不相关，则 是平稳序列，有自协方差函数 证明：（1）当 和 正交，利用cov(X,Y)=E(XY)-E(X)E(Y)得到 （2）由上面的推导 得到。 tXtXt Yt YtZtZ( )( )( )2,0,1,2,ZXYXYkkkk ( )( )( ),0,1,2,ZXYkkk ktXt Ycov(,)ov(,)cov(,)cov( ,)cov(,)cov( ,)()()()()2tstssttstststsXYtstsXYXYZ ZcXY XYXXY YX YY XtstsEX EYEYEXts

11、ts cov(,)cov( ,)0tstsX YY X第35页/共75页 :tttZ20110,qtjtjttqt qjXaaaatZ t200,00,tq kjj kjt kttEXa akqEXXkqX平稳第36页/共75页)2 , 0(,*85. 0*36. 0221WNXttttt0102030405060708090100-8-6-4-202468例：第37页/共75页概率极限定理： 定理 （单调收敛定理） 如果非负随机变量序列单调不减： 则当 时，有对于任何时间序列 ，利用单调收敛定理得到 定理 （控制收敛定理）如果随机变量序列 满足 和 时，则当 时， 并且 120,naslim

12、nnEElim ntttnttntEYEYE Yt Y,nas n0. .nas0E E nEE第38页/共75页定义：如果实数列 满足 则称 是绝对可和的。对于绝对可和的实数列 ，定义零均值白噪声 的无穷滑动和如下 ，则 是平稳序列。下面说明 是平稳序列。 由 Schwarz不等式得到于是Xt右边的无穷级数是a.s.绝对收敛的，从而是a.s.收敛的。 由于 所以用控制收敛定理得到 现对t,s Z，定义 jajja ja tja,tjtjjXatZtXtXjtjjtjjjjjEaa Ea njtjjtjjnjaalim 0njtjnjnEXEatXtX第39页/共75页,nnnjtjnks k

13、nnjnknnnjktjs kjkaaVa a ts,则X X a.s.,并且利用公式可以知道 所以由控制收敛定理得到这就说明了 是平稳序列 22jktjs kjjkjEVa a Ea 2()()lim()lim()nntsnnjktjs knnjn jnjjt sjE X XEa a Ea a tX第40页/共75页. 02|2/|2/12222/|2/12222/|2/12222/|2/|222kjkjjjkjjjjkjkjjjkjkjkjjkjjjkjjkaaaaaaaaaaaak定理：设 是WN(0， ),实数列 平方可和，线性平稳序列 由上述 定义，则自协方差函数 t2jatX第41

14、页/共75页 对序列 进行滑动求和：称为对 进行线性滤波。其中决定可和的 称为一个保时线性滤波器。 如果输入信号 是平稳列则输出 也是平稳列。期望协方差函数tXtX,tjtjjYh XtZ jhtXt Y1111,( )cov(,)()()Ynjknjkj kjkn kjj knYYh h E XXh h =YtjtjXjjjEYh EXh第42页/共75页cos(),(,2 ), ttttttXSbtUtZUUU零均值平稳，与独立。信号St方差 ，噪声方差 ，信噪比2/2b222/(2)b0102030405060708090100-2-1012345678第43页/共75页)2/sin()

15、2/sin()2/sin(21)2/sin()cos()cos()cos()(cos(MjjjUtjbUjtbMjMjMjMjMjMjMjMj121sin(0.5)cos()(21)sin(/ 2)MttjjMtYXMbMtUM 第44页/共75页0102030405060708090100-4-3-2-101234第45页/共75页一.随机向量的数学期望和方差 矩阵随机向量 期望 随机向量 ，则X的协方差矩阵 协方差矩阵的计算公式 随机向量线性变换 ,()i jm nXX,()()i ji jEXEX12(,)TnXXXX,cov(,)()() ()TXi jX XE XXcov(,)()(

16、) ()() ()TTTXX XE XXE XXE X E X,( )TXYaBXEYaBEX Var YBB则第46页/共75页如果存在m维常数列向量，mn常数矩阵B和iid的标准正态随机变量 使得Y= +BX,则称随机变量 服从m维正态分布。这时EY= , =Var(Y)= Y的特征函数为 这是多维正态分布的等价定义。 记YN(, ) 12,nXXX12( ,)nYY YYTBB1( )exp2TTYtittt第47页/共75页定理 4.1 的充要条件是对任何 12=(,) ( , )TnN 12a=(a ,),(,)TnTTTnaaRYaN aaa有二.正条平稳序列 定义：对于时间序列

17、，如果对任何n 1和 有 服从多元正态分布，则称 为正态时间序列 特别当 还是平稳序列时，又称为正态平稳序列。 tXtXtX12, ,nt ttZ12( ),( ),( )nX tX tX t第48页/共75页定理4.3 如果正态序列 ,依分布收敛到随机变量 则定理4.4 如果 服从WN(0， )，实数列绝对可和，则有 定义的平稳序列时零均值正态序列，自协方差函数(3.5)给出。 证明：下证为正态序列，先证对任何 ,有其中 ,nnN (,var( ),var()var( )nnN EEE）并且 t2,jtjjXatZNm)9 . 4(), 0(),(21mTmNXXXXjijjimmkjmaa

18、2,)(第49页/共75页Tmbbbb),(21n0|)(|kkXnE0|)(|)(|)(|11mkkkkmkkkknnXbEnXbEYE11()mTkkkmnkkkYbXb Xbn第50页/共75页Yn).,(VarYEYNYbbVarYEYmT , 0Nl)10. 4(), 0(),(21mTlmllNXXXXjijjimmkjmaa2,)(第51页/共75页定义：设 是时间序列。如果对任意正整数n和k，随机变量同分布，就称 是严平稳序列。特征是分布平移不变 性：对任何固定的k，时间序列 和 同分布。严平稳和宽平稳的关系：1.二阶矩有限的严平稳为宽平稳。 2.宽平稳一般不是严平稳。 3.正

19、态平稳列既是宽平稳也是严平稳。 4.平稳序列 到 宽平稳序列 到 弱平稳序列。 5.严平稳序列到强平稳序列。 :tXtN:tXtN121(,)TnkXXXT2+kn+k和(Y,Y,Y):tXtN:t kXtN第52页/共75页遍历性：1.时间序列一般只是一条轨道。 2.要用时间序列 的一次实现推断 的统计性质。 遍历性可以保证从一条轨道可以推断整体的统计性质。 如果严平稳序列是遍历的，从他的一次实现就可以推断出这个严平稳的所有有限维分布:有遍历的严平稳序列被称为严平稳遍历序列。tXtX121122( ,)(,),nnnF x xxP Xx XxXxmN第53页/共75页定理5.1 如果 是严平

20、稳遍历序列，则有如下的结果： （1）强大数律：如果 则 （2）对任何多元函数 是严平稳遍历序列. 下面的定理在判断线性平稳序列的遍历性时时十分有用的。定理5.2 如果 是独立同分布的WN(0, )实数列 平方可和, 则线性平稳序列 是严平稳序列的。tX1E X 111lim, . .ntntXEX a sn1212( ,),(,)mtttt mx xxYXXX ,jtjjXatZja t2第54页/共75页一.Hilbert空间 设 是平稳序列，令所以 是一个线性空间。 tX21()( )|,1,kjjjjjL Xa X taR tZjk kN22222, ,(), ,1(),()()(2)0

21、(),0,()0()(3) ()(),(), ()()X Y ZL Xa bRXYYXL XXYZXYZL XXX XXL Xa XYaXbYL Xab XaXbY a bXab X 有（）2()L X第55页/共75页在线性空间上定义内积， 则有所以 是内积空间，在任何内积空间中都有Schwarz不等式令距离 则有 ,()X YE XY ,=,X YY XaXbY Za X Zb Y Z ,0,00X XX XX 并且当且仅当，a.s.2()L X12,X YX XY Y 12(,)XYXY XY 0=0, . .XYYXXYXY a s并且当且仅当第56页/共75页三角不等式：这样 又称为

22、距离空间，不难看出在任意的内积空间上都可以定义距离，是它自然成为距离空间。如果 也是内积空间和距离空间， 是 的子空间。 定义6.1 对 ： (1)如果 ,则称 在 中收敛到 （2)如果当 时， 则称 是 中的基本列或Cauchy列。 XYXZZY2()L X2:LX EX 2()L X2L220,nLL0lim0nn2Ln0 n0nm,m n 2L第57页/共75页完备的内积空间：每个基本列都是极限在空间内的内积空间。 又称Hilbert空间。 是Hilbert空间。用 表示 中包含 的最小闭子空间则 是Hilbert空间，称为由平稳序列 生成的Hilbert空间。二.内积的连续性 定理（内

23、积的连续性） 在内积空间中，如果证明(1)由三角不等式得到。 2L2L2()L X2()LX2()LXtX0,0nn ，则有(1)(2),nnn nnnn和第58页/共75页（2）有Schwarz不等式得到例： n维Hilbert空间 是线性空间，定义内积 ，则为内积空间。 是完备的内积空间。 为欧氏模 ,nnnnnnnnnnn nRnR,Ta ba b Taaa第59页/共75页例2 设 是零均值的平稳列， ，则它的线性组合全 体构成的内积空间 是Hilbert空间称为有X生成的Hilbert空间。实际上， 是线性空 间和内积空间下面我们来证明的完备性。 证明：先设 是标准的白噪声WN(0，

24、1),对任何的线性组合 只要 由例1知道有 使得 当 取 时 于是 是完备的tX12(,)TnXXXX1,:TnnnLsp XXa X aRnLtXTnna X2TTnmnma Xa X2Tnmnm=(a -a )(a -a )02nTnn=(a -a)(a -a)0naR0naaTa Xn nL第60页/共75页 对一般的零均值的平稳序列，可以设协方差阵 的秩是m, mn有非退化矩阵B使得Y=BX有协方差矩阵于是 且 为WN(0，1)的一段，由知道 为 线性组合，从而是完备的。三.复值时间序列 复随机变量：如果X和Y 是随机变量，称Z=X+iY是复随机变量。 如果EX和EY都存在，称Z=X+

25、iY 的数学期存在,并且EZ=EX+iEY 二阶矩有限的复随机变量：如果 就称为Z的二阶矩有限 随机变量。 ()TE XX (1,1,1,0,0)TYB Bdiag 12( ,),0,0)mYY YY12,mY YY1XB Y12( ,)mY YYnL222E ZEXEY 第61页/共75页 按时间次序排列的复值随机变量的序列 称为复时间序列。 如果复时间序列 满足就称 是一个复值平稳序列，称 是 的自协方差函数。 当 ，称 是一个复值零均值白噪声。 nZnZnZnZnZ,()(), ,nn mnmEZE ZZn mZ k2, ,nmn mE Z Zn mZ 第62页/共75页1.时域和频域

26、遍历的时间序列可以从延的时间分布进行统计分析，称为时域分析。 平稳时间序列的二阶性质也可以从其频率分解来研究，称为频域分析。2.谱函数和谱密度 设平稳序列 有自协方差函数（1）如果有-,上的单调不减右连续的函数F()使得 则称F()是 或 的谱分布函数，简称为谱函数。（2）如果有-,上的非负函数f()使得 则称f()是 或 的谱密度函数或功率谱密度，简称为谱密度或 功率谱。 tXtXk( ),()0,ikkedFFkZtXk( ),ikkfedkZ第63页/共75页 若 有谱函数f() ,则变上限的积分就是 的谱函数。当谱函数F()绝对连续，它的几乎处处导函数就是谱函数，特别，当F()是连续函

27、数，除去有限点外导函数存在且连续，则是谱密度。tXtX( )( )Ff s ds( ),( )( )0,( )FFfF当存在当不存在第64页/共75页谱函数存在唯一性定理定理7.1 （Herglotz定理）平稳序列的谱函数是唯一存在的。线性平稳序列的谱密度定理7.2 如果 是WN(0， )实数列 平方可和，则线性平稳序列 有谱密度,tjtjjXatZ22( )2ijjjfa eja t2第65页/共75页两正交序列的谱定理7.3 设 和 是相互正交的零均值的平稳序列，C是常 数，定义 (1)如果 和 分别有谱函数 则平稳序 列 有谱函数 （2）如果 和 分别有谱密度 ，则 有谱 密度tXtXtXt Yt Yt