第一章 时间序列分析1.ppt

1、时间序列分析 Time Series Analysis,时间序列分析是数理统计这一学科的一个重要分支.时间序列分析的最基本的理论基础是20世纪40年代分别由Norbort Wiener和Andrei Kolmogonov独立给出的. 在60年代后期，时间序列分析在Box-Jenkins提出一套比较完善的建模理论及方法之后便迅速发展起来近30年来，计算技术和计算机的发展又赋予时间序列分析以新的活力，使之成为自然科学、社会科学领域中不可缺少的数据分析工具。目前，时间序列分析这个分支巳趋于成熟，其理论和方法已被广泛应用到工程技术、气象、水文、地震、生物医学、经济管理以及军事科学等诸多领域作为未来的数

2、据分析、处理的工作者,掌握时间序列分析这一方法十分必要。,时间序列分析方法： 频域方法：借助富里埃分析从频率的角度揭示数据的规律性。 时域方法：借助于时间推移变量之间的相关结构研究数据变化规律。,时间序列分析的目的 1、预测序列的未来发展情况 2、分析序列的基本趋势、季节和随机项的组成 3、分析特定的数据集合、拟合理论模型，尤其是建立数学模型，进而进行模型结构分析和实证研究。,时间序列分析的主要应用 1、预测 2、政策因素分析 3、信号的提取 4、过程控制 5、随机系统描述,几种统计软件 1 Eviews Eviews(Econometrics Views) 称为计量经济学软件包。使用 EVi

3、ews软件包可以对时间序列和非时间序列的数据进行分析，建立序列（变量）间的统计关系式，并用该关系式进行预测、模拟等等。此外，EViews处理非时间序列数据照样得心应手。实际上，相当大型的非时间序列（截面数据）的项目也能在EViews中进行处理。,2 SAS SAS是美国SAS软件研究所研制的一套大型集成应用软件系统，具有完备的数据存取、数据管理、数据分析和数据展现功能。在数据处理和统计分析领域，被誉为国际上的标准软件和最权威的优秀统计软件包，广泛应用于政府行政管理、科研、教育、生产和金融等不同领域。SAS系统中提供的主要分析功能包括统计分析、经济计量分析、时间序列分析、决策分析、财务分析和全面

4、质量管理工具等等。,3 SPSS SPSS（Statistical Package for the Social Science）称为社会科学统计软件包，是世界是著名的统计分析软件之一。SPSS的基本功能包括数据管理、统计分析、图表分析、输出管理等等。SPSS统计分析过程包括描述性统计、均值比较、一般线性模型、相关分析、回归分析、对数线性模型、聚类分析、数据简化、生存分析、时间序列分析、多重响应等几大类。SPSS也有专门的绘图系统，可以根据数据绘制各种图形。,4 S-plus S-plus基于S语言，并由MathSoft公司的统计科学部进一步完善。作为统计学家及一般研究人员的通用方法工具箱，S

5、-plus强调演示图形、探索性数据分析、统计方法、开发新统计工具的计算方法，以及可扩展性。S-plus可以直接用来进行标准的统计分析得到所需结果。,5 Minitab Minitab同样是国际上流行的一个统计软件包，其特点是简单易懂，在国外大学统计学系开设的统计软件课程中，Minitab与SAS、BMDP并列。Minitab for Windows统计软件比SAS、SPSS等小得多，但其功能并不弱，特别是它的试验设计及质量控制等功能。功能包括：基本统计分析、回归分析、方差分析、多元分析、非参数分析、时间序列分析、试验设计、质量控制、模拟、绘制高质量三维图形等，从功能来看，Minitab除各种统

6、计模型外，还具有许多统计软件不具备的功能矩阵运算。,课本： 安鸿志编著：时间序列分析，华东师范大学出版社,参考书： 1. 王炜炘，杜金观，伍尤桂，李元著：应用时间序列分析，广西师范大学出版社，1999 2. James D. Hamilton著：时间序列分析（刘明志译），中国社会科学出版社，1999 3. Peter J. Brockwell，Richard A. Davis著：时间序列的理论与方法（田铮译），高等教育出版社，2001 4. 何书元著：应用时间序列分析，北京大学出版社，2003,第一章 平稳时间序列,第一节 时间序列实例 时间序列可分为：,时间序列的定义： 按时间次序排列的随机

7、变量序列 (1.1) 称为时间序列，如果用 (1.2) 分别表示随机变量 的观测值,就称(1.2)是时间序列 (1.1)的N个观测样本。这里N是观测样本的个数。如果用 (1.3) 表示 的依次观测值，就称(1.3)是(1.1)的一次实现或一 轨道。 时序 可由 或 表示；它的一个实现可由 或 表示。,例1.1 （通过一电阻器的电流） 电阻为r的电阻器两端加一正弦波电压 ，并记录下电流,则得到一连续时间序列,例1.2 （美国人口总数 ，1790-1980）,0.0E+00,5.0E+07,1.0E+08,1.5E+08,2.0E+08,2.5E+08,1800,1860,1920,1980,X2

8、_T,0.0E+00,5.0E+07,1.0E+08,1.5E+08,2.0E+08,2.5E+08,1780,1830,1880,1930,1980,T,X_T,例1.3 (美国罢工数 ，1951-1980),例1.4 （明星棒球队比赛，1933-1980） +=没有比赛，*=安排了两场比赛,例1.5 （Woller 太阳黑子数，1770-1869）,例1.6 （美国月事故死亡数据，1973-1978）,第二节 趋势项和季节项的 估计和分离,每个时间序列或经过适当的函数变换的时间序列，可以分解成三个部分的叠加 (2.1) 其中 是缓慢变化的函数，称为趋势项， 是已知周期为d的函数，称为季节项

9、，而称 为随机项。,目的：估计和抽取确定性成分 和 ，以使残差或噪声项 是一平稳过程。进而求得关于过程 的合适的概率模型，分析它的性质，并连同 和 可达到对 进行预报和控制的目的。,剔除趋势项和季节项的两种方法： (a) 典型分解式(2.1)中 和 的估计 (b)另一类方法由Box与Jenkins广泛研究的方法，它是对数据 反复作用差分算子，一直到差分后数据与某一平稳过程 的实现相似，然后可用平稳过程的理论对 进行建模、分析和预报，从而得到对原过程的分析和预报。,情形一：不含季节项的趋势项的删除 一 时间回归法 1 时间线性回归模型 特征 令 则 的最小二乘估计由公式 决定。,趋势项 的估计值

10、是回归直线 预报：当 时， 为时间线性回归的预测模型。,例2.1： 1969年至1980年的人均钢材年消费量如下表，求1981至1984年的各年人均年消费量的预测。,注1 当数据点的分布基本上呈线性趋势才可使用该方法 注2 不仅注1成立，而且要对残差检验后才可使用线性回归预报模型。,2 时间非线性回归模型 (1) 时间t的二项式回归模型 令 则 的最小二乘估计由公式 决定。,例2.2 (第一节例1.2),趋势项的估计为 假设 ，并且 的估计值 则估计 可作为美国人口在1990年的估计。,(2) 时间指数回归模型 经对数变换后，可表为 在利用1中的相应结果，可给出时间指数回归的预测模型 为：tN

11、时,二、移动平均法 1、一次移动平均值,2、二次移动平均值,3、滞后偏差,4、移动平均法的预测模型,5、移动平均期数的选取,例：由1969至1980年的国民收入的动态数据，使用移动平均法对1981年至1984年的国民收入作出预测,计算平滑系数，建立预测模型,三、滑动平均平滑法 设 在区间t-q,t+q上近似于线性函数， 设q为非负整数，考虑双边滑动,当 ，上式所给出的方法失效，故在实 际应用中，首先定义,例2.3 (第一节例1.3),四 指数平滑法 1 一次指数平滑值 对于任意固定 ，定义单边滑动平均 ，为 其中 称为第t时期的一次指数平滑值。初始值 。则趋势项的估计可由 给出. 当 时，有

12、它是 的加权滑动平均。,2 二次指数平滑值 由一次指数平滑值在进行一次指数平滑，它 由如下递推公式计算 其中 称为第t时期的二次平滑指数，其初值 的选取方法与 是一样的。,3 预测模型 (1) 线性预测模型 当动态数据 的分布呈线性趋势时,采用 二次指数平滑法,有如下线性预测模型 其中 称为平滑系数。,(2) 二次型的预测模型 当动态数据 的分布呈具有曲率的二次曲线时 ，须引入三次指数平滑值 建立如下的二次型的预测模型 其中,例2.4 某厂1981至1986年年销售额如下，求1987年和1988年的预测值,选取 ，初始值 并采用二次型预测模型。指数平滑系数为 于是,预测模型为 1987年和19

13、88年的预测销售额分别为,五. 产生平稳数据的差分方法 定义一阶差分算子 其中B是延迟算子。 考虑模型 ,其中 为零均值 平稳过程，则 是均值为 的平稳过程。,例2.5 (第一节例1.2的人口数据) 对原始数据作二阶差分得到无明显趋势项的数据序 列,情形二：趋势项和季节项的删除 对于含有季节项的数据，我们将时间序号t表为年份 序号i和每年中个时期序号j.当t变动而相应i=1,2,.,m, m为数据跨越的年数，j=1,2,k,k为一年中时期数。t与 i,j的关系按季度或月相应的有 t=4(i-1)+j 或 t=12(i-1)+j 一般地， t=k(i-1)+j, i=1,2,m,j=1,2,k,

14、一 小趋势项方法 举例说明：第一节例1.6 特点：事故数据趋势项较小；有明显周期12， 趋势项的无偏估计为： 季节项 的估计为 第i年第j月估计的误差项为,趋势项,周期项,随机项,二 滑动平均估计 步骤： 1 选择滑动平均滤波器估计趋势项。当周期为偶数d=2q或为奇数d=2q+1,则 2 估计季节项。分别对j=1,2,d，计算偏差 的均值 ，估计,3 由上一部的结果 估计趋势项 4 噪声项的估计,三 延迟d步差分 延迟d步差分定义为： 步骤： 1 将算子 作用于模型 ，其中 的周期为d,则有 2 利用前面所介绍的方法消除趋势项 例如差分（即算子 的幂次形式）,例2.6 (数据同例1.6) d步

15、延迟,消除季节项，这里d=12,由于差分后的序列仍具有非降趋势项，故再作一次 差分，即将算子 作用于 ，差分后的数据 ，如图,第三节 时间序列与随机过程,一 随机过程 定义3.1 设( , ,P )为概率空间，T为某一足标集，对 是该概率空间上的一个随机变量，当t在T中跑遍时，得到一族随机变量 ，记为 或 ，称 为T上的随机函数，通常T取为 随机函数 中的T取(i)的情形，称 为随机过程；T取(ii)的情形，称 为随机序列，简记为,固定 ,得到随机函数 的一样本函数，在 的情形下，它是一条曲线或称为轨道，亦称为随机过程 的一个实现。 对随机序列 ，其一次观测结果是以普通实数列 ,称 为随机序列

16、的一个实现或样本。随机序列 的正整数变量k通常表示时间，故常称 为时间序列。,二 随机过程（序列）的概率分布 定义3.2 (随机过程 的分布函数族） 设 则过程 的有限维分布函数族为 , 特别当 有，,有限维分布函数的性质柯尔莫哥洛夫相容性条件 (1) 对 的任一排列 有 (2)若mn ，则,定理3.1 (Kolmogorov定理) 概率分布函数族 是某一随机过程的分布函数族的充分必要条件是对任意 ， 以及 ，有 (3.1) 成立，其中 和 分别由 和 删去第i个分量而得到的(n-1)为向量。,设 是相应于 的特征函数，即 则(3.1) 与下式等价 其中 是由 删去第i个分量得到的(n-1)维

17、向量。,定义3.3 如果随机过程（序列） 对任意有限维分布满足： 则称 为独立随机过程（序列）。 例如：电路中的热噪声往往近似于独立随机过程（序列）。,三 二阶矩随机序列及其参数特征 定义3.3 设 为随机序列，若 ，二阶原点矩 ，则称 为二阶矩随机序列。 1 均值函数 设 为二阶矩随机序列， 称 为 的均值函数，其中Z为整数集合。 实质上， 只是一个实数列，它被 的一维分布族 所决定。,2 自协方差函数 设 为二阶矩随机序列, ,定义 称 为 的自协方差函数，它是二元对称函数，常 记为 。 当t=s时， ，称 为 的方差函数， 记为 。它被 的二维和一维分布族所 确定。,自协方差函数有以下性

18、质： (1) 对称性： (2) 非负定性： ,方阵 为对称非负定矩阵。,3 自相关函数 设 是二阶矩随机序列 的自协方差函数，令 称 为 的自相关函数。 若二阶矩随机序列 满足对 ,有 ,则称 为不相关。 对 ,有 ; 即 ,其中a,b为常数,且 .,自相关函数性质： (1) (2) 对称性； (3) 非负定性。,四 正态随机序列 定义3.4 设 为二阶矩随机序列，若对 的特征函数 具有如下形式 (3.2) 其中 为对称非负定矩阵，则称 为正态随机序列。,注1 若 (正定),则n维正态分布密度函数 其中 注2 若 (非负定),即矩阵 可能退化,虽写不出 的联合分布密度，但(3.2)式的 仍 然

19、是特征函数。,定理3.2 （正态随机序列存在定理） 设Z为整数集, 为任意实数数列， 为二元对称函数，并且满足非负定性，即对任意正整数n，任意 ,矩阵 ，则存在一个正态随机序列 ，使得,第四节 平稳时间序列,一. 两种不同的平稳性定义 定义4.1 设 为随机序列，若对任意正整数n，任意 ， 的联合分布函数具有对时间推移不变性，即满足 则称 为严平稳序列。,定义4.2 设 为二阶矩有穷的随机序列，并满足： (1) (2) 则称 为宽平稳序列，称 为 的自协方差函 数， 称 为 的自相关函数。 性质（2）表明 只与t-s有关，因此 实际是 被一元分布函数所确定的。,注： (1) 严平稳序列未必是宽

20、平稳序列。 例：设 是独立同分布随机序列，其分布为柯西分布。 (2)宽平稳序列未必是严平稳序列。 因为一、二阶矩对时间推移的不变性，不能推出对 任意有限维分布对时间推移的不变性。 例：设 为独立随机序列，,(3) 具有二阶矩的严平稳序列必为宽平稳序列。因为 (4) 对于正态序列，严平稳序列与宽平稳序列等价。,例4.1 (white noise) 设 为不相关随机序列， 对一切 ， ，则 为平稳序列。 证：对一切 , 即自协方差函数只与t-s有关，故 为宽平稳序列。,例4.2 独立同分布序列 如果时间序列 中的随机变量 为相互独立的随机变量，且 具有相同的 分布，称这样的 为独立同分布序列。,例

21、4.3 (随机相位振荡) 设 和 均为常数，则 为平稳序列。 证：由于 服从 上的均匀分布，则 故 为平稳序列。,例4.4 (随机振幅振荡) 设 ， 是常数， ，则 为平稳序列。 证：事实上，对任意 ，有 故 为平稳序列。,二. 平稳序列自协方差和自相关函数 1. 性质 定理4.1 设 和 为平稳序列 的自协方差函数和自相关函数，则他们满足以下三条性质： (1) 对称性： (2) 有界性： (3) 非负定性：,或对 ， 都是非负定阵，即对任意m维常值向量 有 。,注： 任何满足上述性质(1)-(3)的实数列都被称为非负定序列。故上述定理表明，平稳序列的协方差函数一定为非负定序列。反之，任意给定

22、一个非负定序列，必存在一个正态平稳序列，以给定的非负定列作为该正态平稳序列的自协方差函数。,例4.5 (调和平稳序列) 设a,b是常数，随机变量 ，则 是平 稳序列。 证：事实上， 故， 是平稳序列。 该例说明：平稳序列也可以有很强的周期性。,其容量为300的样本(sample8),2. 观察值序列的样本自协方差函数 对于平稳序列 的观察值 ， 的估计称 为样本自协方差函数。 定义4.2 的样本自协方差函数定义为 及 ，其中 为样本平均值，,注： (1) 除数用n而不用n-h，可保证样本自协方差矩阵 是非负定矩阵。 (2) 样本自相关函数为 相应的样本自相关函数矩阵 亦非负定矩阵。,例4.5

23、：设 是独立同分布变量序列，其均值为0，方差 ，定义 则 的自协方差函数为,具体地， 的300个模拟数据,的300个模拟数据,比较：前图比后图数据振荡性较小 反映了后续观测值位于均值同一侧的趋势， 反映了后续观测值位于均值两侧的趋势。,注： (1)如果数据含有趋势项，则 随h的增加而衰减； (2)如果数据含有确定周期的季节项，则 具有相同的周期项。,例4.6 序列 的300个样本如下图(sample6),其前100个样本自相关函数如下图,例4.7 (美国月事故死亡数据，1973-1978）(sample5),其前32个样本自相关函数如下图,三. 白噪声序列与独立同分布序列 定义4.3 设 是一

24、平稳序列，如果对任何 ，有 就称 是一个白噪声，记作 。 设 是 (1) 当 是独立序列时，称 是独立白噪声 (2) 当 时，称 为标准白噪声 (3) 对独立白噪声，当 服从正态分布时，称 为正态(高斯)白噪声（Gaussian),用Eviews软件产生高斯白噪声的样本 方法：使用nrnd命令(sample7) 定义4.4(独立同分布序列） 是均值为零，方差为 的独立同分布随机变量序列，记为 。,例4.8 (poisson过程和poisson白噪声) 如果连续的随机过程 满足 (1)N(0)=0,且对任何 和非负整数k, 其中 是正数， (2)N(t)具有独立增量性：对任何n1和 随机变量 相

25、互独立， 则称N(t)是一个强度为 的poisson过程。,定义： ，经计算 于是 是一个独立白噪声，称为poisson白噪声。,例4.9（布朗运动和正态白噪声）如果连续随机过程 满足： (1) B(0)=0,且对任何 ，B(t)-B(s)服从正态分布N(0,t-s); (2)B(t)有独立增量性 则称B(t)是一个标准布朗运动(Brownian motion). 定义： ，则 是一个标准正 态白噪声。,四. 平稳线性序列 1. 时间序列的运算 时间序列的运算，是指对一个或几个时间序列作运算而获得新的时间序列。 时间序列的运算可分成以下几种： (1) 时间序列的线性运算 设 与 为两个时序，

26、，则 为序列 与 的一种线性运算。,(2) 时间序列的延迟运算 设 为一时间序列，d为一正整数，那么 为 的d步延迟计算， 仍为时间序列。 当 为严平稳序列时， 仍为严平稳序列 当 为宽平稳序列时， 仍为宽平稳序列 当 为正态序列时， 仍为正态序列。,(3)时间序列的线性和延迟的联合运算 设 为一时序，则 为i步延迟序列。再对不同 的i,将 进行线性运算，即 特别地， 此时， 是对序列 的滑动平均序列。,(4) 时间序列的非线性计算 是关于 及其延迟的多项式与有理函数，而不是对它们的线性运算。,2. 平稳线性序列 平稳线性序列：由白噪声的线性组合构成的平稳序列。 (1) 有限运动平均 定义4.

27、5：设 是 , 对于非负整数q和常数 ， 我们称 是白噪声 的(有限)运动平均，又称滑动平均 (Moving Average)。,统计性质： 是平稳序列 该序列又被称为是q相关的。,(2). 平稳线性序列 均方收敛：当序列 满足以下极限性质时，称 收敛于随机变量 ，即 记： 定义4.6:设 为白噪声序列，称以下序列为 的无穷滑动平均序列，即 (4.2),定理4.3 由(4.2)定义的时间序列是平稳的，且无穷滑动和是均方收敛的。 证：(1) (2) 由于(4.2)在均方意义下收敛，故,定理4.4 由(4.2)定义的时间序列的自协方差函数具有如下的性质： 证： 故，,注： 如果 是独立同分布序列，

28、那么相应的无穷滑动平均序列 是严平稳序列。 如果 是正态白噪声序列，那么 也是正态平稳序列。,定理4.5 设 为二阶矩有穷的i.i.d.随机序列，则由(4.2)定义的序列 有 (1) 为严平稳序列， (2)(4.2)的无穷滑动和不仅均方收敛，而且几乎处处收敛。 (3) 是遍历的。 定义4.6 形如(4.2)的无穷滑动平均序列称为平稳线性序列或线性平稳序列。,3. 时间序列的线性滤波 线性低通滤波器：滤掉信号过程中的高频噪声的线性滤波器； 保时线性滤波器：绝对可和的实数列 作用于序列 ，得到序列 若 是平稳信号，且 自协方差函数为 则， 有如下性质 期望函数： 自协方差函数：,如果保时滤波器H满

29、足 则 它对平稳信号 起平滑的作用，同时对抑制噪声，特 别是抑制高频噪声是有效的。,例4.10 余弦波信号的滤波 (4.3) 其中 是零均值平稳列， 且与 独立。 讨论：余弦波信号的方差 表示信号的强弱。 噪声的方差 信噪比定义为： 信噪比大，信号容易被识别；信噪比过小，信号会被噪 声淹没。,采用余弦滤波器进行滤波后得到,利用三角求和公式,下图中的X是来自模型(4.3)的100个观测，b=1.5, 是方差等于1的正态白噪声，信噪比是 按照保时线性滤波器(4.1)的定义，并取M=3，则输出的信 噪比是3.245。(sample10),五. 遍历性(Erdogic) 一个时间序列的期望和第j个自协

30、方差视作如下意义上的总体平均，即 平稳序列 的一个样本是 的一个实现，而不是某个特定时刻t的 的简单抽样，故不能直接引用统计中的大数定律的结果。,对于从随机序列中得到的样本量为N的实现， ，可计算： 样本均值： (4.4) 样本协方差： (4.5) 它们不是一个总体平均而是一个时间平均。,一个平稳过程被称作是关于均值遍历的，如果当 时，(4.4)依概率收敛于 。 如果一个平稳过程的自协方差满足 则 关于均值是遍历的。 一个平稳过程，如果 对所有的j都成立，则称该过程是关于二阶矩遍历的。,若 是一个正态平稳过程时，条件 足可以保证关于所有阶矩的遍历性。 物理上的解释： 时间平均=总体平均 这一结果表明：求平稳序列的统计特征矩只需序列的一 次实现，而不需要多次实现。,例4.11： 一个