《ARMA模型》word版.doc

ARMA模型AR模型是一种线性预测，即已知N个数据，可由模型推出第N点前面或后面的数据(设推出P点)，AR模型-模型简介所以其本质类似于插值，其目的都是为了增加有效数据，只是AR模型是由N点递推，而插值是由两点(或少数几点)去推导多点，所以AR模型要比插值方法效果更好。ARMA模型(Auto-Regressive and Moving Average Model)是研究时间序列的重要方法，由自回归模型(简称AR模型)与滑动平均模型(简称MA模型)为基础混合构成。在市场研究中常用于长期追踪资料的研究，如：Panel研究中，用于消费行为模式变迁研究；在零售研究中，用于具有季节变动特征的销售量、市场规模的预测等。ARMA模型的基本原理将预测指标随时间推移而形成的数据序列看作是一个随机序列，这组随机变量所具有的依存关系体现着原始数据在时间上的延续性。一方面，影响因素的影响，另一方面，又有自身变动规律，假定影响因素为x1，x2，xk，由回归分析，其中Y是预测对象的观测值，e为误差。作为预测对象Yt受到自身变化的影响，其规律可由下式体现，模型原理误差项在不同时期具有依存关系，由下式表示，模型原理图由此，获得ARMA模型表达式模型原理图模型原理总图模型预测模型-常见预测模型预测是对未来作出的估计和推断，为了达到这一目的，往往要对现实世界(或称研究对象)进行模仿或抽象，这一过程称之为建模；用建模手段获得现实世界(对象)的一种表示和体现就称为模型。一切客观存在的事物及其运动形态我们统称为现实；现实和未来是不一样的，但是通过对于现实的研究可以预见未来，这就是预测。从信息运动的角度看，现实之中包含着未来，孕育着未来。因此，一个好的模型不仅能表达现实而且应该能准确的反映现实的发展规律。时至今日，预测模型已多达一百余种，常用的也有二三十种。任何预测模型都有它自身的优缺点；至今，还没有一种既有极高的预测精度，又适用于任何现实问题(研究对象)的预测模型。因此，预测学家或者对某一特定问题进行深入研究，从而寻找预测精度高的预测方法；或者研究预测方法、预测模型本身，对预测模型的适用范围(适用条件)和预测精度进行研究。预测模型很多，下面是常见的几种：多元回归、非线性回归、移动平均法、指数平滑法、趋势分析、AR模型、MA模型、ARMA模型、ARIMA模型、ARIMAz模型、TAR模型、GM(1,1)模型、GM残差模型、灰色序列预测、拓扑预测、线性网络预测、BP网络预测、Hopfield网络、模糊神经网络、全域法、一阶局域法、加权零阶局域法、加权一阶局域法、Lyapunov指数预测、非线性规划模型、权重综合、区域综合、最优加权模型、正权组合方法、方差倒数加权法、递归下权综合、马尔可夫预测、遗传预测、分形预测。Matlab是Math Works公司于1982年推出的一套高性能的数值计算和可视化软件，其全称是Matrix Laboratory，亦即矩阵实验室。它集数值分析、矩阵运算、信号处理和图形显示于一体，构成了一个方便、界面友好的用户环境。与Basic、Fortran、Pascal、C、VB、VC等编程语言相比，Matlab具有编程简单直观，用户界面友好，开放性强等优点，因此其自面世以来，在国际上很快得到了推广利用，被IEEE称为国际公认最优秀的科技应用软件。它还包括了各类问题的求解工具箱ToolBox，可用来求解特定学科的问题。具有可扩展性、易学易用性、高效性等的优点。由于Matlab具有如此之多的特点，在欧美高等院校，Matlab已成为应用于线性代数、自动控制理论、数理统计、数字信号处理、时间序列分析、动态系统仿真等高级课程的基本教学工具；在研究单位、工业部门，Matlab也被广泛用于研究和解决各种工程问题。当前在全世界有超过40万工程师和科学家使用它来分析和解决问题。功率谱估计是数字信号处理的主要内容之一，主要研究信号在频域中的各种特征，目的是根据有限数据在频域内提取被淹没在噪声中的有用信号。下面对谱估计的发展过程做简要回顾：英国科学家牛顿最早给出了谱的概念。后来，1822年，法国工程师傅立叶提出了著名的傅立叶谐波分析理论。该理论至今依然是进行信号分析和信号处理的理论基础。傅立叶级数提出后，首先在人们观测自然界中的周期现象时得到应用。19世纪末，Schuster提出用傅立叶级数的幅度平方作为函数中功率的度量，并将其命名为周期图(periodogram)。这是经典谱估计的最早提法，这种提法至今仍然被沿用，只不过现在是用快速傅立叶变换(FFT)来计算离散傅立叶变换(DFT)，用DFT的幅度平方作为信号中功率的度量。周期图较差的方差性能促使人们研究另外的分析方法。1927年，Yule提出用线性回归方程来模拟一个时间序列。Yule的工作实际上成了现代谱估计中最重要的方法-参数模型法谱估计的基础。Walker利用Yule的分析方法研究了衰减正弦时间序列，得出Yule-Walker方程，可以说，Yule和Walker都是开拓自回归模型的先锋。1930年，著名控制理论专家Wiener在他的著作中首次精确定义了一个随机过程的自相关函数及功率谱密度，并把谱分析建立在随机过程统计特征的基础上，即，功率谱密度是随机过程二阶统计量自相关函数的傅立叶变换，这就是Wiener-Khintchine定理。该定理把功率谱密度定义为频率的连续函数，而不再像以前定义为离散的谐波频率的函数。1949年，Tukey根据Wiener-Khintchine定理提出了对有限长数据进行谱估计的自相关法，即利用有限长数据估计自相关函数，再对该自相关函数球傅立叶变换，从而得到谱的估计。1958年，Blackman和Tukey在出版的有关经典谱估计的专著中讨论了自相关谱估计法，所以自相关法又叫BT法。周期图法和自相关法都可用快速傅立叶变换算法来实现，且物理概念明确，因而仍是目前较常用的谱估计方法。1948年，Bartlett首次提出了用自回归模型系数计算功率谱。自回归模型和线性预测都用到了1911年提出的Toeplitz矩阵结构，Levinson曾根据该矩阵的特点于1947年提出了解Yule-Walker的快速计算方法。这些工作为现代谱估计的发展打下了良好的理论基础。1965年，Cooley和Tukey提出的FFT算法，也促进了谱估计的迅速发展。现代谱估计主要是针对经典谱估计的分辨率差和方差性能不好的问题而提出的。现代谱估计从方法上大致可分为参数模型谱估计和非参数模型谱估计两种，前者有AR模型、MA模型、ARMA模型、PRONY指数模型等；后者有最小方差方法、多分量的MUSIC方法等。周期运动在功率谱中对应尖锋，混沌的特征是谱中出现噪声背景和宽锋。它是研究系统从分岔走向混沌的重要方法。在很多实际问题中(尤其是对非线性电路的研究)常常只给出观测到的离散的时间序列X1,X2,X3,.Xn,那么如何从这些时间序列中提取前述的四种吸引子(零维不动点、一维极限环、二维环面、奇怪吸引子)的不同状态的信息呢?我们可以运用数学上已经严格证明的结论，即拟合。我们将N个采样值加上周期条件Xn+i=Xi，则自关联函数(即离散卷积)为然后对Cj完成离散傅氏变换，计算傅氏系数。Pk说明第k个频率分量对Xi的贡献，这就是功率谱的定义。当采用快速傅氏变换算法后，可直接由Xi作快速傅氏变换，得到系数然后计算，由许多组Xi得一批Pk，求平均后即趋近前面定义的功率谱Pk。从功率谱上，四种吸引子是容易区分的，如图12(a)，(b)对应的是周期函数，功率谱是分离的离散谱(c)对应的是准周期函数，各频率中间的间隔分布不像(b)那样有规律。(d)图是混沌的功率谱，表现为噪声背景及宽锋。考虑到实际计算中，数据只能取有限个，谱也总以有限分辨度表示出来，从物理实验和数值计算的角度看，一个周期十分长的解和一个混沌解是难于区分的，这也正是功率谱研究的主要弊端。基本教学内容(学时安排)：第一章平稳时间序列1.1时间序列实例1.2平稳随机过程1.3趋势项和季节项的估计和分离第二章Hilbert空间2.1 Hilbert空间及其性质2.2正交基与投影定理2.3均方收敛,条件期望和中的最佳预报2.4空间的完备性与同构第三章平稳ARMA过程3.1因果可逆ARMA过程3.2无穷阶滑动平均过程3.3 ARMA过程的自协方差函数与偏自相关函数3.4常系数线性差分方程第四章平稳过程的谱表示4.1 Herglots定理4.2谱密度与ARMA过程4.3平稳过程的谱表示第五章平稳过程的预报5.1时域中的预报方程5.2最佳线性预报的递推计算方法5.3 ARMA过程的递推预报5.4频域中的预报第六章ARMA模型的估计6.1自回归过程的Yule-Walker方程和参数估计6.2应用Durbin-Levinson算法的自回归过程初估计6.3滑动平均过程参数的新信息估计6.4 ARMA过程的初估计极大似然估计和最小二乘估计6.5估计的渐近有效性与渐近正态性第七章利用ARIMA过程建模和预报7.1非平稳时间序列的ARIMA模型7.2 ARIMA模型的辩识方法与诊断检验7.3 ARIMA模型的预报7.4季节ARIMA模型第八章平稳过程的谱推断第九章多维时间序列教材名称(参考书)：教材名称：Peter J.Brockwell,A.Davis,Time Series：Theory aTime Series nad Methods；Richard Spinger Verlag New York 1987 Second Edition参考书：1.Time Series Anal：Forecasting and ControlBox,G.E.P.and Jenking,G.M.Holden-Day,San Francisco,1970 2.时间序列分析与工程应用杨叔子著华中科技大学出版社1987年(1)Box,G.E.P.and Jenking,G.M.Holden-Day,Time Series Anal：Forecasting and Control San Francisco,1970(2)杨叔子时间序列分析与工程应用,华中科技大学出版社，1987。时间序列分析教学大纲安徽大学数学与计算科学学院二OO六年五月前言时间序列分析课程是统计学专业高等教育的专业基础课程。时间序列分析就是研究时间序列的统计特性和发展规律性，其目的是预测序列的未来发展情况。经济、社会和自然领域中的大量数据序列都是时间序列，因此时间序列分析具有广泛的应用。时间序列分析是分析历史资料、建立模型、预测趋势和预测未来最强有力的工具。它是用随机过程理论和数理统计学的方法，研究随机数据序列所遵从的统计规律，以用于解决实际问题。时间序列分析包括一般统计分析，统计模型的建立与推断，以及关于随机序列的最优预测、控制和滤波等。设置本课程的目的是：介绍时间序列分析的基本理论和一些常用分析方法。进一步培养学生学习用概率统计的思想和方法去思考随机系统中多个变量之间的数量关系，逐步提高学生处理随机数据的能力。通过学习要求学生掌握一些常用的分析方法，并能正确地应用于实际问题中。学习本课程的要求是：通过本门课的学习，要求学生掌握时间序列分析的基本模型和算法，培养学生分析、探索社会现象的动态结构和发展规律，达到具有一定对未来状态的预测能力。先修课程要求：高等代数、概率论、数理统计、应用统计软件本课程计划72学时，4学分。选用教材：何书元，应用时间序列分析，北京大学出版社，2003教学手段：课堂讲授为主，习题课、课外辅导为辅考核方法：考试教学进程安排表周次学时数教学主要内容教学方法备注14学科背景介绍，随机过程简介；随机过程的概念，时间序列基本概念讲课24平稳时间序列的概念，自协方差函数的性质与计算；白噪声序列的概念讲课34线性平稳序列；时间序列的滑动平均(MA)表示讲课44正态时间序列的概念；平稳序列的谱函数，谱密度讲课54线性差分方程的解；自回归模型的平稳解讲课64自回归时间序列的自协方差函数；Yule-walker方程讲课74平稳序列偏相关系数的定义及Levinson递推公式；一阶自回归序列的平稳域，自协方差函数等讲课84二阶自回归序列的平稳域，自协方差函数等；滑动平均模型和滑动平均序列的概念及其自协方差函数的性质讲课94一阶滑动平均序列的自协方差函数和偏相关系数；二阶滑动平均序列的自协方差函数和偏相关系数；讲课104自回归滑动平均模型和自回归滑动平均序列的概念及其自协方差函数；ARMA(1,1)序列的自协方差函数和偏相关系数，讲课114平稳序列均值估计的渐近性质和模拟计算；样本自协方差函数讲课124样本自协方差矩阵的性质，自协方差估计的模拟计算；讲课134预报的概念，最小均方误差预报的概念及性质；预报方法的分类讲课144平稳序列的预报及分类；ARMA序列的预报方法讲课154AR(p)序列和MA(q)序列的预报方法，AR(p)模型的参数估计讲课164AR(p)模型的定阶及检验；MA(q)模型的参数估计讲课174MA(q)模型定阶及检验；ARMA(p,q)模型参数估计讲课184ARMA(p,q)模型定阶及检验，复习讲课绪论一、学习目的要求学生了解本学科的学科特点、学科背景及发展前景，并阐明本学科在统计学专业中重要性及其与其他学科的关系。介绍随机过程的有关概念。建议课时安排：2学时。二、课程内容简要介绍本学科的学科特点、学科背景及发展前景，并阐明本学科在统计学专业中重要性及其与其他学科的关系。介绍随机过程的有关概念。第一章时间序列一、学习目的要求学生了解时间序列分析的基本内容及应用领域，掌握平稳时间序列以及其均值、自协方差函数和自相关系数的概念和性质，掌握白噪声序列和线性平稳序列的概念和性质，了解正态时间序列的概念、性质及平稳序列的谱函数等。建议课时安排：14学时二、课程内容第一节随机过程随机过程的概念第二节时间序列基本概念(一)平稳时间序列定义：如果时间序列满足(1)对任何(2)对任何(3)对任何就称是平稳时间序列，简称为平稳序列。称实数列为的自协方差函数。(二)平稳序列的自协方差函数及其性质自协方差函数满足以下三条性质：对称性、非负定性、有界性。(三)平稳序列的自相关系数及其性质第三节线性平稳序列(一)白噪声序列的概念定义：设是一个平稳序列，如果对任何就称是一个白噪声。(二)时间序列的滑动平均(MA)表示第四节正态时间序列正态时间序列的概念及性质第五节平稳序列的谱函数平稳序列的谱函数、谱密度函数的定义三、重点、难点提示和教学手段(一)平稳序列的概念(二)平稳序列自协方差函数的性质(三)白噪声序列的概念及MA序列的平稳性四、思考与练习参见教材破p14：1.4；p22：2.1,2.2,2.3,2.4；p29：3.3,3.4；p34：4.2,4.3,4.4；p37：5.4.第二章自回归模型一、学习目的要求了解线性差分方程通解解的结构,掌握自回归模型的平稳解和AR(p)序列的自协方差函数和偏自相关系数,重点掌握AR(1)模型和AR(2)模型的有关结论.建议课时安排：14学时二、课程内容第一节线性差分方程(一)线性差分方程的定义(二)线性差分方程的解第二节自回归(AR(p)模型(一)自回归模型及AR(p)序列的定义定义：如果是白噪声，实数使得多项式的零点都在单位园外：就称阶差分方程是一个阶自回归模型，简称为AR(p)模型。满足此模型的平稳时间序列称为平稳解或AR(p)序列。(二)AR(p)序列的谱密度和Yule_Walker方程,AR(p)序列自协方差函数的周期性和正定性(三)平稳序列的偏自相关系数和Levinson递推公式(四)AR(1)模型和AR(2)模型举例三、重点、难点提示和教学手段(一)线性差分方程解的结构(二)AR(p)序列及AR(p)序列的Yule_Walker方程(三)AR(p)序列的自协方差函数和偏自相关系数(四)AR(1)模型,AR(2)模型四、思考与练习参见教材P59 1.2,1.3,1.4；P65 2.1,2.3,2.4,2.5；P76 3.2,3.4；P86 5.1,5.2,5.3.第三章滑动平均模型一、学习目的要求学生掌握滑动平均(MA(q)模型和滑动平均(MA(q)序列的概念及其自协方差函数的性质,重点掌握MA(1)序列和MA(2)序列的自协方差函数和偏相关系数,了解AR(p)序列和MA(q)序列的对偶关系,掌握自回归滑动平均(ARMA(p,q)模型和自回归滑动平均(ARMA(p,q)序列的概念及其自协方差函数的性质,重点掌握ARMA(1,1)序列的自协方差函数和偏相关系数，了解广义ARMA模型和ARIMA模型的概念。建议课时安排：10学时。二、课程内容第一节滑动平均模型(一)滑动平均(MA(q)模型和滑动平均(MA(q)序列的概念定义：如果是白噪声，实数使得就称阶差分方程是一个阶滑动平均模型，简称为MA(q)模型。满足此模型的平稳时间序列称为MA(q)序列。(二)MA(q)序列自协方差函数的性质第二节MA(1)序列和MA(2)序列(一)MA(1)序列和MA(2)序列的自协方差函数和偏自相关系数(二)AR(p)序列和MA(q)序列的对偶关系第三节自回归滑动平均模型(一)自回归滑动平均(ARMA(p,q)模型和自回归滑动平均(ARMA(p,q)序列的概念及其自协方差函数的性质(二)ARMA(1,1)序列的自协方差函数和偏自相关系数的特点和计算三、重点、难点提示和教学手段(一)MA(q)序列自协方差函数的性质(二)MA(1)序列和MA(2)序列的自协方差函数和偏自相关系数(三)自回归滑动平均(ARMA(p,q)序列的概念及其自协方差函数的性质(四)ARMA(1,1)序列的自协方差函数和偏自相关系数的特点和计算四、思考与练习参见教材P96 1.3,1.4；P106 2.2,2.3,2.5；P118 3.7.第四章均值和自协方差函数的估计一、学习目的要求学生了解了解样本均值的渐近性质及模拟计算,掌握样本自协方差矩阵的正定性,了解样本自协方差矩阵的相合性、渐近分布及模拟计算,了解白噪声检验.建议课时安排：8学时二、课程内容第一节平稳序列均值的估计平稳序列均值的估计(样本均值)的渐近性质及模拟计算,第二节自协方差函数的估计自协方差函数的估计(样本自协方差矩阵)正定性、相合性、渐近分布及模拟计算,白噪声检验.三、重点、难点提示和教学手段样本自协方差矩阵的正定性四、思考与练习参见教材P139 2.4.第五章时间序列的预报一、学习目的要求学生掌握最小均方误差预报的概念,掌握ARMA模型的最小均方误差预报,了解预报的计算,修正预报.建议课时安排：10学时。二、课程内容第一节最佳线性预报(一)最佳线性预报的概念(二)最佳线性预报的性质第二节滑动自回归模型的预测(一)ARMA模型的递推预测(二)AR(p)序列的递推预测(三)MA(q)序列的递推预测三、重点、难点提示和教学手段(一)最佳线性预报的概念(二)ARMA模型的预报四、思考与练习参见教材P173 3.1；P183 4.1.第六章ARMA模型的参数估计一、学习目的要求学生了解时间序列分析的基本内容及应用领域，并掌握平稳时间序列和正态时间序列的概念、性质及平稳序列的谱函数等。建议课时安排：10学时。二、课程内容第一节AR(p)模型的参数估计(一)Yule_Walker估计(二)最小二乘估计(三)最大似然估计(四)模型的定阶(AIC定阶和BIC定阶等)和拟合检验第二节MA(q)模型的参数估计(一)矩估计及其计算(二)参数估计的逆相关函数方法(三)新息估计方法(四)模型的定阶和拟合检验第三节ARMA模型的参数估计(一)矩估计方法(二)自回归逼近法(三)最大似然估计(四)模型定阶三、重点、难点提示和教学手段(一)AR(p)模型的Yule_Walker估计及模型的定阶(二)MA(q)模型参数的矩估计及其计算及模型的定阶(三)ARMA模型参数的矩估计方法和模型定阶四、思考与练习参见教材P202 1.2；P214 2.1,2.2,2.3.参考书目1杨位钦、顾岚，时间序列分析与动态数据模型，北京理工大学出版社，1988。2常学将、陈敏、王明生编著，时间序列分析，高等教育出版社，1993。3美George E.P.Box等著，顾岚译，时间序列分析预测与控制，中国统计出版社，1997.htm 1基本原理采用参数模型的现代谱估计技术的基本思路是：(1)假设所研究的过程x(n)是由一个输入序列u(n)激励一个线性系统H(z)的输出；(2)由已知的x(n)或其自相关函数rx(m)来估计H(z)的参数；(3)由H(z)的参数来估计x(n)的功率谱。本工作采用了自回归模型参数方法，简称AR模型法。它是一个全极点模型，因而特别适合于像ICP-AES这样的峰信号处理。自回归的含义为：该模型现在的输出是现在的输入和过去p个输出的加权和。AR模型的正则方程是一组线性方程。由于它具有一系列好的性能，因而是被研究得最多并获得应用最广泛的模型之一。AR模型的正则方程又称为Yule-Walker方程。系数矩阵不但是对称的，而且沿着与主对角线平行的任一对角线上的元素都相等，这样的矩阵称为Toeplitz矩阵。本工作采用Levinson-Durbin算法求解Yule-Walker方程，从而计算AR模型的参数，进而得到功率谱密度的估计。该方法的大致过程为：(1)由数据点xN(n)估计自相关函数；(2)求解Yule-Walker方程，这时求出的AR模型参数是真实参数的估计值；(3)利用这些参数可得到x(n)的功率谱的估计值。有关现代谱估计的原理和算法可参见文献2、3。建模是计量的灵魂，所以就从建模开始。一、建模步骤：A，理论模型的设计：a，选择变量b，确定变量关系c，拟定参数范围B，样本数据的收集：a，数据的类型b，数据的质量C，样本参数的估计：a，模型的识别b，估价方法选择D，模型的检验a，经济意义的检验1正相关2反相关等等b，统计检验：1检验样本回归函数和样本的拟合优度，R的平方即其修正检验2样本回归函数和总体回归函数的接近程度：单个解释变量显著性即t检验，函数显著性即F检验，接近程度的区间检验c，模型预测检验1解释变量条件条件均值与个值的预测2预测置信空间变化d，参数的线性约束检验：1参数线性约束的检验2模型增加或减少变量的检验3参数的稳定性检验：邹氏参数稳定性检验，邹氏预测检验-主要方法是以F检验受约束前后模型的差异e，参数的非线性约束检验：1最大似然比检验2沃尔德检验3拉格朗日乘数检验-主要方法使用X平方分布检验统计量分布特征f，计量经济学检验1，异方差性问题：特征：无偏，一致但标准差偏误。检测方法：图示法