自回归移动平均模型PPT幻灯片课件

第四章时间序列计量经济学模型的理论与方法 第一节随机时间序列的特征第二节随机时间序列分析模型第三节协整分析与误差修正模型第四节向量自回归模型 1 4 1随机时间序列的特征 一 随机时间序列模型简介二 趋势平稳与差分平稳三 时间序列平稳性的检验 2 一 随机时间序列模型简介 一个标有时间脚标的随机变量序列被称为时间序列 timeseries 前提假设 时间序列是由某个随机过程 Stochasticprocess 生成的 即 假定序列X1 X2 XT的每一个数值都是从一个概率分布中随机得到 当收集到一个时间序列数据集时 就得到该随机过程的一个可能结果或实现 realization 3 假定某个时间序列是由某一随机过程生成 即假定时间序列Xt的每一个数值都是从一个概率分布中随机得到 如果时间序列Xt满足 1 均值E Xt 是与时间t无关的常数 2 方差Var Xt 2是与时间t无关的常数 3 协方差Cov Xt Xt k k是只与时期间隔k有关 与时间t无关的常数 则称该随机时间序列是平稳的 stationary 而该随机过程是一平稳随机过程 stationarystochasticprocess 1 时间序列的平稳性 4 经典计量模型的数学基础是极限法则 以独立随机抽样为样本 如果模型设定正确 模型随机误差项满足极限法则和由极限法则导出的基本假设 继而进行的参数估计和统计推断是可靠的 以时间序列数据为样本 破坏了随机抽样的假定 则经典计量模型的数学基础能否被满足成为一个重要问题 对照极限法则和时间序列的平稳性条件研究发现 如果模型设定正确 并且所有时间序列是平稳的 时间序列的平稳性可以替代随机抽样假定 模型随机误差项仍然满足极限法则 2 平稳性与经典回归 5 3 白噪声和随机游走 由定义知 白噪声序列是平稳的 一个最简单的随机时间序列是一具有零均值同方差的独立同分布序列 Xt t t N 0 2 该序列常被称为是一个白噪声 whitenoise 6 另一个简单的随机时间列序被称为随机游走 randomwalk 该序列由如下随机过程生成 Xt Xt 1 t这里 t是一个白噪声 t N 0 2 该序列同均值 但方差不同 E Xt E Xt 1 X1 X0 1X2 X1 2 X0 1 2 Xt X0 1 2 tvar Xt t 2 Xt的方差与时间t有关 而非常数 因此随机游走是非平稳序列 7 4 齐次非平稳过程 如果一个时间序列是非平稳的 经过一次或多次差分后成为平稳序列 产生这样的非平稳序列的随机过程称为齐次随机过程 原序列转化为平稳序列所需的差分次数称为齐次的阶数 对随机游走序列Xt取一阶差分 firstdifference 由于 t是一个白噪声 则序列 Xt 是平稳的 这提示我们如果一个时间序列是非平稳的 常常可以通过取差分的方法形成平稳序列 8 如果Yt是一阶齐次非平稳过程 则序列 Wt Yt Yt 1 Yt就是平稳的 如果Yt是二阶齐次非平稳过程 则序列 Wt Yt Yt 1 2Yt就是平稳的 9 5 单整与非单整 如果一个时间序列经过一次差分变成平稳序列 也称原序列是1阶单整 integratedof1 序列 记为I 1 过程 如果经过d次差分后变成平稳序列 则称原序列是d阶单整 integratedofd 记为I d I 0 代表平稳时间序列 多次差分无法变为平稳的时间序列称为非单整的 non integrated 10 随机时间序列Yt的自相关函数 autocorrelationfunction ACF k k 0自相关函数是关于滞后期k的递减函数 对一个随机过程只有一个实现 样本 因此 只能计算样本自相关函数 Sampleautocorrelationfunction 6 自相关函数 Q统计量 11 为了检验自相关函数的某个数值 k是否为0 可以用Bartlett的研究结果 如果时间序列由白噪声生成 则对所有k 0 k N 0 1 T 为了检验所有k 0的自相关函数 k都为0的联合假设 可以采用Box Pierce的Q统计量 Q统计量近似地服从自由度为k的分布 如果计算出Q值大于显著性水平 下的临界值 就有1 的把握拒绝所有 k k 0 同时为0的原假设 12 1 确定性时间趋势描述非平稳经济时间序列一般有两种方法 一种方法是包含一个确定性时间趋势 其中ut是平稳序列 a t是线性趋势函数 这种过程也称为趋势平稳的 因为如果从式 中减去a t 结果是一个平稳过程 二 趋势平稳与差分平稳随机过程 13 一般时间序列可能存在一个非线性函数形式的确定性时间趋势 例如可能存在多项式趋势 t 1 2 T同样可以除去这种确定性趋势 然后分析和预测去势后的时间序列 对于中长期预测而言 能准确地给出确定性时间趋势的形式很重要 如果Yt能够通过去势方法排除确定性趋势 转化为平稳序列 称为退势平稳过程 14 2 差分平稳过程非平稳序列中有一类序列可以通过差分运算 得到具有平稳性的序列 考虑下式 也可写成 其中a是常数 ut是一个白噪声序列 式 的差分序列是含漂移a的随机游走 说明yt的差分序列 yt是平稳序列 式中L表示滞后算子 15 实际上 以往讨论的回归方程的序列自相关问题暗含着残差序列是一个平稳序列 因为如果残差序列是一个非平稳序列 则说明因变量除了能被解释变量解释的部分以外 其余的部分变化仍然不规则 随着时间的变化有越来越大的偏离因变量均值的趋势 这样的模型是不能够用来预测未来信息的 16 残差序列是一个非平稳序列的回归被称为伪回归 这样的一种回归有可能拟合优度 显著性水平等指标都很好 但是由于残差序列是一个非平稳序列 说明了这种回归关系不能够真实的反映因变量和解释变量之间存在的均衡关系 而仅仅是一种数字上的巧合而已 伪回归的出现说明模型的设定出现了问题 有可能需要增加解释变量或者减少解释变量 抑或是把原方程进行差分 以使残差序列达到平稳 一个可行的办法是先把一个非平稳时间序列通过某种变换化成一个平稳序列 17 一个平稳的时间序列在图形上往往表现出一种围绕其均值不断波动的过程 而非平稳序列则往往表现出在不同的时间段具有不同的均值 如持续上升或持续下降 1 平稳性检验的图示判断 三 时间序列的平稳性检验 平稳时间序列与非平稳时间序列图 18 单位根检验 unitroottest 是普遍应用的一类检验时间序列平稳性的方法 以ADF检验最为常用 1 DF检验我们已知道 随机游走序列Yt Yt 1 t是非平稳的 其中 t是白噪声 序列可看成是随机模型Yt Yt 1 t中参数 1时的情形 2 平稳性的单位根检验 19 也就是说 对式Yt Yt 1 t 回归 如果确实发现 1 就说随机变量Yt有一个单位根 式可变成差分形式 Yt 1 Yt 1 t Yt 1 t 检验 式是否存在单位根 1 也可通过 式判断是否有 0 20 一般地 检验一个时间序列Yt的平稳性 可通过检验带有截距项的一阶自回归模型Yt Yt 1 t 中的参数 是否小于1 或者 检验其等价变形式 Yt Yt 1 t 中的参数 是否小于0 式中的参数 1或 1时 时间序列是非平稳的 对应于 式 则是 0或 0 21 针对 式 Yt Yt 1 t零假设H0 0 即原序列存在单位根 备择假设H1 0 即原序列是平稳的 上述检验可通过OLS法下的t检验完成 Dicky和Fuller于1976年提出了这一情形下t统计量服从的分布 这时的t统计量称为 统计量 即DF分布 见下表 DF分布临界值表 22 通过OLS法估计 Yt Yt 1 t计算t统计量的值 与DF分布表中给定显著性水平下的临界值比较 如果 t 临界值 左尾单侧检验 则拒绝原假设H0 0 认为时间序列不存在单位根 是平稳的 23 DF检验的问题 在上述使用 Yt Yt 1 t对时间序列进行平稳性检验中 实际上假定时间序列是由一阶自回归过程AR 1 生成的 并且随机误差项是白噪声 为了保证DF检验中随机误差项的白噪声特性 Dicky和Fuller对DF检验进行了扩充 形成了ADF AugmentDickey Fuller 检验 2 ADF检验 24 ADF检验是通过以下3个模型完成的 3个模型检验的原假设都是 H0 0 即存在一单位根 备择假设 H1 0 25 同时估计出上述3个模型的适当形式 然后通过ADF临界值表检验零假设H0 0 1 只要其中有一个模型的检验结果拒绝了零假设 就可以认为时间序列是平稳的 2 当3个模型的检验结果都不能拒绝零假设时 则认为时间序列是非平稳的 检验原理与DF检验相同 Dicky和Fuller推导了3个模型所使用的ADF分布临界值表 ADF检验也可判断时间序列的单整阶数 ADF检验过程 26 例1 检验1978 2000年间中国支出法GDP时间序列的平稳性及单整性 1 经过偿试 模型3取了2阶滞后 通过拉格朗日乘数检验对随机误差项的自相关性进行检验 LM 1 0 92 LM 2 4 16 小于5 显著性水平下自由度分别为1与2的 2分布的临界值 可见不存在自相关性 从 看 t 临界值 查ADF分布表 不能拒绝存在单位根的零假设 27 2 经试验 模型2中滞后项取2阶 LM检验表明模型残差不存在自相关性 从GDPt 1的参数值看 其t统计量为正值 大于临界值 查ADF分布表 不能拒绝存在单位根的零假设 28 3 经试验 模型1中滞后项取2阶 LM检验表明模型残差项不存在自相关性 因此模型的设定是正确的 从GDPt 1的参数值看 其t统计量为正值 大于临界值 查ADF分布表 不能拒绝存在单位根的零假设 结论 根据ADF检验结果 可断定中国支出法核算的GDP时间序列是非平稳的 29 支出法GDP时间序列的平稳性ADF检验模型3结果 30 Eviews中 GDP平稳性ADF检验结果 31 Eviews中 GDP平稳性ADF检验结果 续 32 4 中国支出法GDP的单整性 经过试算 发现中国支出法GDP是1阶单整的 适当的检验模型为 33 支出法GDP时序一阶差分后的平稳性ADF检验模型3结果 34 结论 根据ADF检验结果 可断定中国支出法核算的GDP的一阶差分序列是平稳的 即I 1 Eviews中 GDP序列ADF检验模型3的检验结果 35 例2 检验关于人均居民消费与人均国内生产总值这两时间序列的平稳性及单整性 36 1 对中国人均国内生产总值GDPP来说 经过偿试 三个模型的适当形式分别为 模型3 ADF检验过程 37 模型2 模型1 38 3个模型中参数的估计值的t统计量均大于各自的临界值 因此不能拒绝存在单位根的零假设 结论 人均国内生产总值 GDPP 是非平稳的 经过进一步检验发现 人均国内生产总值 GDPP 和人均居民消费 CONSPP 都是二阶单整序列 I 2 39 Eviews中GDPP序列ADF检验给出的模型3的检验结果 40 2 对于人均居民消费CONSP时间序列来说 3个模型的适当形式为 模型3 模型2 41 3个模型中参数CONSPt 1的t统计量的值均比ADF临界值表中各自的临界值大 不能拒绝该时间序列存在单位根的假设 结论 可判断人均居民消费序列CONSP是非平稳的 模型1 42 Eviews中CONSP序列ADF检验给出的模型3的检验结果 43 Eviews中CONSP序列ADF检验给出的模型2的检验结果 44 Eviews中CONSP序列ADF检验给出的模型1的检验结果 45 中国人均居民消费与人均国内生产总值的单整性 经过试算 发现中国人均国内生产总值GDPP是2阶单整的 适当的检验模型为 CONSP也是2阶单整的 适当的检验模型为 46 4 2随机时间序列分析模型 一 模型的一般形式及其适用性二 模型的平稳性条件三 模型的识别四 模型的参数估计五 模型的检验 47 随机时间序列模型 TimeSeriesModeling 一般形式为 Xt F Xt 1 Xt 2 t 建立具体的时间序列模型的三个问题 1 模型的具体形式 2 时序变量的滞后期 3 随机扰动项的结构 一 随机时间序列模型的一般形式及适用性 48 例如 取线性方程 一期滞后以及白噪声随机扰动项 t t 模型将是一个1阶自回归过程AR 1 Xt Xt 1 t t特指白噪声 一般的 p阶自回归过程AR p 为 Xt 1Xt 1 2Xt 2 pXt p t 1 如果随机扰动项是一个白噪声 t t 则称 式为一纯AR p 过程 pureAR p process 49 2 如果 t不是一个白噪声 通常认为它是一个q阶的移动平均 movingaverage 过程MA q t t 1 t 1 2 t 2 q t q该式给出了一个纯MA q 过程 pureMA q process 一般的p阶自回归过程AR p 是 Xt 1Xt 1 2Xt 2 pXt p t 将纯AR p 与纯MA q 结合 得到一个一般的自回归移动平均 autoregressivemovingaverage 过程ARMA p q Xt 1Xt 1 2Xt 2 pXt p t 1 t 1 2 t 2 q t q 50 ARMA p q 该式表明 1 一个随机时间序列可以通过一个自回归移动平均过程生成 即该序列可以由其自身的过去或滞后值以及随机扰动项来解释 2 如果该序列是平稳的 即它的行为并不会随着时间的推移而变化 那么我们就可以通过该序列过去的行为来预测未来 Xt 1Xt 1 2Xt 2 pXt p t 1 t 1 2 t 2 q t q 51 经典回归模型的问题 1 经典的计量经济学模型是以因果关系为基础 且具有一定的模型结构 因此也常称为结构式模型 structuralmodel 2 然而 如果Xt波动的主要原因可能是我们无法解释的因素 则利用结构式模型来解释Xt的变动就比较困难或不可能 时间序列分析模型的适用性 在这些情况下 采用另一条预测途径 通过时间序列的历史数据 得出关于其过去行为的有关结论 进而对时间序列未来行为进行推断 随机时间序列分析模型 就是要通过序列过去的变化特征来预测未来的变化趋势 52 1 AR p 模型的平稳性条件 如果一个p阶自回归模型AR p 生成的时间序列是平稳的 就说该AR p 模型是平稳的 否则 就说该AR p 模型是非平稳的 二 随机时间序列模型的平稳性条件 53 考虑p阶自回归模型AR p Xt 1Xt 1 2Xt 2 pXt p t 引入滞后算子 lagoperator L LXt Xt 1 L2Xt Xt 2 LpXt Xt p 式变换为 1 1L 2L2 pLp Xt t 记 L 1 1L 2L2 pLp 称多项式方程 z 1 1z 2z2 pzp 0 为AR p 的特征方程 characteristicequation 可以证明 如果该特征方程的所有根在单位圆外 根的模大于1 则AR p 模型是平稳的 54 例 AR 1 模型的平稳性条件 对1阶自回归模型AR 1 由于Xt仅与 t相关 因此 E Xt 1 t 0 如果该模型平稳 则有E Xt2 E Xt 12 从而上式可变换为 在平稳条件下 该方差是一非负的常数 从而有 1 55 AR 1 的特征方程 的根为z 1 AR 1 稳定 即 1 意味着特征根大于1 根的模大于1 对高阶自回归模型AR p 1 AR p 模型稳定的必要条件是 1 2 p 1 2 由于 i i 1 2 p 可正可负 AR p 模型稳定的充分条件是 1 2 p 1 56 对于移动平均模型MA q Xt t 1 t 1 2 t 2 q t q其中 t是一个白噪声 于是 2 MA q 模型的平稳性 当滞后期大于q时 Xt的自协方差系数为0 因此 有限阶移动平均模型总是平稳的 q 1 cov Xt Xt q 1 E XtXt q 1 E t 1 t 1 2 t 2 q t q t q 1 1 t q 2 2 t q 3 q t 2q 1 0 57 由于ARMA p q 模型是AR p 模型与MA q 模型的组合 Xt 1Xt 1 2Xt 2 pXt p t 1 t 1 2 t 2 q t q 3 ARMA p q 模型的平稳性 而MA q 模型总是平稳的 因此ARMA p q 模型的平稳性取决于AR p 部分的平稳性 当AR p 部分平稳时 则该ARMA p q 模型是平稳的 否则 不是平稳的 58 1 一个平稳的时间序列总可以找到生成它的平稳的随机过程或模型 2 一个非平稳的随机时间序列通常可以通过差分的方法将它变换为平稳的 对差分后平稳的时间序列也可找出对应的平稳随机过程或模型 如果将一个非平稳时间序列通过d次差分 将它变为平稳的 然后用一个平稳的ARMA p q 模型作为它的生成模型 则我们就说该原始时间序列是一个自回归单整移动平均 autoregressiveintegratedmovingaverage 时间序列 记为ARIMA p d q 4 ARIMA p d q 模型 59 随机时间序列模型的识别 就是对于一个平稳的随机时间序列 找出生成它的合适的随机过程或模型 即判断该时间序列是遵循一纯AR过程 还是遵循一纯MA过程或ARMA过程 所使用的工具主要是时间序列的自相关函数 autocorrelationfunction ACF 及偏自相关函数 partialautocorrelationfunction PACF 三 随机时间序列模型的识别 60 1 AR p 过程 1 自相关函数ACF1阶自回归模型AR 1 Xt Xt 1 t的k阶滞后自协方差为 k 1 2 AR 1 模型的自相关函数为 k 1 2 由AR 1 的稳定性知 1 因此 k 时 ACF呈指数形衰减 直到零 这种现象称为拖尾或称AR 1 有无穷记忆 infinitememory 注意 0时 呈振荡衰减状 61 一般地 p阶自回归模型AR p Xt 1Xt 1 2Xt 2 pXt p t k期滞后协方差为 从而有自相关函数 无论k有多大 k的计算均与其1到p阶滞后的自相关函数有关 因此呈拖尾状 如果AR p 是稳定的 则 k 递减且趋于零 62 其中 zi 1 i是AR p 特征方程 z 0的特征根 由AR p 平稳的条件知 i 1 因此 当zi均为实数根时 k呈几何型衰减 单调或振荡 当存在虚数根时 则一对共扼复根构成通解中的一个阻尼正弦波项 k呈正弦波衰减 事实上 自相关函数 是一p阶差分方程 其通解为 63 2 偏自相关函数 Xt与Xt k间的偏自相关函数 partialautocorrelation 简记为PACF 是消除了中间变量Xt 1 Xt k 1带来的间接相关后的直接相关性 它是在已知序列值Xt 1 Xt k 1的条件下 Xt与Xt k间关系的度量 64 Xt与Xt k之间的条件相关性 其相关程度用偏自相关系数 k k度量 在k阶滞后下估计偏自相关系数的计算公式如下 其中 rk是在k阶滞后时的自相关系数估计值 这是偏自相关系数的一致估计 65 66 要得到 k k的更确切的估计 需要进行回归t 1 2 T 因此滞后k阶的偏自相关系数是当Xt对Xt 1 Xt k作回归时Xt k的系数 称之为偏相关是因为它度量了k期间距的相关而不考虑k 1期的相关 从Xt中去掉Xt 1的影响 则只剩下随机扰动项 t 显然它与Xt 2无关 因此Xt与Xt 2的偏自相关系数为零 记为 在AR 1 中 同样 在AR p 过程中 对所有的k p Xt与Xt k间的偏自相关系数为零 AR p 的一个主要特征是 k p时 k Corr Xt Xt k 0即 k 在p以后截尾 67 AR p 随机时间序列的识别原则 若Xt的偏自相关函数在p以后截尾 即k p时 k 0 而它的自相关函数 k是拖尾的 则此序列是自回归AR p 序列 68 69 70 71 72 73 74 AR 1 过程 时序图 0 2 75 76 AR 1 过程 时序图 0 2 77 78 AR 1 过程 时序图 1 02 79 80 对MA 1 过程 2 MA q 过程 它的自协方差系数 于是 MA 1 过程的自相关函数为 可见 当k 1时 k 0 即Xt与Xt k不相关 MA 1 自相关函数是截尾的 81 MA 1 过程可以等价地写成 t关于无穷序列Xt Xt 1 的线性组合的形式 是一个AR 过程 它的偏自相关函数非截尾但却趋于零 因此MA 1 的偏自相关函数是非截尾但却趋于零的 82 其自协方差系数为 一般地 q阶移动平均过程MA q 相应的自相关函数为 当k q时 Xt与Xt k不相关 k 0 即存在截尾现象 这是MA q 的一个特征 可以根据自相关系数是否从某一点开始一直为0来判断MA q 模型的阶数 MA q 过程的偏自相关函数是非截尾但趋于零的 83 在实际识别时 由于样本自相关函数rk是总体自相关函数 k的一个估计 由于样本的随机性 当k q时 rk不会全为0 而是在0的上下波动 但可以证明 当k q时 rk服从如下渐近正态分布 rk N 0 1 n 式中n表示样本容量 则有95 5 的把握判断原时间序列在q之后截尾 因此 如果计算的rk满足 MA q 模型的识别规则 若随机序列的自相关函数截尾 即自q以后 k 0 k q 而它的偏自相关函数拖尾 则此序列是移动平均MA q 序列 84 ARMA p q 的自相关函数 可以看作MA q 的自相关函数和AR p 的自相关函数的混合 当p 0时 它具有截尾性质 当q 0时 它具有拖尾性质 当p q都不为0时 它具有拖尾性质 从识别上看 通常 ARMA p q 过程的偏自相关函数 PACF 可能在p阶滞后前有几项明显的尖柱 spikes 但从p阶滞后项开始逐渐趋向于零 而它的自相关函数 ACF 则是在q阶滞后前有几项明显的尖柱 从q阶滞后项开始逐渐趋向于零 3 ARMA p q 过程 85 86 ARMA p q 模型的ACF与PACF理论模式 ACFPACF 87 模型2 Xt 0 7Xt 1 t 模型3 Xt t 0 7 t 88 89 例1中GDP是一阶单整的 GDP是平稳序列 90 AR p MA q ARMA p q 模型的估计方法较多 大体上分为3类 利用自相关函数的直接估计矩估计最小二乘估计 结构阶数 模型识别 确定 估计 参数 四 随机时间序列模型的估计 91 1 AR p 模型的YuleWalker方程估计 在AR p 模型的识别中 曾得到 利用 k k 得到如下方程组 此方程组称为YuleWalker方程组 该方程组建立了AR p 模型的模型参数 1 2 p与自相关函数 1 2 p的关系 92 一般地 p阶自回归模型AR p Xt 1Xt 1 2Xt 2 pXt p t k期滞后协方差为 从而有自相关函数 93 利用实际时间序列提供的信息 首先求得自相关函数的估计值 然后利用YuleWalker方程组 求解模型参数的估计值 94 由于 于是 从而可得 2的估计值 95 2 MA q 模型的矩估计 将MA q 模型的自协方差函数中的各个量用估计量代替 得到 首先求得自协方差函数的估计值 是一个包含 q 1 个待估参数的非线性方程组 可以用直接法或迭代法求解 常用的迭代方法有线性迭代法和Newton Raphsan迭代法 96 1 MA 1 模型的直接算法 对于MA 1 模型 式相应地写成 于是有解 由于参数估计有两组解 可根据可逆性条件 1 1来判断选取一组 于是 97 2 MA q 模型的迭代算法 对于q 1的MA q 模型 一般用迭代算法估计参数 由 式得 代入 式 计算出第一次迭代值 98 第二步 将第一次迭代值代入 式 计算出第二次迭代值 按此反复迭代下去 直到第m步的迭代值与第m 1步的迭代值相差不大时 满足一定的精度 便停止迭代 并用第m步的迭代结果作为 的近似解 99 3 ARMA p q 模型的矩估计 在ARMA p q 中共有 p q 1 个待估参数 1 2 p与 1 2 q以及 2 其估计量计算步骤及公式如下 第一步 估计 1 2 p 100 第二步 改写模型 求 1 2 q以及 2的估计值 将模型 改写为 令 于是 可以写成 构成一个MA模型 按照估计MA模型参数的方法 可以得到 1 2 q以及 2的估计值 101 4 AR p 的最小二乘估计 假设模型AR p 的参数估计值已经得到 即有 残差的平方和为 根据最小二乘原理 所要求的参数估计值是下列方程组的解 即 j 1 2 p 解该方程组 就可得到待估参数的估计值 102 注意 在上述模型的平稳性 识别与估计的讨论中 ARMA p q 模型中均未包含常数项 如果包含常数项 该常数项并不影响模型的原有性质 因为通过适当的变形 可将包含常数项的模型转换为不含常数项的模型 以一