平稳时间序列模型的建立.ppt

平稳时间序列模型的拟合问题 也就是从观察到的有限长度的平稳序列样本出发 通过模型的识别 模型的定阶 模型的参数估计等步骤建立起适合序列的ARMA模型 为预测和进一步分析做好准备 引言 对平稳时间序列建立模型一般要经过以下几步 1 模型识别 根据系统性质 以及所提供的时序据的概貌 提出一个相适的类型的模型 模型的定阶等 2 模型参数估计 就是根据实际的观测数据具体地确定该数学模型所包含的项数以及各项系数的数值 3 模型的诊断检验 包括模型的适应性检验等 4 模型的应用 如预测 本章主要介绍前三部分的内容 建模步骤 平稳非白噪声序列 计算样本相关系数 模型识别 参数估计 模型检验 模型优化 序列预测 Y N 第一节平稳时间序列模型的识别 一 模型识别前的说明二 模型识别方法 返回本节首页 下一页 上一页 一 模型识别前的说明 一 关于非平稳序列本章所介绍的是对零均值平稳序列建立ARMA模型 因此 在对实际的序列进行模型识别之前 应首先检验序列是否平稳 若序列非平稳 应先通过适当变换将其化为平稳序列 然后再进行模型识别 返回本节首页 下一页 上一页 序列的非平稳包括均值非平稳和方差非平稳 均值非平稳序列平稳化的方法 差分变换 方差非平稳序列平稳化的方法 对数变换 平方根变换等 序列平稳性的检验方法和手段主要有 序列趋势图 自相关图 单位根检验 非参数检验方法等等 单位根检验 定义通过检验特征根是在单位圆内还是单位圆上 外 来检验序列的平稳性方法DF检验ADF检验PP检验 DF检验 假设条件原假设 序列非平稳备择假设 序列平稳检验统计量时时 DF统计量 时时 DF检验的等价表达 等价假设检验统计量 DF检验的三种类型 第一种类型第二种类型第三种类型 例1 对1978年 2002年中国农村居民家庭人均纯收入对数序列和生活消费支出对数序列进行检验 例1时序图 例1输入序列的DF检验 例1输出序列的DF检验 ADF检验 DF检验只适用于AR 1 过程的平稳性检验 为了使检验能适用于AR p 过程的平稳性检验 人们对检验进行了一定的修正 得到增广检验 AugmentedDickey Fuller 简记为ADF检验 ADF检验的原理 若AR p 序列有单位根存在 则自回归系数之和恰好等于1 ADF检验 等价假设检验统计量 ADF检验的三种类型 第一种类型第二种类型第三种类型 例1续 对1978年 2002年中国农村居民家庭人均纯收入对数差分后序列和生活消费支出对数差分后序列进行检验 例1序列的ADF检验 例1序列的ADF检验 二 关于非零均值的平稳序列非零均值的平稳序列有两种处理方法 设xt为一非零均值的平稳序列 且有E xt 方法一 用样本均值作为序列均值 的估计 建模前先对序列作如下处理 令然后对零均值平稳序列wt建模 方法二在模型识别阶段对序列均值是否为零不予考虑 而在参数估计阶段 将序列均值作为一个参数加以估计 以一般的ARMA p q 为例说明如下 将上式展开得 此时 所要估计的未知参数有p q 1个 式中 在实际估计模型时 可将 0看作一个常数估计 若 0显著不为0 则 0 此时 0 有如上关系 若 0显著为0 则可认为 0 在最终模型中将此常数项去掉即可 一般而言 后一种方法拟合的效果较好 三 关于平稳序列均值是否为零的检验 一种方法为检验 E xt 0可将样本均值和均值的标准差进行比较 若样本均值落在的范围内 则可认为是零均值过程 Box Jenkins的模型识别方法 三类平稳时间序列的自相关函数和偏自相关函数的统计特性 模型 序列 AR n MA m ARMA n m 自相关函数拖尾截尾拖尾偏自相关函数截尾拖尾拖尾 二 模型识别方法 一 平稳序列模型识别要领零均值平稳序列模型识别的主要根据是序列的自相关函数 ACF 和偏自相关函数 PACF 的特征 若序列xt的偏自相关函数在k p以后截尾 即k p时 而且它的自相关函数拖尾 则可判断此序列是AR p 序列 返回本节首页 下一页 上一页 若序列xt的自相关函数在k q以后截尾 即k q时 而且它的偏自相关函数拖尾 则可判断此序列是MA q 序列 若序列xt的自相关函数 偏相关函数都呈拖尾形态 则可断言此序列是ARMA序列 若序列的自相关函数和偏自相关函数不但都不截尾 而且至少有一个下降趋势势缓慢或呈周期性衰减 则可认为它也不是拖尾的 此时序列是非平稳序列 应先将其转化为平稳序列后再进行模型识别 二 样本自相关函数 SACF 和偏自相关函数 SPACF 截尾性的判断 前面模型识别方法中有关自相关函数 偏自相关函数截尾性的判断仅是理论上的 实际上的样本自相关函数和样本偏自相关函数仅是理论上的一个估计值 由于样本的随机性 免不了有误差 因此需要根据SACF和SPACF对ACF和PACF的截尾性作一判断 计算样本相关系数 样本自相关系数 样本偏自相关系数 模型定阶的困难 因为由于样本的随机性 样本的相关系数不会呈现出理论截尾的完美情况 本应截尾的或仍会呈现出小值振荡的情况由于平稳时间序列通常都具有短期相关性 随着延迟阶数 与都会衰减至零值附近作小值波动 当或在延迟若干阶之后衰减为小值波动时 什么情况下该看作为相关系数截尾 什么情况下该看作为相关系数在延迟若干阶之后正常衰减到零值附近作拖尾波动呢 1 样本自相关函数截尾性的判断方法理论上证明 若序列xt为MA q 序列 则k q后 序列的样本自相关函数渐近服从正态分布 即 故由正态分布理论可知 此处n是样本容量 对于k q 若的个数不超过总个数的31 7 或的个数不超过总个数的4 5 就可认为在k q时是截尾的 在实际进行检验时 可对每个k 0 分别检验 通常取 中满足的个数所占的百分比是否超过31 7 或满足的个数是否超过4 5 若k 1 2 q 1都超过了而k q时未超过 就可认为在k q时是截尾的 2 样本偏自相关函数截尾性的判断方法可以证明 若序列xt为AR p 序列 则k p后 序列的样本偏自相关函数服从渐近正态分布 即近似的有 此处n表示样本容量 于是可得 在实际进行检验时 可对每个k 0 分别检验 通常取 中满足的个数所占的百分比是否超过31 7 或满足的个数是否超过4 5 若k 1 2 p 1都超过了 而k p时未超过 就可认为在k q时是截尾的 三 关于ARMA序列阶数的确定 ARMA序列的阶数 直接通过自相关图较难确定 较常用的方法有Pandit Wu方法或延伸自相关函数 EACF 法 样本相关系数的近似分布 BarlettQuenouille 模型定阶经验方法 95 的置信区间模型定阶的经验方法如果样本 偏 自相关系数在最初的d阶明显大于两倍标准差范围 而后几乎95 的自相关系数都落在2倍标准差的范围以内 而且通常由非零自相关系数衰减为小值波动的过程非常突然 这时 通常视为 偏 自相关系数截尾 截尾阶数为d 例4 1 某车站1993 1997年各月的列车运行数量数据共60个 单位 千列公里 一阶差分后的序列共59个数据 如下图所示 列车运行数量数据差分序列图 列车运行数量数据差分序列的相关函数图 列车运行数量数据差分序列的相关函数图 从数据图可初步断定序列是平稳的 为3步截尾 可初步判定差分后的序列适合MA 3 模型 当时 在中满足的比例达到 例2 5续 选择合适的模型ARMA拟合1950年 1998年北京市城乡居民定期储蓄比例序列 序列自相关图 序列偏自相关图 拟合模型识别 自相关图显示延迟3阶之后 自相关系数全部衰减到2倍标准差范围内波动 这表明序列明显地短期相关 但序列由显著非零的相关系数衰减为小值波动的过程相当连续 相当缓慢 该自相关系数可视为不截尾偏自相关图显示除了延迟1阶的偏自相关系数显著大于2倍标准差之外 其它的偏自相关系数都在2倍标准差范围内作小值随机波动 而且由非零相关系数衰减为小值波动的过程非常突然 所以该偏自相关系数可视为一阶截尾所以可以考虑拟合模型为AR 1 例3 8 美国科罗拉多州某一加油站连续57天的OVERSHORT序列 序列自相关图 序列偏自相关图 拟合模型识别 自相关图显示除了延迟1阶的自相关系数在2倍标准差范围之外 其它阶数的自相关系数都在2倍标准差范围内波动 根据这个特点可以判断该序列具有短期相关性 进一步确定序列平稳 同时 可以认为该序列自相关系数1阶截尾偏自相关系数显示出典型非截尾的性质 综合该序列自相关系数和偏自相关系数的性质 为拟合模型定阶为MA 1 例3 9 1880 1985全球气表平均温度改变值差分序列 序列自相关图 序列偏自相关图 拟合模型识别 自相关系数显示出不截尾的性质偏自相关系数也显示出不截尾的性质综合该序列自相关系数和偏自相关系数的性质 可以尝试使用ARMA 1 1 模型拟合该序列 第二节模型的定阶 模型的定阶又称模型的过拟合检验 分两种情况 一是评价模型是否包含过多的参数 二是评价模型是否参数不足 需要拟合额外的参数 模型定阶的准则主要有残差方差图定阶法 F检验定阶法 AIC和SBC定阶准则等等 返回本节首页 下一页 上一页 第二节模型的定阶 一 残差方差图定阶法二 F检验定阶法三 最佳准则函数定法 返回本节首页 下一页 上一页 一 残差方差图定阶法 1 基本思想如果拟合的模型阶数与真正阶数不符合 则模型的残差平方和SSE必然偏大 残差方差将比真正模型的残差方差大 如果是不足拟合 那么逐渐增加模型阶数 模型的残差方差会渐减少 直到残差方差达到最小 如果是过度拟合 此时逐渐少模型阶数 模型残差方差分逐渐下降 直到残差方差达到最小 返回本节首页 下一页 上一页 2 残差方差的估计公式 注 式中 实际观察值个数 是指拟合模型时实际使用的观察值项数 即经过平稳化后的有效样本容量 设原序列有n个样本 若建立的模型中有含有自回归AR部分 且阶数为p 则实际观察值个数为n p个 若没有AR部分 则实际观察值个数即为n个 模型的参数个数指模型中所含的参数个数 如 若是不带常数项的ARMA p q 模型 参数个数为p q个 若带有常数项 则参数个数为p q 1个 AR n 模型 MA m 模型 ARMA n m 模型 从建模的 约简 性原则出发可以初步判断合适的模型阶数为4 例4 1的残差方差图 用Eviews建立ARMA模型后 可直接得到剩余平方和SSE Sumsquaredresid 输出结果中也可直接得到残差标准差 S E ofregression 此项的平方即为残差方差 因此 对不同的模型残差方差进行比较 直接比较此项既可 例 以zl14 wf1磨轮剖面数据为例 分别建立适应性模型 输出结果见图示 从中选择最佳模型 三个模型残差方差比较 二 F检验定阶法 1 基本思想 以一般情形和ARMA p q 模型为例 先对数据拟合ARMA p q 模型 假设不含常数项 设其残差平方和为Q0 再对数据拟合较低阶的模型ARMA p m q s 设其残差平方和为Q1 建立原假设H0 返回本节首页 下一页 上一页 在原假设成立的条件下有 于是计算统计量F 在给定的显著性水平下 若F F 则拒绝原假设 说明两模型差异是显著的 此时模型阶数存在升高的可能性 若F F 此不能拒绝原假设 说明两模型差异不显著 此时模型阶数存在降低的可能性 注 F检验定阶法的应用条件 两模型中有一个为合适模型 对例4 1序列分别拟合1至5阶MA模型 剩余平方和分别为80771 776149 973484 669666 169718 5 对于MA 3 与MA 4 模型 在的显著性水平下 MA 3 与MA 4 模型没有显著差异 同样比较可得 MA 3 与MA 2 MA 2 与MA 1 在的显著性水平下没有显著差异 合适的模型阶数为1 三 最佳准则函数定法 最佳准则函数法 即确定出一个准则函数 该函数既要考虑某一模型拟合时对原始数据的接近程度 同时又要考虑模型中所含待定参数的个数 建模时 使准则函数达到极小的是最佳模型 返回本节首页 下一页 上一页 一 赤池的AIC准则和BIC准则1 AIC准则 Akaikeiformationcriterion AIC准则是1973年由赤池 Akaike 提出 此准则是对FPE准则 用来判别AR模型的阶数是否合适 的推广 用来识别ARMA模型的阶数 AIC准则函数为 式中 M为模型中参数的个数 AIC的简化式为 简化式由将对数似然函数展开 并将其中的常数项2 去掉得到 式中 是残差方差的极大似然估计值 最小信息量准则指导思想似然函数值越大越好未知参数的个数越少越好 Eviews输出的Akaikeinfocriterion与上述形式略有差别 参见Eviewshelp 其定义为 其中 n是实际观察值的个数 2 BIC准则柴田 Shibata 1976年证明AIC有过分估计自回归参数的倾向 于是Akaike又提出了AIC方法的贝叶斯扩展 即BIC BIC准则函数为 式中 C为常数 余同前 AIC准则的缺陷在样本容量趋于无穷大时 由AIC准则选择的模型不收敛于真实模型 它通常比真实模型所含的未知参数个数要多 二 施瓦茨 Schwarz 的SC准则此准则1978年由Schwarz提出 被称为SBC Schwartz sBayesiancriterion 准则函数 简化式为 同样Eviews输出的结果与上形式略有差别 其定义为 前面介绍的几种定阶方法对于AR模型和MA模型还比较有效 但对于混合的ARMA模型定阶 并不方便 1984年Tiao 刁锦寰 和Tsay提出了可鉴定ARMA模型阶数的延伸自相关函数法 EACF 例4 1准则函数定阶图 第三节ARMA模型参数估计 一 模型参数的矩方法估计二 最小二乘估计三 极大似然估计 返回本节首页 下一页 上一页 引 本章我们将讨论如下模型的参数估计 式中 xt是零均值平稳序列 at为白噪声序列 待估计参数有 一 模型参数的矩方法估计 一 基本思路矩方法估计就是利用样本自协方差函数或样本自相关函数对模型参数进行估计 类似于数理统计中采用的矩方法估计 假设序列xt是ARMA p q 序列 那么xt的自协方差函数或自相关函数可由模型参数表达出来 估计时 将公式中的 换成 解方程组即可求出参数的矩估计值 返回本节首页 下一页 上一页 说明 1 此方法简明易懂 计算工作量小 但在大样本情况下 估计的精度才较高 2 当序列xt为AR P 此方法的估计精度较高 与其它方法相比相差不大 但如果xt是MA或ARMA序列 矩估计的精度较差 二 AR p 模型参数的矩估计设序列xt经过模型识别 确定为AR p 模型 有如下结论 于是可得如下的Yule Walk方程 用代替 并解上述方程组 就可得 根据自协方差公式有 于是可得到的矩估计 例1 AR 1 模型的矩估计 例2 AR 2 模型参数的矩估计 三 MA q 模型参数的矩估计第四章已经推导出MA q 的自协方差结果 将代替 代替 i 1 2 q 得如下方程组 上式是含有q 1个参数的非线性方程组 解此方程组 即可以求出各参数 方程组可以直接求解 也可以用迭代法求解 例 MA 1 模型参数的矩估计 此例介绍的是直接求解法 还有线性迭代法和Newton Raphson算法 由上求解可以看出MA模型和ARMA模型参数的矩方法估计是很复杂的 并且其估计精度较差 对它们参数的估计最好用其他方法 3 ARMA n m 模型参数的矩估计 第一步 先用类似于AR模型参数矩估计的方法给出ARMA n m 模型的AR部分参数的矩估计 第二步计算序列的自协方差函数 第三步 把近似看作MA m 序列 利用MA参数的矩估计方法就可以得到ARMA n m 模型的滑动平均部分参数的矩估计 例3 12 求ARMA 1 1 模型系数的矩估计 ARMA 1 1 模型方程矩估计 对矩估计的评价 优点估计思想简单直观不需要假设总体分布计算量小 低阶模型场合 缺点信息浪费严重只用到了p q个样本自相关系数信息 其他信息都被忽略估计精度差通常矩估计方法被用作极大似然估计和最小二乘估计迭代计算的初始值 二 最小二乘估计 原理使残差平方和达到最小的那组参数值即为最小二乘估计值 基本思想 返回本节首页 下一页 上一页 考虑以下时序模型 若et at 即et为白噪声 此时模型为AR P 模型 则前述四个假设都能满足 因此 对于AR P 模型 用普通最小二乘法 OLS 估计的参数是无偏 一致估计 若 此时模型为ARMA p q 模型或MA q p 0时 模型 此时et不满足第3 4个条件 因此 对于ARMA模型和MA模型 普通最小二乘估计不是一致的估计 对于ARMA模型或MA模型参数的估计 一般采用非线性最小二乘法 或极大似然估计法 例 在Eviews中用OLS对磨轮剖面数据 zl14 wf1 建立AR 2 模型 Lsxx 1 x 2 此结果与NLS估计结果一致 条件最小二乘估计 实际中最常用的参数估计方法假设条件残差平方和方程解法迭代法 对最小二乘估计的评价 优点最小二乘估计充分应用了每一个观察值所提供的信息 因而它的估计精度高条件最小二乘估计方法使用率最高缺点需要假定总体分布 三 极大似然估计 一 基本思想设有平稳的ARMA p q 模型 其中at为白噪声 对于极大似然估计法 一般假定at为正态白噪声 即 令为总体参数向量 假定观察到一个样本容量为n的样本 返回本节首页 下一页 上一页 计算联合概率密度 它可大致看作已观察到具体样本的概率 最大似然估计就是求使这个样本最可能出现的参数向量 极大似然估计的估计精度一般较高 因此又称为精估计 二 基本步骤极大似然估计包括两步 1 计算似然函数 2 求使这个函数达到最大的参数值 注 一般求的都是对数最大似然函数 可通过Eviews输出所估计参数的对数似然函数值 Loglikelihood 似然方程 由于和都不是的显式表达式 因而似然方程组实际上是由p q 1个超越方程构成 通常需要经过复杂的迭代算法才能求出未知参数的极大似然估计值 对极大似然估计的评价 优点极大似然估计充分应用了每一个观察值所提供的信息 因而它的估计精度高同时还具有估计的一致性 渐近正态性和渐近有效性等许多优良的统计性质缺点需要假定总体分布 例2 5续 确定1950年 1998年北京市城乡居民定期储蓄比例序列拟合模型的口径拟合模型 AR 1 估计方法 极大似然估计模型口径 例3 8续 确定美国科罗拉多州某一加油站连续57天的OVERSHORTS序列拟合模型的口径拟合模型 MA 1 估计方法 条件最小二乘估计模型口径 例3 9续 确定1880 1985全球气表平均温度改变值差分序列拟合模型的口径拟合模型 ARMA 1 1 估计方法 条件最小二乘估计模型口径 在ARMA模型参数的三种估计方法中 矩估计法相对简单 计算量小 但精度低 只宜作为初估计 但对于AR模型 当样本容量充分大时 三种估计结果十分接近 最小二乘估计和极大似然估计精度高 一般称之为模型参数的精估计 但计算量都较大 计算复杂 第四节模型的诊断检验 一 模型的适应性检验二 模型的平稳性和可逆性分析 返回本节首页 下一页 上一页 模型检验 模型的显著性检验整个模型对信息的提取是否充分参数的显著性检验模型结构是否最简 一 模型的显著性检验 目的检验模型的有效性 对信息的提取是否充分 检验对象残差序列判定原则一个好的拟合模型应该能够提取观察值序列中几乎所有的样本相关信息 即残差序列应该为白噪声序列反之 如果残差序列为非白噪声序列 那就意味着残差序列中还残留着相关信息未被提取 这就说明拟合模型不够有效 若建立的模型恰当的描绘了已给数据数据序列的ARMA模型 那么模型拟合的残差应是白噪声序列 即均值为零 常数方差 彼此不相关 ARMA模型的适应性检验 主要就是检验残差是否为白噪声序列 返回本节首页 下一页 上一页 散点图法估计相关系数法F检验法卡方检验法 一 相关函数法 可以证明 样本个数充分大时 就可以在在0 05的显著性水平下接受 如果 卡方检验法设为估计出的残差序列 其样本自相关函数为 通常用Q统计量检验原假设是否为白噪声 说明 1 检验ARMA模型残差是否为白噪声和序列是否为白噪声时统计量的自由度不同 2 Eviews用的Q统计量是Ljung BoxQ统计量 3 在Eviews中可直接用Q统计量的对应的P值进行检验 举例 检验序列是否为白噪声序列原假设 全部同时为0 k 1 检验统计量 Q统计量 Qstatistic 其中 n为样本容量 m为滞后长度 Q近似地服从 对例4 1拟合MA 1 模型 模型适应性检验的Ljung Box Pierce统计量为相伴概率 p值 612 260 03126 370 13 前6期残差自相关的整体检验的相伴概率 p值 小于0 05 表明MA 1 模型不是适合的 例4 1残差自相关图 MA 1 滞后两期的残差自相关函数大于残差自相关检验也表明MA 1 模型不是适合的 对例4 1拟合MA 3 模型 模型适应性检验的Ljung Box Pierce统计量为相伴概率 p值 65 620 131210 630 30 例4 1残差自相关图 MA 3 例2 5续 检验1950年 1998年北京市城乡居民定期储蓄比例序列拟合模型的显著性残差白噪声序列检验结果 参数显著性检验 目的检验每一个未知参数是否显著非零 删除不显著参数使模型结构最精简假设条件检验统计量 例2 5续 检验1950年 1998年北京市城乡居民定期储蓄比例序列极大似然估计模型的参数是否显著参数检验结果 例3 8续 对OVERSHORTS序列的拟合模型进行检验 残差白噪声检验参数显著性检验 例3 9续 对1880 1985全球气表平均温度改变值差分序列拟合模型进行检验 残差白噪声检验参数显著性检验 二 模型的平稳性和可逆性分析 一 平稳性分析若是AR P 模型或ARMA p q 模型 其平稳性条件是自回归部分所对应的差分方程的特征方程的特征根必须都小于 若特征根有大于或等于1的 说明模型是非平稳的 特别是当特征根等于1或非常接近于1时 说明序列为单位根过程 此时需要对原序列进行适当的差分变换 有几个单位根 作几次差分 使其平稳 然后再对变换后的序列建模 返回本节首页 下一页 上一页 2 可逆性分析对于MA q 和ARMA p q 模型 模型的可逆性条件是移动平均部分所对应的差分方程的特征都小于1 若有特征根大于1或等于1的 说明模型是非可逆的 此时要对序列作适当的变换 再建模 特别是当特征根有等于1或很接近1 说明此模型有过度差分之误 因此 应适当减少差分阶数再建模 以使模型满足可逆性条件 Eviews估计结果直接输出自回归部分所对应的差分方程的特征根 invertedARroot 移动平均部分所对应的差分方程的特征方程的特征根 invertedMAroot 模型优化 问题提出当一个拟合模型通过了检验 说明在一定的置信水平下 该模型能有效地拟合观察值序列的波动 但这种有效模型并不是唯一的 优化的目的选择相对最优模型 例3 13 拟合某一化学序列 序列自相关图 序列偏自相关图 拟合模型一 根据自相关系数2阶截尾 拟合MA 2 模型参数估计模型检验模型显著有效三参数均显著 拟合模型二 根据偏自相关系数1阶截尾 拟合MA 1 模型参数估计模型检验模型显著有效两参数均显著 问题 同一个序列可以构造两个拟合模型 两个模型都显著有效 那么到底该选择哪个模型用于统计推断呢 解决办法确定适当的比较准则 构造适当的统计量 确定相