时间序列分析-第六章 ARMA模型的参数估计.ppt

第六章ARMA模型的参数估计 第一节AR p 模型的参数估计第二节MA q 模型的参数估计第三节ARMA p q 模型的参数估计第四节求和模型及季节模型的参数估计 第一节 AR p 模型的参数估计目的 为观测数据建立AR p 模型 1 1 假定自回归阶数p已知 考虑回归系数和零均值白噪声的方差的估计 数据的预处理 如果样本均值不为零 需将它们中心化 即将它们都同时减去其样本均值再对序列按 1 1 式的拟合方法进行拟合 假定数据适合于以下模型 1 2 其中 p为给定的非负整数 为未知参数 记为系数参数 为独立同分布序列 且 与独立 参数满足平稳性条件 A AR p 模型参数的Yule Walker估计对于AR p 模型 自回归系数由AR p 序列的自协方差函数通过Yule Walker方程唯一决定 白噪声方差由决定 AR p 模型的自回归系数和白噪声方差的矩估计就由样本Yule Walker方程 1 3 和 1 4 决定 令则 1 3 1 4 式可写为 实际应用中 对于较大的p 为了加快计算速度可采用如下的Levison递推方法递推最后得到矩估计 上式是由求偏相关函数的公式 导出 定理1 1如果AR p 模型中的是独立同分布的 则当时 1 2 依分布收敛到p维正态分布 注 用表示的第元素时 可知依分布收敛到 于是的95 的渐近置信区间是在实际问题中 未知 可用的元素代替 得到的近似置信区间 B AR p 模型参数的最小二乘估计如果是自回归系数的估计 白噪声的估计定义为通常为残差 我们把能使 1 6 达到极小值的称为的最小二乘估计 记则 于是的最小二乘估计为即 相应地 白噪声方差的最小二乘估计式中为的p个分量 定理1 2设AR p 模型中的白噪声是独立同分布的 是自回归系数的最小二乘估计 则当时 依分布收敛到p维正态分布注 对于较大的n 最小二乘估计和矩估计 Yule Walker 估计的差别不大 C AR P 模型的极大似然估计假定模型AR p 中的为正态分布 则观测向量的高斯似然函数为相应的对数似然函数为其中 为的协方差阵 表示的行列式 使得对数似然函数达到极大值的和称为和的极大似然估计 从另一角度考虑 注 当n充分大时 AR p 模型参数的极大似然估计 最小二乘估计和矩估计 Yule Walker估计 三者都非常接近 即三者渐近相等 它们都可以作为AR p 模型的参数估计 这是AR p 模型的独有的优点 例1 1 由下列AR 1 序列产生长度为n 300的样本 计算出前5个样本自协方差函数值为求参数的矩估计和最小二乘估计 1 参数的矩估计分别为将样本自协方差函数值代入得 2 参数的最小二乘估计分别为 例1 2求AR 2 模型参数的估计 这里n 300 1 AR 2 模型的矩估计为 计算出的前5个样本协方差函数值为将其值代入上式得 2 最小二乘估计 注 一般在求高阶AR p 模型参数的矩估计时 为了避免求高阶逆矩阵 可采用求偏相关函数的递推算法 求出即为的矩估计 将它们代入的表达式可得 D AR p 模型的定阶1 偏相关函数的分析方法一个平稳序列是AR p 序列当且仅当它的偏相关函数是p步截尾的 如果p步截尾 当时 而 就以作为p的估计 定理1 3设由定义 如果AR p 模型中的白噪声是独立同分布的 则对确定的k p 当时 依分布收敛到k维正态分布 推论 在定理1 3的条件下 对k p 依分布收敛到标准正态分布N 0 1 根据推论 对于AR p 序列和k p 当样本量n比较大时 以近似于0 95的概率落在区间之内 于是对于某个固定的k 以作为p的估计 或者根据推论有如下的检验方法 对于某个正整数p 显著地异于零 而近似等于零 其满足 或 的个数占的比例近似地为68 3 或95 5 则近似地认为在p步截尾 初步判定为AR p 例1 3 例1 1续 使用样本偏相关函数对AR p 的模型阶数作初步的判定 结果 取上限 样本自相关函数呈拖尾状 而从15个偏相关函数来看 除显著异于零之外 其余14个中绝对值不大于的有10个 于是结论 初步判定为AR 1 模型 前15个样本偏相关函数 例1 4 例1 2续 使用样本偏相关函数对AR p 的模型阶数作初步的判定 结果 取上限 样本自相关函数呈拖尾状 而从15个偏相关函数来看 除显著异于零之外 其余14个中绝对值不大于的有9个 于是结论 初步判定为AR 2 模型 前15个样本偏相关函数 2 AIC准则方法 A InformationCriterion 为了使拟合残差平方和尽量小 而又不至于引入过多的虚假参数的估计 Akaike于1973年引入如下的准则函数 假定已有阶数p的上阶 AIC k 的最小值点 若不唯一 应取小的 称为AR p 模型的AIC定阶 即 具体步骤 1 取定p k时 根据数据使用前一小节所提的任何一种参数的估计方法 给出噪声方差的估计 2 再找出AIC取极小值时 所对应的阶数p 注 AIC定阶并不相合 AIC定阶通常会对阶数略有高估 故在应用中 当样本量不是很大时 使用AIC定阶方法 为了克服AIC定阶的不相合性 可使用BIC准则方法 设为AR序列 则BIC准则函数为将此准则函数达到最小值的解作为p的估计 就是BIC准则方法 注 1 理论上已证明BIC准则的定阶具有相合性 2 当n不是很大时 用BIC定阶有时会低估阶数p 造成模型的较大失真 故在实际问题中 特别当样本量不是很大时 BIC的定阶效果并不如AIC定阶准则 例1 5 例1 1续 n 300个观测 定阶 方法 观察偏相关函数 确定上界是P 10 对p 1 2 10分别解Yule Walker方程得到的Yuler Walker估计 再对p 1 2 10分别计算出AIC和BIC函数 计算结果如下 结果 AIC 1 和BIC 1 分别是AIC和BIC函数的最小值 结论 由AIC和BIC定阶可知阶数p 1 AIC函数图 BIC函数图 例1 6 例1 2续 n 300个观测 定阶 方法 观察偏相关函数 确定上界是P 10 对p 1 2 10分别求出的估计 再对p 1 2 10 计算AIC和BIC函数 计算结果如下 结果 AIC 2 和BIC 2 分别是AIC和BIC函数的最小值 结论 由AIC和BIC定阶可知阶数p 2 AIC函数图 BIC函数图 例1 7 独立重复1000次实验 每次产生符合模型AR 4 的300个观测 得到AIC和BIC定阶情况如下 在1000次模拟计算中AIC将阶数定为4的有674次 而BIC阶数定为4的有476次 BIC定阶对阶数低估的比率为51 5 增大样本量n 1000 获得如下结果 AIC定出的平均阶数是Avc AIC 4 593 BIC定出的平均阶数是Avc BIC 3 996 故对于较大的样本量有必要综合考虑AIC定阶和BIC定阶 E 拟合模型的检验现有数据 欲判断它们是否符合以下模型式中被假定为独立序列 且与独立 原假设 数据符合AR p 故在成立时 下列序列为独立序列的一段样本值序列 步骤 1 首先 根据公式计算出残差的样本自相关函数 2 利用上一章关于独立序列的判别方法 判断是否为独立序列的样本值3 根据判断结果 如果接受它们为独立序列的样本值 则接受原假设 即接受符合AR p 否则 应当考虑采用新的模型拟合原始数据序列 例1 8 例1 5续 拟合后 给出残差头15个数据 有11个落在之间 故不能否定原假设 即符合AR 1 模型 残差的图形 残差的自相关函数 例1 9 例1 6续 拟合后 给出残差头15个数据 有15个落在之间 故不能否定原假设 即符合AR 2 模型 残差的图形 残差的自相关函数 第二节滑动平均模型拟合 对于已给的时间序列数据 用MA q 式的滑动平均模型去拟合它们 称为滑动平均模型拟合 滑动平均模型拟合主要包括 1 判断滑动平均模型MA的阶数 2 估计模型的参数 3 对拟合模型进行检验 一 参数估计假定数据序列适合以下模型 2 1 其中为独立同分布的序列 且 q为给定的非负整数 为未知参数 并满足可逆性条件 1 参数的矩估计方法MA q 序列的自协方差函数与MA q 的模型参数有如下公式 故 和的矩估计和 为 2 2 1 解析法对于阶数较低的MA q 模型 例如MA 1 和MA 2 可利用解析法求解 对于MA 1 模型 和满足可得和的矩估计分别为 例4 11由MA 1 模型产生长度n 300的样本 计算出前两个样本自协方差函数值 由上述讨论 对于MA 2 模型 其中满足可得的估计为 当时 当时 从而可得 例4 12求MA 2 模型的n 950的样本的参数的矩估计 解 已知前三项的样本自相关函数分别为使用上述公式 可得到如下估计值 2 线性迭代算法将 2 2 式表示为 2 3 在可逆域内 给定的初值 代入 2 3 式右边 得到一步迭代值 再将它们代入 2 3 式右边 得出 2 3 式左边的第二不迭代值 同法重复直到某步 设有精度 当同时成立时 就停止迭代 否则继续迭代下去 以作为的矩估计 3 Newton Raphson算法优点 方法简便 收敛速度快缺点 使用该算法得到的解不能保证满足属于可逆域 需要采用调整方法才可做到 详见 时间序列的分析与应用 或 应用时间序列分析 2 极大似然估计若 2 1 中 为正态分布 则服从分布 其中是的协方差矩阵 于是有似然函数 其中 使似然函数达到极大值之解的和 即为和的极大似然估计 近似极大似然估计方法 假定 2 1 式中的初值给定 不妨设为零值 则由 2 1 式和数据可以求出 2 4 于是可得到如下近似似然函数为 2 5 记 由 2 5 式决定的近似极大似然估计和满足以下方程于是为以下方程的解而 3 自回归逼近方法原理 可逆的MA q 模型有逆转形式模型 且逆转形式中的无穷阶自回归系数满足以指数衰减到零的趋势 故一个可逆的MA模型可用适当高阶的AR模型近似 用一个高阶的AR模型拟合一个较低的MA序列称为自回归逼近拟合方法 步骤 1 对原始数据进行自回归模型拟合 可用AIC定阶 求参数的Yule Walker估计 在进行检验 或直接拟合AR p 模型 其中 当n不太大时 取 当n很大时 取 将拟合后模型记为 2 6 2 利用 2 6 式 计算拟合残差 于是 2 1 式的模型可近似写为记 2 7 于是 2 7 可简记为故 和的最小二乘估计分别为和优点 不涉及非线性代数方程 易于实际应用 二 阶数的估计1 自相关函数估计方法依据 一个平稳序列为MA q 序列的充要条件是它的自协方差函数q步截尾 对于MA q 模型 当k q n充分大时 的分布渐近正态 于是当k q n充分大时 下列等式近似成立 方法 对于每一个正整数q 计算样本自相关函数 M一般取为左右 考察其中满足的个数是否占M的68 3 或95 5 左右 如取某显著地异于零 而近似等于零 并满足上述不等式的个数达到了68 3 或95 5 左右比例 则初步认为在步截尾 初步判定为 例2 3设为MA 1 序列 由它产生长度为n 300样本值 计算出前17个样本自相关函数为 计算出 2 AIC准则定阶方法给出模型阶数q的上界 对于按前述的方法逐个拟合MA m 模型 并给出白噪声方差的估计量 定义AIC函数其中 n是样本个数 AIC m 的最小值点 如不唯一 应取小的 称为MA q 模型的AIC定阶 例2 3的定阶问题 使用AIC准则 有 三 拟合模型的检验如果一段时间序列数据符合 2 1 式 则当给定初始值 由 2 2 式计算出 它应当是独立序列的一段样本值 故检验问题就转化为检验是否为独立序列的一段样本值的问题方法 检验和正态检验 四 建模例题 产生模型的n 300个样本数据 建立模型 1 求出样本均值 样本自协方差函数 样本自相关函数 样本自相关函数 2 观察样本自相关函数为1步结尾 或使用前述的两种定阶方法 初步判定MA 1 3 使用第二小节的矩估计的解析方法可得 4 检验 给出我们使用检验 给出 计算出 取值图 第三节ARMA模型的拟合 根据数据序列 拟合以下ARMA p q 模型 3 1 其中 为独立同分布的序列 且对一切s t成立 参数和满足平稳性和可逆性条件 且与无公共根 一 模型参数的估计1 矩估计方法步骤1 的矩估计 满足如下方程 3 2 其中 由 1 19 可知p元线性方程组 记于是 3 2 可简写为若满秩 则 3 3 步骤2 和满足以下的方程式 3 4 式中其中 3 4 式关于的非线性代数方程组 当q 1 2可求出显示解 当 可用数值解法 2 近似极大似然估计方法方法 取初始值对于任意给定的一组参数 由 3 1 迭代算出相应值 即 3 5 定义关于的函数则 近似似然函数为 使得上式取到极大值的 称它们为的近似极大似然估计 也称最小平方和估计 当q 0 上述极值问题简化为Yule Walker估计 当p 0 上述极值问题与第三节的近似极大似然估计方法一致 3 1 式中的的估计为 3 自回归逼近方法基本思路 1 为数据建立AR模型 取自回归阶数的上界 采用AIC定阶方法得到AR模型的阶数估计P和自回归系数的估计 2 计算残差写出近似的ARMA p q 模型 3 对目标函数 2 6 极小化 得到最小二乘估计 的最小二乘估计由下式定义 具体算法定义 则目标函数 2 6 可写成 可解出最小二乘估计为相应地 的估计为 二 模型阶数的估计1 相关分析法用于ARMA模型的定阶方法 1 给定初值 一般取初值为零 将的估计代入 3 2 递推得到残差估计 2 作假设检验来自于白噪声序列长度为n的样本 不是白噪声序列的长度为n的样本 令检验等价于检验是否来自于N 0 1 总体的k个独立抽样问题 a 检验的绝对值是否有68 3 左右小于1 b 检验法 在成立条件下 当n充分大时 是k个相互独立N 0 1 随机变量 则服从自由度为k的中心分布 则以显著水平为的否定域为 2 AIC准则方法给定ARMA模型阶数的上界和 对于每一对 k j 计算AIC函数取 使此时称为ARMA模型的阶的估计 其中一般取或中的整数 具有相合性的定阶准则BIC 使上式达最小的为ARMA模型的阶 中的整数 三 拟合模型的检验ARMA模型的检验是检验其拟合残差序列是否为独立序列 方法 取初值计算的样本值 即检验是否为独立序列的样本值 四 例子 kejian2由计算机产生模拟时间序列数据 1 计算出样本均值 自相关函数 自协方差函数和偏相关函数 样本自相关函数 样本偏相关函数 2 取定阶数由AIC准则 p q 1 3 估计参数 4 检验结论 数据符合ARMA 1 1 模型 第四节求和模型与季节模型的处理方法 一 求和模型ARIMA的识别与拟合1 求和模型的识别方法方法一直接观察数据图形的方法 根据数据画出数据曲线图 通过观察曲线的形状 可初步判别是否需要拟合求和模型 例 数据1 数据2 数据3 数据4 方法二 数据样本自相关函数分析法 当序列含有趋势项时 序列的样本自相关函数的尾部不衰减到零值 特别地 所含趋势项为多项式时 将近似于常数为1的序列 例 序列1 样本自相关函数 序列2 序列2样本自相关函数 序列3 序列3的样本自相关函数 另外 还可从数据的来源判断使用求和模型的合理性 2 判断求和模型ARIMA p d q 的阶数d对ARIMA p d q 模型的研究焦点是对差分阶数d的判别 d的判别方法 1 用动态数据的实际背景来确定 若数据围绕着某条曲线变化 而此曲线是近似线性的 则判断差分阶数d 1 若此曲线可由二次多项式近似 则判断阶数d 2 一般地 若该曲线可由d次t的多项式逼近 则可对原序列作d次差分 而可按平稳序列建模 2 采用数据处理的方法 对原动态数据分别作j次差分 连同原数据共有D 1套动态数据 然后对每套数据求出样本自相关函数和样本偏相关函数为 综合分析它们的截尾性或拖尾性 最后判定为何种模型 再建立相应的模型 2 求和模型的拟合步骤1 判断p值 对原数据进行d次差分运算 即 4 1 例 当d 2时 为的二次差分序列 即 步骤2 根据差分后的数据序列按照前几节的方法 拟合AR MA ARMA模型 包括模型参数的估计以及对阶数p q的估计 即 4 2 结合 4 1 和 4 2 得到ARIMA p d q 的拟合模型为 4 3 步骤3 对拟合求和模型的检验 即是检验是否符合 4 2 的模型 亦是对拟合后的残差进行白噪声检验 步骤3 对拟合求和模型的检验 即是检验是否符合 4 2 的模型 亦是对拟合后的残差进行白噪声检验 例 某国1960年至1993年GNP平减指数的季度时间序列 要求对序列进行模型识别 sample12 第一步 判断差分阶数d 1 对数据进行一阶差分 第二步 对差分后序列进行ARMA模型拟合 观察样本自相关函数和偏相关函数 初步判断为AR模型 使用AIC定阶准则和最小二乘估计方法 判断阶数p 2 即 拟合后的残差图 第三步 拟合模型的检验 采用正态检验 于是 拟合模型为 二 季节模型的识别与拟合季节ARMA模型 其中T是周期 是某个ARMA p q 模型的特征多项式 实际问题中T经常的取值是4 7或12 上述表中的每一列都可以看成一个时间序列 将数据 4 5 的第j列零均值化 4 6 其中 4 7 首先 用数据 4 6 建立模型 4 8 其中 在相隔T步上为白噪声序列 而相隔小于T步时是相关的 即其次 仍为平稳序列 故需对建立ARMA p q 模型 4 9 其中对季节内外为白噪声序列 将 4 9 代入 4 8 得到季节ARMA模型 4 10 季节模型 4 10 实际上是一个ARMA p 7P q 7Q 模型 只是其中又很多的系数是零 季节模型的拟合方法 第一步 设是数据的样本自协方差函数 利用拟合一个模型 要求这个模型通过模型检验 第二步 利用拟合一个模型 要求这个模型通过模型检验 于是 为了得到更精确的估计 可将模型看作疏系数的ARMA模型 使用前几节的ARMA模型参数的极大似然估计方法或最小二乘估计法估计模型 4 10 中的参数 例 北京市1990 1 2000 12气温数据 sample6 差分运算 观察序列tempx1的样本自相关函数和偏相关函数 建模 lstempxar 1 ar 2 ma 1 ma 2 sar 12 sma 12 残差检验 三 乘积模型的拟合如果时间序列既具有趋势项又具有周期项 需采用乘积模型来拟合 在上例中如果每一列的数据需要经过差分后才能进行季节ARMA模型的拟合 模型将改写为 称之为乘积模型 实际问题中 d和D的取值一般很小 例如 D 0或1 季节模型实际上是一个乘积模型 一种简单的乘积模型 4 11 其中T为某一正整数 表示周期 为某一平稳可逆的ARMA p q 序列 1 模型的拟合在T和D已知时 首先对进行差分变换 4 12 其中 满足故 只需对拟合形如 4 1 的求和模型 就可得到模型 4 11 的参数估计 2 T和D的取值判断a T表示周期 它有较明显的物理背景 可根据数据的实际背景确定T的大小b D的确定 可使用逐步尝试的方法 即对D 1 2 逐一尝试 并拟合 4 11 若模型检验通过 则确定该值为D的取值 例 航空客流量数据 数据的预处理 1 xx log x 2 cx xx 5 542193 模型的建立 对数据cx 对数据dcx进行一次差分运算 对数据ddcx建立模型 使用最小二乘估计方法 得到 lsddcxma 1 ma 2 ma 3 模型的残差检验 结论 客流量的模型为 另一种方法建模 观察序列ddcx的样本自相关函数和偏相关函数 lsd log x 1 12 ar 1 ar 2 ar 3 ma 1 sar 12 sma 12 lsddcxar 1 ar 2 ar 3 ma 1 sar 12 sma 12 lsd log x 1 12 ar 1 ar 3 ma 1 sar 12 sma 12 lsd log x 1 12 ar 3 ma 1 sar 12 sma 12 lsd log x 1 12 ar 3 ma 1 sar 12 sma 12 1 设为零均值平稳序列 由它的长度为N 100的样本算得样本自相关函数及样本偏相关函数的前6个数值如下又知 试求 1 为哪种模型 并说明理由 2 对模型参数和白噪声方差给出矩估计 3 判断所建立的模型是否具有平稳性 或可逆性 并给出模型的传递形式 或逆转形式 2 全国城镇居民储蓄额年数据序列的建模 下表给出1952年至1991年储蓄额年数据 亿元 第五节疏系数自回归模型的处理方法 疏系数自回归模型 5 1 其中 为白噪声序列 且 为未知的正整数足标值 为未知参数 这里不假定任何平稳性条件成立 一 参数估计令其中表示矩阵的第s列矢量 它们的定义为 使用上述记号 5 1 可简写为 5 2 其中的P应比大 但比样本长度n要小得多 于是 当已知时 5 2 式中参数的最小二乘估计为 二 足标的估计取定足标上界P 根据数据拟合如下模型 5 3 满足条件的 5 3 共有个 使用前述的最小二乘估计法 获得这个疏系数自回归模型参数估计 继而得到个使用AIC准则 或BIC准则 求出 或从而确定的估计 第六节回归与自回归混合模型的处理方法 一 并联形式混合回归模型的拟合方法 6 1 6 2 其中 为白噪声序列 且 参数满足平稳性条件 为非随机的可观测的自变元 比如 它们可为多项式 三角函数等 对 6 1 的统计分析可分为两种情况 一种是在 6 1 中残差项的协方差阵给定的情况下 对回归系数的统计分析 另一种是 已知的模型具有AR形式 其阶数和参数未知 或阶数已知 而参数未知 1 模型回归系数的估计考虑如下形式的回归模型 6 3 其中为非随机的可观测的自变元 为未知的自回归系数矢量 为零均值的残差 并假定它的协方差阵已知 记为 令于是 6 3 的矩阵形式为 6 4 1 模型参数的最小二乘估计 6 5 性质 I 是的无偏估计 II 误差其协方差阵为 2 线性最小方差无偏估计线性最小方差无偏估计是线性无偏估计类中方差阵最小的估计 记 它必须具备如下三个条件 线性性质 即 H为矩阵 无偏性 即 等价于最小方差性 即对其他满足上述两条件的估计都有 经计算 线性最小方差无偏估计为 6 6 且最小方差为 6 7 3 两种估计的比较 I 和都是线性的 都是的无偏估计 II 的优点是在计算时不需要知道的协方差阵 III 线性最小方差无偏估计的优点是在不同的无偏估计中误差的方差最小 IV 当时 2 并联混合模型的分步识别方法第一步 根据所给数据 由 6 5 给出的最小二乘估计 即 第二步 求出 6 2 的拟合残差序列 即将视为的样本值序列 用第一节方法对它们进行自回归拟合 包括对模型参数 阶数的估计 以及对拟合模型的检验 第三步若检验通过 以此拟合模型作为对 6 2 式的拟合 连同上述对的估计完成对 6 1 6 2 的拟合 例 产生模型 的n 500个样本值 拟合该时序数据 模型的拟合 首先使用最小二乘估计方法对进行传统的回归分析 对回归后的残差进行自回归建模 模型的检验 对拟合后的最终残差作白噪声检验 这里采用正态检验16 20 80 结论 拟合模型为 二 串联形式混合模型的拟合方法 6 8 令 则 6 8 可简写为 6 9 于是的最小二乘估计为 6 10 残差项的方差的估计为 当 6 8 中的p未知时 可应用AIC准则确定适当的p值 p的估计 满足 例 由序列 为标准正态白噪声 产生n 500个样本值 拟合该数据 采用最小二乘估计得到 残差的检验 结论 拟合的模型为 三 序列相关与ARMA模型1 序列相关理论与检验涉及时间序列的回归模型 残差序列自相关较常见 模型形式 6 11 6 12 其中 是t时刻所观测的解释变量向量 为随机扰动项 称为非条件残差 为改进的随机扰动项 称为一期提前 one period ahead 预测误差 是前期已知变量向量 可包括的滞后项 为参数向量 残差序列的自相关检验方法 1 相关图与Q统计量即检验序列任意滞后期的自相关和偏相关系数与0有无显著差异 2 LM LagrangeMultiplier 检验该检验可对包含ARMA误差项的模型残差序列进行高阶的自相关检验 并允许存在因变量的滞后项 检验假设为 其中 p max r q 对 6 11 中的非条件残差建立辅助回归方程 6 13 利用方程 6 13 的决定系数构造LM检验统计量 其中 n是计算辅助回归时的样本数据的个数 在零假设下 LM统计量由渐进的分布 对于给定的显著水平和自由度