时间序列模型归纳总结复习

时间序列模型归纳总结复习时间序列模型归纳总结复习 随机时间序列分析的几个基本概念随机时间序列分析的几个基本概念 一 随机过程 Stochastic Process 定义 设 F P 是概率空间 T 是给定的参数集 如果对于任意 t T 都有一定义在 F P 上的随机变量 X t 与之对应 则称随机变量族族 X t t T 为随机过程 简记为 X t t T 或 Xt t T 或 XT 离散参数的随机过程也称为随机序列或 随机 时间序列 上述定义可简单理解成 随机过程是一簇随机变量 Xt t T 其中 T 表示时间 t 的变动范围 对每个固定的时刻 t 而言 Xt是 一普通的随机变量 这些随机变量的全体就构成一个随机过程 当 t 0 1 2 时 即时刻 t 只取整数时 随机过程 Xt t T 可写成如下形式 Xt t 0 1 2 此类随机过程 Xt是离散时间 t 的随机函数 称它为随机序列或时间序列 对于一个连续时间的随机过程的等间隔采样序列 即 Xt t 0 1 2 就是一个离散随机序列 二 时间序列的概率分布和数值特征 1 时间序列的概率分布 一个时间序列便是一个无限维的随机向量 一个无限维随机向量 X X 1 X0 X1 的概率分布应 当用一个无限维概率分布描述 根据柯尔莫哥夫定理 一个时间序列的概率分布可以用它有限维分布簇根据柯尔莫哥夫定理 一个时间序列的概率分布可以用它有限维分布簇 来描述 来描述 时间序列所有的一维分布是 F 1 F0 F1 所有二维分布是 Fij i j 0 1 2 i j 一个时间序列的所有有限维分布簇的全体 称为该序列的有限维分布簇 2 时间序列的均值函数 一个时间序列的均值函数是指 ttt EXXdF X 其中 EXt 表示在 t 固定时对随机变量 Xt 的求均值 它只一维分布簇中的分布函数 Ft 有关 3 时间序列的协方差函数与自相关函数 与随机变量之间的协方差相似 时间序列的协方差函数协方差函数定义为 ttss tsst s t sE XX XYdFX Y 其中 Ft s X Y 为 Xt Xs 的二维联合分布 类似可以定义时间序列的自相关函数自相关函数 即 t st st ts s 时间序列的自协方差函数有以下性质 1 对称性 t ss t 2 非负定性 对任意正整数 m 和任意 m 个整数 k1 k2 km 方阵 11121m 21222m m1m2mm k kk kk k k kk kk k k kk kk k m 为对称非负定矩阵 时间序列的自相关函数同样也具有上述性质且有有 t t 1 三 平稳随机过程 平稳时间序列是时间序列分析中一类重要而特殊的随机序列 时间序列分析的主要内容是关于平稳时 间序列的统计分析 一 两种不同的平稳性定义 1 严平稳 如果对于时间 t 的任意 n 个值和任意实数 随机过程的 n 维分布满足关 12 n t tt t X 系式 12121212 nnnnnn Fx xx t ttFx xx ttt 则称为严平稳过程 t X 2 宽平稳 若随机过程的均值 一阶矩 和协方差存在 且满足 t X tT 1 t E XatT 2 t kt E XaXakt tkT 则称为宽平稳随机过程 通常说的平稳是指宽平稳 t X tT 二者的联系 严宽 因为宽平稳要求期望和协方差存在 而严平稳要求概率分布存在 而不能断言一 二阶矩存在 宽严 这是不言而喻的 严平稳 二阶矩存在宽平稳 但反过来一般不成立 对于正态过程来说 有 严平稳宽平稳 二 平稳时间序列自协方差函数和自相关函数 为了叙述方便 常假定平稳时间序列的均值为零 即 t X 0 t E X 用以下记号表示平稳序列的自协方差函数 即 t X 0 kt kt kttt tt k E XEXXEXEX EX X 当时 相应地 的自相关函数用以下记号 t X 0kk 平稳序列的自协方差函数列和自相关函数列具有以下性质 t X 1 对称性 kkkk 2 非负定性 对于任意正整数 m 01m 1 10m 2 m 1m 20 m 1m 1 1m 2 m 1m 2 1 1 1 m R 为非负定对称方阵 3 0 1 kk 三 平稳序列的样本统计量 三 平稳序列的样本统计量 1 样本均值 时间序列无法获得多重实现 多数时间序列仅包含一次实现 对于一个平稳序列用时间均值代替总体 均值 即 1 1 n t t XX n 上式的估计是无偏的 2 样本自协方差函数 1 1 n k ktt k t XXXX n 1 1 n k ktt k t XXXX nk 第一式是有偏估计 第二式是无偏估计 但有效性不如第一式 其它概率性质和偏自相关函数的定义将在以后章节介绍 四 几类特殊的随机过程 序列 1 纯随机过程 随机过程如果是由一个不相关的随机变量的序列构成的 则称其为纯随机过程 2 白噪声序列 White noise 如果时间序列满足以下性质 t X 1 0 t E X 2 2 tst s E X X 式中 当 t s 时 称此序列为白噪声序列 简称白噪声 0 1 t st t 白噪声是一种最简单的平稳序列 3 独立同分布序列 如果时间序列中的随机变量 Xt t 0 1 2 为相互独立的随机 t X tT 变量 而且 Xt具有相同的分布 称这样的时间序列为独立同分布序列 t X tT 独立同分布序列是一种最简单的严平稳序列 一般说 白噪声序列与独立同分布序列是不同的两种序列 当白噪声序列为正态序列时 它也是独立 同分布序列 此时称之为正态白噪声序列 4 独立增量随机过程 对于任意正整数 n 任意 随机变量 12 1 2 in tTin ttt 相互独立 简单地讲 就是任意两相邻时刻上的随机变量之差 增量 21321 nn tttttt XXXXXX 是相互独立的 5 二阶矩过程 若随机过程对每个的均值和方差存在 则称之为二阶矩过程 t X tT tT t X 6 正态过程 若的有限维分布都是正态分布 则称为正态随机过程 t X tT t X tT 主要介绍三种单变量模型 自回归 AR 模型 移动平均 MA 模型和自回归移动平均 ARMA 模型 第一节第一节 自回归模型自回归模型 一 一阶自回归模型 AR 1 如果时间序列独立 就是说事物的后一时刻的行为主要与其前一时刻的行为毫无关系 这样的资料 所揭示甲统计规律就是事物独立地随机变动 系统无记忆能力 如果情况不是这样 资料之间有一定的 依存性 后一时刻的行为主要与前一时刻的行为有关 而与其前一时刻以前的行为无直接关系 即已知 Xt 1 Xt主要与 Xt 1相关 用记忆性来说 就是最短的记忆 即一期记忆 也就是一阶动态性 描述这种关 系的数学模型就是一阶自回归模型 即 11ttt XXa 记作 AR 1 其中 Xt 零均值平稳序列 t 为随机扰动 1 一阶自回归模型的特点 Xt对 Xt 1有线性相关关系 t为独立正态同分布序列 0 1 2 ttj E a Xj 2 AR 1 与普通一元线性回归的关系 一元线性回归 iii YX 一阶自回归 11ttt XXa 两个变量 Y 为随机变量 X 为确定性变量 0 i E cov 0 ij ij 2 var i cov 0 ii X 2 0 i N 一个变量 为随机变量 t X 为白噪声序列 t a 0 t E a 2 0 a ts ts E a a ts 0 1 2 ttj E a Xj 还可假定为正态分布 t a 主要区别 1 普通线性回归模型需要一组确定性变量值和相应的观测值 模型只需要一组随机 变量的观测值 2 普通一无线性回归表示的是一随机变量对另一个确定性变量的依存关系 而 AR 1 表示的 是一个随机变量对其自身过去值的依存关系 3 普通线性回归是在静态的条件下研究的 AR 1 是在动态的条件下研究的 4 二者的假定不同 5 普通回归模型实质是一种条件回归 而 AR 1 是无条件回归 主要联系 固定时刻 t 1 且观察值 Xt 1 已知时 AR 1 就是一个普通的一元线性回归 二 AR 1 模型的特例 随机游动 随机游动模型 1ttt XXa 模型的特性 系统具有极强的一期记忆性 系统在 t 1 和 t 时刻的响应 除随机扰动外 完全一致 差异完全是 由扰动引起的 在时刻 t 1 时 系统的一步超前预测就是系统在 t 1 时的响应 Xt 1 即 1 11 tt XX 系统行为是一系列独立随机变量的和 即 0 ttj j Xa 三 一般自回归模型 AR n 其中 为白噪声 1122 tttnt nt XXXXa t a 0 1 2 ttj E a Xj 第二节第二节 移动平均模型移动平均模型 一 一阶移动平均模型 MA 1 如果系统的响应 Xt仅与其前一时刻进入系统的扰动 t存在一定的相关关系 则有 MA 1 模型 其中 为白噪声 11ttt Xaa t a MA 1 模型的基本假设为 1 系统的响应 Xt仅与其前一时刻进入系统的扰动 t有一定的依存 关系 2 为白噪声 t a 二 一般移动模型 MA m 模型的形式 1112 ttttmt m Xaaaa 其中 1 Xt仅与 有关 而与 j m 1 m 2 无关 2 为白噪 1t 2t t m tj t 声 第三节第三节 自回归移动平均自回归移动平均 ARMA 模型模型 一 ARMA 2 1 模型 1 ARMA 2 1 模型的形式 112211ttttt XXX 其中 与 和有相关关系 白噪声 t X 1t X 2t X 1t t 2 ARMA 2 1 模型的结构 ARMA 2 1 模型是由一个 AR 2 和一个 MA 1 两部分构成 3 ARMA 2 1 与 AR 1 的区别 从模型形式看 ARMA 2 1 比 AR 1 的项数多 从模型的动态性看 ARMA 2 1 比 AR 1 具有更长的记忆 从计算所需的资料看 ARMA 2 1 需要用 t 期以前的 这需要 t 1t 2t 从初期开始递归递归地计算出来 通常取零 从参数估计来看 ARMA 2 1 比 AR 1 困难 0 二 ARMA n n 1 模型 1 11111 ttnt nttnt n XXX ARMA n n 1 模型的基本假设为 独立于 j n n 1 从而独立于 t tj t j n 1 n 2 tj X 三 ARMA n n 1 模型的合理性 为什么我们以 ARMA n n 1 模型为一般形式来建立时序模型呢 难道一个 ARMA n n 1 模型总可 以描述一个时间序列吗 对于平稳系统来说 这是毫无疑问的 之所以以 ARMA n n 1 为基本模型是因 为下述理由 第一 AR MA ARMA n m 模型都是 ARMA n n 1 模型的特殊情形 第二 理论依据 用 Hilbert 空间线性算子的基本理论可以证明 对于任何平稳随机系统 我们都可 以用一个 ARMA n n 1 模型近似到我们想要达到的程度 用差分方程的理论也可以证明 对于 n 阶自回 归 MA 模型的阶数应该是 n 1 第三 从连续系统的离散化过程来看 ARMA n n 1 也是合理的 在一个 n 阶自回归线性微分方 程和任意阶的移动平均数的形式下 如果一个连续自回归移动平均过程在一致区间上抽样 那么 这个 抽样过程的结果是 ARMA n n 1 章节实验 利用 Eviews 软件生成 AR 序列 MA 序列和 ARMA 序列 第三章第三章ARMA 模型的特性模型的特性 本章为本书重点之一 主要掌握三类模型的格林函数形式 平稳性和可逆性条件 AFC 和 PAFC 的 形式和特点 第一节第一节 线性差分方程线性差分方程 一 后移 Backshift 算子 1 定义 定义 后移算子 B 定义为 从而 1tt BXX m tt m B XX 2 后移算子的性质 后移算子的性质 1 常数的后移算子为常数 Bcc 2 分配律 mnmn tttt mt n BBXB XB XXX 3 结合律 mnmnm ttt nt m n B B XBB XB XX 4 后移算子 B 的逆为前移算子 1 1tt B XX 5 对于 无限求和得1 2233 1 1 t t X BBBX B 前面的 MA m 模型 AR n 模型和 ARMA n m 模型可分别表示为 tt XB a tt B Xa tt B XB a 其中 2 12 1 n n BBBB 2 12 1 m m BBBB 二 线性差分方程 11221122tttnt ntttmt m XXXXaaaa 可将写成 tt B XB a 这里 2 12 1 n n BBBB 2 12 1 m m BBBB 差分方程通解为 t XC tI t 这里 C t 是齐次方程解 I t 是特解 三 齐次方程解的计算 无重根 考虑齐次差分方程 0 t B X 其中 12 1 1 1 n BG BG BG B 假定 G1 G2 Gn是互不相同 则在时刻 t 的通解 1122 ttt tnn XAGA GA G 其中 Ai为常数 可由初始条件确定 重根 设有 d 个相等的根 可验证通解为 0B 1 0 G 21 01210 dt td XAAtA tAtG 对一般情形 当的因式分解为 B 120 1 1 1 1 d n G BG BG BG B 齐次方程解便是 1 0 01 dn tjt kjii ji C tGA tDG 因此 齐次方程解是由衰减指数项 Gt 多项式 tj 衰减正弦项 Dtsin 2 f0t F 以及这些函数的组合 混合生成的 上述过程中计算并不方便 通常通过解方程得到其根为 i G 12 12 0 nnn n 由于的根与的根互为 1 2 i in 12 12 0 nnn n 2 12 10 n n BBB 倒数 因此 ii G 非齐次方程的特解通常情况下不容易得到 没有一个 万能钥匙 需要具体问题具体分析 只能对 一些具有特殊形式非齐次项的方程进行讨论 此处丛略 第二节第二节 格林函数格林函数 Green s function 和平稳性和平稳性 Stationarity 一 格林函数 Green s function 1 定义 设零均值平稳序列能够表示为 0 1 2 t X t 1 0 tjtj j XG a 则称上式为平稳序列的传递形式 式中的加权系数称为格林 Green 函数 其中 t X j G 0 1G 2 格林函数的含义 格林函数是描述系统记忆扰动程度的函数 式 1 可以记为 2 tt XG B a 其中 0 j j j G BG B 式 1 表明具有传递形式的平稳序列可以由现在时刻以前的白噪声通过系统 t X 的作用而生成 是 j 个单位时间以前加入系统的干扰项对现实响应的 0 j j j G BG B j G tj a t X 权 亦即系统对的 记忆 tj a 二 AR 1 系统的格林函数 由 AR 1 模型 11 11 1121 2 111 ttt ttt ttt ttt XXa XXa Xaa aa 即 1 0 j ttj j Xa 则 AR 1 模型的格林函数 如若 则随着 j 的增大而缓慢减小 表明系统的记忆 1 j j G 1 1 j G 较强 相反 若 则随着 j 的增大而急剧减小 表明系统的记忆较弱 1 0 j G 例例 下面是参数分别为 0 9 0 1 和 0 9 的 AR 1 系统对扰动的记忆情况 三个序列由同一正态白噪 t 声序列模拟生成 4 2 0 2 4 6 102030405060708090100 4 2 0 2 4 6 102030405060708090100 1 0 9 ttt XXa 1 0 1 ttt XXa 6 4 2 0 2 4 6 102030405060708090100 1 0 9 ttt XXa 比较前后三个不同参数的图 可以看出 取正值时 响应波动较平坦 1 取负值时 响应波动较大 1 越大 系统响应回到均衡位置的速度越慢 时间越长 1 由于其中 因此 AR 1 2 111121122 0 j ttjtttttt j Xaaaaaaa 1 j j 模型可用一个无限阶 MA 来逼近 这说明 AR 模型是一种长效记忆模型 三 AR 系统的平稳性 1 由平稳性的定义求 AR 1 系统的平稳性条件 将 AR 1 模型两边平方再取数学期望 得到 11ttt XXa 1 1 22 11 222 111 222 1 2 t t ttt ttt a E XEXa E XE aE Xa E X 如果序列是平稳的 则有 由上式可得 t X 1 22 t t E XE X 222 1 1 ta E X 2 2 2 1 1 a t E X 由于是非负的 所以 从而 这就是 AR 1 模型的平稳性条件 2 t E X 2 2 1 0 1 a 1 1 利用滞后算子 B AR 1 模型可以写为 tt B Xa 式中 那么平稳性条件就等价于的根在单位圆外 或 1 1BB 1 1 0B 的根落在单位圆内 1 0 上述平稳条件可以推广到上述平稳条件可以推广到 AR n 模型 即 模型 即 其中 其中 的平稳性条件为 的平稳性条件为 的根在单位圆外的根在单位圆外 tt B Xa 2 12 1 n n BBBB 0B 或 或的根在单位圆内 的根在单位圆内 12 12 0 nnn n 2 由格林函数求 AR 1 模型的平稳性条件 对于 AR 1 系统来说 其平稳性条件也可以由格林函数得出 如果系统受扰后 该扰动的作用渐渐减 小 直至趋于零 即系统响应随着时间的增长回到均衡位置 那么 该系统就是平稳的 相对于格林函 数来说 就是随着 j 扰动的权数 由于 故必有 j 显然 0 j G j G 1 j 1 0 j 1 1 这就是 AR 1 系统平稳性条件 反过来 若 则称 AR 1 为渐近稳定的 也必是平稳的 1 1 时 1 当 1 时 1 j 当 1 时 1 1 j G 1 j G 1 这时 虽然响应不回到其均衡位置 但仍是有界的 这时系统为临界稳定的 系统可能存在某种趋势 或季节性 当时 j 任意小的扰动只要给定足够的时间 就会使系统响应正负趋于 1 1 j G 无穷 永远不会回到其均衡位置 这时系统便是不稳定的 当然是非平稳的 例 求 AR 2 模型的平稳域 解 特征方程 的根 2 12 0 2 112 1 4 2 2 112 2 4 2 122 121 根据 AR 模型的平稳性的条件1 1 2 i i 212 1 21121212 111 21121212 111 由于是实数 必同为实数或共轭复数 由 12 12 于 因此1 1 2 i i 2112 1111 故 AR 2 模型的平稳域为 2 21 21 1 1 1 四 格林函数与 Wold 分解 Wold s Decomposition 所谓 Wold 分解也叫正交分解 其核心就是把一个平稳过程分解成不相关的随机变量的和 由于这一 思想是由 Wold 引入 1938 年 到时序分析中的 故叫做 Wold 分解 他认为可以用线性空间来解释 ARMA 模型的解 在 n 维线性空间 Ln 中 n 个线性无关的向量称为空间的一组基基 设可由线性 12 n a aa 12 n a aa 表示 1 122 nn k ak ak a 其中由向量和唯一确定 称为向量关于基的坐标 i k i a i k i a 如果用线性空间的观点来看 AR 1 模型的解 1 0 j ttj j Xa 由于是相互独立的 可看作线性空间的基 或无限维坐标轴 显然可由线性表示 其 tj a j t X tj a 系数就是对于的坐标 就是的正交向量的和 因而上式也叫做 Wold 分解式 其系 j G t X tj a t X j G tj a 数叫 Wold 系数 格林函数和 Wold 系数是同一客体从不同角度观察的结果 二者是完全一致的 Wold 系数是线性空 间解释 格林函数是系统解释 五 ARMA 模型格林函数的通用解法 ARMA n m 模型 t B XB 且 tt XG B a 则 B G BB 令 0 0 j j jn jn 0 0 l l lm lm 则化为 B G BB 000 jkl jkl jkl BG BB 比较等式两边 B 的同次幂的系数 可得 0 1 2 3 l jljl j Gl 由上式 格林函数可从开始依次递推算出 1l 思考思考 MA m 模型的格林函数为 tt XB a 1 0 j j jm G jm 例例 ARMA 2 1 系统的格林函数 ARMA 2 1 模型可以看作是一个二阶差分方程 设该方程的解 112211ttttt XXXaa 是 00 j tjtjjt jj XG aG Ba 将上式代入模型中 2 121 0 1 1 j jtt j BBG BaB a 22 120121 1 1 tt BBGG BG BaB a 222 0121011201 1 tt GG BG BG BG BG BaB a 利用比较系数法 B 的同次幂必相等 于是 B 的指数 0 1101111 2112021120 3122131221 1122 0 1 1 2 0 3 0 jjj G GGG GGGGGG GGGGGG jGGG 上式可以写成 1122 0 jjj GGG 即 2 12 10 2 j BBGj 上式为一关于齐次差分方程的形式 其通解为 j G 1 122 jj j Ggg 其中 和是特征方程的根 和是任意常数 其值由初始条件确定 这里 1 2 2 12 0 1 g 2 g 的初始条件是 0 111 1G G 则 ARMA 2 1 系统的格林函数为 1121 12 1221 jj j G ARMA 2 1 模型的格林函数也可以通过下面的过程求得 根据 Wold 分解 平稳 ARMA 2 1 模型 2 121 1 1 tt BBXB a 可以写成 1 2 12 1 1 tt B Xa BB 1 12 1 11 t B a BB 11 12 12 21 12 11 11 11 11 11 11 t a BB 1121 121212 11 11 t a BB 1121 12 0 1221 jjj t j B a 1121 12 0 1221 jj tj j a 即 1121 12 1221 jj j G AR 2 为 ARMA 2 1 模型的特殊形式 同样具有上述关系 例例 ARMA n n 1 系统的格林函数 与上面方法相同 ARMA n n 1 系统的格林函数的隐式的递推式为 2 12 1 0 n nj BBB Gjn 其中 由下列式子导出 0121 nn G G GGG 0 1101 211202 11223101 11220 1 0 nnnnn nnnn G GG GGG GGGG GGGG 即 2 12 1 0 n nj BBB Gjn 其最终解为 1 122 12 11 1211 jjj jnn nn iin i iiiiiiin Gggg g 其中 12 1 n ggg 例例 ARMA 2 1 系统的平稳性条件 ARMA 2 1 的平稳性条件要求 0 j jG 时 由得 即的根在单位圆内 1122 jj j Ggg 2 1 1 1 2 12 0 由于 ARMA 2 1 的特征方程和 AR 2 和形式一样 或者说和其 2 12 0 移动平均项系数无关 因此其平稳域与 AR 2 系统的平稳域相同 都是 2 12 12 1 1 1 思考思考 MA 模型的平稳性条件 第三节第三节 逆函数和可逆性 逆函数和可逆性 Invertibility 所谓可逆性 Invertibility 是指移动平均模型可以用 AR 模型表示 一 逆函数的定义 设是零均值平稳序列 如果白噪声序列能够表示为 t X t a 1 ttjtj j aXI X 则称上式为平稳序列的逆转形式 式中的加权系数称为逆函数 t X 1 2 j Ij 二 ARMA 模型的逆函数 1 ARMA n m 模型逆函数通用解法 对于 ARMA n m 模型的逆函数求解模型格林函数求解方法相同 令 0 1 1 1 jtj j I BI XI 则平稳序列的逆转形式可表示为 t X 1 ttjtj j aXI X tt aI B X 由 ARMA n m 模型可得 tt B XB a BB I B 仍由先前定义的和 则上式可化为 j l 000 jlk jlk jlk BBI B 比较上式两边 B 的同次幂的系数 得到 0 j jkl k k I 即 1 1 2 j jjkj k k IIj 由此可从开始推算出 j I1j 2 AR 模型的逆函数 对于 AR 1 模型 有 11ttt XXa 11ttt XXa 则其逆函数 11 0 2 j IIj 类似对于 AR n 模型有 1122 tttnt nt XXXXa 其逆函数为 1122 tttnt nt XXXX 11 22 0 1 nn j I I I Ijn 3 MA 模型的逆函数 对于 MA 1 模型 则 1 1 tt XB a 1B 1 1BB 1 11B I B 即 2 112 11 1BI BI B 比较上式两边 B 的同次幂的系数得 01111 1 2 jj IIIIj 从而有 1 1 2 j j Ij 也可以用以下方法求 MA 1 模型的逆函数 由得 1 1 tt XB a 1 22 11 1 1 1 1 t t t j ttj j X a B BBX XX 即 1 1 j tttj j XaX 可见 1 j j I 与 AR 1 讨论相类似 上面推导所隐含的可逆性条件为 1 1 对于 MA m 模型的可逆性讨论与 AR n 模型平稳性的讨论是类似的 即 MA m 模型的可逆性条件为其特征方程的特征根 12 12 01 mmm mk VVVV 满足 k V1 k V 下面所讲的逆函数与格林函数的关系也作为求逆函数的一种选择 三 和之间的关系 j G j I 对于 AR 1 模型和 MA 1 模型 注意到 格林函数 逆函数 AR 1 1 j j G 11 0 1 j I Ij MA 1 0 11 1 0 1 j G G Gj 1 j j I 可以看出 AR 1 的和 MA 1 的形式一致 只是符号相反 参数互换 此对偶性对其 j G j I 它模型仍然存在 如 ARMA 2 1 的格林函数为 0 111 2112 1122 1 3 jjj G G GG GGGj ARMA 1 2 的逆函数为 111 21 12 1 122 3 jjj I II IIIj 综上可知 在格林函数的表达式中 用用代替代替 代替代替 代替代替 即可得到相对应的逆函数 j I j G 四 关于 ARMA 模型平稳性与可逆性的说明 通过上面的讨论可知 AR 模型不存在可逆性性条件 MA 模型不存在平稳性条件 因此 对于 ARMA 模型的平稳性条件是针对其 AR 系数而言 可逆性条件是针对其 MA 系数而言 只有同时满足平稳性可可逆性条件 ARMA 模型才是有意义的 第四节第四节 自协方差函数自协方差函数 一 理论自协方差函数和自相关函数 对于 ARMA 系统来说 设序列的均值为零 则自协方差函数 ktt k E X X 自相关函数 0 k k 二 样本自相关函数的计算 在拟合模型之前 我们所有的只是序列的一个有限样本数据 无法求得理论自相关函数 只能求样本 的自协方差函数和自相关函数 样本自协方差有两种形式 1 1 0 1 2 1 N ktt k t k X XkN N 1 1 0 1 2 1 N ktt k t k X XkN Nk 则相应的自相关函数为 11 22 0 11 1 1 NN tt ktt k kt kt k kNN tt tt X XX X N XX N 11 22 0 11 1 1 NN tt ktt k kt kt k kNN it tt X XX X NNk Nk XX N 在通常的情况下 我们常采用第一种的计算方法 三 AR 模型的自协方差函数和自相关函数 1 AR 1 模型的自协方差函数和自相关函数 AR 1 模型为 11ttt XXa 假设为零均值序列 将上式两端乘以 并取期望 得 t X t k X 111tttt ktt k E X XE XXE a X 当 k 0 时 有 11tttttt E X XE XXE a X 即 2 01 1a 当 k 1 时 有 11111tttttt E X XE XXE a X 即 110 当 k 2 时 有 21122tttttt E X XE XXE a X 21 1 依此类推 便有一般式 11 0 kk k 将代入 有 1 0 2 2 01100 2 1 11 1 0 a a kk k 相应的自相关函数为 即 0 k 000 011011 1 kkkk 2 AR n 模型的自协方差函数和自相关函数 自相关函数 1122tttpt nt XXXXa 两边同乘以 得到 t k X 1122t ktt ktt ktnt kt nt kt XXXXXXXXXa 取期望 得 1122 0 kkknk n k 上式两边除以 可得差分方程 0 1122 0 kkknk n k 我们注意到 上式类似于过程 自身所满足的差分方程 t X 假定将上式记为 0 k B 这里 1 1 n n BBB 记 1 1 n j j BG B 则差分方程通解 1122 kkk knn AGA GA G 这里 是特征方程 1 1 G 1 2 G 1 n G 0 1 1 n n BBB 的根 为了保证平稳性 则要求 在实际应用中 如果假定根是互异的 会出现两种情况 1 i G 1 Gi是实根 这时在通解 k 中 AiGik 随 k 增大等比例地衰减到零 我们常称之为指数衰减 2 Gi和 Gj是一对共轭复根 导致在通解出现 sin 2 k DfkF 使得自相关函数呈衰减的正弦振荡 衰减系数 频率 f 满足 ij DGG 1 2cos Re i fGD 方差 当 k 0 时 2 01122nna 上式两边除以 并有 故方差 可以写成 2 0X kk 2 X 2 2 1 122 1 a X nn 四 MA 模型的自协方差函数和自相关函数 1 MA 1 模型的自协方差函数和自相关函数 将 MA 1 模型 11ttt Xaa 两端同乘以取期望 得 t k X 11 11 00 11 00 011101111 tt ktt ktt k tjt kjtjt kj jj jtt kjjtt kj jj tt kt kttt ktt k tt k E X XE a XE aX E aG aE aG a G E a aG E a a G E a aG E aaG E a aG E a a E a a 2 1111111tt ktt ktt k E a aE a aE a a 当 k 0 时 有 0 2 1111111 222 1 tt tttttttt aa E X X E a aE a aE a aE a a 当 k 1 时 有 11 2 112111112 2 1 tt tttttttt a E X X E a aE a aE a aE a a 当 k 2 时 有 22 2 213112113 0 tt tttttttt E X X E a aE a aE a aE a a 可见 对于 MA 1 模型来说 22 0 01 2 1 111 2 1 1 1 1 0 2 0 2 a a k k k k 2 MA m 模型的自协方差函数和自相关函数 自相关函数 1111 kttmt mt kt kmt k m E aaaaaa 因此该过程的方差是 222 01 1 ma 且 2 1122 1 2 0 kkkm kma k km km 由此得出自相关函数是 11 22 1 1 2 1 0 kkm km mk km km 对于 MA m 过程 当滞后超出过程的阶数 m 时自相关函数为零 换言之 滑动平均过程的自相关函数具 有超出 m 步滞后的截尾性 上述性质用来在上述性质用来在 B J 建模过程中 识别建模过程中 识别 MA 模型模型 五 偏自相关函数 对于一个 k 阶 AR 模型 有 1122 1 2 jkjkjkkj k jk 由此得到 Yule Walker 方程 记为 121 11 112 22 123 1 1 1 k k k k kkkk kk 或 Pk k k 当已知时 由该方程组可以解出 遗憾的是 用该方程组求解时 需 k 21 1k 2k kk 要知道自回归过程的阶数 因此 我们可以对连续的 k 值求解 Yule Walker 方程 对 k 1 2 3 依次求解方程 得 111 1 2 12 21 22 2 1 1 1 1 11 1 11 12 213 33 12 11 21 1 1 1 1 1 上述序列为 AR 模型的偏自相关函数 kk 如果自回归过程的阶数为 n 则对于 k n 应该有 kk 0 偏自相关性是条件相关 是在给定的条件下 和的条件相关 121 jjj k XXX j X j k X 换名话说 偏自相关函数是对和之间未被所解释的相关的度量 j X j k X 121 jjj k XXX 由最小二乘原理易得 是作为关于线性回归的回归系数 1 2 kkkk j X 12 jjj k XXX 由 2 可得 对于 AR n 模型 当 k n 时 0 此性质用来在 此性质用来在 B J 建模过程中 识建模过程中 识 kk 别别 AR 特征 特征 对于任何平稳过程 都可以由 Yule Walker 方程定义偏自相关函数 当然也都是作为自相关 1221 1132 1231 121 112 123 1 1 1 1 1 k k kkkk kk k k kkk 函数的函数 六 自回归和滑动平均过程之间的对偶性 自回归和有限滑动平均过程之间存在对偶关系的特征 1 在一个 n 阶平稳自回归模型中 at可表示为既往 X 的有限加权和 换言之 Xt可表为既往 a 的无限加权和 1 tt XB a 同样 在一个 m 阶滑动平均模型中 Xt可表示为既往 a 的有限加权和 换言之 at可表为既往 X 的无限 加权和 1 tt B Xa 2 有限的 MA 过程具有在某点之外全为零的自相关函数 但由于它等价于一个无限阶的 AR 过程 因此其偏自相关函数无限伸延 且被衰减指数和 或 衰减正弦波所控制 与此相反 AR 过程具有在某 点之外全为零的偏自相关函数 但是它的自相关函数无限伸延 且有衰减指数和 或 衰减正弦波混合 生成 3 对于一个有限 m 阶自回归过程 其参数不必满足任何条件就能保证可逆性 然而 为满足平稳 性 B 0 的根必须都在单位圆外 与此相反 MA 过程的参数不需要满足任何条件就能保证平稳性 然而 为满足可逆性 B 0 的根必须都在单位圆外 4 滑动平均过程的谱与对应的自回归过程的谱存在互逆关系 七 本章小结 零均值时间序列统计分析结果 模 型 类别 AR n MA m ARMA n m 模型方程 tt aB X tt XB a tt B XB a 平稳性条件特征根全在单位圆内无条件平稳特征根全在单位圆内 可逆性条件无条件可逆特征根全在单位圆内特征根全在单位圆内 传递形式 1 tt XB a tt XB a 1 tt XBB a 逆转形式 tt aB X 1 tt aBX 1 tt aBB X Green 函数拖尾截尾拖尾 逆函数截尾拖尾拖尾 自相关函数拖尾截尾拖尾 偏相关函数 截尾 截尾应该是快 速趋于 0 拖尾拖尾 自相关系数拖着长长的尾巴 就是拖尾 AC 自相关 autocorr 值是慢慢减少的 而偏相关系数是突然 收敛到临界值水平范围内的 这就是截尾 PAC 偏相关 parcorr 突然变的很小 AR 模型 自相关系数拖尾 偏自相关系数截尾 MA 模型 自相关系数截尾 偏自相关函数拖尾 ARMA 模型 自相关函数和偏自相关函数均拖尾 ACF Lags Bounds autocorr y ACF Lags Bounds parcorr y 本章思考题 叙述 AR MA 和 ARMA 模型的格林函数形式 平稳性和可逆性条件 AFC 和 PAFC 的 形式和特点 实验内容 1 观察前面生成的几个自回归序列的波动变化不同之处 2 观察生成的 AR 模型和 MA 模型自相关函数和偏自相关函数的不同之处 平稳时间序列模型的建立平稳时间序列模型的建立 本章讨论平稳时间序列的建模问题 也就是从观测到的有限样本数据出发 通过模型的识别 模型 的定阶 参数估计和诊断校验等步骤 建立起适合的序列模型 学习重点为模型的识别和模型的检验 第一节第一节 模型识别模型识别 一 识别依据 模型识别主要是依据 SACF 和 SPACF 的拖尾性与截尾性来完成 常见的一些 ARMA 类型的 SACF 和 SPACF 的统计特征在下表中列出 可供建模时 进行对照选择 表表 ARIMAARIMA 过程与其自相关函数偏自相关函数特征过程与其自相关函数偏自相关函数特征 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 模 型 自相关函数特征 偏自相关函数特征 ARIMA 1 1 1 xt 1 xt 1 ut 1ut 1 缓慢地线性衰减 AR 1 xt 1 xt 1 ut 若 1 0 平滑地指数衰减 若 1 0 k 1 时有正峰值然后截尾 若 11 0 k 1 时有正峰值然后截尾 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 若 1 0 交替式指数衰减 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 若 1 0 2 0 1 0 0 5 0 0 0 5 1 0 2468101214 1 0 0 5 0 0 0 5 1 0 2468101214 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 两个特征根为共轭复根 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 1 0 2 0 2 0 2 0 指数或正弦衰减 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 1 0 2 0 2 0 ARMA 1 1 xt 1 xt 1 ut 1 ut 1 k 1 有峰值然后按指数衰减 0 5 0 0 0 5 1 0 2468101214 1 0 1 0 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 1 0 1 0 1 0 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 1 0 1 0 2 0 k 1 2 有两个峰值然后按指数衰减 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 1 0 2 0 ARMA 1 2 xt 1 xt 1 ut 1 ut 1 2 ut 2 k 1 2 有两个峰值然后按指数衰减k 1 有峰值然后按指数或正弦衰减 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 1 0 1 0 2 0 1 0 2 0 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 1 0 1 0 2 0 1 0 2 0 ARMA 2 2 xt 1xt 1 2xt 2 ut 1ut 1 2ut 2 k 1 2 有两个峰值然后按指数或正弦 衰减 0 6 0 4 0 2 0 0 0 2 0 4 0 6 2468101214 1 0 2 0 2 0 2 0 2 0 k 1 2 有两个峰值然后按指数或正弦 衰减 0 8 0 6 0 4 0 2 0 0 0 2 0 4 0 6 0 8 2468101214 1 0 2 0 2 0 2 0 2 0 二 拖尾性与截尾性的判定 理论上 对于 MA q 过程 其自相关函数在 q 步之后全部为零 实际上并非如此 因为为样 k k 本数据的估计值 同样地 偏自相关函数也存在类似的问题 kk 判定在 m 步之后截尾的做法是 k 21 1 0 1 2 m l lk N N 3 68 21 1 1 2 m l lk N P 5 95 21 2 1 2 m l lk N P 实际判断时 以频率代概率 判定在 n 步之后截尾的做法是 kk 1 0 N N kk 3 68 1 N P kk 5 95 2 N P kk 实际判断时 以频率代概率 拖尾 即被负指数控制收敛于零 三 实例 例 4 1 现有磨轮资料 250 个 试判断该数据的零均值及平稳性 1 时间序列趋势图 时间序列趋势图 4 0 4 8 12 16 50100150200250 X 2 零均值化后的图形 零均值化后的图形 12 8 4 0 4 8 50100150200250 Y 3 ACF 与与 PACF 图形图形 ACF 0 2 0 1 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 12345678910 11 12 13 14 15 PACF 0 3 0 2 0 1 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 123456789101112131415 第二节第二节 模型定阶模型定阶 一 残差方差图法 基本思想 以 AR 模型为例 对于时间序列 如果其合理 真正的 阶数为 p 当我们用一个小 t x 于 p 的值为阶数去拟合它 所得到的剩余平方和必然偏大 1将比真正模型的 大 原因在于它把模 2 2 型中原本有的一些高阶项给省略了 而这些项的存在对减小残差的方差是有明显贡献的 反之 如果我 们用一个大于 p 的值作为阶数去拟合它 过度拟合 虽然剩余平方和减少 但已不明显 这时可能 2 还会增大 因此 我们可以用一系列阶数逐渐递增的模型对进行拟合 每次都求出 作出阶数 n t x 2 和残差方差的图形 进行判断 2 这种方法直观简单 但没有量的准则 具有主观性 二 自相关函数 ACF 和偏自相关函数 PACF 定阶法 它们不仅可以用来识别模型 而且还可以用来确定模型的阶 三 F 检验定阶法 基本思想 首先用 ARMA n m 对进行过度拟合 再令为零 用 F 检验判定阶数降低之后 t x mn 的模型 ARMA n 1 m 1 与 ARMA n m 之间是否存在显著性差异 如果有显著性差异 阶数能够升高 如 果没有差异 阶数可以降低 四 最佳准则函数定阶法 最佳准则函数法 是构造一个准则函数 该函数既要考虑用某一模型对原始数据拟合的接近程度 残差的大小 同时又要考虑模型中所含待定参数的个数 建模时 根据函数的取值确定模型优劣 使 准则函数值达到最小的模型是最佳模型 准则函数法是日本学者赤池弘次 Akaike 最先提出 主要有 FPE 准则 AIC 准则 BIC 准则 SC 准 则 1 不仅受剩余平方和的影响 而且还受自由度的影响 kN ee 2 1 1 FPEFPE 准则准则 基本思想 根据模