非线性时间序列-第二章

22 第二 时间序列的特征 统计推断就是从已知东西中获知一些未知的东西 时间序列分析也不例外 为了做 到这一点 有必要假定在所感兴趣的时间范围内 概率分布的某种特征保持不变 这就 导致了不同类平稳性的假定 这些不同的假定依赖于我们所考虑问题的特性 数据间的 相依性是时间序列分析和经典统计间的基本差异 为适应实际需要 各种不同的相依性 度量已被给出 在本章 我们介绍最常用的平稳性定义和相依性的度量 并讨论何时这 些定义和度量与实际更有关 2 1 平稳性 2 1 1 定义 在本节 我们引进两类平稳性的定义 即 弱 平稳性和严平稳性 这两类平稳性 都要求时间序列保持某种时不变性 定义 2 1 时间序列称为平稳的 如果对每个 0 1 2 t X t 2 t tE X 且 i 是与 无关的常数 t E Xt ii 对每个与 无关 Cov tt k kXX t 定义 2 2 时间序列称为严平稳的 如果对任意的和任意 0 1 2 t X t 1n 的整数和有相同的联合分布 1 n kXX 1 kn k XX 平稳性 在大多数教科书中常被称为弱平稳性 仅假定时间序列的前两阶矩是时不 变的 假如时间序列有有限的二阶矩 则它比平稳弱 弱平稳性主要用于线性时间序列 比如 ARMA 过程 这类时间序列主要涉及时间延迟变量间的线性关系 事实上 对多数 涉及线性时间序列分析的问题 例如谱分析 只要有弱平稳性的假定就够了 反过来 如果我们的兴趣是在非线性关系 则时间序列存在前两阶矩有时是不够的 这就解释了 为什么在非线性时间序列分析中常要求严平稳性条件 2 1 2 平稳 ARMA 过程 显然 白噪声过程 WN是平稳的 但它不必是严平稳的 参阅 1 3 1 依以 2 0 上的讨论 用 WN作为一般线性时间序列模型的生成模块是自然的 对高斯时间 2 0 序列 我们仅需关注前两阶矩的性质 平稳高斯时间序列还是严平稳的 首先 我们考虑滑动平均模型 由 1 2 式易见 任何阶为的 MA过程是平q q 稳的 对一切 考虑如下定义的 MA模型 t 23 2 1 0 tjtj j Xa 其中 因此 2 0 WN 0 tjj a 1 0 tj j E XEa 这就意味着 2 1 式右边的无穷和依概率收敛 且由于条件蕴涵了 jj a 故还依一阶矩和均方收敛 注意 在更强的条件下 由 2 jj a 2 IID 0 t Lo ve 定理 见 Chow 和 Teicher 1997 中第 117 页的推论 3 无穷和还几科处处收敛 进一步 0 t EX 2 2 2 00 Cov tt kjktjt k ljjk j lj XXa a Ea a 与 无关 因此 这样的模型还定义一个平稳过程 显然 如果是 i i d 的tMA t 且 则由 2 1 定义的过程是严平稳 t E t X 利用推移算子 我们可以把由 1 3 定义的一般模型表示为如下BARMA p q 形式 对一切 2 3 tt b B Xa B t 这里是推移算子 其定义为B 0 1 2 k tt k B XXk 和是多项式 定义为 b a 2 4 11 1 1 pq pq b zb zb za za za z 注 2 1 对由 2 3 式定义的 ARMA 模型 我们总假定多项式和没有公因 b a 子 否则 如此定义的过程在消去公因子后 等价于一个阶数小于的过程 p q 定理 2 1 如果对一切满足的复数 则由 2 3 给出的过程 1z 0z b z 是平稳的 0 1 2 t X t 证明 令是的根 则有和 由一 1 p zz 0b z 1 j z 1 1 jpj b zz z 些简单的 Taylor 展开 我们得到 对任意的 1z 11 0011 1 p kj jjj kjjpj b zz zz zc z 注意 1 0011 1 1 1 p k jjj jkjjp czz 记 容易验证 因此 0 j jj c zc z 1c z b z 2 5 tttt Xc B b B Xc B a Bd B 24 其中 且 这就表示 对一切 在条件 0 j jj d zc z a zd z 0 jj d 1z 下 是形如 2 1 式的过程 从而是平稳的 0b z t XMA 时间序列中的另一个重要概念是因果性 定义 2 3 如果对一切 时间序列满足t t X 00 tjtjj jj Xdd 其中 则称该序列是因果的 2 WN 0 t 因果性意味着能够由 从过去 直到时间 的白噪声过程生成 实际上是一个 t Xt 过程 对由 2 3 定义的 ARMA 过程 因果性等价于条件 对一切MA Brockwell 和 Davis 1996 第 83 页 因而也蕴涵了平稳性 但反 1 0zb z 之不是真的 事实上 模型有惟一的平稳解的充分和必要条件是对一切使得的复 1z 数 Brockwell 和 Davis 1996 第 82 页 然而 作为例子 可以证明 0z b z 在对一切的条件下 自回归模型 2 3 的平稳解具有形式 1 0zb z 0 tjtj j Xd 但它不是因果的 由于依赖于 将来的 噪声 是否应该称它为一个时间 t X 1 tj j 序列尚可有争议 不过 任何一个非因果的 ARMA 过程都能够借助于重新定义的白噪声 而表示为一个 具有相同阶数 因果 ARMA 过程 且这两个过程有同样的前两阶矩 Brockwell 和 Davis 1991 的命题 3 5 1 因此 不失一般性 我们将注意力限于因 果 ARMA 过程这一子类 但是 我们应注意到 即使最初的过程是由 i i d 过程生 t 成的 在过程新的表示里 白噪声可以不再是 i i d 过程 在定理 2 1 里 过程依时间双边无穷这一条件是重要的 例如 对如下定义的 t X 过程 1 0 5 0 1 2 ttt XXt 它是平稳的 还是严平稳的 其中 然而 对和初始点 i i d N 0 1 t 0 1 2 t 由于 故这样定义的过程不再是平稳的 过程 0 0 1 XU 1 0 5 0 t t EXt 是严平稳的充分必要条件是初始点 事实上 这个 0 1 2 t X t 0 N 0 1 0 75 X 分布也是由以上 AR 1 模型定义的马尔可夫链的平稳分布 见下面的定理 2 2 2 1 3 平稳高斯过程 时间序列被称为高斯的 如果它的一切有限维分布都是正态分布 如果 t X 且 对一切 则由 2 3 式定义的是一个平 2 i i d N 0 t 0b z 1z t X 稳高斯过程 因此 还是严平稳的 另一方面 由 Wold 分解定理 Brockwell 和 25 Davis 1991 每 187 页 得到 对任何零均值平稳高斯过程 t X 2 6 0 tjtjt j XaV 成立 其中和是两个独立的正态过程 2 jjt a t V 2 i i d N 0 t 是确定的 其含义是对任何完全由它的延迟值所确定 即是 t V t t V 12 tt VV t V 可测的 是由生成的代数 当 我们称 1t F 1t F 1 2 t k Vk 0 t V 为纯非确定的 因此 一个纯非确定的平稳高斯过程总是线性的 t X 一个特别简单地情形是相依平稳高斯过程 其含义是对所有的和q t kqX 是独立的 这蕴涵了在 2 6 式中 且对所有的 因此 t k X 0 t V 0 j jq a MA t Xq 另一方面 如果给定和是独立的 记 1 ttpt XXX t k Xkp 1 tttttp XE XXX 由于对 易见和是独立的 进而 由于仅1k Cov 0 tt k X t 1 t k Xk t k 是的函数 故和也是独立的 因此 1 t kt k XX t 1 t k k 2 i i d N 0 t 由于正态性 是的线性函数 即对某些系数 1 tttp E XXX 1 ttp XX 1 p bb 111 tttptptp E XXXb Xb X 由于 1 ttttpt XE XXX 11tptpt b Xb X 这蕴涵了 AR t Xp 以上的结果总结如下 命题 2 1 设是一平稳高斯时间序列 t X i 如果它是一纯正非确定过程 则 MA t X ii 如果它是一相依过程 则 q MA t Xq iii 如果给定和是独立的 则 1 ttpt XXX t k Xkp AR t Xp 2 1 4 遍历非线性模型 对线性时间序列模型可直接验证其平稳性 但验证一个由非线性模型定义的时间序 列是否是严平稳决不是容易的 证明 或证明不成立 某个简单的非线性模型 比如平 方函数 能够生成一严平稳过程仍是有待解决的问题 常用的方法是将时间序列表成一 个 通常是向量值的 马尔可夫链 并建立马尔可夫链的遍历性 再利用遍历的马尔可 夫链是严平稳的这一事实得到时间序列模型的严平稳性 26 首先 我们给出马尔可夫链的一个简要的介绍 向量值随机过程称为马尔可夫 t X 链 如果它服从马尔可夫性 对所有 给定 的条件分布仅依赖于t 1 tt X X 1t X 马尔可夫性要求给定现在和过去 将来仅依赖于现在 给定的条件分布称 t X 1 tt X X 为在时刻 的转移分布 如果转移分布与时间 无关 马尔可夫链称为齐时的 本书仅考tt 虑齐时马尔可夫链 为简便 我们称之为马尔可夫链 我们考虑非线性 AR 模型的一般形式 2 7 1 tttpt Xf XX 其中是一 i i d 随机变量序列 当一个时间序列模型通过一个 i i d 噪声来定义时 t 总暗含假定 和是独立的 当过程由这样一个模型依自然时间顺序 t 1 t k Xk t X 产生时 这一条件自然成立 定义 1 0 0 tttptt XX X 对 1 p p xx xR 11 p fxx f xx 则由 2 7 得到是如下定义的马尔可夫链 t X 1 ttt Xf X 令是的分布函数 是的密度函数 是给定时 的 G t g t n F x 0 Xx n X 条件分布 由 2 8 得到 对2n 2 9 1 nn FGFd y xyf uux 且 事实上 它是马尔可夫链的转移分布 1 FG y xyf x 下面引进的 Harris 遍历性是以概率分布依全变差范数的收敛性来定义的 对两个 在同一个空间上的概率分布和的全变差定义为 1 P 212 PPP 1212 sup jj j PPP AP A 其中上确界遍取样本空间的所有可测分割 如果有概率密度 可以证 j A i P 1 2 i p i 明 1212 PPppd xxx 定义 2 4 如果存在一分布和常数使得F 0 1 对任意 2 10 0 n n FF xx 则当时 马尔可夫模型 2 8 称为遍历的 当时 称为几何遍历的 称为1 1 F 平稳分布 在以上表达式中 表示全变差 显然 几何遍历蕴涵了遍历 马尔可夫链的遍历性完全依赖于它的转移分布 如果 转移分布是严格正的和规则的 则过程是 弱 遍历的 其含义为 在的所有连续点F 27 上 进而从导出的过程是平稳的 例如 见 Feller 1971 的 8 7 不幸 n FF F 的是 如 2 8 定义的过程不满足这些条件 这里的 Harris 遍历性采用更强的依全变差 收敛 它有效地保证了所要求的平稳性 关于 Hadrris 遍历性的进一步讨论可参阅 Chan 1990 1993 定理 2 2 假定马尔可夫模型 2 8 是遍历的 则存在一个平稳 维 分布p 使得由 2 7 和初值定义的时间序列是严F 011 p XXXF 1 2 t X t 平稳的 证明 对 2 9 式的两边令 由的全变差收敛到 0 得到n n FF FGF d f yy 注意到是给定时 的条件分布 以上方程表示 如果 G f y t Xy 1t X t FX 则 因此 中的所有随机变量都有相同的边缘分布 马尔可 1 t F X 2 t k k XF 夫性蕴涵了的联合分布完全由转移密度和的边缘分布所确定 这 1 ttt k X XX t X 样 由 2 8 式和初值定义的马尔可夫链是严平稳的 仅考虑 0 FX 1 2 t t X 的第一分量 即完成定理证明 t X 对遍历的马尔可夫链 大数定律总是成立的而不必顾及初始分布 以下定理由 Chan 1993 证明 定理 2 3 假定马尔可夫模型 2 8 是遍历的 且具有平稳分布 对任意初始变F 量 由 2 7 定义的 如果 则 011 p XXX 1 2 t X t Ft Eg X 有 1 1 n a s tFt t g XEg X n 找一使 2 8 是 Harris 遍历的一般条件也并非易事 以下列出几个常用的判断 非线性模型是否遍历的准则 对 我们记 1 p xx x 22 1 2 1 p xx x 定理 2 4 假定模型 2 7 中的是可测的 有正密度函数 且 如 f t 0 t E 果下列三个条件之一成立 则马尔可夫模型 2 8 是几何遍历的 i 在有界集上是有界的 且 f 2 11 1 1 lim 0 pp fb xb x x xx 其中是常数 对任意 满足条件 1 p bb 1z 1 10 p p b zb z ii 存在常数和使得 0 1 0c 1 max p fxxc x iii 和 且 使得 0 1 0c 0 i a 1 1 p aa 11 pp faxaxc x 28 在以上定理中 i 和 ii 由 An 和 Huang 1996 获得得 iii 被 Bhattacharya 和 Lee 1995 证明 An 和 Chen 1997 推广条件 2 12 到情形 对 2 7 中1 是连续的情形 An 和 Huang 1996 还导出了一个条件 为了叙述简便 如果马尔 f 可夫模型 2 8 是 几何 遍历的 我们称模型 2 7 是 几何 遍历的 例 2 1 TAR 模型 考虑具有个分段的 TAR 模型 见 1 8 k 2 13 0111 1 ii k tiitiptpit dit i Xbb Xb XI rXr 其中 满足定理 2 4 的条件 和是正整数 t 01k rrr d 1 k pp 由定理 2 4 和 2 2 得到 如果 它保证了定理 2 4 的 ii 成立 11 max 1 i p i kjij b 或者 且 这里 它蕴涵了定理 4 的 1 max i kijj ba 1 1 p aa 1 max i ki pp iii 则以上模型存在严平稳解 t X 不幸的是 加在以上模型的条件比为保证模型的严平稳性所必需的更强 对模型 2 13 导出遍历的充分必要条件仍是一个挑战 Chan 和 Tong 1985 证明了简单的 TAR 模型 2 14 11 11 0 0 ttt t ttt XX X XX 是遍历的充分必要条件是 注意 对这个模型 时的条件 2 12 成立 0 1 由定理 2 2 和 2 4 我们可以导出 AAR 模型 1 12 或 FAR 模型 1 11 有严平稳 解的一些充分条件 一般地 由于对一切的 2 11 成立 故当时 如0 i b x 果比增长得更慢 则 2 7 有严平稳解 另一方面 如果 2 7 中的 f x x 是阶大于 1 的多项式函数 因而是无界的 这时对 1 阶模型的遍历性来说 有紧 f t 支撑这一条件是必要的 Chan 和 Tong 1994 最后 我们注意到 由定理 2 4 i 易 得 i i d 白噪声生成的因果模型是几何遍历的 AR p 2 1 5 平稳 ARCH 过程 我们引进模型的一般形式ARCH 2 15 1 ttttjtj j Yab Y 其中是非负 i i d 随机变量序列 显然 如果令 t 1 0 0 tj Eab 2 tt YX 则以上模型包括经典的 ARCH 模型 1 6 作为特例 经典模型实际上允许观察的 t X 符号 对推导级数的方差没有提供信息 如果 1 7 中的系数满足一定的条件 i a 比如 并且 则以上模型还包含 GARCH 模型 1 7 在此情形 0 i a 1 1 ii a 1 7 有表达式 其中 22 01tjjtj ac X 0 0a 0 j c 29 定理 2 5 i 在条件下 模型 2 15 有惟一的严平稳解 1 1 jj b 且 0 1 2 t Y t 1 1 tj j EYab 进一步 如果 则对一切 惟一解是 0a t0 t Y ii 假定 2 t E 2 16 2 1 2 1 1 tj j Eb 则模型 2 15 有惟一的严平稳解 且 t Y 2 t EY 以上定理是 Giraitis Kokoszka 和 Leipus 2000 利用得到的的 0 t k k t Y Volterra 展开式建立的 在下面的 2 7 1 里 我们对 i 给出证明 注意 一个 ARCH 过程不是线性过程 其原因是它不能利用一个 i i d 的白噪声表示成为一个过MA 程 事实上 Volterra 展式包含了的乘积项 这就使得理论验证更复杂 但另一方面 j 所有涉及的量 比如和 都是非负这一事实又为解析推导带来很大的方便 j c b j 由定理 2 5 知 如果 则 ARCH 模型 1 6 有惟一的严平稳解 Ciraitis 1 1 q jj b Kokoszka 和 Leipus 2000 还证明了如下中心极限定理 如果一个高斯过程满足 W t 和 则称其为布朗运动 Brownian 0 0 0WEW t min EW t Wt motion 或 Wiener 过程 定理 2 6 假定是由 2 15 定义满足条件 2 16 的严平稳过程 对 t Y 0 1 t 定义 1 1 nt tt j S tYEY n 其中 则对任意 2 0 Cov tt Y Y 1 1 01 k ktt 11 D kk S tS tW tW t 这里是 Wiener 过程 均值为 0 协方差为 01 W tt min E W t W st s 以上定理指出 随时机过程依分布收敛到布朗运动 01 S tt 01 W tt 2 2 自相关 对线性时间序列 我们的兴趣在于对不同时刻 随机变量之间的线性关系 t Xt t X 自相关系数描述了和之间的线性相依程度 偏相关系数是和分别对 t k X t X t k X t X 进行线性回归后的残差的相关性 11 tt k XX 2 2 1 自相关和自协方差 30 对平稳时间序列 由定义 2 1 得到 t X 对任意 0 Cov Cov t ktk XXXX k 这意味着在和之间的相关仅依赖于时间差的绝对值 t X s X ts 定义 2 5 假定是平稳时间序列 的自协方差函数 ACVF 是 t X t X Cov 0 1 2 t kt kXXk 的自相关函数 ACF 是 t X 0 Corr 0 1 2 t kt kkXXk 由以上定义 我们能够看到 和都是偶函数 即 kkkk 下面的定理给出了一个函数成为一个平稳时间序列蝗 ACVF 的充分必要条件 定理 2 7 ACVF 的特征 一个定义在整数集合上的实函数是一个平稳时间序 列的 ACVF 当且仅当它是偶的和非负定的 即对任意整数和任意实数 1n 1 n aa 2 17 1 0 n ij i j a aij 由于 2 17 式中的和正是随机变量的方差 据此得到定理的必要性 充 1 n jjj a X 分性的证明由柯尔莫哥洛夫推广定理得到 见 Brockwell 和 Davis 1991 的第 27 页 现在我们来讨论平稳 ARMA 过程的 ACVF 和 ACF 的性质 首先 显然一过程是白 噪声当且仅当对一切 0k 0k 对过程 MA 0 tjtj j Xa 其中 由 2 2 易见 2 01 WN 0 1 tjj aa 2 18 0 2 2 0 0 jjjk jjk j jj a a ka ak a 因此 如果 即对一切 则以上公式变为 MA t Xq 0 j jq a 2 19 0 2 2 0 0 qk qk jjjk jjk q j jj a a ka akkq a 且对一切和 我们说过程的 ACF 在处截尾 这是 0kqk 0k MA qq MA 过程的一个特征性质 对因果过程ARMA p q 1111ttptpttqt q Xb Xb Xaa 其中 我们可以通过它的表达式 2 WN 0 t MA 31 0 tjtj j Xd 计算 ACVF 和 ACF 其中是多项式的系数 见 2 5 它们可依如下方 j d 1 b za z 法递推计算 00 110 1 1 da dad b 22021 1 dad bd b 一般地 我们有 2 20 1 0 1 k kkjkj j dad bk 在以上递推中 我们假定对和对 现在 2 18 式中用 0 j jq a 0 i ip b 代替便得到 ACVF 和 ACF 从 2 18 和 2 20 易见 对因果 ARMA 过程 j d j a ACF 仅依赖于系数和 而与白噪声的方差无关 当然 ACVF 依赖于 j b j a 2 2 这就表示 ARMA 过程的自相关由模型中的系数所确定 以上的方法并没有导致一个简单的封闭形式的解 并且当时 几乎也不提供k 关于的渐近行为的信息 的渐近行为反映了 ARMA过程的 记忆 k k p q 为了了解这种渐近行为 我们在 ARMA模型两边相对于 计算其协 p q t k Xkq 方差 由 2 3 利用当时 和独立 则有kq tt q t k X Cov Cov 0 tt ktt k b B XXa BX 由此得到 Yule Walker 方程 2 21 1 1 0 p kbkbkpkq 易见这个方程的一般解是 2 22 1 1 kk pp kzz 其中是任意常数 是如下方程的个根 1 p 1 p zz p 1 10 p p b zb z 对一切 因果性的条件蕴涵了 因此 由 2 22 得到 当时 j 1 j z k 以指数速度收敛到 0 k 我们把以上发现以命题形式总结如下 命题 2 2 i 对因果 ARMA 过程 当 以指数速度 k 0k ii 对过程 对所有 MA q 0kqk 2 2 2 ACVF 和 ACF 的估计 32 给定平稳时间序列的观测集合 我们可以用如下定义的样本自协方差 1 T XX 函数 2 23 1 1 0 1 1 T k tTt kT t kXXXXkT T 来估计 ACVF 其中 这也导致用样本自相关函数 1 1 T Ttt XX T A 0 0 1 1kkkT 来估计 ACF 对于 用观测数据估计和是不可能的 即使对比稍kT 1 T XX k k T 小的 由于估计量中有较少的数据对被用 估计和是不可靠的 k tt k XX k A k Box 和 Jenkins 1970 的第 30 页提供了一个实用的指导 要求 且 50T 4kT 估计 ACVF 和 ACF 的另一自然的形式是在 2 23 中用代替分母 所得的Tk T 估计对大的可能有本质的不同 偏差很小 然而 公平地说 在上面定义的和k A k 在实际中更好用 这是因为它们在许多时间序列软件包里已成为通用的估计 这主 k 要归因于这样的事实 在时间序列分析中 我们对作为一个函数来估计 ACF比仅 k 对某些固定的更感兴趣 可以证明 如果我们定义对且对k 1 kkk 则是非负定函数 从而也是非负定的 如果我们用 0kTk k A k 代替分母 这个性质将失去 进一步 当相对于变大时 的方差变小Tk TkT k 以补偿它大的偏差 在模型识别中 样本 ACF 扮演了积极的作用 例如 一个过程的 ACF 在MA q 处截尾 但它的样本 ACF 却由于随机波动而不明显地在延迟截尾 这需要借助依赖qq 于统计量抽样分布的适当的统计推断来解决 令以相同 A 1 kkk 的方法定义 下面的定理给出了当 样本均值 样本方差和样本 ACFT T X 0 的渐近正态性 它的证明依赖于相依序列的中心极限定理 例如 见 Brockwell 和m Davis 1991 的定理 6 4 2 基本思想是用有限的 MA 过程逼近双边无穷 MA 过程 2 24 详细的推导参见 Brockwell 和 Davis 1991 的 7 3 定理 2 8 令是如下定义的平稳过程 t X 2 24 tjtj j Xa 其中 2 IID 0 tjj a i 如果 则 其中0 j a 2 1 N 0 D T T X 33 2 22 1 j jj ja ii 如果 则 其中 4 t E 2 2 0 0 N 0 D T 2 25 22222 2 1 2 212 jj jj iii 如果 则 其中是一个 4 t E A N 0 D Tkk WW 矩阵 它的第元素由如下 Bartlett 公式给出kk i j 2 2 ijj titjtitjijt 2 2 ittjjtti 2 26 由 2 25 样本方差有渐近方差 当是 i i d 序 0 22 1 2 12 j jT t X 列 即在 2 24 式中 对一切 这个渐近方差变为 就所涉及的0 j a 0j 2 2 T 的估计而言 比较这两个量 我们可以称 0 Var t X 1 2 1 1 j TTj 为等价的独立的观测的样本个数 它反映了信息的损失 这归因于数据中的相关性 如果是一个过程 即对一切和 由定理 2 8 iii t XMA q0j 0 j jq a 得到 2 27 A 2 1 N 0 1 2 q D t Tjtjq 对 MA 模型的定阶来说 这是一个非常有用的结果 特别地 如果 2 WN 0 t X 则 A N 0 1 D Tj 因此 有一个渐近 95 的机会使得落在区间 A j 1 2 1 96T 2 2 3 偏自相关 ACF度量了和间的相关 而不考虑它们与其中间变量 k t X t k X 的关系 在拟合 AR 模型中 定阶依赖于给定中间变量与的条件 11 tt k XX t k X t X 相关 只有对的拟合作出新的 不能被所代替的贡献时 我们才 t k X t X 11 tt k XX 将其引入模型中 偏自相关系数 PACF 被用来度量这种关系 定义 2 6 令是平稳时间序列 PACF 定义为 t X0 t EX 12 1 Corr 1 X X 34 对 1 2 1 2 Corr kkk kRR 2k 其中是由关于的线性回归所得的残差 即 2 jk R j X 2 k XX 2 22 jkjkk RXXX 且 2 28 2 2 222 arg min k kjkk E XXX 在以上定义中 我们假定是为了简化记号 对高斯过程 偏自相关可简化0 t EX 为 112 Corr kk kEXXXX 为适应别的平稳过程 定义 2 6 是一个简单推广 仅用了前两阶矩 而不是过程的整个 分布 即使如此 PACF 以一种比较间接的方式引进 并用最小二乘回归 2 28 来定义 不过 由定义立即得到 对因果过程 PACF 在处截尾 一般地 PACF 完全AR pp 由 ACF 确定 见下面 2 29 式 命题 2 3 i 对任何平稳时间序列 t X 2 29 1 12 2 2 1 1 12 2 2 1 Cov Cov 1 0 Cov Cov kkkk kkk kXX kk XX X X X X 其中是的 ACVF t X 2 122 2 kkkkk XXX X Var X ii 对因果模型 对一切 AR p 0k kp 下面的定理在 PACF 和 AR 建模之间建立起一座桥梁 它表明 是由的最 k t X 近邻的个延迟变量所作的自回归逼近的最后一个自回归系数 下述定理的证明放在 k 2 7 3 中 定理 2 9 令是平稳时间序列 则 对 其中 t X0 t EX kk kb 1k 1 2 111 arg min k kkkttkt k bb bbE Xb Xb X 以上的定理还对 PACF 的估计铺设了一条道路 即为了对估计 1 2 k k 我们仅需对阶 拟合一个 AR 模型序列 更准确地 从样本得到1 2 k 1 T XX 以作为的估计 其中是极小公和式 A kkkb A k k 1 kkkbb 2 11 1 T ttkt k t k Xb Xb X 的解 在实际中 常常利用一些标准算法 比如 Levinson Durbin 算法和 Burg 算法来计 算估计量 见 3 2 3 及 Brockwell 和 Davis 1996 的 5 1 的渐近性质将在第四 A k 章中与 AR 模型的参数估计连在一起讨论 见命题 3 1 由于在教科书中命题 2 3 i 和定理 2 9 的证明通常和确定 AR 模型的系数的算法 混在一切 所以我们在 2 7 给出它们的直接证明 35 2 2 4 ACF 图 PACF 图和例子 ACF 和 PACF 对时间序列的相关结构提供了重要信息 并在模型识别和估计中起着 积极的作用 例如 对过程 ACF 在处截尾 对过程 PACF 在处MA qqAR pp 截尾 在分析时间序列数据时 相对于时间延迟 画出估计的 ACF 和 PACF 的图是简单 且非常有用的 这样的 ACF 图称为相关图 在例 2 2 2 4 中 基于样本容量 我们画出了估计的 ACF 和 PACF 图 细100T 线 以及相应的真实的 ACF 和 PACF 的图 粗线 见图 2 1 2 3 在处 我1 96 T 们还画了一条水平线 虚线 在 5 的显著水平下 这些区间对检验零假设 给出了逐点接受的范围 在零假设下 看 2 27 和命题 3 1 它们帮助我 0 0Hk 们判断是否有特殊的统计上显著地偏离零 在例子中 我们用了标准高斯白噪声 k i i d N 0 1 t 例 2 2 白噪声 令 对 则和 对一切 tt X 0 1 t 0k 0k 由标准正态生成容量为 100 的样本 估计的 ACF 和 PACF 画在图 2 1 中 估计的1k ACF 和 PACF 几乎总是介于两个界之间 1 96 0 196T 例 2 3 我们考虑 AR 1 模型 1ttt XbX 其中 这个过程是因果的 因此也是平稳的 易见 仅通过而依赖于它 1b t X 1t X 的过去值 从 Yule Walker 方程 2 21 可导出 对和 相 k kb 0 7b 0 7b 对于时间的长度为的模拟序列画在图 2 2 a 和 b 中 当时 在趋向于1000b t X 和保持相同的符号下 此时 序列较稳定 反之 当时 序列在均值 0 的附 1t X 0b 近摆动 尽管 ACF 的绝对值衰减速快 但类似的现象在相关图里也出现了 见图 2 2 c 和 d 对 AR 1 模型 对 当时 的大 0k 2k 2k 0k 多数估计值是介于之间 1 96 0 196T 例 2 4 我们现在考虑三个因果 ARMA 模型 1234 AR 4 0 50 30 70 2 tttttt XXXXX 1234 MA 4 0 60 60 30 7 tttttt X 1212 ARMA 2 2 0 80 60 70 4 tttttt XXX 现在尽管 MA 4 模型 对 AR 4 模型 4 0 0kk 但相关结构不再像 AR 1 模型那样明确 不过 ACF 和 PACF 4 0 0kk 很快衰减到 0 见图 2 3 进一步 对大的值 下面的结论趋于成立 k AA kkkk 这归因于当和真值对大的接近于 0 时 估计的误差变得 战友支配地位 k k k 36 这种现象在 ACF 和 PACF 的估计中是普遍的 还可见图 2 1 和图 2 2 图 2 1 高斯白噪声过程样本 细线 和真实 粗线 ACF 和 PACF 图 37 图 2 2 具有系数或的 AR 1 模型的时间序列图 样本 细线 和真实 粗线 0 7b 0 7 ACF 和 PACF 图 38 图 2 3 例 2 4 中定义的三个平稳模型的样本 细线 和真实 粗线 ACF 和 PACF 图 2 3 谱分布 分析平稳时间序列的技术可以分为两大类 时域分析和频域分析 前者直接处理 观测数据 如具有独立观测的传统的统计分析 频域分析 又称为谱分析 它是先将傅 里叶变换应用于数据 或 ACVF 然后 仅对变换后的数据进行分析 本质上 谱分析 相当于基于 ACVF 的时域分析 然而 通过将过程分解为具有不同频率的不相关的周期 分量的和 频率方法提供了另一种观察过程的方式 对一些应用问题来说可能更有启发 性 由于超越二阶矩的那些性质在谱分布中将失去 我们认为谱分析 至少是它的经典 形式 在处理非线性特征方面不是有力的工具 在本节 我们首先通过简单的周期过程 引进谱分布的概念 对具有 短记忆 的平稳过程定义了它的谱密度 这里 短记忆 的平稳过程是指 ACVF 满足 通过线性滤波 我们导出了平稳 ARMA 过 k k 程谱密度函数的一般形式 2 3 1 周期过程 我们首先考虑简单的周期过程 cos t XAt 其中频率和振幅都是常数 而相位是一个区间上服从均匀分布的随机变 A 量 这时 而且0 t EX 2 Cov cos cos 2 tt A XXttd 39 2 30 22 cos 22 cos 42 AA tocsd 仅依赖于 因此 是平稳的 t X 2 cos 2 A 现在 我们回到周期过程的更一般形式 2 31 cos k tjjj jk XAt 其中是独立随机变量 有共同分布和是常数 且 j j A U j 0 0A 1 0 kjj 进一步 对 1 jk jjjj AA 把处理为一个连续波在规则时间区间上的观测值 这个过程就是 0 1 2 t X t 具有频率的个周期波的累加 注意到等于 kk 21k t X 2 32 1 2cos k tjjj j XAt 类似于 2 30 的代数计算表明 是平稳的 ACVF 为 t X 2 cos k jj jk A 易见 正弦的任何线性组合都能如 2 32 那样被表示 因此 也能如 2 31 那 样被表示 我们为技术上的方便而使用 2 31 的对称形式 见下面的 2 33 和 2 34 由于我们仅在离散时间处获取观测值 具有频率高于的波不能0 1 2 被识别 对任意 存在和使得cos t Xt 0 本质上 我们可以把频率仅限制在区间 我们在频率区域包cos t Xt 0 含完全是为了技术上的方便 0 注意 定义 非标准化 谱分布函数 2 Var 0 k tjkj XA 2 j j j GA 它是一个离散分布 在点 有质量 事实上 能够看成是 0 1 j jk 2 j A G 来自频率小于的波对的贡献 因此 如果我们将看作是总的 Var t XVar t X t X 功率 或能量 反映了在不同的频率处这个总的功率是如何分布在它的分量上 G 事实上 ACVF能表示为一个 Stieltjes 积分 2 cos cos k jj jk dGA 注意形式 2 31 的对称性保证了的分布在区间上是对称的 故以上积分能 G 40 够被写成 2 33 cos sin i idGedG 其中 1i 我们进一步标准化 定义标准化的谱分布函数G 0 FGGG 则是适当的概率分布 它在处有概率质量 由F 0 1 j jk 2 2 0 j A 2 31 立即得到 2 34 i edF 总之 对一个时间序列 我们已经定义了谱分布 它是如 2 31 定义的有限个周 期波的累加 谱分布描述了在不同的频率处总的功率 即方差 在波上的分布 进一步 ACVF 和 ACF 能够表示为 2 33 和 2 34 中谱分布函数的 Fourier 变换 这个简单的 模型是例证 正如任何一个平稳时间序列能够被看成是具有不同频率的 通常是无穷 周期波的一个累加 以上有关谱分布的叙述对一般情形还是有效的 2 3 2 谱密度 通过下面的 Wiener Khintchine 定理 我们现在对平稳时间序列引进谱分布或谱密度 正如我们将看到的那样 谱分布仅用自协方差函数来定义 因此 处理超出 ACVF 的性 质将是不可行的 定理 2 10 Wiener Khintchine 定理 定义在所有整数上的实值函数 0 是一平稳时间序列的 ACF 的充分必要条件是存在一个上的具有分布1 2 函数为的对称概率分布 使得F 2 35 i edF 其中称为时间序列的标准化的谱分布函数 如果有密度函数 FFf i efd 称为标准化的谱密度函数 f 定理还被称为 Wold 定理或 Herglotz 定理 依稍微不同的形式 在 2 7 2 我们 给出一个直接证明 它几乎和 Brockwell 和 Davis 1991 的第 118 119 页相同 尽管 他们处理复值过程 由于是实的 故有 0 cos 2cos dFdF 定理 2 11 假定是平稳时间序列的 ACF 且绝对可和 即 1 41 则标准化的谱密度函数存在 且是如下定义在区间上的对称概率密度函数 2 36 1 11 12 cos 22 i fe 证明 令 首先我们来证明 定义 1 2 i fe 0f 1 nij jj eX 则是一个复值随机变量 且 1 Var Cov 0 n i j k j k jk e 其中表示的共轭 定义 则 Var 2 0 0 n fn 1 11 1 22 n i j kim n j kmn fjk emnm e n 对任意的 我们可选择大的整数使得0 0N 1 2 mN m 这时对任意的 nN 1 1 22 2 n mn ffmmn n 这就意味着 因此 n ff 0f 现在对任意整数有j 1 2 iji j efdefdj 在上述表达式中令 我们有 因此 是标准化的谱密度 由0j 1fd f 是对称的这一事实得到 2 36 式中的第二个等式 这本身也蕴涵了是对称的 f 在一些应用 比如工程 中 对总的功率 即方差 的谱分解有基本的兴趣 为了 这一目的 我们定义非标准化谱分布和密度函数如下 0 0 GFgf 为简单 我们分别称它们为谱分布函数和谱密度函数 由定理 2 10 和定理 2 11 立即得到 在条件下 2 37 cos i edGdG 和 2 38 1 11 0 2 cos 22 i ge 注意 因此 如果我们将看成是在中具有不同频 0 Var t GX t X 42 率的周期波的累加 则 2 1 21 GGgd 能够被看作是来自具有频率在范围中的波对总的功率的贡献 如果在处是 12 0 g 大的 则在频率处波对的总方差做出大的贡献 0 t X 当 ACVF 能够被显示计算时 公式 2 36 或 2 38 可以被用来计算谱密度函数 例如 由 2 38 我们知道 白噪声过程的谱密度是常数 对应于上的均匀分 布 进一步 对过程MA q 2 11 WN 0 tttqt qt Xaa 标准化谱密度是 见 2 19 2 39 2 1 1 11 cos 21 q q k kjj k q k jj a a fk a 对一般的平稳 ARMA 过程 显式的谱密度函数能够利用在以下 2 3 3 将要讨论的称为 线性滤波的手段导出 然而 2 36 和 2 38 却不能导致它的简单的解 例 2 5 对平稳 AR 1 过程 2 1 1 WN 0 tttt XbXb 由 2 36 式 标准化的谱密度函数为 1 k kbb 11 11 12cos 12Re 22 kik kk fbkbe 注意到 2 2 1 cossin 112 cos i ik i k bebbib be bebb 取实部 我们得到 2 40 22 22 1cos11 12 212 cos212 cos bbb f bbbb 在图 2 4 中 我们画了一些简单的平稳过程的标准化谱密度函数在半区间上 0 的图形 注意 MA 过程标准化的谱密度由 2 39 给出 43 图 2 4 谱密度函数 a AR 1 模型 其中参数分别为 实线 点线 和 虚0 7b 0 50 3 线 b AR 1 模型 其中参数分别为 实线 点线 和 虚线 c 0 7b 0 5 0 3 MA 1 模型 其中参数分别为 实线 点线 虚线 和 长虚线 0 7a 0 7 0 30 3 d MA 4 过程 其中 实线 123344 0 60 6 tttttt Xaa 34 0 3 0 7 a a 点线 和 虚线 0 3 0 0 0 2 3 3 线性滤波 定义 2 7 对两个时间序列和 如果 t X t Y 2 41 tkt k k XY 其中系数是绝对可和的 即 则我们称是的滤波 k kk t X t Y 2 41 常称为线性滤波 而是输入 是输出 利用向后推移算子 滤波 t Y t X 能够用更紧凑的形式来表示 2 42 tt XB Y 其中 k z k zk 我们可以有目的地设计滤波 使得它将放大 或压制 在一定的频率带内输入信号 从 而产生的输出具有所期待的性质 函数 ik ei k ke 称为线性滤波的转移函数 它的平方模称为功率转移函数 下面的定理表明 信 2 号放大 或压制 由功率转移函数控制 定理 2 12 令和是两个平稳过程 满足 2 41 假定它们的 ACF 是绝对 t X t Y 可和的 则 44 2 xy gg 其中和分别是和的谱密度函数 x g y g t X t Y 证明 不失一般性 我们令 则0 tt EXEY xttjktjtk j k E X XE Y Y jky j k jk 因此 11 22 ii xxjky j k gejk e 1 2 ijik eeij k y jk jkjk e 22 1 2 il yy l l eg 例 2 6 AR 1 的三点滑动平均滤波 令是如下定义的平稳 AR 1 过程 t Y 2 1 1 WN 0 tttt YbYb 则 由 2 40 得到 22 Var 1 ty Ybb 2 2 1 212 cos y g bb 在图 2 5 a 中 我们画了当和时的图形 定义三点滑0 5b 2 0 5 0 75 b y g 动平均滤波 2 43 11 1 3 tttt XYYY 转移函数为 1 3 12cos 3 ii ee 功率转移函数为 2 44 2 2 14cos 4cos 34cos 2cos 2 99 图 2 5 b 表明 2 43 是一个低通滤波器 这是因为它让低频信号通过 而压制了高 频信号 由定理 2 12 得到 的谱密度是 t X 2 2 34cos 2cos 2 1812 cos x g bb 它的图形见图 2 5 c 注意具有的 AR 1 过程大部分功率分布在接近的0 5b 高频处 见图 2 5 a 经低通滤波器 2 43 通过的信号 高频信号被大大地压制 这 推断在输出过程中大量的功率 即方差 丢失了 45 注意 在处 功率转移函数 2 44 等于 0 因此 三点平滑滤波滤去了周 2 3 期的周期分量 在实际中 我们常用差分滤波2 3 2 45 3 2 ttt XYY 滤去这些分量 上述差分滤波的功率转移函数是 1 cos 3 2 它的图形画在图 2 6 中 我们能够看到 这个差分滤波器通过频率和周围的信号 3 滤去在频率和处的信号 因此 它不再是低通滤波器 一般地 我们可以既用滑动0 2 3 平均又用差分滤波来滤去某些周期分量 然而 与此同时 我们应该意识到对已滤波序 列的不同影响 例如见图 2 5 b 和图 2 6 现在 我们来推导如下定义的一般 ARMA过程的谱