时间序列分析方法第3章 平稳ARMA模型

1、第三章 平稳ARMA过程一元ARMA模型是描述时间序列动态性质的基本模型。通过介绍ARMA模型，可以了解一些重要的时间序列的基本概念。§3.1 预期、平稳性和遍历性3.1.1 预期和随机过程假设可以观察到一个样本容量为的随机变量的样本：这意味着这些随机变量之间的是相互独立且同分布的。例3.1 假设个随机变量的集合为：，且相互独立，我们称其为高斯白噪声过程产生的样本。对于一个随机变量而言，它是t时刻的随机变量，因此即使在t时刻实验，它也可以具有不同的取值，假设进行多次试验，其方式可能是进行多次整个时间序列的试验，获得I个时间序列：，将其中仅仅是t时刻的观测值抽取出来，得到序列：，这个序

2、列便是对随机变量在t时刻的I次观测值，也是一种简单随机子样。定义3.1 假设随机变量是定义在相同概率空间上的随机变量，则称随机变量集合为随机过程。例3.2 假设随机变量的概率密度函数为：此时称此时密度为该过程的无条件密度，此过程也称为高斯过程或者正态过程。定义3.2 可以利用各阶矩描述随机过程的数值特征：(1) 随机变量的数学期望定义为(假设积分收敛)：此时它是随机样本的概率极限：(2) 随机变量的方差定义为(假设积分收敛):例3.3 (1) 假设是一个高斯白噪声过程，随机过程为常数加上高斯白噪声过程：，则它的均值和方差分别为：(2) 随机过程为时间的线性趋势加上高斯白噪声过程：，则它的均值和

3、方差分别为：3.1.2 随机过程的自协方差将j个时间间隔的随机变量构成一个随机向量，通过随机试验可以获得该随机向量的简单随机样本。假设函数为随机向量的联合概率分布密度，则可以类似地定义：定义3.3 随机过程的自协方差定义为：上述协方差可以利用联合概率分布密度求解。3.1.3 平稳性定义：假设随机过程的均值函数和协方差函数与时间无关，则称此过程是协方差平稳过程，也称为弱平稳过程。此时对任意时间有：例3.4 (1) 假设随机过程为常数加上高斯白噪声过程：，则它的均值和方差与时间无关，因此该过程是协方差平稳过程。(2) 假设随机过程为时间的线性趋势加上高斯白噪声过程：，则它的均值为：，它依赖时间，因

4、此它不是协方差平稳过程。由于协方差平稳过程仅仅依赖时间间隔，因此有：定义：假设随机过程满足条件：对于任意正整数值，随机向量的联合概率分布只取决于时间间隔，而不依赖时间，则称该过程是严格平稳过程，简称为严平稳过程。如果一个随机过程是严平稳过程，而且具有有限的二阶矩，则该过程一定是协方差平稳过程，即宽平稳过程。但是，一个宽平稳过程却不一定是严平稳过程。例3.4 假设随机过程是具有高斯分布的高斯过程，如果该过程是宽平稳过程，则此过程一定是严平稳过程。3.1.4 遍历性遍历性是时间序列中非常重要的。对于时间序列而言，我们可以得到一个随着时间顺序的样本观测值：，对此可以得到一个时间平均值：定义：假设时间

5、序列是一个平稳过程，如果时间平均值按照概率收敛到总体平均值，则称该随机过程是关于均值遍历的。遍历性是平稳时间序列非常重要的一个性质，如果一个平稳时间序列是遍历的，那么它在每个时点上的样本矩性质(均值和协方差等)就可以在不同时点上的样本中体现出来。这就是遍历性的含义。定理：如果一个协方差平稳过程，如果自协方差函数满足：则随机过程是关于均值遍历的。定义：假设时间序列是一个协方差平稳过程，如果样本协方差按照概率收敛到总体协方差，即则称该过程是关于二阶矩遍历的。高阶矩遍历意味着过程不同时间上的统计性质更接近同一时点上的随机抽样性质。例3.4 如果随机过程是高斯协方差平稳过程，则它是均值遍历过程，也是二

6、阶矩遍历过程。一般情况下，平稳性和遍历性之间没有必然联系，下面的例子可以说明这一点。例3.5 假设随机过程的均值过程满足：其中均值满足：，是独立的白噪声过程。因为，上式表明，该过程是协方差平稳过程，但是由于因此，该过程不是均值遍历过程。§3.2 移动平均过程3.2.1 一阶移动平均过程假设是白噪声过程，考虑下述随机过程：其中和是任意常数。由于这个随机过程依赖最近两个时间阶段的的加权平均，因此称此过程为一阶移动平均过程，表示为。下面我们通过求解过程的均值函数和协方差函数来说明它是一个宽平稳过程。求解均值函数为：一阶自协方差为：对于更高阶的自协方差，则有：上述结果表明，过程是一个平稳随机

7、过程。注意到：因此，也是均值遍历过程。定义：将协方差平稳过程的第j个自相关系数表示为，则有：根据相关系数的定义：根据Cauchy-Schwarz不等式，可知所有自相关系数绝对值不会超过1。对于MA(1)过程而言，它的自相关系数为：自相关系数也被称为自相关函数，它度量随着时间间隔的变化，随机过程不同时点之间的相关性。即使具有相同的自相关函数，所对应的随机过程性质可能也是不同的。3.2.2 阶移动平均过程推广MA(1)过程中的滞后阶数，可以得到下面表示为的阶移动平均过程：其中残差仍然是白噪声过程，系数可以是任意实数。(1) 过程的均值直接计算均值函数为：(2) 过程的自协方差首先计算方差为：其次计

8、算自协方差，当时间间隔时：当时间间隔时，则有：对于过程而言，则有：，显然，对于任意阶数的移动平均过程，均是协方差平稳的。因此，移动平均过程的平稳性对于参数没有任何要求。(3) 过程的自相关函数根据自相关函数(ACF函数)的定义，可以得到过程的自相关函数为：，上述ACF函数的典型性质是它仅有两个突出点，当时间间隔大于2个阶段以后，ACF函数便快速地收敛到零。如果一个随机过程的ACF函数体现出这样的性质，便可以推断它的数据生成过程(data generating process，简称为DGP)可能是一个MA(2)过程。3.2.3 无限阶移动平均过程无限阶移动平均过程是过程的进一步推广，令，得到过程

9、的表达式为：为了与有限阶移动平均参数加以区别，上述移动平均系数利用符号表示。如果假设移动平均系数是平方可加的，即：可以证明上述表示按照均方收敛到一个随机变量，因此确实定义了一个随机过程。可以对于系数加以更强的条件，即假设是绝对可加的，即满足：可以证明绝对可加可以推导出平方可加，但是反之不然。系数绝对可加的无限阶移动平均过程是平稳过程，其均值和协方差函数可以表示为：可以证明，当移动平均系数绝对可加时，自协方差也是绝对可加的：因此过程是关于均值遍历的。§3.4 自回归过程上面我们介绍的移动平均过程是将一个随机过程表示为随机残差的移动平均，当期随机过程的实现没有受到过程前期取值的直接影响。

10、如果随机过程取值对后继取值产生影响，则可以利用自回归过程表示这样随机过程的基本特征。3.4.1 一阶自回归过程AR (1)假设随机过程当期取值依赖前一个阶段的取值，如此随机过程可以利用下面一阶自回归过程AR (1)表示：其中仍然是白噪声过程。显然如此自回归过程可以表示为线性差分方程形式：，根据线性差分方程的性质可知，如果自回归系数，外生扰动的作用将不断累积，导致该过程具有逐渐增加的均值和方差，因此该过程将不是平稳过程。为此，我们限制自回归系数满足：，这是一阶自回归过程平稳的约束条件。根据差分方程解的公式，可以得到：根据上述过程表达式，可以知道：(1) 过程的均值函数为：(2) 过程的方差为：(

11、3) 过程的协方差函数为：(4) 过程的自相关函数为：，当平稳性条件满足时，上述自相关函数收敛到零，但是收敛的方式依赖的符号，如何自回归系数是正的，则呈现单调收敛模式；当自回归系数是负的时候，呈现震荡收敛模式。由于的绝对值大小体现了前期过程值对当期值的影响程度，因此的绝对值越大，这个过程保持前期值符号的能力就越强，这样的性质可以通过对不同值的自回归过程的模拟当中识别出来。在上述对过程的讨论当中，我们采用了无限阶移动平均表示，并根据这样的表示求解过程的均方差和自协方差等性质。下面我们在假设过程具有平稳性的条件下，简单的求解这些过程的数值特征。(1) 对过程两端求数学期望，得到：如果过程是平稳的，

12、则均值函数不依赖时间参数，则得到均值为：(2) 将过程进行“中心化”表示，即将其根据均值进行平移：上式两端平方运算以后取数学期望可以得到：需要注意到：则得到：也可以得到：(3) 当时，在中心化表示两端乘以因子，然后取数学期望得到：则得到：，这是自协方差函数所满足的一个一阶齐次差分方程，其解为：这同前面利用无限移动过程的推导结果完全一致。3.4.2 二阶自回归过程二阶自回归过程表示为，模型形式为：采用滞后算子形式表示为：差分方程稳定或者上述过程平稳的条件是：的所有根落在单位圆外。这时假设逆算子形式为：其中算子多项式的系数由前面差分方程的讨论所确定。利用算子多项式的逆算子，可以将过程表示为无限阶移

13、动平均过程：可以直接证明此过程的均值为：并且可以得到：如果假设该过程是平稳过程，那么对过程直接求数学期望，也可以得到类似的均值。过程也存在下述中心化表示：两端乘以因子，然后取数学期望得到：利用自协方差定义得到：，这说明自协方差满足二阶差分方程，这个差分方程的稳定性是要求自回归系数落入稳定的三角形区域内。自相关函数满足：，令得到：从中可以得到：令得到：从中可以得到：类似地，可以求解出过程的方差：可以表示为：从中解出方差为：或者：3.4.3 p阶自回归过程如果将解释变量的滞后阶数扩展，可以得到下述p阶自回归过程，表示为AR (p)：假设算子多项式的特征方程：的根全部落入单位圆外，则AR (p)是协

14、方差平稳的，其无限阶移动平均表示为：在AR (p)过程满足协方差平稳的条件下，取均值为：则均值为：得到上述均值以后，可以将在AR (p)过程进行中心化表示：两端乘以因子，然后取数学期望得到：对于给定的参数，可以求出方差和协方差的初值状态，可以作为上述差分方程的初值，并可以进一步求解出所有阶数的协方差序列。进一步可以得到自相关函数方程，这个差分方程被称为Yule-Walker方程：，如果算子多项式特征方程具有相异根，则协方差构成的差分方程具有解形式为：其中是下述方程的根：§3.5 自回归移动平均过程如果将自回归和移动平均过程结合起来，就可以得到自回归移动平均过程，根据自回归和移动平均的

15、阶数可以将其表示为形式：将其表示为滞后算子形式：假设算子多项式形成的特征方程：的所有特征根均落在单位圆外，这样就可以除以逆算子得到无限移动平均表示：其中算子多项式为： ， ， 过程的平稳性条件取决其中自回归系数的性质，而与移动平均系数无关。为了方便起见，在推断过程的平稳性以后，可以将表示为“中心化”形式：在上式两端乘以，并求数学期望，可以得到协方差的等式：，上式说明滞后阶数超过以后的协方差满足阶线性差分方程。类似地，自相关系数也满足此方程。当滞后阶数小于或者等于时，由于残差之间存在相关关系，因此过程具有比过程更为复杂的协方差函数。如果线性差分方程的特征方程具有相异根，则自协方差函数为：上述解中

16、的系数需要依靠初始条件来确定。虽然的结构更为复杂，可以描述更为复杂的随机过程及其特征，但是使用容易产生“过度参数化”的问题。假设随机过程本身是一个白噪声过程，即这是一个无参数的随机过程，但是如果两端引入自回归和移动平均过程，可以得到过程：值得注意的是，这个过程的参数具有确定性限制：，对于这样一个过程，无论参数如何取值，实际上都表示的是一个白噪声过程。但是，如果此时对参数进行估计，则由于参数的任意性，给参数估计带来了困难，势必要求对过程进行无参数约束估计，如果得到，则意味着我们应该采用白噪声过程描述数据的生成过程。类似地，对于更为的一般的：如果等式左右两端可以进行算子多项式的因式分解：则平稳性要

17、求：，。如果两端具有相同因子，即对某种和，出现相同的根：，则等式两边可以除去相同的公因式，得到：或者表示成为：这是简化后的过程，这意味着可以通过化简等方式将一个过度参数化的过程降低为参数恰当的过程。§3.6 自协方差生成函数3.6.1 过程的自协方差生成函数类似于随机变量的特征函数，我们也可以构造一类函数，利用它表示随机过程协方差的性质。定义：假设随机过程的自协方差序列是绝对可加的，定义自协方差生成函数为(自变量可以是复变量)：特别地，对于落在单位圆上的自变量值：下述函数称为随机过程的总体谱：可以证明，对于任何自协方差序列绝对可加的随机过程而言，上述总体谱函数都是存在的。如果两个随机

18、过程具有相同的自协方差生成函数，那么这两个随机过程的所有自协方差是相同的。例4.1 计算过程的自协方差生成函数。解：我们已经得到了过程的自协方差，根据定义可以得到它的自协方差生成函数为：将上式表示为：根据过程自协方差生成函数的特点，对于过程：我们猜想它的自协方差生成函数为：为了验证这一点，将上式乘积展开并合并同类项得到：对比系数与过程的自协方差，我们知道该函数确实是过程的自协方差生成函数。命题：对于无限阶移动平均过程：，则它的自协方差生成函数为：证明：略。例4.2 求过程的自协方差生成函数。解：在平稳性要求下，过程可以表示为：此时：，因此过程的自协方差生成函数为：可以根据此自协方差生成函数得到

19、过程的各阶自协方差：上式中的系数便是，计算得到：这和前面计算结果是一致的。命题：假设平稳过程为：它的自协方差生成函数为：证明：略。3.6.2 随机过程滤波的自协方差生成函数经常会遇到对随机过程的各种变换，这些变换有时称为对随机过程的滤波。下面，我们分析滤波对原时间序列自协方差生成函数的影响。假设随机过程为过程：它的自协方差生成函数为：现假设对随机过程进行差分变换，得到新的随机过程：，则随机过程的自协方差生成函数为：注意到因式分解形式：则的自协方差生成函数可以表示为：从上述结果可以归纳出更为一般的滤波后的过程的自协方差生成函数。命题：假设原始随机过程具有自协方差生成函数，对它进行下述形式的滤波：，则随机过程可以表示为：，则随机过程的自协方差生成函数为：证明：略。§3.7 随机过程的可逆性3.7.1 过程的可逆性考虑过程为：如果给定移动平均参数限制：，等式两端乘以逆算子，得到：上式左端实际上是一个无限阶的自回归过程，可以表示为。如果一个移动平均过程可以通过逆算子作用得到无限阶自回归表示，则称该过程是可逆过程。显然，对于过程而言，它的可逆性条件是：；否则该过程便不是可逆的。为什么要讨论过程的可逆性？我们根据过程的1阶和2阶矩性质进行讨论。对于具有均值的过程的自协方差生成函数为