第五章 时间序列模型

1、第五章 时间序列模型5.1 时间序列5.2 自回归(AR)模型5.3 滑动平均(MA)模型5.4 自回归滑动平均(ARMA)模型5.时间序列模型2/40 数字化技术的应用和发展使得随机序列的分析变得日益广泛和重要，并由平稳随机过程在时间轴上的 取样引出平稳离散随机信号或时间序列的概念。对于这类随机序列，主要采用相关函数和功率谱进行分析。对于平稳离散时间信号，还常用时间序列描述方法进行研究，由此提出时间序列模型法。它是采用各种随机差分方程表示时间序列信号的模型。在许多情况下，一个平稳离散随机信号可以视为白噪声序列通过某一离散时间线性系统所产生的。5.1 时间序列3/40 在时间序列信号模型分析中

2、，自回归(AR)模型、滑动平均(MA)模型和自回归滑动平均(ARMA)模型是三种最常见的标准线性模型，它们均由白噪声序列通过离散时间线性系统而产生。而实际应用中许多平稳时间序列往往可由这些模型近似表示，使得有关的分析变得更为简单，也为平稳随机序列的分析和产生提供了有效方法。另外，这些线性模型都具有连续功率谱形状，在参数谱估计方面显示出极大的优点。除非特别说明，本章只讨论具有连续谱特性的平稳时间序列。5.1 时间序列4/40 设 为具有零均值，方差为 的平稳白噪声序列，随机序列 由如下随机差分方程表示：5.2 自回归(AR)模型5/40)(n2n)(nxpkknknxanx1)()()(式中 为

3、一正整数， 为实常数，不失一般性，设 ，并设 。上式表示的信号称为 阶自回归模型。显然， 是它的 个过去值和白噪声 的线性组合。用 表示上式的模型。对于上式，从统计观点讲，称 以随机误差 线性回归于它的 个过去值。p), 1 , 0(pkak10a0pap)(nxp)(n)(pAR)(nx)(np 为使分析方便，首先研究一阶和二阶AR模型，然后根据 阶AR模型的分析，研究AR模型的自相关函数及功率谱密度。5.2 自回归(AR)模型6/40p1. 一阶AR模型 根据随机序列的差分表达式，当 时，可得一阶AR模型式中 为不等于零的实常数。上式为一阶随机差分方程。1pa)() 1()(nnaxnx

4、若设 ，可得：5.2 自回归(AR)模型7/40容易得到一阶矩0)0(x)2() 1()() 1()()(2nxanannaxnnx) 1 () 1()(1nanan )()1 ()(1nEaanxEn1)(1)(11annEanEaan 如果 ，由上式可以看出， 的均值有可能不满足平稳性，即可能不满足一阶平稳。然而，如果系数 ，当 较大时，则有5.2 自回归(AR)模型8/40在此情况下， 是一阶渐进平稳的。 0)(nE)(nx1an)(11)(limnEanxEn)(nx 通常， ，可得时间序列 的自相关函数（二阶矩）为：5.2 自回归(AR)模型9/40 )(nx0)(nE)()(),(

5、mnxnxEmnnRx)1 () 1()(1nananE)1 () 1()(1mnamnamn1,1,112222)1(222anaaaaaaanmnnnmmmn 显然，当 时， 并不满足自相关平稳性，但是，当 并且 足够大时，有5.2 自回归(AR)模型10/40 )(nx 1a1an221)(),(limaamRmnnRmnxxn对于实随机序列，由于 对于 对称分布，有m)(mR221)(aamRmnx对于 ，不难推得，当 为正数时， 恒为正，且呈指数衰减。当 为负数时， 正负相间指数衰减。1aa)(mRxa)(mRx 根据 可得 的方差为：5.2 自回归(AR)模型11/40 )(nx说

6、明平稳随机序列 的方差 比白噪声方差 大。 最后讨论AR(1)模型的功率谱。对 式两边取z变换，可得其传递函数为：)(mRx)(mRx2221)0(aRnxx)(nx2x2nazzazzH111)( 的功率谱为5.2 自回归(AR)模型12/40 )(nx令 ，有)1)()()()(221azazzzHzHzSnnxjez ,1cos21)(2222jnnxaeaaS2. 二阶AR模型 定义随机序列 的二阶AR模型为：5.2 自回归(AR)模型13/40 )(nx 式中 和 均为实常数， 。 上式二阶差分方程的特征多项式为：)()2() 1()(21nnxanxanx1a2a02a212aza

7、z 定义后移算子 为后移一步的运算，即5.2 自回归(AR)模型14/40 于是，二阶AR模型成为：式中 和 为二阶AR模型特征多项式的根，即D) 1()(nxnDx)()1)(1 ()()()1 (21221nxDzDznnxDaDa1z2z22112, 1421aaaz所以，有特解为：5.2 自回归(AR)模型15/40 )()1 ()1 (1)1)(1 ()()(22112121nDzzDzzzzDzDznnx02112110121121)()(1kkkkkkkknzzzznDzzzz 根据模型差分方程，零输入下得齐次方程5.2 自回归(AR)模型16/40 其解为：式中 和 是待定系数

8、，由初始条件确定。 模型特解和上式之和即为模型的解：0)2() 1()(21nxanxanxnnzAzAnx2211)(1A2A02112112211)()(kkknnknzzzzzAzAnx当 时，上式右边齐次解随 的增大而趋于零，而特解部分具有有限方差，在均方意义下收敛，随 的增大而渐近收敛于特解公式的平稳结果。 实际上，二阶模型的平稳条件与其系数 和 是有关的，这可通过 和 平面表示。设 ，并设 和 ，根据 ，在其两边同乘 ，有5.2 自回归(AR)模型17/40其次，根据不等式 ，两边同乘 ，有12, 1znn1a2a1a2a12, 1z121azz221azz11z)1 (2z121

9、21zzzz121aa11z)1 (2z12121zzzz121 aa 或 以及根据上式分析，得到以下三个条件：5.2 自回归(AR)模型18/40 这就是保证二阶AR模型平稳的条件，可用系数分布图说明。图中示出了二阶系数欠阻尼、过阻尼和临界阻尼三种情况的系数区域分布，分别对应于以下三种情况：（1）欠阻尼：出现 和 一对共轭复根。（2）过阻尼：出现 和 不同的实根。（3）临界阻尼：出现 和 相同的实根。, 12a121 aa121 aa 以及 1z2z1z1z2z2z5.2 自回归(AR)模型19/40 -3-2-10123-2-1.5-1-0.500.511.522.53 a2=-a1-10

10、a1a2a2=0.25*a1*a1112-1-2过 阻 尼欠 阻 尼临 界 阻 尼 对于平稳的情况，考察二阶AR模型的自相关函数，对模型方差方程两边同乘 并作集平均，可得：5.2 自回归(AR)模型20/40 考虑到)(mnx)()2() 1()(21mnxnxanxanx)2() 1(21mnxamnxa)()(nmnE 0, 00,)()(2mmnmnEn可得：5.2 自回归(AR)模型21/40 以及0,)2() 1 ()0(221mRaRaRnxxx0, 0)2() 1()(21mmRamRamRxxx0)0() 1 ()2(0) 1 ()0() 1 ()2() 1 ()0(21212

11、21xxxxxxnxxxRaRaRRaRaRRaRaR由此解得：5.2 自回归(AR)模型22/40 )1)(1 ()1 ()0(122222aaaaRnx)0(1) 1 (21xxRaaR)0()1 ()2(2221xxRaaaR 最后，分析AR(2)模型的功率谱密度。容易知道，其传递函数为：5.2 自回归(AR)模型23/40 于是， 的功率谱为：221111)(zazazH222111)(jeznxzazaS,122212jjneaea )(nx3. p阶AR模型 定义如下随机差分方程为 阶AR模型5.2 自回归(AR)模型24/40式中 为实常数，且 。对上式两边取 变换，可得：于是，

12、以上AP(p)模型的传递函数为：p)()() 1()(1npnxanxanxp), 2 , 1(pkak0paz) 1(),()(00azWzzXapkkkpkkkzazWzXzH111)()()(根据它的特征多项式可解出 个 的极点 。于是，该模型的传递函数可写为：5.2 自回归(AR)模型25/40所以，AR模型的传递函数只有极点，除原点外没有任何零点，属于全极点模型，对应于全极点滤波器，具有无限冲激响应(IIR)。因此，模型传递函数的性质完全取决于个极点在 平面上的分布情况。可以证明，如果所有 个极点均满足 ，那么，AR模型信号满足渐近平稳性。p)(zHpzzz,21)1 ()1)(1

13、(1)(11211zzzzzzzHppzp), 2 , 1( 1pizi 条件 意味着有界输入通过线性系统导致有界输出，系统 是稳定的，这说明模型传递函数的稳定性与模型的平稳性是等价的。 根据AR模型的传递函数， 阶AR模型的功率谱密度为：5.2 自回归(AR)模型26/40可见AR模型的功率谱由各模型系数 确定。)(zHp), 2 , 1( 1pizi212221)()(pkkjknnxeaHS,)(212pikjnze ), 2 , 1(pkak 最后讨论AR(p)模型参数与相关函数的关系。根据自相关函数的定义，有5.2 自回归(AR)模型27/40由于 )()()(mRmnxnxEx)(

14、)()()()()(11mnnxEkmRamnkmnxanxEpkxkpkk0, 00,)()(2mmmnnxEn于是，有：5.2 自回归(AR)模型28/40将上式分别以 代入，可得以下矩阵方程形式： 0, )(0,)()(121mkmRamkmRamRpkxknpkxkxpm, 2 , 10001)0()2() 1()()2()0() 1 ()2() 1() 1()0() 1 ()()2() 1()0(221npxxxxxxxxxxxxxxxxaaaRpRpRpRpRRRRpRRRRpRRRR由于 ，可得5.2 自回归(AR)模型29/40上式称为尤里-沃克（Yule-Walker）方程。

15、所以，如果选择了AR(p)模型，并可选定或根据观测数据估计模型的自相关函数，则可由尤里-沃克方程解出 个模型参数 ，由此确定该模型，估计模型的功率谱密度函数。)()(mRmRxx0001)0()2() 1()()2()0() 1 ()2() 1() 1 ()0() 1 ()()2() 1 ()0(221npxxxxxxxxxxxxxxxxaaaRpRpRpRpRRRRpRRRRpRRRRpka 滑动平均模型（MA模型）是时间序列模型另一种主要形式，通常用MA(q)记 阶MA模型。定义为：5.3 滑动平均(MA)模型30/40式中 为实常数，且 ，称为MA(q)模型的参数，通常有 ， 仍为零均值

16、、方差为 的白噪声序列。由于 是有限的，所以MA(q)模型也是平稳的。qqkkknbnx0)()(), 2 , 1(qkbk0qb10b)(n2nq1. 一阶MA模型 定义MA(1)模型为：5.3 滑动平均(MA)模型31/40显然，MA(1)模型是一阶相关的，其相关系数在0.5之间取值。) 1()()(nbnnx容易求得2221)0()(bRnxEnxbRx) 1 (1, 0)(mmRx2. q阶MA模型 对于MA(q)模型5.3 滑动平均(MA)模型32/40这是一个全零点模型，具有有限冲激响应（FIR）。上式两边取 变换，可得该模型的传递函数为：可知 有 个零点 ，于是qkkknbnx1

17、)()(qqzbzbzbzH22111)()1 ()1)(1 ()(11211zzzzHqz)(zHq), 2 , 1(qkk 由MA(q)的定义式，可见 是白噪声序列 的当前值和 个过去值的线性组合，所以，当 中的大于 时，其白噪声序列的线性组合将全部为更新后的值，由此可以推断，相隔长度大于 的 其自相关函数为零，即 与 互不相关。因此，MA(q)模型自相关函数的相关长度为 。 MA(q)的自相关函数为：5.3 滑动平均(MA)模型33/40)(nx)(n) 1( q)(nxnqq)(nx)(kx), 3 , 2 , 1)(iiqkxq )()()()()(00qkqkkkxkmnbknbE

18、mnxnxEmR由于5.3 滑动平均(MA)模型34/40所以，MA(q)模型的二阶矩与阶次和参数有关。于是有由此可得 的方差为：0, 00,)()(2mmmnnEnqmbbmRqmkmkknx0,)(2qmkknxxbR222)0()(nx 式子证明了MA(q)模型自相关函数的相关长度为 ，当各模型参数 均为 时，其相关函数具有如下简单形式：5.3 滑动平均(MA)模型35/40根据MA(q)的全零点传递函数，模型的功率谱密度函数为：也可用全零点谱形式表示：)(mRxqkb11qqmqmqmRnx,111)(22121)(qkjkknxebS212)()(qkknxzS 如果用一个 阶自回归

19、模型和一个 阶滑动平均模型组成一个混合模型，可得一个形如以下差分方程的模型：5.4 自回归滑动平均(ARMA)模型36/40式中 和 均为实常数，且 和 不为零，通常有 。如果 ，上式退化为一个AR(p)信号模型；如果 ，则为一个MA(q)信号模型。上式定义的模型称为自回归滑动平均模型，也称ARMA模型，记为ARMA(p,q)。qpqkkpkkknbknxa00)()(), 2 , 1 , 0(pkak), 2 , 1 , 0(qkbkkakb100 ba0q0p 对上式两边取 变换，可得ARMA模型的传递函数为：5.4 自回归滑动平均(ARMA)模型37/40式中 为传递函数的 个零点， 为传递函数的 个极点，这是一个零