FINTS第四章线性ARMA模型.ppt

第四章：线性时间序列分析及其应用 学习目标 简单滑动平均(MA)模型 简单自回归(AR)模型 混合自回归滑动平均(ARMA)模型 平稳时间序列 n几个重要的平稳过程和模型 n白噪声过程 nMA过程 nAR过程 nARMA过程 n平稳过程的参数 n自协方差和自相关函数 n偏自相关函数 4.1白噪声和线性时间序列 随机过程满足 1）E(t)=0 ， 对所有t 2）E(t2)=2 对所有t 3）E(ts)=0, 对任意ts，或Cov(t, s)=0 弱白噪声随机过程（Weakly white noise process），简称白噪声。记为 tWN(0, 2) 白噪声过程 4）不同时刻随机变量是相互独立的随机变 量，并且同分布 称为独立白噪声，记为tI.I.D(0, 2) 如果再增加一个条件 5）服从正态分布 该过程为高斯白噪声（Gaussian white noise process）。 线性时间序列 时间序列rt称为线性时间序列，如果它能表示 成当前和过去白噪声序列的加权线性组合，即 这里， 为白噪声 也表示时间序列在t时刻出现了的新的信息，即称 为时刻t的新信息(innovation) (4.1) 称为 的 权重 若 是平稳的，利用 的独立性，我们容易得到 其中 是 的方差。由于 所以 必须是收敛序列，即当 时 的间隔为 的自协方差为 因此， 权重与 的自相关系数有如下关系： 其中， 对若平稳序列而言， 当 时 从而随着 的增加 收敛到0 4.2 MA模型 4.2.1MA模型介绍 当（4.1）仅仅有有限个 权重为非零时，我们称之为滑动 平均过程，即 （4.2） 我们称(4.2)为 MA(q)模型或者q阶滑动平均模型. 其中t 是白噪声过程. 这里，和i, i=1,2,q称为参数或系数。 注：q0 滑动平均模型 1-阶滑动平均模型 其中t 是白噪声过程. （4.2-1） 和为参数或系数。 表达式（4.2-1）是1阶滑动平均模型，rt是1- 阶滑动平均过程。用MA（1）表示 例如rt=0.1+t0.3 t1 MA(1) n另一种表达方式 n本质是一个只包括常数项的回归模型，但残 差存在自相关。容易知道MA(1)存在一阶自相 关。 q-阶滑动平均模型和过程 下面是几个MA模型 Yt=0.1+t0.2 t1 0.1 t2 Yt=0.1+t0.3 t1 0.21 t2 0.1 t3 Yt=0.1+t0.3 t4 4.2-2 MA模型的性质 MA(1)模型 MA(q)模型 自相关函数 MA(1)模型：为简单起见，假定 对两端乘以 ，我们有 当 时， 注意到我们有 MA(1)模型在间隔为1以后的是截尾的 MA(2)模型 自协方差函数 自相关系数是 MA(2)模型在间隔为2以后的是截尾的 MA(q)模型 自相关系数 MA(q)模型在间隔为q步以后的是截尾的， MA(q)模型具有有限记忆性 MA过程 ACF图 基本结论 MA(q)过程的自相关函数q步截尾 练习题 n1. 证明 MA(q)过程自相关函数应满足的 关系式 n2. 计算 的自相关函数。 4.2-3识别MA模型的阶 自相关函数是识别MA模型的阶的有用工具。如果时 间序列具有自相关函数 ，若 ，但对 有 ，则 服从一个MA(q)模型 4.2-4用MA模型预测 MA(1)过程的向前一步预测，由模型知 取条件期望我们有 向前一步预测误差的方差为 MA(1)过程的向前二步预测，由模型知 我们有 向前二步预测误差的方差为 上面的结果表明MA(1)的向前两步预测即是模型的无条件均值 类似地对MA(2)模型，我们有 这样，MA(2)模型的向前两步以后的预测即达到序 列的均值 一般地，对于一个MA(q)模型，向前q步以后的预测 就达到了模型的均值 4.3 自回归模型 Autoregressive Model 其中 t 是白噪声过程。 ， 表达式(4.3)是P-阶自回归模型 rt 为p-阶自回归过程 ,表示为AR(p) 是未知参数或系数。 (4.3) AR(1)过程（4.3-1） 因方差非负，要求 （4.3-1）定义的AR（1）模型是平稳的充分必要条件是 在平稳性条件下 注意到 与 独立， （4.3-2） AR(1)模型的自相关函数 进一步有递推式： 因 ，故 这个性质表明弱平稳AR(1)序列的自相关函数从 开始以比率为 的指数速度衰减。 由（4.3-2），我们有 自协方差函数 自相关函数 AR(1)参数 t=0.1+0.5t-1 +t t=0.1-0.5t-1 +t =0.1/(1-0.5)=0.2 = 0.1/(1+0.5) j=0.5j j =(-0.5)j AR(2)模型 两边乘以 导致自相关协方差函数满足 这个结果称为平稳AR(2)模型的矩方程 均值函数满足 利用AR(2)模型可以写为 上面的结果表明平稳AR(2)序列的ACF满足二阶差分方程 其中，B是向后推移（延迟，滞后）算子，即 平稳AR(2)模型的自相关系数函数满足 有时用L表示延迟算子，如 与前面的差分方程对应的是二次(特征)多项式 时间序列文献中称这两个解的倒数为AR(2)模型的 特征根 这个方程的解是 平稳性：AR(2)时间序列的平稳性条件是它的两个特征根 的模都小于1 对应AR(1)模型: 特征根为 从而 是平稳的，我们有 AR(2)模型的平稳性要求 ，其中 这导致， 及 特征多项是 AR(p)模型 称之该AR(p)模型的特征方程。 AR(p)模型的平稳性条件：上述方程的所有解的模都大于1。 由于解的倒数为该模型的特征根。因此，平稳性要求所有 特征根的模都小于1。 均值函数 模型对应的多项式方程为 特征方程也可以表示用 代替x, 这时，如果特征方程的根在单位圆内模型满足 平稳条件 用滞后算子表示平稳AR(p)模型 为 其中， 为滞后算子多项式。 即AR(p)模型可以表示成MA( )模型. 注意到滞后算子的等式 如果用“1”表示恒等算子，有 其中记： 因此得到了逆算子的表达式，这类似于以滞后变量 为变量的函数表达式。在形式上逆算子可以表达为 AR(p)模型的参数特点 用后退算子表示自协方差函数为 自相关函数： 即 练习题 3. 推导AR(p)模型的参数特征公式 4. P177-178, 4, 9 滞后算子 滞后算子(Lag operators)或延迟算子（ Backshift） 滞后算子，用L表示。有的书上称为延迟算 子，用B表示 LYt=Yt-1 滞后算子 (1)L(LYt)=L(Yt-1)= Yt-2,记为L2Yt= Yt-2,一般的Lk Yt= Yt-k (2)与乘法可交换L(a Yt)=a(LYt) (3)加法可分配L(Yt +Xt)= LYt + L Xt (4)对常数列的运算等于他自身Lc=c (5)1Yt=Yt (6) (1-L)-1=1+ L+ 2L2+ kLk 当|p 那么估计的偏相关系数近似服从正态分布 N（0，1/T） 所以近似5%显著水平下，如果-2/T1/2p成立 定阶 1根据样本自相关函数和样本偏相关函数定阶 一般要求样本长度大于50,才能有一定的精确程 度。如果某个j之后，所有的样本自相关系数j 在95置信区间内，则自相关函数截尾。适合 建立MA模型；如果某个j后，所有样本偏自相 关系数*j在95置信区间内，则偏自相关函数 截尾。适合建立AR模型；否则都拖尾。适合建 立ARMA模型。 AIC和 BIC准则 n评价模型的优劣准则 AIC和BIC准则 n对自由度进行调整 nk是模型中未知参数的个数,et是估计出的误差 nAkaikes information criterion赤池 Schwartz Bayesian information criterion(SBC,SC,BIC)施瓦兹 定阶： AIC准则和BIC准则 不同的书对AIC和BIC使用不同的变形。经 常使用的有两种 AIC（p，q）=ln( )+2(p+q)/T BIC（p，q）=ln( )+(p+q)ln(T)/T T样本长度，如果有常数项p+q被p+q+1代 替，ln表示自然对数。在ARMA模型中需 要选择p和q，所以用p+q代替k。 是对噪声项方差的估计 定阶： AIC准则和BIC准则 AIC（p，q）=2lnL/T+2(p+q)/T BIC（p，q）=-2lnL/T+(p+q)ln(T)/T LnL是模型的对数似然函数值 Q是与参数无关的量。因为我们只关心使得AIC或 BIC最小的值，所以忽略Q.带入对数似然函数 表达式中，可以发现与前面的AIC和BIC的表达 是一致的。 AIC和BIC判断步骤 （1）给定滞后长度的上限P和Q，一般取为T/10， Ln(T)， ,或根据样本ACF和样本PACF判断。 （2）假设样本区间1,T,把样本区间修改到p+1,T。 （3）对任意一对滞后长度p=0，1，P，q=0，1， ，Q，分别估计模型ARMA（p，q） （4）代入上面的公式，计算出AIC(p，q)和BIC(p，q) （5）最小值对应的p，q值作为ARMA模型的阶数。 用AIC和BIC准则确定阶数 AIC准则-MA(1) q 0 1 2 3 P 0 -7.415 -7.455 -7.426 -7.373 1 -7.39 -7.395 -7.422 -7.272 2 -7.433 -7.383 -7.174 -7.221 用AIC和BIC准则确定阶数 BIC-白噪声 q 0 1 2 3 P 0 -7.415 -7.411 -7.338 -7.239 1 -7.346 -7.251 -6.998 -7.001 2 -7.345 -7.251 -6.998 -7.001 AIC和BIC准则 选择滞后长度存在以下缺陷： 1）选择不同的准则具有主观任意性。不同准则 得出矛盾的结论。 BIC准则的大样本性质比 AIC好，但是有限样本情况下很难比较AIC和 BIC的优劣。在实际确定阶数时，不是一定选 择AIC,BIC最小的，还有考虑模型的简洁和残 差是否是白噪声。 2）选择方法是确定一个滞后长度的上限P和Q， 如果实际的滞后长度大于P或Q，那我们就得不 到正确的滞后长度。 极大似然估计:以AR(1)为例 t=c+t-1 +t 假设 i.i.d.N(0, 2) 估计: =( c, , 2) 已知: y1,y2,yT E(1)=c/(1-) E(1-)2=2/(1-2) 极大似然估计 当1的观测已知时，2的条件分布 2=c+1 +2 （2|1= y1） N(c+y1, 2) 极大似然估计 Y1,Y2的联合分布密度函数，是条件密度和 边际密度相乘 f2，Y1 (y2，y1; )= f2|Y1 (y2|y1; ) f1 (y1; ) 类似的，已知y1,y2，3的条件分布 极大似然估计 三者的联合分布 f3，2，Y1 (y3，y2，y1; )= f3|Y2，Y1 (y3|y2， y1; ) f2|Y1 (y2|y1; ) f1 (y1; ) 一般给定y1,y2,yt-1，t的条件分布只和yt- 1有关 极大似然估计 ft,Yt-1，,Y1 (yt, yt-1，,y1; ) = f1 (y1; ) ft|Yt-1(yt|yt-1; ) 估计：满足下面的条件的解 求解未知参数的方程是非线性的，如果只 关心（2，T）的条件联合分布，得 到条件极大似然函数。 极大似然估计 极大似然估计 假设观测值是y0, y-1, y-P+1, y1, yT 假设01=q+1=0 以初始值y0, y-1, y-P+1和0，1，q+1为 条件，对t1，2，T，对数条件似然函数 是 使用对数条件似然函数对每个未知参数求一阶导 数，令其等于0，这时方程组是线性方程组， 易于求解。 模型的检验 检验残差是否是白噪声过程 1）画出残差的折线图 2）画出残差的ACF,PACF 3)计算统计量Q Box-Pierce Q-检验 Ljung and Box 检验 Q检验 1）m主观给定，一般在15到30之间，可令 m=T1/2 2）H0：t是白噪声过程 3)当零假设成立时，统计量Q渐进(asymptotically distributed)服从2（m-p-q），如果模型中包 括常数项，那么Q渐进服从2（m-1-p-q） 4）Q检验的缺陷是，经常不能拒绝零假设。把不 是白噪声时，也误认为是白噪声。 检验 Q检验图示 真实临界值 计算值 卡方分布临界 检验练习 例m=6，模型中有常数项，考虑下面的几个模型 ，那个模型是合格的模型？给出其它几个模型 Q检验统计量的自由度。 (p+q) Q 自由度 P-value (1,0) 15.92 6-1-0-1 0.019 (2,0) 11.82 0.249 (0,1) 4.12 0.139 (0,2) 6.94 0.21 (1,1) 7.94 0.047 模型选择 一个好模型满足的条件 n每个解释变量都显著不等于0. n残差是白噪声过程 n具有最小的AIC或BIC值 练习：从下面的几个模型中选 择一个最优模型 AR(1) AR(2) AR(3) ARMA(1,1) MA(2) 1 0.17 0.21 0.3 0.19 ( 0.0000) (0.0004) (0.002) (0.0024) 2 0.06 0.04 (0.0005) (0.003) 3 0.0005 (0.44) 1 0.05 0.48 (0.0007) (0.0034) 2 0.06 (0.009) AIC 607.3 592.5 615 598.4 609.5 BIC 609.9 594.3 607 593.6 612.6 Q(8) P-值 0.0000 0.567 0.66 0.6958 0.003 Q(16) P-值 0.000 0.4241 0.78 0.8927 0.005 预测基本概念 事前预测，事后预测，模拟预测 假设收集到N个数据，使用1到T来估计模型.对N 时刻以后预测事前预测；对T到N预测事后预测或 样本外预测；对1到T之间的预测是模拟，或拟和 。 1 T N 预测基本概念 h步预测：预测变量YT+h的取值，h0，称为h-步 预测 假设时刻T之前的所有数值YT, YT-1,Y1 预测估计量：用 表示基于T时刻之前的观 测对YT+h的预测 预测误差估计量： 预测均方误差 ，记为MSE( ) 预测 最优预测：选择合适的函数形式，使得预 测均方误差最小的预测是最优预测。 可以证明求YT+h基于YT, YT-1,，Y1，的条件 期望是使均方误差最小的预测，条件期 望表示为： E（YT+h | YT, YT-1,，Y1）= 预测值的计算 t=c+1t-1 +2t-2+pt-p + n不可能知道T时刻前的所有观测，观测值 是YT, YT-1,Y1，所以是近似预测。 n假设参数已知，实际只能用估计的参数 代替真实参数。 n预测是递推进行 预测值的计算 1步预测 2步预测 预测值的计算 一般预测公式 预测值的计算 AR（1）模型的h步预测 t=c+t-1 +t 预测值的计算 MA(q)模型的h步预测 预测值的计算 计算残差的估计值，假设0, 1,-q+1=0 根据下面的公式递推计算： 预测值的计算 ARMA（1，1）模型的预测 t=c+ 1Y t-1+t+ 1t-1 预测值的计算 残差的计算与MA模型类似，以ARMA(1,1)为例。 1 =1-c- 1Y0- 10 假设0 =0，0已知。所以实际用的数据个数为 T+1个；如果0未知，用样本均值代替。 2 =2-c- 1Y1- 11 T = T -c- 1Y T -1- 1 T -1 ARIMA模型预测 nARIMA(0,1,1)