线性回归模型的自相关问题.ppt

线性回归模型的自相关问题,程建华 2019年7月29日,安徽大学经济学院,计量经济学讲义,10.1 一元线性回归分析回归的假定条件(无自相关),假定5 无自相关假定，即两个误差项之间不相关。 Cov（ui,uj） = 0 (10.1),正 相 关,负 相 关,不 相 关,无自相关的含义：意味着任一观察值的扰动项不受其它观察值扰动项的影响。,10.2 自相关产生的原因,经济时间序列的惯性(inertia)或迟缓性(sluggishness)特征。 模型适定误差。有些自相关并不是由于连续观察值之间相关产生的，而是因为回归模型不是适定性的“好”模型。“不好模型”有多种原因。 蛛网现象(the cobweb phenomenon)。一个变量对另一个变量的反映不是同步的，时滞一定的时间。商品供给对价格的反映： St B1 B2*Pt-1 ut (10.2) 数据处理。在做季节因素的调整时，经常要做移动平均。移动平均的处理可以消除季节波动的影响，但带来新的问题则是产生了自相关。,10.3 自相关产生的后果,最小二乘估计量仍然是线性的和无偏的。 最小二乘估计量不是有效的，即OLS估计量的方差不是最小的，估计量不是最优线性无偏估计量(BLUE)。 OLS估计量的方差是有偏的。用来计算方差和OLS估计量标准误的公式会严重的低估真实的方差和标准误，从而导致t值变大，使得某个系数表面上显著不为零，但事实却相反。 t检验和F检验不是可信的。 计算得到的误差方差2RSS/d.f.（残差平方和/自由度）是真实2的有偏估计量，并且很可能低估了真实的2。 计算的R2也不能真实的反映实际R2。 计算的预测方差和标准误差通常是无效的。,10.4 自相关的诊断,如何知道回归方程存在自相关？ 由于无法知道误差方差2的真实值，因为真实的ui无法观察到的，与异方差一样，仅仅知道残差ei。需要根据从OLS方法得到的ei判断是否存在自相关。 方法1：图形法 方法2：Dubin-Watson d检验法,10.4 自相关的诊断图形法,将残差对时间作时序图（time-sequence plot）。 例10.1 美国商业部门真实工资与生产率的关系(1959-2002),10.4 自相关的诊断图形法,将残差对时间作时序图（time-sequence plot）。 例10.1 美国商业部门真实工资与生产率的关系(1959-2002),Wages = 29.575+ 0.7006*Product (10.2) se =(1.460515)(0.017122) t = (20.24968) (40.91818) p=(0.00000) (0.00000) F=1674.298 (0.00000) R2 = 0.975529,10.4 自相关的诊断图形法,例10.1 美国商业部门真实工资与生产率的关系(1959-2002),10.4 自相关的诊断图形法,例10.1 美国商业部门真实工资与生产率的关系(1959-2002),从图形可以看出残差具有明显的系统特征，即明显的变化规律。,10.4 自相关的诊断图形法,例10.1 美国商业部门真实工资与生产率的关系(1959-2002),E1=et, E11=et-1 e1=0.872613*e11 se=(0.071014) t=(12.26511) p=(0.0000) R2 = 0.781227 回归模型存在着明显的自相关性。,10.5 自相关的诊断Durbin-Watson d检验法,Durbin-Watson d统计量可以用来诊断回归模型的自相关,即逐次残差的平方和与残差平方和的比值。D统计量的样本容量为n1。 注意：Durbin-Watson d检验量是诊断自相关常用的检验工具，必须掌握。,(10.3),10.5 自相关的诊断图形法,例10.1 美国商业部门真实工资与生产率的关系(1959-2002),10.5 自相关的诊断Durbin-Watson d检验法,(10.3),(10.4),(10.5),如果d接近0，则存在正相关；d接近4，则存在负相关；d接近2，表示不存在相关。,10.5 自相关的诊断Durbin-Watson d检验法,d 统计量诊断自相关需要一定的假设条件，不是任意可用的： 回归模型包括一个截距项。因此，d统计量无法判断通过原点的回归模型的自相关问题。 变量X是非随机变量，即在重复抽样中变量X的值是固定不变的。 扰动项ui的生成机制是：,(10.6),(10.6)表明t期的扰动项或误差项与t1期值和一个纯随机项vt有关。度量了对前期值的依赖程度，称为自相关系数，介于1和1之间。(10.6)称为马尔可夫一阶自回归过程(Markov first-order autoregressive scheme),通常记为AR(1)过程。,10.5 自相关的诊断Durbin-Watson d检验法,d 统计量诊断自相关需要一定的假设条件，不是任意可用的： 解释变量中不包含因变量的滞后值。该检验对下面的模型是不适用的：,(10.7),(10.7)中Yt1是因变量Y的一期滞后值。形如(10.7)的回归方程称为自回归模型(autoregressive models)变量对其滞后一期值的回归。,10.5 自相关的诊断Durbin-Watson d检验法,尽管d检验应用的非常广泛，但是它具有一定的缺陷，因为d落入某个范围，存在无法判断的情况。,Durbin-Watson d检验：判定规则,注意：下临界值dL与上临界值dU与观察值个数n和解释变量的个数k有关。Durbin-Watson给出了1和5显著水平下的DW表。k最大可达20。,10.5 自相关的诊断Durbin-Watson d检验法,Durbin-Watson d检验：判定规则,O,4,dL,dU,4-dU,4-dL,10.5 自相关的诊断Durbin-Watson d检验法,Durbin-Watson d检验：判定规则,O,4,dL,dU,4-dU,4-dL,10.5 自相关的诊断Durbin-Watson d检验法,Durbin-Watson d检验：判定规则,O,4,dL,dU,4-dU,4-dL,10.5 自相关的诊断Durbin-Watson d检验法,Durbin-Watson d检验：判定规则,O,4,dL,dU,4-dU,4-dL,10.5 自相关的诊断Durbin-Watson d检验法,Durbin-Watson d检验：判定规则,O,4,dL,dU,4-dU,4-dL,10.5 自相关的诊断Durbin-Watson d检验法,例10.1 美国商业部门真实工资与生产率的关系(1959-2002) 从回归模型的DurbinWatson d检验量可得d0.213684，根据DW表，n44，k1，在5显著性水平下，dL1.475和dU1.566。由于d0.213684远低于下临界值dL1.475。根据DW判定规则，在工资生产率回归模型的残差中存在正的自相关。此与图形法得到的结论一致。,10.6 自相关问题的解决广义最小二乘法,(10.6),(10.8),(10.9),(10.10),(10.11),10.6 自相关问题的解决广义最小二乘法,(10.6),(10.12),对变换后的变量Y*和X*使用OLS法，得到的估计量具有BLUE性质。对变化后的模型使用OLS得到的估计量称为广义最小二乘（ GLS）。表达式(10.12)称为广义差分方程。,10.6 自相关问题的解决广义最小二乘法,(10.12),(10.12)式值得注意的是： （1）相当于前期值的倍数。 （2）第一个观察值不存在前期值，因而失去一个观察值。为了避免丢失这个观察值，可对第一个观察值做下列变换：,(10.13),10.6 自相关问题的解决广义最小二乘法,值得注意的是： （1）双变量模型可以推广到多变量模型。 （2）一阶自回归AR(1)可以推广到多阶自回归，例如AR(2)和AR(3)等。方法一样，但计算量很大。 （3）广义最小二乘法的核心是估计乘子的大小。,10.7 广义最小二乘法中值的三种估计,（1）一阶差分法：1 表示误差项之间是完全正相关。,(10.14),是一阶差分算子符号。在估计方程(10.14)时，首先需对因变量和解释变量求差分，然后再对变换后的模型进行回归。 注意：一阶差分方程(10.14)的一个重要特征便是模型没有截距。因此，要估计模型(10.14)需要选择通过原点的模型。,10.7 广义最小二乘法中值的三种估计,（2）从DurbinWatson d统计量中估计,(10.15),当样本容量足够大时，这种方法简单，而且可以得到较好的估计值。对于小样本，Theil和Nagar给出了建立在d基础上的另一个估计值。,10.7 广义最小二乘法中值的三种估计,（3）从OLS残差et中估计,(10.16),统计理论表明，尽管对小样本而言，是真实的有偏估计量，但随着样本容量的增加，这个偏差会逐渐消失。因此，如果样本容量足够大，可以利用式(10.16)中得到的对式(10.11)中的数据进行变换。,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,第一步： Wages = 29.575+ 0.7006*Product (10.2) se =(1.460515)(0.017122) t = (20.24968) (40.91818) p=(0.00000) (0.00000) F=1674.298 (0.00000) R2 = 0.975529 d0.213684 从(10.2)式可以求出普通最小二乘回归模型的残差et。 第二步：求et对et-1的回归，=1d/2 = 0.893158 et0.871326*et-1 =0.871326,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,第三步：作变量代换 Ydif0 = Wages Wages(-1) Xdif0 = Product Product(-1) Ydif1 = Wages 0.8932*Wages(-1) Xdif1 = Product 0.8932*Product(-1) Ydif2 = Wages 0.871326*Wages(-1) Xdif2 = Product 0.871326*Product(-1) 第四步：求Ydif0对Xdif0的回归 ，Ydif1对Xdif1的回归 Ydif0 = B2*Xdif0+vt Ydif1 = B1*+B2*Xdif1 + vt B1B1*/(1),=0.8932或=0.871326,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,方法（1）：一阶差分回归 Ydif0对Xdif0的回归： Ydif0 = B2*Xdif0+vt Ydif0 = 0.62821*Xdif0 se(0.07179), t = (8.7506), p = (0.0000) R2=0.218637, d=1.52605,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,方法（2）：从Durbin-Watson d统计量得到形成的回归 Wages-0.8932*Wages(-1) = 4.7926 + 0.5479*(product -0.8932*product(-1) se=(0.5781)(0.0532) t=(8.2897)(10.2971) p=(0.0000)(0.0000) R2=0.7211, d=1.6808,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,方法（3）：从残差回归方程得到形成的回归 Wages-0.871326*Wages(-1) =5.4578 + 0.5688*(product -0.871326*product(-1) se=(0.5930)(0.0467) t=(9.2034)(12.1768) p=(0.0000)(0.0000) R2=0.7833, d=1.6572,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,n45， k1 dL1.475 dU=1.566 d=1.526 在dL和dU之间，无法判断没有正相关。,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,n45， k1 dL1.475 dU=1.566 d=1.6808 dU，无正或负相关。,例10.2 美国商业部门真实工资与生产率的关系(1959-2002),10.7 广义最小二乘法中值的三种估计,n45， k1 dL1.475 dU=1.566 d=1.6572 dU，无正或负相关,10.7 广义最小二乘法中值的三种估计,10.7 广义最小二乘法中值的三种估计,10.7 广义最小二乘法中值的三种估计,10.7 广义最小二乘法中值的三种估计,10.7 广义最小二乘法中值的三种估计,du=1.711.48(n-2=28),10.7 广义最小二乘法中值的三种估计,du=1.871.65(n-2=28),10.8 自相关问题的总结,自相关问题的概念 自相关问题的来源 经济时间序列的惯性(inertia)或迟缓性(sluggishness)特征。 模型适定误差。有些自相关并不是由于连续观察值之间相关产生的，而是因为回归模型不是适定性的“好”模型。“不