Chapter3 广义最小二乘法.doc

第1章 广义最小二乘法在经典假定条件下，OLS估计量具有BLUE性质。解释变量与误差项不相关保证了OLS估计量的无偏性，误差项的同方差、无序列相关保证了OLS估计量的有效性。但实践中，这些假定很可能被违背。因此，模型估计之后需要检验这些假定是否得到满足；如果某些假定被违背的的话，则需要对其进行修正。本章介绍异方差、自相关情况下的模型修正。1.1 异方差和自相关的概念在随机误差项u满足同方差和没有序列自相关的假定下，u的方差协方差矩阵Var(u) 是一个对角矩阵。即Var(u)主对角线上的元素都是相同的常数；非主对角线上的元素为零。当这两个假定不成立时，Var(u) 不再是一个纯量对角矩阵。Var(u) = W = s 2 I 1.1当Var(u)主对角线上的元素不相等时，表示误差项存在异方差。如果非主对角线上的元素不为0，表示误差项存在序列相关。当模型存在异方差或自相关时，因此，异方差和自相关不会影响OLS估计量的无偏性，但会导致非有效性。存在异方差或自相关时，参数估计量的方差估计量s 2 (XX)-1是真实方差的有偏估计量，可能会低估或高估真实的方差。t统计量不再服从t分布，即使是在大样本的情况下也是如此。F统计量也不再是F分布。由此导致错误的推断或预测。比如，s 2 (XX)-1低估了真实方差，那么t统计量就高估了，就容易将不显著的变量错误地判断为显著。1.2 广义最小二乘法要解决异方差和自相关的问题，需要对模型的进行适当的转换，使得转换后模型的误差性满足同方差、无序列相关的假定条件。这即是广义最小二乘法（GLS）。假设，那么对于正定矩阵可以找到矩阵M，使得在方程两边同时乘以M，得到转换后的新模型：令，即。新的随机误差项的协方差矩阵为，显然是同方差、无序列相关的。目标函数，即残差平方和，为：即，目标函数是u的加权平方和，而权数矩阵则是u的协方差矩阵的逆矩阵。根据一阶条件，新模型的OLS估计量即是原模型的GLS估计量。具有BLUE性质，而转换后模型的参数估计量与最初模型的参数是完全相同的。如果模型存在异方差，则协方差矩阵W和转换矩阵M分别为：即对每个观测值赋予不同的权数，权数即标准差的倒数。因此，异方差情况下的GLS也称作加权LS方法。对于自相关问题，协方差矩阵W取决于自相关的形式。自相关的一般表达式为：。对于AR(1)过程，可得到不同期误差项的协方差，协方差矩阵W和转换矩阵M分别为：由于差分缺少了第一个观测值。转换后的变量即是原来变量的广义差分变量，差分系数即是自回归系数。因此，自相关情况下的GLS方法也称作广义差分LS方法。对于AR(p)过程，差分过程中损失掉前p个观测值。转换后的变量即是原来变量的p阶广义差分变量，差分系数即是p阶自回归系数。实践中，W一般是未知的。因此，要修正异方差或自相关问题，必须首先估计协方差矩阵W。即，首先得到W的一致估计量，然后再进行GLS估计。这即是可行的GLS估计（FGLS）或两步GLS估计。本章1.3节和1.4节介绍如何在异方差或自相关模型中估计W。在进行GLS估计之前，首先要对异方差和自相关进行检验。如果模型中存在显著的异方差或自相关问题，再进行GLS估计。接下来，我们介绍异方差和自相关检验的常用方法。1.3 异方差的检验与估计异方差的基本假定形式H0: E(ui2|x1, x2, , xk) = E(ui2|x1, x2, , xk) = 2 即，ui的条件方差是相同的，或者说当ui与x1, x2, , xk不相关时，ui的方差是相同的。如果ui存在异方差，那么说明ui与x1, x2, , xk存在相关性。因此，检验异方差的基本思路是考察ui与x1, x2, , xk是否存在相关性，以及什么形式的相关性。1.3.1 Breusch and Pagan /Cook-Weisberg 检验根据异方差检验的基本思路，Breusch and Pagan（1979）和Cook and Weisberg（1983）假设异方差形式为在同方差条件下，上式中每个解释变量的回归系数都不应该具有显著性，即g=0。实践际检验用OLS估计的残差的平方代替Var(u)。步骤如下。Step1：估计方程，提取残差平方。Step2：估计方程，利用F、LM=T*R2或得分统计量Score=RSS/2检验整个方程的显著性。在第2步中，也可以用被解释变量的拟合值作为解释变量，即。1.3.2 White检验White（1980）是通过更一般的形式检验异方差，它对异方差的形式没有要求。基本检验步骤如下。Step1：估计方程：，提取残差平方。Step2：估计方程：，表示所有变量的二次项。利用F、LM=TR2统计量检验整个方程的显著性。在第2步中，检验方程也可以采取形式：。其中，表示所有变量的两两交叉积。1.3.3 加权LS方法在W中共有n个方差参数，不可能通过样本得到其单独的估计量，而必须找到其统一的变化规律。根据异方差检验的思路，异方差的形式的判断即是要找到方差随X变化的某种规律，进而通过X预测方差。当然，方差如何随X的变化而变化没有统一的规律可循。这里，我们介绍一种较常见的处理方法。假定 Step1：估计方程，提取残差平方。Step2：估计方程，的预测值记为。Step3：以1/作为权数利用WLS方法估计方程。估计异方差形式的另外一种更一般的方法是，假定其对应的修正步骤如下。Step1：估计方程，提取残差平方和拟合值。Step2：估计方程，的预测值记为。Step3：以1/作为权数利用WLS方法估计方程。在实际应用中，避免异方差的两种方法。其一，使不同变量的测度单位接近。比如，不同国家的收入和消费数据。如果利用总收入和总消费进行分析，由于不同国家的总量相差非常巨大，因此模型中难免出现异方差。如果利用人均收入和人均消费进行分析，就可以使得减弱不同国家变量之间的测度差异，从而降低异方差的程度甚至消除异方差。其二，对变量取自然对数。变量取对数降低了变量的变化程度，因此有助于消除异方差。1.3.4 案例例 1.1 回归工资方程（1）回归方程；. regress wage educ exper female. est store het（2）进行异方差检验；. estat hettest, normal . estat hettest, iid . estat hettest, fstat . estat imtest, white （3）如果存在异方差，对其进行修正。 . predict u, resid. predict yf, xb. gen lnu2=ln(u2). gen yf2=yf2. quietly regress lnu2 yf yf2. predictnl u2f = exp(xb(). gen invvar=1/u2f. regress y x iweight=invvar1.4 自相关的检验与估计1.4.1 DW检验DW检验是J. Durbin和G. S. Watson于1951年提出的。DW统计量只适用于检验解释变量具有严格外生性的模型中是否存在一阶自相关。DW统计量定义如下， 1.2把上式展开， 1.3由 1.4代入（5.15）式， 1.5显然，DW统计量的取值范围是 0, 4。r 与DW值的对应关系见表5.1。 表 1.1 r 与DW值的对应关系及意义rDW ut的表现r = 1DW = 0ut完全正自相关r = 0DW = 2ut非自相关r = -1DW = 4ut完全负自相关0 r 10 DW 2ut有某种程度的正自相关-1 r 02 DW 1时，h检验无效。1.4.2 回归检验法Step1：利用OLS方法回归模型，提取残差项，表示为Step2：回归检验方程Step3：根据t统计量检验模型中的r1、r2或rp的显著性注：如果存在异方差，可以在检验方程中利用异方差一致t统计量。1.4.3 Breusch-Godfrey检验对于多元回归模型y=Xb+u 1.7考虑误差项为n阶自回归形式ut = r1 ut-1 + + rn ut-p + vt 1.8其中vt 为随机项，符合各种假定条件。零假设为：ut不存在n阶自相关，即H0: r1 = r2 = = rp = 0Step1: 估计方程y=Xb+u，提取残差项，记为。Step2：回归检验方程=+ + Xtb + vt，记可决系数为R2。Step3：对于原假设构建F统计量，或者建立LM= TR2。在零假设成立条件下，LM统计量近似服从 c2(p) 分布。其中p为（5.20）式中自回归阶数。1.4.4 广义差分LS方法要计算转换矩阵M，首先要计算自回归系数。自回归系数可以直接利用残差对其滞后项回归进行估计，对于一阶自相关系数，也可以通过计算自回归系数，或者直接计算的简单相关系数。对于一阶自相关问题，如果忽略第一个观测值，并利用上式估计参数r，FGLS也被称作Cochrane-Orcutt（1949）估计量。如果补充上第一个观测值，并利用上式估计参数r，FGLS则被称作Prais-Winsten（1957）估计量。1.4.5 案例例 1.2 回归经济增长模型，（1）检验模型是否存在一阶自相关；. estat dwatson得到DW统计量=0.90。在5%的显著性水平下，临界值为。因此，模型中存在显著的一阶自相关。（2）检验模型是否存在高阶自相关；利用回归法：. regress res L(1/3).res, noconstant 得到结果如下：2阶滞后与3阶滞后t统计量的概率值分别为0.16和0.58，均不具有显著性。因此，模型中只存在明显的1阶自相关。利用BG方法进一步确认，. estat bgodfrey, lags(1/4)得到检验结果如下：（3）如果存在自相关，对其进行修正。由于模型中存在1阶自相关的问题。直接利用Prais-Winsten 方法进行修正。. prais rgdp rinvest, rhotype(regress) 或者利用Cochrane-Orcutt方法进行修正. prais rgdp rinvest, corc rhotype(regress) 下表列出了OLS、Prais-Winsten、Cochrane-Orcutt三种方法的估计结果。表 1.2 AR(1)的修正估计OLSPrais-WinstenCochrane-OrcuttConstant0.824.620.093.310.103.86Rinvest0.383.960.293.510.313.84R20.500.360.43F21.32F(1,21)=10.86F(1,20)=14.86注：Stata提供的估计自相关系数的方法包括：直接回归（regress，即）、前向回归（freg，即）、简单相关系数（tscorr，即）、根据DW计算（dw，即）、调整的简单相关系数（theil、即）、调整的DW方法（nagar，即）。例 1.3 回归菲利普斯曲线，（1）检验模型是否存在一阶自相关；. estat dwatson得到DW统计量=1.77。在5%的显著性水平下，临界值为。因此，模型中不存在明显的一阶自相关。（2）检验模型是否存在高阶自相关；DW检验表明，模型不存在一阶自相关，但并不表明不存在高阶自相关。接着利用回归分析方法检验是否存在高阶自相关。. regress res L(1/3).res, noconstant得到回归结果如下：2阶滞后与3阶滞后t统计量的概率值分别为0.02和0.06，分别在5%和10%的检验水平上具有显著性。可以认为，模型中存在明显的2阶自相关。利用BG方法进一步确认，. estat bgodfrey, lags(1/4)得到检验结果如下：表 1.3 Breusch-Godfrey LM 自相关检验滞后阶数卡方统计量自由度Prob18.84410.003210.20520.006310.26930.016415.30740.004在14阶上均表明，模型中存在自相关的问题。（3）如果存在自相关，对其进行修正。模型中存在2阶自相关，利用GLS方法进行修正。. regress res L2.res, noconstant . matrix mat=e(b). gen y=D.inf el(mat, 1, 1)*L2D.inf . gen x=D.unem el(mat, 1, 1)*L2D.unem . regress y x 得估计结果如下。表 1.4 高阶自相关的修正OLSGLSConstant3.032.202.022.55Unem-0.54-2.26-0.35-2.63R20.110.14FF(1,46)=5.46F(1,44)=6.921.5 异方差、自相关稳健标准差在结构模型中，模型推断往往是研究的首要目的。但存在异方差或自相关时，t统计量或F统计量不再服从标准的t分布或F分布。因此，基于传统的t统计量或F统计量很有可能导致错误推断。这时，可以采用稳健标准差进行推断。所谓稳健标准差是指其标准差对于模型中可能存在的异方差或自相关问题不敏感，基于稳健标准差计算的稳健t统计量仍然渐进分布t分布。因此，可以利用稳健标准差进行传统的统计推断。1.5.1 异方差稳健标准差估计量的方差公式为：Huber/White/sandwich异方差稳健标准差给出了标准差的稳健形式，其中，表示X矩阵的第i行观测值（包括常数项）, 表示模型的残差。思考题：既然在很多情况下异方差稳健标准差比OLS估计量的普通标准差更有效，那么为什么不直接用异方差稳健估计量呢？还需要检验模型中是否存在异方差吗？Key：1. 如果模型中不存在异方差，那么OLS估计量的普通标准差具有确切的t分布，与样本水平没有关系。而通过异方差稳健标准差构建的异方差稳健t统计量只是渐进服从t分布，即只是在大样本下才成立。2.如果存在异方差，那么OLS估计量不再具有BLUE性质，但是如果知道异方差的具体形式，那么可以得到比OLS估计量更