高级统计学课件 第四章 违背回归假设

第四章违背回归假设第4章违背回归假设为使线性回归模型参数成为最佳线性无偏估计量（BLUE），必须从本质上满足若干假设或要求，即参数必须具有无偏性、渐近有效性和一致性。回归模型的六个主要假设如下：扰动项均值为零；扰动项服从正态分布；解释变量与扰动项不相关；扰动项具有同方差性；扰动项无序列相关（无自相关）；因变量与自变量之间存在参数线性关系。本章扩展了对线性回归模型构建的实际理解，并回答了因违背上述假设而引发的一些问题，例如：为何某个特定假设被违背会产生影响？如何检测回归假设的违背？假设违背的实质含义是什么？应采取哪些补救措施来改进模型设定？•4.1扰动项零均值假设•4.2扰动项正态性假设•

4.3解释变量与扰动项不相关假设•4.4扰动项同方差假设•4.5扰动项无序列相关假设•4.6模型设定误差章节目录4.1扰动项零均值假设4.1扰动项零均值假设在所有被讨论的假设违背中，“扰动项均值为零”这一假设的限制性最小且危害最轻。这一假设的违背可能源于回归模型中因变量（Y）测量误差的系统性正偏差或负偏差。这种违背可能表现为两种不同形式。第一种也是最常见的情况是。此时，若从中减去，可得到新的扰动项，其均值为零。回归模型随之变为：其中。显然，模型中仅估计和，这意味着若没有额外假设，无法从中分离出和。尽管存在这一局限，方程仍满足其他假设，因此普通最小二乘法（OLS）可对和提供最佳线性无偏估计量（BLUE）。第二种违背形式是，即扰动项的均值随每个观测值i变化。此时，若对式的回归模型通过加减进行变换，将导致随观测值变化，进而产生比观测值更多的待估参数。4.2扰动项正态性假设4.2扰动项正态性假设

“扰动项近似服从正态分布”这一假设的违背，通常是由于变量中存在测量误差或未观测到的参数变异。检验扰动项正态分布假设的方法较为直接，可通过绘制扰动项的分位数-分位数图（Q-Q图），或使用卡方（χ²）和柯尔莫哥洛夫-斯米尔诺夫检验来提供正态性的推断统计量。正态性假设的成立使得OLS估计量具有最小方差无偏性，且与通过极大似然估计（MLE）得到的估计量一致。此外，正态性允许推导这些估计量的分布，进而支持进行t检验和F检验等假设检验。因此，若违背正态性假设，会导致假设检验失效，且OLS估计量的有效性无法保证——因为缺乏特定分布时，无法确定克拉默-拉奥下界。不过，参数估计仍具有一致性，这进一步凸显了假设检验存在的问题。为纠正扰动项非正态分布的问题，通常采用两种替代方法：第一，若用于模型估计的样本量较大，使用可依赖中心极限定理，渐近推断OLS估计量的正态性；第二，对回归模型采用替代函数形式，如伽马回归模型和随机前沿回归模型。4.3解释变量与扰动项不相关假设4.3解释变量与扰动项不相关假设“随机解释变量与扰动项同期不相关”是所有假设中最需要满足的核心假设。若这一假设不成立，不仅参数估计会出现有偏且不一致，而且检测和处理其他假设违背的方法也会失效。以简单线性回归模型的斜率估计量为例：当是的无偏估计量时，公式右侧的分式均值为零。若X与不相关，则：这一假设的违背通常源于四种情况。第一种是当回归模型的解释变量包含滞后因变量且其扰动项存在序列相关（自相关）。例如，考虑如下模型：该模型常被称为相关误差模型。当这种相关性存在时，OLS估计量在多数情况下不一致。4.3解释变量与扰动项不相关假设第二种来源是随机解释变量非平稳。对于非平稳随机解释变量，“自变量X的样本方差趋于有限极限”这一假设被违背。在此情形下，OLS估计量可能不再具有一致性，且常用的大样本近似分布不再适用。其结果是，置信区间和假设检验失效。为解决该问题，需对生成随机解释变量观测值的过程进行建模，或对解释变量进行变换以实现平稳性。第三种来源是多个变量的取值被联合决定（联立方程模型）。考虑如下系统：在该模型中，和由两个方程联合决定，而是外生决定的。对β的OLS估计是不一致的。因为与相关通过第一个方程依赖于，而通过第二个方程依赖于，因此依赖于并导致相关性）。4.3解释变量与扰动项不相关假设第四种来源是一个或多个变量存在测量误差。设存在测量误差的变量为和，其真实但不可观测的变量为和，则：其中和是捕捉第i个观测值测量误差的随机扰动项。对于这两个扰动项，通常假设成立：当和不可观测时，实际估计的模型为：当试图估计如下形式的模型时，变量测量误差的问题便会出现：4.3解释变量与扰动项不相关假设且，这表明具有零均值和恒定方差。然而，与相关，导致OLS估计量有偏且不一致。举例而言，与的协方差估计为：进一步地，斜率的OLS估计量的不一致性为：这一发现表明，估计量的不一致性取决于测量误差方差相对于方差的大小。与和均存在测量误差的情况类似，也可能仅其中一个变量存在测量误差。在前一种情况下（存在测量误差），参数估计再次出现有偏且不一致；在后一种情况下（仅存在测量误差），斜率参数将保持无偏且一致，但误差方差会增大。4.4扰动项同方差假设4.4扰动项同方差假设“扰动项具有同方差性”（即各观测值的扰动项方差恒定）是许多实际应用中的核心假设，尤其在分析横截面数据时更为重要。例如，在分析家庭出行模式时，高收入家庭的出行变化通常比低收入家庭更大，这可能是因为更高的收入赋予了更强的出行灵活性。同方差性显示，随着变量X（收入）增加，因变量Y（出行量）的均值水平也随之上升，但均值周围的方差在所有X水平下保持不变（同方差性）。另一方面，异方差性图表明，尽管Y的均值随X增加而上升，但其方差在不同X水平下并不恒定。同方差性异方差性4.4.1异方差性的检测当回归模型中的扰动项具有恒定方差同方差时，残差图应显示残差围绕零线随机分布，且残差的波动幅度不随X的取值变化而变化（同方差扰动）。若X取值较大时残差的分散程度显著大于取值较小时，则可能违背了恒定方差假设（异方差扰动）。反之，异方差情况下，X高取值对应的扰动项方差也可能更小。同方差扰动异方差扰动4.4.1异方差性的检测其中为扰动项（来自原始回归的残差）。Park检验通过检验“同方差”原假设来判断是否存在异方差。若与存在统计显著的关系，则拒绝原假设，需采取修正措施；若未拒绝原假设，则方程中的常数项β可解释为同方差的方差值。Park将这种直观且简单的图形化异方差检测方法形式化为统计检验。Park检验的核心思想是：若存在异方差，异方差的方差可能与一个或多个解释变量存在系统性关联。以Y对X的双变量回归模型为例，拟合模型后，进行如下回归：4.4.1异方差性的检测另一种常用的异方差检验是Goldfeld-Quandt检验（或Goldfeld和Quandt于1965年提出的“分割样本回归”）。该检验针对“”的备择假设，检验“同方差”原假设。检验步骤如下：首先估计两个OLS回归，一个使用假定为低方差误差的数据，另一个使用高方差误差的数据（通常剔除数据集中间20%的观测值）。若两次回归的残差方差近似相等，则不能拒绝同方差原假设；若不等，则拒绝原假设。Goldfeld-Quandt检验统计量为：其中SSE为残差平方和，n为总样本量，d为剔除的观测值数量，k为模型中自变量的个数。此外，还有许多其他异方差检验方法。例如，Breusch和Pagan（1979）检验适用于难以按方差递增顺序排列观测值的场景，作为Goldfeld-Quandt检验的替代。4.4.2异方差性的修正当检测到异方差性时，通常采取两种方法使项近似相等：加权最小二乘法（WLS）或方差稳定变换。第二种方法通过对因变量进行变换以消除异方差性，适用于的方差是其均值函数的场景。加权最小二乘法（WLS）是解决回归模型异方差性的常用方法。通过将回归模型两边同时除以，可实现方差恒定，得到：每个称为权重，其作用是最小化加权平方和：当或其比例量已知时，权重易于计算。通过最小化式得到的方程中β的估计量称为WLS估计量。4.4.2异方差性的修正方差稳定变换方法的理论基础如下：对于Y的任意函数f（Y），若其一阶导数连续、二阶导数有限，且，则有：其中位于和之间。对等式两边平方并假设较小，可得：其中是均值为时的方差。为找到使近似恒定的合适变换f，需解方程：其中c为常数。这种变换f称为方差稳定变换。常用变换包括：当误差方差与某一自变量成比例时使用平方根变换，当误差方差与成比例时使用变换。4.5扰动项无序列相关假设4.5扰动项无序列相关假设对应不同观测值的扰动项不相关这一假设经常被违背，尤其是在对时间序列数据进行建模时。当来自不同（通常是相邻时间段）的扰动项相关时，这个问题就被称为扰动项（误差项）序列相关或自相关。序列相关在时间序列研究中经常出现，主要是由于误差项随时间的相关性；例如，考虑对月度时间序列数据进行分析，其中涉及运输产出（车辆公里数）对劳动力、燃料和资本投入（生产函数）的回归。如果在某一个月有罢工影响产出（车辆公里数），那么可能有理由相信这种干扰可能会影响随后月份的产出，从而导致扰动项的序列相关。需要注意的是，除了周期性现象和“冲击”之外，序列相关可能是其他问题的结果，例如模型设定错误、动态设定错误以及自回归条件异方差效应；这些问题虽然在许多交通调查中存在，但在研究和实践中在很大程度上被忽视了。4.5扰动项无序列相关假设自相关扰动模式4.5扰动项无序列相关假设与序列相关类似，当数据取自具有共同属性的相邻地理区域时，可能会出现空间相关。例如，许多城市街区居民的家庭收入通常与相邻街区居民的家庭收入并非无关。空间统计学是一个具有相当研究兴趣和潜力的领域。为了使关于序列相关的讨论形式化，假设分析以下回归模型：其中扰动项通常的独立性假设被违背，并且扰动项不是随机且独立的，而是依赖的。当一个时间段的扰动项与前一个时间段的扰动项相关时，检查一阶序列相关。一阶自相关在实证工作中被广泛检查，因为其计算易处理性，并且因为在大多数统计软件都提供了校正程序；然而，我们注意到高阶自相关在交通数据和现象中普遍存在，不应被忽视。4.5扰动项无序列相关假设序列相关的强度取决于参数ρ，它被称为自相关系数。当时，是独立的；当时，是正（负）相关的。在正序列相关的情况下，连续的误差项由下式给出：将第一个和第二个方程结合起来替换并颠倒项的顺序得到：并且，由于且，那么。此外，，由此可得：由此可知，在序列相关情况下，估计的扰动项方差比随机独立扰动项的真实方差大倍。因此，普通最小二乘估计失去效率，不再是最佳线性无偏估计（BLUE）。4.5.1检测序列相关回归模型中的扰动项可能没有明显的时间相关性。在这种情况下，扰动项的时间序列图应呈现围绕零线随机分布的状态。若扰动项随时间呈现趋势，则序列相关现象显著。序列相关也可通过著名且广泛使用的德宾-沃森（Durbin–Watson,DW）检验进行诊断。DW的d统计量计算公式为：当扰动项独立时，d值应近似等于2。当扰动项正（负）相关时，d值应小于（大于）2。因此，这种序列相关检验基于d是否等于2。遗憾的是，d的临界值依赖于数据集中变化的。为克服这一不便，Durbin和Watson为该临界值建立了上界()和下界()。4.5.1检测序列相关德宾-沃森临界值显然，若或，则拒绝“无序列相关”的原假设；若，则无法拒绝原假设。但当d落入不确定区域时该如何处理？一种谨慎的做法是将不确定区域视为存在序列相关的提示，并采取修正措施。若修正后的结果与修正前一致，则可能无需修正；若结果不同，则修正过程是必要的。需注意，德宾-沃森检验适用于包含截距项（常数项）且不含滞后因变量作为解释变量的回归模型。4.5.1检测序列相关当模型中存在滞后因变量时，通常使用的替代检验是Durbin的h统计量（Durbin，1970）：其中d是报告的德宾-沃森统计量（），T为观测数量，是滞后因变量参数标准误的平方（注意h检验对无效）。Durbin证明h统计量近似服从单位方差的正态分布，因此一阶序列相关检验可直接使用标准正态分布表进行。4.5.2序列相关的修正如前所述，扰动项的序列相关可能是由于遗漏变量、时间相关性或所研究现象的性质所致。在第一种情况下（遗漏变量），最佳做法是找到并纳入缺失变量，而非尝试其他修正方法。在第二种情况下（时间相关性），最常用的方法是对回归中的原始时间序列变量进行变换，使变换后的模型具有独立的扰动项。以存在一阶正序列相关的回归模型为例：为消除序列相关，将和变换为和，具体如下：第一期观测值的变换为。变换后的新回归模型为：4.6模型设定误差4.6模型设定误差在前四节中，讨论了线性回归模型中关于扰动项的违背情况。这里隐含地假设所估计的模型正确地表示并从数学上捕捉了所研究的现象；从统计学角度讲，假设避免了设定偏差或设定误差。当一个模型的函数形式被错误设定，并且估计的是另一个模型而非“正确”模型时，就会出现设定误差。设定误差可能会对估计模型产生严重后果，通常以四种方式出现（对设定误差检验感兴趣的读者应参考Godfrey，1988）。第一种模型设定误差是在指定模型中遗漏了一个相关变量（模型欠拟合）。从模型中排除一个重要变量通常被称为遗漏变量偏差。例如，假设正确的模型是但估计的是以下模型：如果遗漏的变量与包含的变量相关，那么和都会有偏差。4.6模型设定误差此外，由于偏差不会随着样本量变大（趋近于无穷大）而减小到零，所以估计参数是不一致的。然而，在与包含的变量