《其他回归方法》PPT课件

1、1.第四章其他回归方法。本章讨论加权最小二乘估计、异方差和自相关一致协方差估计、两阶段最小二乘估计(TSLS)、非线性最小二乘估计和广义矩估计(GMM)。这里的大多数方法也适用于第12章中的联立方程系统。本章中的一些估计方法包含了AR和MA误差项，这些概念将在第五章中介绍。2，线性回归模型的基本假设，I=1，2，n。在普通最小二乘法中，为了保证参数估计量具有良好的性质，通常对模型提出一些基本假设：1。解释变量彼此不相关；随机误差项具有零均值和同方差。也就是说，I=1，2，n，也就是说，随机误差项的方差是与观察时间点t无关的常数；3不同时间点的随机误差项彼此不相关(序列不相关)，即，s 0，i=

2、1，2，N，3。当随机误差项满足假设1.4时，回归模型称为“标准回归模型”，当随机误差项满足假设1.5时，回归模型称为“标准正态回归模型”。如果实际模型不能满足这些假设，普通的最小二乘法就不再适用，但应该发展其他方法来估计模型。5.随机误差项服从均值为0、方差相同的正态分布。也就是说，i=1，2，N，4随机误差项与解释变量不相关。也就是说，j=1，2，k，i=1，2，N，4。经典线性回归模型的一个重要假设是整个回归方程的随机扰动项ui具有相同的方差2。如果随机扰动项的方差随观测值变化，即ui的方差为i2，则为异方差。用符号表示的异方差是E(ui2)=i2。异方差存在于许多应用中，但它主要出现在

3、横截面数据分析中。例如，当我们调查不同规模的公司的利润时，我们会发现大公司的利润比小公司的利润变化更大，即大公司的利润方差大于小公司的利润方差。利润差异的大小取决于公司的规模、行业特点、研发支出等因素。另一个例子是，当分析家庭支出模式时，我们会发现高收入家庭在某些商品上的支出通常比低收入家庭有更大的差异。4.1异方差，5，表1 1998年中国各地区城镇居民年可支配收入与交通通讯支出单位：元，6，例4.1:我们研究了人均交通通讯支出(cum)与可支配收入(in)之间的关系，考虑了以下方程：=0.1 INUII采用普通最小二乘法，回归模型如下：cum=-56.917 0.05807 ini(4 .

4、 1 . 4)(-1.57)(8 .从图中可以看出，平均而言，城市家庭的交通和通讯支出随着可支配收入的增加而增加。然而，值得注意的是，随着可支配收入的增加，交通和通讯支出的波动幅度也随之增加，并且可能存在异方差性。如果我们将回归方程得到的残差绘制到观测值上，就可以清楚地看到这一点。异方差的存在并没有破坏普通最小二乘法的无偏性，但是估计量是无效的，即使对于大样本也是如此。由于缺乏有效性，通常的假设检验值是不可靠的。因此，如果怀疑或已经检测到异方差性，采取补救措施是很重要的。8，4.1.1异方差检验1。图解检验法(1)用X-Y散点图来判断是否有明显的分散扩展、收缩或复杂趋势(即它不在一个固定的带域

5、内)，9，(2)用X-i2散点图来判断，首先用OLS方法来估计模型，以获得随机误差项U(的方差i2的估计。然后是(4.1.5)，即ei2用来表示随机误差项的方差。解释变量x和ei2的散点图用于观察方差是否随着x、10、11、2的增加而逐渐增加、减少或不规则变化。怀特异方差检验怀特(1980)提出了最小二乘回归中残差异方差的检验。有两种测试：有和没有交叉项目。当异方差存在时，普通最小二乘估计是一致的，但通常计算的标准差不再有效。如果发现异方差，加权最小二乘法可以得到更有效的估计。12，通过使用解释变量的所有可能的叉积对残差进行回归来计算测试统计。例如，假设下面的等式(4.1.6)是估计的，其中B

6、是估计系数，I是残差。测试统计基于辅助回归：(4.1.7) EViews显示两个测试统计：f统计和Obs*R2统计。怀特检验的原始假设：不存在异方差性(即公式(4.1.7)中除0以外的所有系数都成立)。13，怀特证明：(4.1.8)其中：n是样本容量，k是自由度，它等于公式(4.1.7)中的解释变量数(不包括截距项)。如果计算的2值大于对应于给定显著性水平的临界值，则可以拒绝原始假设，并且可以得出异方差存在的结论。也就是说，回归方程(4.1.7)的R2值越大，解释变量对残差平方的影响越显著，越倾向于认为异方差存在。如果原始模型中的解释变量太多，辅助回归中的变量就会太多，这样会很快降低自由度。因

7、此，当引入太多变量时，我们必须谨慎。怀特测验的另一种形式是辅助回归不包括交叉项目。因此，白色测试有两个选项：交叉项和无交叉项。14，例4.2:人均家庭交通通讯支出和可支配收入回归方程的怀特异方差检验结果：f统计和Obs*R2统计的P值都很小，表明原假设被否定，即残差具有异方差性。15，因为假设的异方差形式不同，使用的辅助回归也不同，这导致不同的检验方法。异方差形式和不同方法的辅助回归方程：Breusch-Pagan-Godfrey (BPG)异方差检验，Harvey异方差检验，Glejser异方差检验，16，4.1.2加权最小二乘估计1当方差已知时考虑一个单向回归的线性方程：(4.1.11)假

8、设随机误差项的真实方差已知，var(ui)=i2，设wi=1/i，并将模型的两端由wi变换为(4.1.12) let，17，假设有一种已知形式的异方差和一个序列w，其值与误差标准偏差的倒数成比例。此时，可以用加权序列w的加权最小二乘估计来校正异方差性。残差平方和的加权最小化，估计结果为：其中k _ 1维向量被获得。在矩阵的概念下，让权序列w在权矩阵w的对角线上，其他地方为零，即w矩阵是对角矩阵，y和x是因变量和自变量矩阵。那么加权最小二乘估计是：(4.1.18)，估计的协方差矩阵是：(4.1.19)，18。示例4.3加权最小二乘估计。在本例中，研究了由四组家庭住房支出和年收入组成的横截面数据(

9、表4.2)。假设住房支出模型是：yi是住房支出，xi是收入。通过普通最小二乘估计得到的回归结果如下：t=(4.4) (15.9) R2=0.93 F=252.7。对数据图的研究和以往对支出的研究都表明，该模型具有异方差性。19，20，住房支出模型的异方差性被修正，然后被估计。转换模型的结果是：t=(21.3) (7.7) R2=0.76，F=58.7。注意，修正后的收入回归系数估计值为0.249，高于原来的普通最小二乘估计值。R2下降了，但是R2不能直接比较，因为因变量已经改变了。使用加权最小二乘法，我们也可以得到：22，2。当方差未知时，由于我们一般不知道异方差的形式，人们通常采用的经验方法

10、不是检验原始模型的异方差，而是直接选择加权最小二乘法，特别是当使用横截面数据作为样本时。如果异方差确实存在，它就被有效地消除了；如果异方差不存在，加权最小二乘法等价于普通最小二乘法。具体步骤如下：1 .选择普通最小二乘法对原始模型进行估计，得到随机误差项的近似估计量t；2.建立权重序列wi=1/| t |；选择加权最小二乘法，以wi=1/| t |序列为权重，估计得到参数估计量。实际上，一个新的模型是通过将原始模型的两边乘以1/| t |得到的，并且新模型是用普通的最小二乘法估计的。23，使用加权最小二乘法估计方程，首先从主菜单中选择快速/估计方程，然后选择最小二乘法(NLS和ARMA)。在对

11、话框中输入方程描述和样本，然后按选项按钮显示如下对话框：24，单击加权最小二乘/TSLS选项，在加权项后填写加权序列名称，然后单击确定。示例：25，示例4.4:26，Eviews将打开结果窗口显示标准系数结果(如上所示)，包括加权统计和未加权统计。加权统计结果是根据加权数据：计算的，未加权结果是根据原始数据计算的残差计算的。估计后，未加权的残差存储在RESID序列中。27，如果残差方差假设是正确的，加权残差不应该具有异方差性。如果方差假设是正确的，未加权残差应该具有异方差性，并且残差的标准偏差的倒数在每个时刻与W成比例。检验加权残差的异方差性：我们可以看到加权最小二乘法消除了残差的异方差性。2

12、8，4.1.3存在异方差时参数估计的一致协方差。当异方差的形式未知时，加权最小二乘法用于在异方差存在的情况下提供统一的参数估计，但通常的OLS标准偏差是不正确的。在描述协方差估计技术之前，应该注意的是，使用White异方差一致协方差或Newey-West异方差一致协方差估计不会改变参数的点估计，而只会改变参数估计的标准差。几种方法可以结合起来计算异方差性和序列相关性。例如，加权最小二乘估计与怀特或纽维-韦斯特协方差矩阵估计相结合。29，1。异方差一致协方差(White)，White (1980)得到了异方差一致协方差估计量，当异方差未知时，该估计量能正确估计系数协方差。怀特协方差矩阵的公式是：

13、其中n是观测值的个数，k是回归变量的个数，I是最小二乘残差。EViews在标准OLS公式中提供了白协方差估计选项。打开方程对话框，解释方程，然后按选项按钮。然后，单击异方差一致协方差，选择白色按钮，并接受选项估计方程。30，示例4.5:电子新闻将包含一行文本，表明使用了白色估计器。31，2。统一协方差。上述的白色协方差矩阵假设估计方程的残差是序列不相关的。Newey和West (1987)提出了一个更一般的估计量，即使在未知异方差和自相关的情况下也是一致的。Newey-West估计量是：32，q是用于评估OLS随机误差项ut的动态自相关数的参数。根据Newey-West假设，在EViews中，

14、q是Newey-West异方差的一致协方差估计量，不能与加权最小二乘法一起使用。使用纽伊-韦斯特方法，并按下估算对话框中的选项按钮。在异方差一致协方差项中选择纽伊-韦斯特按钮。33，纽伊-韦斯特估计量是：34，4.2。回归分析的一个基本假设是方程的解释变量与扰动项无关。然而，由于解释变量的测量误差，用于估计模型参数的数据往往与其理论值不一致；或者因为缺少变量，随机误差项包含可能与解释变量相关的变量，这可能导致解释变量和干扰项之间的相关性。当这个问题发生时，OLS和WLS的估计是有偏差和不一致的，所以应该使用其他方法来估计。最常用的估计方法是两阶段最小二乘法。35，考虑多元线性回归模型(4.2.

15、1)的矩阵形式，其中：Y和X是因变量和解释变量的数据矩阵，并且是系数向量。为了简化起见，我们将与残差相关的变量称为内生变量，将与残差无关的变量称为外生变量或可预测变量。解决方程右侧的解释变量和残差之间相关性的方法是使用工具变量回归。它是寻找一组满足以下两个条件的变量：(1)它们与方程的解释变量有关；(2)与干扰项无关；36，选择zi=(z1i，z2i，zki)作为工具变量，它与解释变量有关，但与扰动项无关，即(4.2.2)这些变量可以成为工具变量。这些工具变量用于消除正确的解释变量和干扰项之间的相关性。两阶段最小二乘法(TSLS)本质上是一种工具变量法，它包括两个阶段：第一阶段是寻找一组工具变量，模型中的每个解释变量对这组变量进行最小二乘回归；在第二阶段，所有变量被从第一阶段回归中获得的拟合值代替，并且原始方程被回归，从而获得的回归系数是TSLS估计值。可以证明两阶段最小二乘估计是一致估计。38，不要担心TSLS估计中的分离阶段，因为EViews将使用工具变量技术来同时估计两个阶段。设z为工具变量矩阵，y和x为因变量和解