第3章 多元线性回归模型.doc

计量经济学 课程教案授课题目（教学章、节或主题）：第3章多元线性回归模型授课时间安 排第6、7周共4课时教学器材与工具多媒体授 课 类 型（请打）理论课讨论课 实验课 习题课 双语课程 其他教学目的、要求（分掌握、熟悉、了解三个层次）：1、熟悉多元线性回归模型的基本假定；2、掌握多元线性回归参数估计方法；3、熟悉多元线性回归模型拟合优度的度量；4、掌握回归系数的估计和假设检验。教学重点及难点：回归系数的估计和假设检验教 学 基 本 内 容3.1 多元线性回归模型 3.2 多元线性回归模型的参数估计3.3 多元线性回归模型的统计检验3.4 多元线性回归模型的预测3.5 回归模型的其他形式教学过程设计： 一、引入二、讲授三、小结教学方法及手段（请打）：讲授、讨论、多媒体讲解、模型、实物讲解、挂图讲解、音像讲解等。作业、讨论题、思考题：多元线性回归分析中，为什么要对可决系数加以修正？参考资料（含参考书、文献等）：计量经济学，（美）D.Gujarati著，林少宫译；计量经济学，李子奈编著；经济计量学精要，（美）D.Gujarati著，张寿等译。课后小结：本章我们讨论多元回归模型，介绍了一些新的概念，比如偏回归系数，校正的和非校正的多元判定系数，多重共线性等。就多元回归参数估计而言，我们仍然是在普通最小二乘估计的框架下进行参数估计的。我们可以用两种不同的检验方法显著性检验法和置信区间法进行假设检验。第3章多元线性回归模型在这一章中，我们讨论具有两个或多个自变量(除常数项以外)的回归模型，即多元回归模型。我们要描述古典多元回归模型的基本假设，并说明如何获得参数的最小二乘估计。然后我们讨论回归系数的含义。我们将看到，回归方程中解释变量之间的相互作用会产生一些问题。在这一章中我们尤其着重讨论各种有助于解释模型的回归统计量，包括标准化系数、弹性和偏相关系数。3.1 模型假设因变量Y是多个自变量X1，X2，XK和误差项的线性函数，就可以将一元线性回归模型加以推广。因为多元线性回归模型是一元线性回归模型的自然推广，所以我们不需要详细推导所有以前的结论。我们将多元线性回归模型写为：其中Y是因变量，X1，X2，XK是自变量，是误差项。举例来说，X2i代表解释变量X2的第i个观测值。i是方程的常数项，或截距。多元回归模型的假设与一元模型非常相似：1. Y与X之间的关系是线性的，并且如式(4-1)所示。2. X不是随机变量，并且在两个或多个自变量之间没有精确的线性关系。3. 所有观测值的误差项的期望值都为0。4. 所有观测值的误差项具有相同的方差。5. 不同观测值的误差项之间相互独立，因而不相关。6. 误差项服从正态分布。为简化起见，我们用一个特殊的多元回归模型，即二元模型来说明问题最小二乘法就是寻找能够使残差平方和达到最小的参数估计。残差平方和定义如下：我们可以找到使ESS达到最小的i、2和3的值。假设观测值的个数多于三个且各方程是相互独立的，i、2和3的解为：其中:3.2 回归统计量为了检验每一个回归系数的统计显著性，我们自然会问高斯-马尔可夫定理是否适用于多元回归模型，我们是否可以获得方差2的无偏估计以及回归参数估计的分布等信息。这里我们概括地给出一些重要结论：1. 在多元回归模型假设1-5成立的条件下，高斯-马尔可夫定理对多元回归模型同样适用，即各系数j，j= 1 , 2 ,.,k的普通最小二乘估计量是最佳线性无偏估计量(当误差项服从正态分布时，普通小二乘估计量等价于极大似然估计量)。2. 下式是2的一个无偏且一致的估计:3. 当误差项服从正态分布时，可用t检验，因为对于所有的j= 1 , 2 ,.,k 换句话说，经过标准化(即减去均值，除以标准差)的回归参数估计服从自由度为N-k的t分布。因为我们常常会用二元回归模型做例子，我们在这里给出三个公式，前两个是各系数方差的估计，第三个是两者的协方差：其中，是x2和x3之间的简单相关系数。3.3 F 检验、R2和调整的R2 的方法。第二，R2对模型中自变量的个数敏感。在回归方程中加入更多的自变量不会降低R2 ，只有可能增加R2(增加新的解释变量不会改变TSS，但是可能会增加RSS)。因此，如果希望使R2增大，只要往方程中加入新的变量即可。最后，对于没有截距项的模型，R2的使用及解释就会比较困难。在这种情况下，回归平方和与总偏差平方和的比值不一定在0-1之间。用R2度量拟合优度的困难在于R2只涉及Y的总变差中被解释的部分和未被解释的部分，没有考虑自由度的个数。一个自然的解决办法是使用方差，而不是偏差平方和，这样会消除拟合优度对模型中自变量个数的依赖性(已知方差等于偏差平方和除以自由度个数)。我们定义调整的R2如下：假设的理由。与0没有显著差别的F统计量使我们得出的结论是，解释变量不能解释F与其均值之间的偏差平方和。例如在一元模型中，F统计量检验的是回归直线是否是水平的。如果回归直线是水平的，则R2= 0且回归模型不能解释因变量的偏差平方和。注意我们没有检验回归模型是否通过原点(1=0)；我们的目的只是要看我们是否能解释Y与其均值之间的偏差平方和。即使对回归方程中每个系数分别进行的t检验都不显著，F检验也可能拒绝原假设。例如，当因变量之间高度相关时就可能出现这种情况。其结果可能是系数的标准差大而t值小，但整个模型仍然能对数据拟合得很好。当回归模型的因变量发生变化时，我们能否用R2来比较不同回归模型的有效性？在建立计量经济模型时，如果研究人员对因变量的函数形式所知甚少，就会出现这个问题。考虑以下两个模型:模型的两种形式提供了同样的信息，但拟合优度的度量在不同的情况下变化很大。因而R2不能直接用来比较因变量不同的模型。3.4 多重共线性3.4.1 完全共线性多元回归模型的假设之一是模型中任何自变量之间不存在精确的线性关系。如果这种线性关系存在，我们就说自变量是完全共线的或存在完全共线性。举个例子，假设在第1章的学生平均成绩模型中包含以下三个自变量：X2=家庭收入，以千美元为单位X3=每天平均学习的小时数X4=每周平均学习的小时数对于每个被调查的学生来说，X4= 7X3，所以变量X4和变量X3是完全共线的。如果这两个共线的变量中只有一个出现在模型中，每个参数的意义都很明确。当两个都出现在模型中，我们就会面临一个无法解决的问题：X3的系数是偏回归系数，在所有其他变量保持不变的情况下，用来衡量当X3变化一个单位时Y的变化量。由于不可能保持所有其他变量不变，我们就不能解释(甚至定义)回归系数。完全共线性很容易发现，因为它会使参数的最小二乘估计求不出来(存在共线性时，所求的方程组包含两个或更多的不独立的方程)。3.4.2 多重共线的后果在实际问题中，我们常常面临处理高度多重共线的自变量这个更加困难问题。当两个或多个变量(或变量的组合)之间高度(但不是完全)相关时，就出现了多重共线性。假设两个变量高度相关，还是可以获得回归系数的最小二乘估计，但是很难对系数做解释。两个高度相关的变量中第一个变量的系数被认为是在其他情况不变时，由这个变量的变化引起的Y的变化量。任何时候一个变量发生变化，与其高度相关的变量的观测值也会以相似的方式变化。所以多重共线性的存在意味着样本数据中的信息不足以对估计给出令人信服的解释。毫不奇怪，回归参数估计的分布对因变量之间的相关很敏感，对回归标准差的大小也很敏感(在一元模型中，)。这种敏感性的表现是回归系数的标准误差很大，查看等式(4-6)和(4-7)参数估计的方差公式就可以看出这一点。两个公式的分母都包含1-r2。当样本中X2和X3不相关时，r=0且公式基本相同。但是当r的绝对值变的很大(接近1)时就出现多重共线，其结果是的方差估计变得很大。这告诉我们即使仍然是无偏估计，但是它们的可靠程度却很低。如果我们认为其中的一个或两个变量都应在模型中，由于估计标准差很大，我们不能拒绝原假设，这就会产生问题。在这种情况下合理的做法是从方程中去掉两个变量之一，然后重新估计方程。我们在第7章会看到，这样做在重新估计的模型中会产生偏差，但是会有助于我们克服多重共线在原来模型中的作用。检查多重共线性是否引起问题的最简单的方法是检查系数的标准差。如果几个系数的标准差都很高，而且从方程中去掉一个或几个变量会降低剩下变量的标准差，多重共线性通常就是问题的关键。更加复杂的分析将考虑到参数估计之间的协方差(以及单个标准差)对多重共线性敏感这个事实。如等式(4-8)所示，高度共线性将与参数估计之间相对大的协方差(绝对值)有关系。这说明(假设r0)如果一个参数估计，反之亦然。3.4.3 多重共线的标志较大的标准差和较小的t统计量可以是模型存在多重共线的标志，但也可能说明这个模型不是个好模型。我们怎样才能检验多重共线性的存在？我们已经看到，如果样本中有两个或多个解释变量高度相关，就很难区分一个解释变量和另一个解释变量对因变量的作用，这时就出现多重共线问题。解释变量之间很少不相关，所以只是程度问题；因此有很多方法可以用来判断多重共线是否存在。1. R2比较大但是没有几个显著的t统计量是多重共线存在的一个标志。实际上，有可能是回归方程的F统计量高度显著，而每个t统计量都不显著。2. 一对或多对解释变量的简单相关系数相对比较高可能意味着多重共线的存在。但是仅仅依赖这些相关系数做出多重共线存在与否的结论时必须很小心。有些数据特别是涉及到时间序列的数据中有些变量间的相关系数可能会比较大，但仍然可以区分不同变量对因变量的影响。另一个局限性是，检验两个变量的简单相关系数使人不能找到由于三个或四个变量之间的相关引起的多重共线性。3. 多年来出现了大量检验多重共线性的正式方法，但是没有一个被普遍接受。有一个检验需要计算与解释变量数据集有关的条件数，条件数大于2 0或3 0是存在多重共线性的标志。3.5 标准化系数和弹性系数3.5.1 标准化系数标准化系数描述多元回归模型中自变量的相对重要性。为了计算标准化系数，只要在做线性回归时使用标准化的变量即可，即变量减去其均值并除以其标准差的估计。标准化的回归模型表示如下：标准化系数与原来未标准化的多元回归模型的系数估计有密切关系，不难证明:换句话说，标准化系数用自变量的标准差与因变量的标准差的比值对斜率参数的估计进行了调整。标准化系数0.7意味着自变量一个标准差的变化将引起因变量0.7个标准差的变化。标准化系数和偏相关系数都与因变量Y的偏差平方和有关。但是，标准化回归模型使我们有可能直接比较标准化系数。用原来的自变量的观测值做不到这一点，因为自变量有不同的单位和不同的方差。注意，有趣的是，在一元模型中，自变量的标准化系数等于两个变量之间的简单相关系数。常数项的标准化系数没有定义，因为标准化过程使常数项消失了。3.5.2 弹性系数弹性系数表明一个自变量1 %的变化对因变量的影响。例如，Y对X2的弹性系数是Y的变化百分数除以X2的变化百分数。一般说来，弹性系数不是常数，而是随着回归直线上测量点不同而变动。由计算机程序计算的弹性系数是在每个自变量的均值点上计算的。第j个系数的弹性系数计算如下：弹性系数的值没有界限，可正可负。弹性系数很有用，因为它们没有单位，即它们的值不受被测量变量的单位的影响。例如，如果Ej=2.0，我们说Xj均值1%的变化将引起Y的约2%的变化。另一方面，如果Ej=-0.5，则Xj的1%的增长将引起Y的0.5%的下降。总的说来，弹性系数大意味着因变量受自变量变化的影响比较大。3.6 偏相关系数和逐步回归在多元回归模型中，很自然地会将简单相关的概念加以引申，来看一看在排除了模型中其他自变量的作用之后，因变量和一个自变量之间的相关程度怎样。为此我们考虑模型:Y和X2之间的偏相关系数必须这样定义，它在考虑了模型中其他变量对Y的影响之后衡量X2对Y的作用。更明确地说，偏相关系数是在消除了X3对Y的线性影响(以及X3对X2的线性影响)之后进行回归得到的。其步骤如下：已知偏相关系数的定义，不难推导偏相关系数和简单相关系数的关系。我们在这里只陈述结果而没有证明，因为具体步骤很复杂：偏相关系数的值必然在-1到+1之间，这与简单相关系数是一样的(回忆简单相关系数的推导)。Y和X2的偏相关系数为0意味着在考虑了X3作用之后对每个变量的线性，Y和X2之间没有线性关系，这时我们就可以下结论说在模型中X2对Y没有直接的影响。事实上，偏相关系数经常被用来确定不同变量在多元回归模型中的相对重要性。现在让我们来看一看偏相关系数与R2之间的关系。在一元模型中容易证明R2可以被解释为因变量和自变量之间简单相关系数的平方。我们也可以将Y和X2的偏相关系数解释为Y的方差中不能被X3解释、但是能被X2中与X3不相关的部分解释的百分比的平方根。基于这个事实，我们可以推导出复相关系数和偏相关系数之间的下列关系：由等式(4-18)知，偏相关系数可以通过求Y的方差中由X2解释的百分比的平方根来确定(两个变量都需要先消除X3的影响)。或许偏相关系数在逐步回归的过程中用得最多。在逐步回归时，人们往模型中增加变量以求得Y的最大。各解释变量与因变量之间的偏相关系数在决定应当在方程中添加哪个变量时是很有用的，因为它可以告诉我们在去除了已经包含在方程中的所有变量的影响后，某一变量是否对因变量有影响。虽然逐步回归对于在有大量可能的解释变量的情况下进行数据分析时很有用，但是它对模型的统计分析没什么帮助，其原因是t检验和F检验在考虑检验原假设时是在模型确认正确的假设下进行的。如果我们在很大的变量集中寻找那些拟合得好的变量，我们更会选取t检验显著的变量。因此，较大的t统计量使我们在给定的显著性水平上不能拒绝原假设。3.7 多元回归模型的矩阵形式3.7.1 多元回归模型的重新描述我们从用矩阵形式重新表示线性模型开始。从正文中已知回归模型包含k+ 1个变量一个因变量和k个自变量(包括常数项)。由于有N个观测值，我们可以将N个方程的模型概述如下：这个模型相应的矩阵表达形式是:其中:并且:Y因变量观测值的N1阶列向量X自变量观测值的Nk阶矩阵未知参数的k1阶列向量N1阶误差列向量矩阵X中的每个元素Xji都有两个下标，第一个表示相应的列(变量)，第二个表示相应的行(观测值)。X的每一列代表个变量的N个观测值向量，截距项的所有观测值都等于1。 古典线性回归模型的假设可以重新表述如下：1. 模型形式由式( A 4 - 4 )确定。2. X的元素不是随机