多元回归分析估计

多元回归分析估计第一页，共八十三页，2022年，8月28日第3章

多元回归分析：估计3.1使用多元回归分析的动因3.2普通最小二乘法的操作和解释3.3OLS估计量的期望值3.4OLS估计量的方差3.5OLS的有效性：高斯-马尔科夫定理第二页，共八十三页，2022年，8月28日3.1使用多元回归模型的动因实际研究中更多时候对因变量有影响的自变量个数将不只一个，需要进行多元回归例1:

在对小时工资的研究中，除了教育水平之外，工作经历也是一个显著的影响因素，因此需要增加自变量个数，建立多元回归模型。第三页，共八十三页，2022年，8月28日1.为获得其它因素不变的效应，控制更多的因素在实证工作中使用简单回归模型,首要的困难在于：要得到在其它因素不变的情况下，x1对y的影响(ceteris

paribuseffect)，非常困难。在简单线性回归中，是否能够获得在其它条件不变情况下，x1对y的影响，完全取决于零值条件期望假设是否符合现实。如果影响y的其它因素，与x1不相关，则改变x1，可以确保u(均值)不变，从而识别出在其它条件不变情况下x对y的影响。不幸的是，影响y的其它因素(包含在u中)，往往与x1相关：改变x1，u(均值)也往往发生变化，从而使得仅仅利用简单回归模型，无法识别出在其它条件不变情况下x1对y的影响。第四页，共八十三页，2022年，8月28日1.控制更多的因素一个策略就是，将与x1相关的其他因素从误差项u中取出来，放在方程里，作为新的解释变量，这就构成多元回归模型。多元回归分析可以明确地控制许多其它同时影响因变量的因素，而不是放在不可观测的误差项中，故多元回归分析更适合于其它条件不变情况下（ceterisparibus）的特定因素x对y的影响。多元回归模型能容许很多解释变量，而这些变量可以是相关的。在使用非实验数据时，多元回归模型对推断y与解释变量x间的因果关系很重要。第五页，共八十三页，2022年，8月28日2.更好地预测一个变量y的变化，不仅与一种因素有关，可能决定于许多因素。预测一个变量的变化，往往需要尽可能多地知道影响该变量变化的因素。简单回归模型，只包含一个解释变量，有时只能解释y的变动的很小部分。(如，拟合优度很低)多元回归模型由于可以控制更多地揭示变量，因此，可以解释更多的因变量变动。第六页，共八十三页，2022年，8月28日3.表达更多的函数关系多元回归模型，可以包含多个解释变量，因此，可以利用变量的函数变换，在模型中表达多种函数关系。因此，多元线性回归模型，是实证分析中应用最广泛的分析工具。第七页，共八十三页，2022年，8月28日多元线性回归模型的一般形式

第八页，共八十三页，2022年，8月28日多元回归的术语第九页，共八十三页，2022年，8月28日3.2普通最小二乘法的操作和解释第十页，共八十三页，2022年，8月28日如何得到OLS估计值首先考虑两个自变量的模型：

建模的原理依旧是使得达到最小。

要理解OLS在做什么，重要的是理解自变量角标的含义。下标i表示观测序号，这里假设有n个观测变量。第二个下标只是区别不同自变量的方法。在之前的例子中，分别表示样本中第i个人的教育程度和工作经历。第十一页，共八十三页，2022年，8月28日如何得到OLS估计值在含有k个自变量的情形中。在选择估计值时，我们最小化了残差平方和

这个最小化问题可以使用多元微积分求解。OLS的一阶条件：第十二页，共八十三页，2022年，8月28日如何得到OLS估计值如同简单回归里那样

称为OLS回归线，

为截距估计值，

为斜率估计值。为了表明已经进行了一个OLS回归分析，我们将方程中的y,x1,x2..xk用其变量名称取代（如wage,educ,exper等）

第十三页，共八十三页，2022年，8月28日对OLS回归方程的解释估计值具有偏效应或其他情况不变得解释。从方程中我们可以得到

所以我们能在给定x1,x2的变化时预测y

值得变化。特别的，当=0时，有关键是通过把x2包含在模型中，我们所得到的x1的系数可解释为在其他条件不变的情况下的影响。这正是多元回归分析如此有用的原因所在。第十四页，共八十三页，2022年，8月28日例3.2：小时工资方程我们在log(wage)的方程中包括educ(教育水平)，exper（工作经历），

和tenure(任现职的任期)，估计的方程：系数0.092意味着，在保持tenure和exper不变的情况下，多受一年教育者的log(wage)提高0.092即9.2%。第十五页，共八十三页，2022年，8月28日“保持其他因素不变”的含义多元回归中，所得到的“其他因素不变的效应”，并非是通过在实际抽样中，固定其他因素不变。在教育-经验-工资一例中，在获得教育对的工资其他条件不变影响时，在实际抽样中，也并非是固定工作经验，收集不同教育年限的样本，来分析教育年限变化，对于工资的影响。对个体进行随机抽样，就可通过多元回归分析得到“其他因素不变的效应”。多元回归分析的优势，在于它使我们能在非实验环境中去做自然科学家在受控实验中所能做的事情：保持其它因素不变。第十六页，共八十三页，2022年，8月28日同时改变不止一个变量有时我们想改变一个以上的变量，同时看看由此对因变量的影响，通过回归方程很容易做到。在例2中，当一人在同一企业工作过1年，保持educ不变，exper和tenure都增加一年时，对工资的总影响为：第十七页，共八十三页，2022年，8月28日OLS的拟合值和残差对观测i,其拟合值为

它只是将第i个自变量值代入回归方程所得的预测值。OLS最小化了预测误差平方的平均值。第i个观测的残差被定义为：若，意味着yi被预测的过低；反之说明yi被预测的过高。第十八页，共八十三页，2022年，8月28日OLS的拟合值和残差直接从单变量模型推广，可得OLS拟合值和残差的某些重要性质。残差的样本平均值为零每个自变量和OLS残差之间的样本协方差为零，于是OLS拟合值和OLS残差之间的样本协方差也为零点总位于样本OLS回归线上。第十九页，共八十三页，2022年，8月28日对多元回归“排除其他变量影响”的解释

第二十页，共八十三页，2022年，8月28日对多元回归“排除其他变量影响”的解释

A“PartiallingOut”Interpretation对于估计的样本回归线可以表示为：

？第二十一页，共八十三页，2022年，8月28日22对多元回归“排除其他变量影响”的解释首先，将第一个自变量x1对第二个自变量x2进行回归，得到样本回归函数

，根据xi和拟合值

，得到残差。残差表示剔除了x2的影响之后，x1的其他部分。它与x2不相关,样本均值为0。然后，将y对进行简单回归得到。衡量的是，剔除了其他自变量的影响之后，x1对于y的净影响。第二十二页，共八十三页，2022年，8月28日23对多元回归“排除其他变量影响”的解释上述过程表明：将y同时对x1和x2回归得出的x1的影响，与先将x1对x2回归得到残差，再将y对此残差回归得到的x1的影响相同。同时说明，在多元回归模型中，x1的系数衡量的是，x1中与其他自变量不相关的部分，与y的相关关系。即，在多元回归模型中，所估计的是，在其他自变量对于x1的影响“被剔除(partialledout)”后，x1对y的影响。第二十三页，共八十三页，2022年，8月28日24“剔除其它变量影响”

“PartiallingOut”在一个含有k个解释变量的一般模型中，仍然可以写成(3.22)式(证明见本章附录3A.2):残差是来自x1对x2…,xk的回归。因此，度量的是，在排除x2…,xk等变量的影响之后，x1对y的影响。第二十四页，共八十三页，2022年，8月28日25证明(3.22)式：第二十五页，共八十三页，2022年，8月28日26简单回归与多元回归估计值的比较用同一个样本：估计一个最简单的线性回归模型，得到：估计一个最简单的多元线性回归模型，得到：存在一个简单关系：是x2对x1进行简单回归所得到的斜率系数估计值。证明上式第二十六页，共八十三页，2022年，8月28日第二十七页，共八十三页，2022年，8月28日28一般而言，两种特殊情况下，两者相等：在第(1)种情况下，x2对于y没有局部效应(partialeffect)在(2)种情况下，x2与x1在样本中不相关。第二十八页，共八十三页，2022年，8月28日29用同一个样本：估计一个最简单的线性回归模型，得到：估计一个最简单的多元线性回归模型，得到：存在一个关系：是x2,…,xk分别对x1进行简单回归所得到的斜率系数估计值。第二十九页，共八十三页，2022年，8月28日30一般而言，两种特殊情况下，两者相等：在第(1)种情况下，x2,…,xk对于y均没有偏效应(partialeffect)

在(2)种情况下，x2,…,xk中每一个均与x1不相关第三十页，共八十三页，2022年，8月28日例3：401（k）养老金计划匹配率mrate是指对于一个员工所投入的每一美元的养老金，企业为员工匹配的数量。参与率prate是指有资格拥有一个401（k）账户的员工中参与此计划的百分比。变量age是401（k）养老金计划的实施年数。将prate对mrate和age进行回归：

第三十一页，共八十三页，2022年，8月28日例3：401（k）养老金计划如果我们不控制age，将prate对mrate进行简单归可以得到：

可见两种回归式子相差不大。

第三十二页，共八十三页，2022年，8月28日拟合优度与简单回归中一样，我们定义总平方和SST

解释平方和SSE

残差平方和SSR

第三十三页，共八十三页，2022年，8月28日拟合优度判定系数我们定义R2=SSE/SST=1–SSR/SST为判定系数，总是介于0到1之间一个接近于1的判定系数表明OLS给出了一个良好的拟合，一个于0的判定系数表明OLS给出了一个糟糕的拟合第三十四页，共八十三页，2022年，8月28日拟合优度还可以证明R2

等于yi的实际值与拟合值相关系数的平方，即：第三十五页，共八十三页，2022年，8月28日过原点的回归

第三十六页，共八十三页，2022年，8月28日3.3OLS估计量的期望值第三十七页，共八十三页，2022年，8月28日OLS估计值的期望值我们现在转而讨论，在估计一个产生样本的总体模型的参数时，OLS所具有的统计性质。特别的，我们讨论四个假定，这些假定都是对简单回归模型假定的直接推广，而且在这些假定下，OLS估计量是总体参数的无偏估计值第三十八页，共八十三页，2022年，8月28日OLS估计值的期望值

第三十九页，共八十三页，2022年，8月28日OLS估计值的期望值假定MLR.2(随机抽样)

我们有一个包含n次观测的随机样本它来自MLR.1中的总体模型。

第四十页，共八十三页，2022年，8月28日OLS估计值的期望值假定MLR.3（不存在完全共线性）

在样本（因而在总体中），没有一个自变量是常数，自变量之间不存在严格（完全）的线性关系。我们现在必须关注所有自变量之间的关系，如果方程中有一个自变量是其他自变量的额线性组合，那么我们说这个模型遇到了完全共线性问题。第四十一页，共八十三页，2022年，8月28日OLS估计值的期望值重要的是我们要注意到，MLR.3允许变量之间有相关关系，只是不能是完全相关。例4：将考试分数与教育支出（expend）和家庭收入（avginc）的模型中：我们充分预料expend与avginc之间可能相关，学生家庭收入高的学校，倾向于对每个学生在教育上支出更多。MLR.3只是排除了expend与avginc之间完全相关的情形。

第四十二页，共八十三页，2022年，8月28日OLS估计值的期望值两个变量完全相关，最简单的情形就是一个变量是另一个变量的常数倍。当研究者把同一个变量在不同的单位下两次进入同一个回归方程，就会出现完全线性相关的额情形。例如在估计消费与收入的模型中，将收入以美元和千美元为单位分别最为自变量是毫无意义的。也是违背了MLR.3的第四十三页，共八十三页，2022年，8月28日OLS估计值的期望值同一变量的不同非线性函数也都可以出现在回归元中。比如模型

就不违背假定MLR.3,因为x2=inc*inc虽然是x1=inc的一个函数，但是并不是一个线性函数。在模型中引入inc*inc是推广函数形式的一种有用方法。

第四十四页，共八十三页，2022年，8月28日OLS估计值的期望值自变量可能完全线性相关的另一种方式是，一个自变量恰好是其他自变量的线性函数。例5：考虑竞选支出和得票率的关系，有两位竞选者A和B，为了使每个候选人支出与总支出隔离开来，设定模型：显然有x3=x1+x2，因而违背了假定MLR.3第四十五页，共八十三页，2022年，8月28日OLS估计值的期望值假定MLR.4(条件均值为零)给定自变量的任何值，误差u的期望值为零。换句话说，E(u|x1,x2…xk)=0通常情况下，漏掉一个与x1,x2…xk中任何一个自变量相关的因素，都有可能导致MLR.4不成立。

使用多元回归分析，我们能包含解释变量中的许多因素，与简单回归相比，多元回归分析出现漏掉一些变量的可能性要小很多。第四十六页，共八十三页，2022年，8月28日OLS估计值的期望值当假定MLR.4成立时，我们常说我们具有外生解释变量。如果处于某种原因xj仍与u有关，那么我就成xj是内生解释变量。虽然“外生”和“内生”的术语源于联立方程分析，但内生解释变量一词涵盖了一个解释变量可能与误差项相关的一切情况。第四十七页，共八十三页，2022年，8月28日OLS的无偏性

第四十八页，共八十三页，2022年，8月28日对“无偏”的理解如我们所知，估计值不可能是无偏的，因为一个估计值就是从一个特定的样本得到的固定值，它通常都不等于总体参数。我们说OLS在四个假定下是无偏的是指当我们将用来得到OLS估计值的程序用到各种可能的随机样本时，这个程序是无偏的。第四十九页，共八十三页，2022年，8月28日回归模型中包含了无关变量

第五十页，共八十三页，2022年，8月28日回归模型中包含了无关变量

第五十一页，共八十三页，2022年，8月28日遗漏变量的偏误：简单情形现在假设我们是遗漏了一个实际应该包括在模型中的变量，通常称为排出一个有关变量或者对模型设定不足。推导遗漏一个重要变量所导致的偏误，是误设分析的一个例子，我们从含有两个变量的模型入手：

并假设模型满足

第五十二页，共八十三页，2022年，8月28日遗漏变量的偏误：简单情形由于疏忽或者数据不足，我们在排除X2的情况下估计这个模型得到：

例6：假设薪资与教育程度、天赋有关即

由于能力不可观测，我们转而用模型其中

第五十三页，共八十三页，2022年，8月28日遗漏变量的偏误：简单情形

第五十四页，共八十三页，2022年，8月28日遗漏变量的偏误：简单情形

第五十五页，共八十三页，2022年，8月28日遗漏变量的偏误：简单情形

第五十六页，共八十三页，2022年，8月28日遗漏变量的偏误：简单情形

第五十七页，共八十三页，2022年，8月28日遗漏变量的误差

第五十八页，共八十三页，2022年，8月28日遗漏变量的偏误：一般情形

第五十九页，共八十三页，2022年，8月28日遗漏变量的偏误：一般情形

第六十页，共八十三页，2022年，8月28日遗漏变量的偏误：一般情形

第六十一页，共八十三页，2022年，8月28日遗漏变量的偏误：一般情形

spring201262第六十二页，共八十三页，2022年，8月28日OLS估计量的方差除了知道估计量的趋势之外，我们还想度量其在样本分布中的分散情况。在求出方差之前，我们增加一个同方差假定，其次我们在下面可以看到，如果增加了同方差的假定，OLS具有一个重要的性质，即有效性。假定MLR.5(同方差性)

给定任意解释变量值，误差u都具有相同的方差，换言之：Var（u|x1,..xk）=第六十三页，共八十三页，2022年，8月28日OLS估计量的方差在方程

中，同方差性要求不可观测的误差项不依赖于教育水平，工作经历和现有任期水平。

即Var(u|educ,exper,tenure)=否则就会出现异方差性。假定一起被称为（横截面回归的）高斯-马尔科夫假定。迄今为止，我们对假定的表述都只使用于随机抽样的横截面分析。对于时间序列或面板数据，该假定将更加困难。第六十四页，共八十三页，2022年，8月28日OLS估计量的方差接下来的讨论中，我们将用x表示（x1,…,xk）的集合，于是在工资例子中x=（educ,exper,tenure）。我们可以将MLR.1和MLR.4写成E（y|x）=假定MLR.5表示为：Var(y|x)=第六十五页，共八十三页，2022年，8月28日OLS估计量的方差

第六十六页，共八十三页，2022年，8月28日OLS估计量的方差在我们详尽的研究估计值方差之前，我们要注意，在得到这个公式的过程中，用到了所有高斯-马尔科夫假定。虽然OLS的无偏性不需要同方差假定，但是要让上述式子成立，则必然要求同方差。

的大小在实践中也很重要。方差越大，则意味着估计量越不精确，也就是置信区间越大和假设检验越不准确。第六十七页，共八十三页，2022年，8月28日OLS方差的成分：多重共线性

第六十八页，共八十三页，2022年，8月28日OLS方差成分：多重共线性xj的总样本变异，SSTj。由定理3.2的表达式，xj的样本变异越大，则估计值的方差越小。因此我们希望xj的取值越分散越好。扩大样本容量可以提高每一个先变量的变异。当我们从总体中抽样时，随着样本量的越来越大，SSTj将无限递增。若SSTj很小，那么估计值的方差将很大，但是只要SSTj不为零，都是不违背假定MLR.3的第六十九页，共八十三页，2022年，8月28日OLS方差成分：多重共线性自变量之间的线性关系，.的回归只是涉及到

原模型的自变量，其中xj是作为因变量而出现的。考虑k=2的情形：

于是其中是x1对x2进行简单回归得到的拟合优度。越接近1，表明x1与x2高度相关，且此时越大。第七十页，共八十三页，2022年，8月28日OLS方差成分：多重共线性

第七十一页，共八十三页，2022年，8月28日OLS方差成分：多重共线性若1，则，两个或者多个自变量之间高度（但不完全）相关被称为多重共线性。多重共线性不违背假定MLR.3，但是我们也不能确定一个临界值来说明是否存在多重共线性。例如=0.9意味着在xj的样本变异中，90%都可以由回归模型中的其他自变量来解释。即xj与其他