计量经济学第四章

计量经济学第四章1第一页，共八十一页，编辑于2023年，星期五第4章多元回归：估计与假设检验§4.1三变量线性回归§4.2多元回归模型的古典假定§4.3多元回归的参数估计§4.5实例：古董钟拍卖价格一例§4.4多元判定系数R2§4.6普通最小二乘估计量的分布主要内容2第二页，共八十一页，编辑于2023年，星期五第4章多元回归：估计与假设检验§4.7多元回归的参数显著性检验§4.8多元回归的总体显著性检验§4.9模型的设定误差§4.10校正的判定系数§4.11何时增加新的解释变量§4.12受限最小二乘§4.13实例主要内容3第三页，共八十一页，编辑于2023年，星期五§4.1三变量线性回归模型Y=69.4620-

0.5814×X1

^Y=81.2267-0.6384×X1

–1.4449×X2^

Y:劳动力参与率X1：失业率（代表经济形势）X2：小时工资4第四页，共八十一页，编辑于2023年，星期五一个三变量回归模型的例子

在研究某种商品需求量的例子中，除价格之外，我们还可以考虑收入的影响，于是得到如下方程：§4.1三变量线性回归模型总体回归方程：

E(Y|X2，X3)=B1+B2X2i+B3X3i总体回归方程的随机形式：Yi=B1+B2X2i+B3X3i+ui注意：线性都是指参数线性。5第五页，共八十一页，编辑于2023年，星期五

可以写出对应的样本回归函数：=b1+b2X2i+b3X3i和随机样本回归函数：

Yi=b1+b2X2i+b3X3i+ei6第六页，共八十一页，编辑于2023年，星期五

相同的是：多元回归也是条件回归，同时Y也由两部分组成：

系统成分B1+B2X2+B3X3，由X2、X3决定的Y的均值；

非系统成分ui，由除X2、X3以外的随机因素决定。1.与两变量回归方程的异同

不同的是多元回归方程中有两个或两个以上的解释变量。§4.1三变量线性回归模型7第七页，共八十一页，编辑于2023年，星期五2.偏回归系数

B2表示当其他条件不变时（包括 X3不变），X2变动一个单位Y的均值的改变量；B3表示当其他条件不变时（包括 X2不变），X3变动一个单位Y的均值的改变量。

B2、B3称为偏回归系数（partialregression…）：§4.1二元线性回归模型8第八页，共八十一页，编辑于2023年，星期五简言之，偏回归系数反映了当模型中的其他解释变量为常量时，另一个解释变量对应变量均值的影响。多元回归模性的这个特性不但能使我们引入多个解释变量，而且能够“分离”出每个解释变量X对应变量Y的影响。9第九页，共八十一页，编辑于2023年，星期五§4.2多元回归模型的假定

3.误差项同方差var(ui)=2模型的基本假定：1.回归模型是参数线性，并且是正确设定4.误差项无自相关cov(ui,uj)=0

2.误差项均值为零E(ui|Xi)=010第十页，共八十一页，编辑于2023年，星期五6.解释变量之间不存在完全共线性(New)7.为了假设检验，我们假定误差项

ui~N(0,2)5.解释变量与误差项不相关

cov(Xji,ui)=0，i=1,2,3,…,n,j=1,2…,k(n代表样本容量，k代表解释变量的个数。)§4.2多元回归模型的假定

11第十一页，共八十一页，编辑于2023年，星期五多重共线性的含义

假定6表明了解释变量X2和X3之间不存在完全的线性关系，用统计语言，称为非共线性或非多重共线性。

非多重共线性的含义：解释变量之间不存在完全的线性关系（一个解释变量不能表示为另一个解释变量的完全线性函数）;§4.2多元回归模型的假定

12第十二页，共八十一页，编辑于2023年，星期五

如果有下面的式子成立：

或者表明两个解释变量之间完全线性相关。将其带入（4-1）式，可得13第十三页，共八十一页，编辑于2023年，星期五

完全多重共线性的含义：解释变量之间存在完全的线性关系（其中一个变量可以表示为其变量的线性函数）；多重共线性（一般是指高度多重共线性）的含义：解释变量之间存在高度线性相关。14第十四页，共八十一页，编辑于2023年，星期五

结论：在存在完全共线性的情况下，不能估计出B2和B3的值，也就是说不能估计解释变量X2和X3各自对应变量的影响。15第十五页，共八十一页，编辑于2023年，星期五§4.3多元回归参数的估计

多元回归参数的最小二乘估计量

是使残差平方和达到最小的估计量只是一元回归的推广在古典假设下，OLS估计量是线性无偏有效估计量16第十六页，共八十一页，编辑于2023年，星期五

普通最小二乘法(ordinaryleastsquares,OLS)是根据样本回归函数：

Yi=b1+b2X2i+b3X3i+ei来估计总体回归函数：

Yi=B1+B2X2i+B3X3i+ui的一种方法。一、最小二乘原理17第十七页，共八十一页，编辑于2023年，星期五

最小二乘法的基本原则是求出使全部观测值的残差平方和最小的参数值。其中残差ei的定义为

ei=实际的Yi-估计的Yi=Yi-=Yi-b1-b2X2i–b3X3i同时将两边平方求和，得：最小二乘法就是使RSS最小化。18第十八页，共八十一页，编辑于2023年，星期五上式的最小化过程将用到偏微分。通过求偏导，我们可以得到下面的正规方程：19第十九页，共八十一页，编辑于2023年，星期五三个方程三个未知数，通过对上面的方程作简单的代数变换，可求得三个OLS估计量的表达式：20第二十页，共八十一页，编辑于2023年，星期五

得到截距和偏回归系数的估计量之后，我们同样可以推导出这些估计量的方差及标准差（方法与一元回归类似）。这些方差或标准差表示了估计量由于样本的改变而发生的变化。与一元回归一样，需要标准差是出于两个目的：（1）建立真实参数值的置信区间。(2)检验统计假设。下面我们只给出相关的公式，具体证明过程和前面类似。21第二十一页，共八十一页，编辑于2023年，星期五22第二十二页，共八十一页，编辑于2023年，星期五

在上面三个式子中，表示总体误差项的同方差，它的无偏估计量是：

上式自由度为(n-3)，这是因为在估计RSS时，必须先求出三个参数(b1,b2,b3)的估计量，“消耗了”三个自由度。因此对于任何回归模型来说，它的自由度为(n-k),其中k为待估参数的个数。23第二十三页，共八十一页，编辑于2023年，星期五

下面给出一个比较简便的计算RSS的方法：因此一旦得到偏斜率的值，就很容易求得残差平方和。24第二十四页，共八十一页，编辑于2023年，星期五

在古典线性回归模型的基本假定下，OLS估计量是最优线性无偏估计量。同样，这个性质对于多元回归也成立。我们还可以把解释变量的个数推广到三个以上，只是计算公式会变得比较复杂，在这种情况下，我们通常扩展用矩阵语言来证明。在这本书里不涉及。

二、多元回归OLS估计量的性质25第二十五页，共八十一页，编辑于2023年，星期五§4.4估计多元回归方程的拟合优度：多元判定系数R2

在上一章的时候我们定义了判定系数r2，用来度量拟合的样本回归直线的拟合优度；也就是说，r2给出了单个解释变量X对应变量Y变动的解释比例或解释的百分比。这一概念可以推广到包含若干个解释变量的回归模型中。我们将度量这个信息的量称为多元判定系数，用符号R2表示，从概念上讲，它与r2是类似的。26第二十六页，共八十一页，编辑于2023年，星期五1.R2的公式

称为总离差平方和，记为TSS称为回归平方和，记为ESS称为残差平方和，记为RSS首先定义从而有TSS=ESS＋RSS

说明总离差可以分解为两个部分：一部分归于回归直线，一部分归于随机因素。27第二十七页，共八十一页，编辑于2023年，星期五同一元回归相同，我们定义

注意：只有回归方程中包含截距项时上式才有意义回归平方和与总离差平方和的比值28第二十八页，共八十一页，编辑于2023年，星期五我们可以证明：因此：29第二十九页，共八十一页，编辑于2023年，星期五2.R2的含义

回归模型对应变量变动的解释程度。例如：某个例子里R2=0.9894，它表示约99%的应变量变化可以由解释变量来解释。与r2相同，R2的值也在0和1之间，R2越接近于1，表示估计的样本回归直线拟合的越好。30第三十页，共八十一页，编辑于2023年，星期五3.多元判定系数与多元相关系数的关系

R2正的平方根(R)，称为多元相关系数，或复相关系数；

R度量了Y与所有解释变量的相关程度。

R只取正值。

31第三十一页，共八十一页，编辑于2023年，星期五§4.5实例:古董钟拍卖价格一例

提出问题

德国一钟表公司每年都举行钟表拍卖会。而且认为拍卖价格与钟表的年代和竞标人数相关。

Y：拍卖价格X2：钟表的年代X3：竞标的人数我们可以先验地预期X2和X3的系数都为正。32第三十二页，共八十一页，编辑于2023年，星期五

数据：表4-1

回归结果

：

对回归结果的分析

分析结论分析问题（eq01）§4.5实例:古董钟拍卖价格一例

33第三十三页，共八十一页，编辑于2023年，星期五34第三十四页，共八十一页，编辑于2023年，星期五

在第三章我们分别考虑了钟表年代和竞标人数对拍卖价格的影响，结果如下：35第三十五页，共八十一页，编辑于2023年，星期五36第三十六页，共八十一页，编辑于2023年，星期五

在本章我们使用多元回归模型估计，结果如下：37第三十七页，共八十一页，编辑于2023年，星期五=-1336.049+12.74X2i+85.764X3i

Se=(175.27)(0.91)(8.80)

t=(-7.62)(13.97)(9.74)

p值=(0.0000)(0.0000)(0.0000)R2=0.890638第三十八页，共八十一页，编辑于2023年，星期五分析结论X2的系数12.74，表示在其他条件不变时，钟表年代每增加1年，拍卖价格平均上升12.74单位。

X3的斜率系数85.76，表示在其他条件不变时，竞标人数每增加1个，则拍卖价格平均上升85.76单位。截距项没有意义。

§4.5实例:古董钟拍卖价格一例

39第三十九页，共八十一页，编辑于2023年，星期五

多元判定系数R2为0.8906，表示两个解释变量解释了拍卖价格89.06%的变异

。40第四十页，共八十一页，编辑于2023年，星期五§4.6多元回归的假设检验

虽然R2度量了估计的回归直线的拟合优度，但是它本身不能告诉我们估计的回归系数是否统计上显著的，即是否显著为0。有的可能是显著的，有的可能不是显著的，那我们如何判断呢？

而且，由于存在抽样误差，我们无法知道总体信息。因此，必须对回归系数进行显著性检验。如：我们要检验钟表年代对拍卖价格有没有影响，即检验：B2=0。我们如何进行检验呢？41第四十一页，共八十一页，编辑于2023年，星期五

当真实的误差方差不知道的情况下，我们用误差方差的估计量代替误差方差2，用于参数显著性检验的统计量不是正态分布(k为回归参数个数(包括截距项))。

与一元回归一样，我们首先需要知道估计量b2的抽样分布。在双变量模型中我们假定误差项服从正态分布，则有b1，b2服从正态分布。同样在多元回归时也存在这个性质。42第四十二页，共八十一页，编辑于2023年，星期五§4.7对偏回归参数进行假设检验

对钟表拍卖一例进行参数显著性检验

显著检验法2.置信区间法

43第四十三页，共八十一页，编辑于2023年，星期五我们做如下假设：

H0:B2=0,H1:B20(即假设钟表年代对拍卖价格没有影响)根据上述假设，构造如下统计量：（注：B2=0）服从自由度为(n-3=29)的t分布。（可得t=13.96）根据t值我们能否拒绝原假设，就需要用到我们前面介绍的置信区间法和显著性检验法。

44第四十四页，共八十一页，编辑于2023年，星期五显著检验法

我们需要将计算得到t值和给定显著性水平下的临界值ta/2或ta相比较，进行选择。(如：a=5%,ta/2=2.045，ta=1.699,由于|t|=13.96>ta/2=2.045，所以拒绝原假设。)实际上，我们可以不指定a，直接根据p值来确定。同样我们可以根据经济意义选择进行单边假设检验还是双边检验。45第四十五页，共八十一页，编辑于2023年，星期五2.置信区间法

我们可以构造95%的置信区间：P(-2.045≤t≤

2.045)=0.95可以得到置信区间为：

P(-2.045≤(b2-B2)/se(b2)≤2.045)=0.95b2-2.045se(b2)≤B2≤b2+2.045se(b2)即：12.7413-2.045×0.9123≤B2≤12.7413-2.045×0.912310.8757≤B2≤14.6069上式给出了B2的一个95%置信区间。由于该区间不包括B2=0，所以，拒绝零假设。46第四十六页，共八十一页，编辑于2023年，星期五在上面的基础上作如下思考，投标人数对中标价格有没有影响：

H0:B3=0,H1:B3≠0(即假设投标人数对中标价格没有影响)构造如下统计量：（注：B3=0）服从自由度为(n-3)的t分布。根据置信区间法和显著性检验法进行检验。

47第四十七页，共八十一页，编辑于2023年，星期五§4.8

对联合假设的检验

1.联合假设

我们在进行参数显著性检验时，只是检验某一个参数为零的假设。现在考虑假设：

这个零假设称为联合假设，即B2和B3同时为零，等同于假定X2和X3一起对Y无影响。48第四十八页，共八十一页，编辑于2023年，星期五等同于：

即X2和X3对应变量变化的解释比例为零。对这两个中任何一个假设进行检验称为对估计的总体回归线的显著性检验，即检验Y是否与X2和X3线性相关。

49第四十九页，共八十一页，编辑于2023年，星期五

需要注意的是：在实践中的许多多元回归模型中，一个或多个解释变量各自对应变量没有影响，但集体却对应变量有影响，这属于多重共线性问题。这意味着前面讨论的t检验虽然对于检验单个回归系数的统计显著性是有效的，但是对于联合假设却是无效的。50第五十页，共八十一页，编辑于2023年，星期五由回归直线所解释的由回归直线所不能解释的51第五十一页，共八十一页，编辑于2023年，星期五§4.8

对联合假设的检验

2.方差分析

其基本思想：对于数据的波动设法将分为两部分，一部分是纯粹由随机误差引起的，另一部分除了随机误差的影响外还包含着因素效应的影响。对这两部分进行比较，如果后者明显大于前者，就说明因素的效应是显著的。52第五十二页，共八十一页，编辑于2023年，星期五§4.8

对联合假设的检验

我们首先看下面的恒等式：TSS=ESS+RSS即：将TSS分解为两个部分，一部分（ESS）由回归模型解释，另一部分（RSS）不能由模型解释。对TSS的各个部分进行的研究称为方差分析(关键是对全部数据的波动程度进行分解)。每个平方和都具有相应的自由度——依赖于独立观察的数目。53第五十三页，共八十一页，编辑于2023年，星期五方差来源平方和（SS）自由度(d.f.)MSS=SS/d.f.ESS

k-1RSS

n-kTSS

n-1

k为待估计的参数个数。54第五十四页，共八十一页，编辑于2023年，星期五3.F统计量的含义根据上面的介绍，若满足古典线性回归的基本假定，零假设为：，我们可以定义统计量：§4.8

对联合假设的检验

55第五十五页，共八十一页，编辑于2023年，星期五可见X2和X3对Y的解释程度越高，F值越大。其中n为观察值的数，k为待估计的参数个数（观察我们的例子）。因此，F值越大，越有理由拒绝原假设。其含义为：

56第五十六页，共八十一页，编辑于2023年，星期五

我们可以将上面直观的语言加以正规化。如，我们利用显著性检验法：计算出F值，将其与F临界值作比较。如果计算的F值超过F临界值，则拒绝零假设。如果F值不超过F临界值，则不能拒绝零假设，认为解释变量一起对应变量有影响。(看例子)57第五十七页，共八十一页，编辑于2023年，星期五钟表拍卖一例的方差分析表

58第五十八页，共八十一页，编辑于2023年，星期五4.F与R2的关系

可以证明：

这两个统计量是同方向变动，R2等于0时，F等于0；

R2越大，F值越大；

R2等于1时，F无穷大。

59第五十九页，共八十一页，编辑于2023年，星期五方差来源平方和（SS）自由度(d.f.)MSS=SS/d.f.ESS2RSS

n-3TSS

n-1我们可以将方差分析表作如下变换（用R2的形式进行F检验便于计算）60第六十页，共八十一页，编辑于2023年，星期五在钟表拍卖的例子中61第六十一页，共八十一页，编辑于2023年，星期五§4.9从多元回归模型到一元回归模型：设定误差

我们通过两个模型的比较来考虑模型设定误差问题。

t=(-0.7248)(5.8457)r2=0.5325F=34.1723

p值=(0.4742)(0.0000)模型一：=-191.6662+10.4856X2i

Se=(264.4393)(1.7937)模型二：

p值=(0.0015)(0.0258)=807.9501+54.572X3i

t=(3.4962)(2.3455)r2=0.1549F=5.501762第六十二页，共八十一页，编辑于2023年，星期五=-1336.049+12.74X2i+85.764X3i

Se=(175.27)(0.91)(8.80)

t=(-7.62)(13.97)(9.74)

p值=(0.0000)(0.0000)(0.0000)R2=0.8906

模型三：63第六十三页，共八十一页，编辑于2023年，星期五我们会注意到几个不同的地方：模型一和模型二中的斜率系数与模型三不同。(2)三个模型中截距相差很大。(3)模型三中的R2也与前两个双变量模型中的r2明显不同。为什么会产生如上这些结果呢？64第六十四页，共八十一页，编辑于2023年，星期五

在模型三中，我们推导钟表年代（X2）对拍卖价格影响时，是在假设竞标人数（X3）是常数的条件下；在模型一中，我们只是简单的略去竞标人数（X3）这个变量。换句话说：在模型三中钟表年代（X2）对拍卖价格的影响是净影响或净效果；而在模型一中竞标人数（X3）的影响并未略去。所以，在模型一中的钟表年代（X2）系数反映了总效果——直接的钟表年代（X2）的效果与间接的竞标人数（X3）的效果。这两个模型的差异很好的反映了偏回归系数的“偏”的含义。65第六十五页，共八十一页，编辑于2023年，星期五

在前面我们已经讨论过了X2和X3无论是各自的，还是联合地都对中标价格有重要的影响，因此，我们在模型一和二中略去任何一个解释变量，都会导致(模型的)设定误差或设定偏差。

结论：在建立模型时，经济理论和实践经验都很重要，丢掉必要变量或加入无关变量都会导致设定误差。66第六十六页，共八十一页，编辑于2023年，星期五§4.10校正的判定系数

从上面三个模型的比较我们可以得到R2的一个重要性质：随着模型中解释变量个数的增多，R2值就越大。问题：若想更大比例的解释应变量的变动，是不是只需要不断地增加解释变量的个数就可以了？如果为了得到较高的R2，不断增加解释变量的个数，表面上模型的拟和程度较好，但可能导致模型设定误差。

注意：我们在R2的定义中没有考虑到自由度。（例子）67第六十七页，共八十一页，编辑于2023年，星期五

为了克服随解释变量个数增加而增加的缺点，再定义一个拟合优度的度量指标，它能根据模型中解释变量的个数进行调整，我们称为校正的判定系数：的实质：对增加的变量个数的惩罚。68第六十八页，共八十一页，编辑于2023年，星期五校正的判定系数有以下性质：（1）若k>1，则。即，随着模型中解释变量的增加，校正的判定系数越来越小于非校正的判定系数R2，这似乎是对增加变量的“惩罚”。（2）虽然非校正的判定系数R2总为正，但校正的判定系数可能为负。

校正判定系数可以使我们对应变量相同解释变量个数不同的两个回归模型作比较。69第六十九页，共八十一页，编辑于2023年，星期五§4.11什么时候增加新的解释变量

当增加变量使校正的判定系数值增加时，就可以增加解释变量。（只要增加的变量的系数的|t|值大于1，就会增加。）

但应注意，虽然增加解释变量使增加，也要判断其经济意义之后才能最后确定是否将其加入模型。

比较前面的三个模型。70第七十页，共八十一页，编辑于2023年，星期五71第七十一页，共八十一页，编辑于2023年，星期五§4.12受限最小二乘

将表4-4中的（1）式称为受限模型（restrictedmodel）——隐含假定钟表年代和竞标人数对中标价格没有影响。

将表4-4中的（4）式称为非受限模型（unrestrictedmodel）——包含了所有相关变量。