第三章多元回归分析估计

第三章多元回归分析：估计多元回归分析可以：更适合于“其他因素不变情况下”的分析可用于建立更好的因变量预测模型可用以引入相当一般化的函数关系如何假定扰动项与解释变量的关系？一般形式的含有两个自变量的模型：

使用多元回归的动因wage=

0

+1educ

+

2exper+uavgscore=

0

+1expend+

2avginc+uy=

0

+1

x1+2

x2

+u含有两个自变量的模型多元回归分析可用于函数形式的推广：

cons=

0

+1

inc+2

inc2

+u

1的解释，其他因素不变？其他因素不变时，边际消费倾向是多少？使用模型：

cons=

0

+a1inc+2(inc-A)

2

+u

如何解释参数a1？扰动项u与解释变量x1和x2关系的假定：但对于

关键假定通常写作：y=

0

+1

x1+2

x2

+uE(u|x1,x2)=0E(u|inc)=0cons=

0

+1

inc+2

inc2

+u

一般的多元线性回归模型：关键假定：

k个自变量的模型y=

0

+1

x1+2

x2+3

x3

+…+k

xk

+uE(u|x1,x2,…,xk

)=0两种思路：残差的平方和最小：矩条件：普通最小二乘法的操作和解释OLS估计E(u)=0E(xju)=0j=1,2,…,k

k+1个方程，求解k+1个未知数？存在唯一解的条件是什么？对OLS回归方程的解释

估计值具有偏效应或其他情况不变的解释：例如，保持x2、x3、…、xk

不变的情况下

为其他因素不变情况下，x1对y的边际影响。尽管不能在其他条件不变的情况下收集数据，但其提

供的系数可以做其他条件不变的解释。多元回归分析是我们能在非实验环境中进行自然科学

家在受控实验中所能做的事情：保持其他因素不变。多元回归中“保持其他因素不变”的含义同时改变不止一个自变量OLS的拟合值和残差

（1）残差和及样本均值都等于零

（2）每个回归元和残差的样本协方差为零（4）样本均值点总在OLS回归线上

（3）拟合值和残差的样本协方差为零对“排除其他变量影响”的解释对于模型：系数可以表示为：

为如下回归的残差：简单回归和多元回归估计值的比较考虑简单回归和二元回归的估计结果：和的简单关系：

是xi2对xi1简单回归的斜率系数。简单回归和多元回归系数相同的两种情况：含k个自变量的情形：和的简单关系：简单回归和多元回归系数相同的两种情况：都为0x1与其他自变量都不相关。拟合优度=+SST=SSE+SSR=R2过原点回归模型形式：

残差平方和最小：注意：可决系数（R2）可能为负如果真实情况下

0

0，使用过原点回归模型会导致

1的

估计量有偏且不一致。如果

0

=0，使用含截距项的回归模型，由于没有利用

0=0的信息，会有信息损失。多元线性回归（矩阵形式）总体回归模型

假设有k-1个解释变量x1，x2，…,xk，总体回归模型可以写作：yi=

0+

1xi1+

2xi2+…+

kx

ik+ui

该模型对于所有的样本都成立，即对于i＝1,2…n，该模型都成立，因而有：

模型的矩阵表示y=X+u

样本回归模型OLS估计于是有：β的最小二乘（OLS）估计量为：对于一元回归模型：OLS估计量的期望值假定1：关于参数线性

y=

0

+1

x1+2

x2+3

x3

+…+k

xk

+u假定2：随机抽样随机样本{(xi1,xi2,…xik,yi):i=1,2,…,n}，n为样本容量假定3：不存在完全共线性没有一个自变量是常数，自变量间不存在严格线性关系允许自变量之间存在相关关系，只是不能完全相关

avgscore=

0

+1expend+

2avginc+ucons=

0

+1inc+

2inc2

+u

几个完全共线性的例子：log(cons)=

0

+1log(inc)

+

2log(inc2)

+u

完全多重共线性通常是一种模型设定错误！！假定4：零条件均值

E(u|x1,x2,…,xk

)=0遗漏变量：

y

=b0+b1x1+b2x2+b3x3+u

E(u|x1,x2,x3)=0

y

=a0+a1x1+a2x2+u

E(u|x1,x2)=0

？

冗余变量

y

=b0+b1x1+b2x2+u

E(u|x1,x2)=0

y

=a0+a1x1+a2x2+a3x3+u

E(u|x1,x2,x3)=0？无偏性：

在假定1-假定4下，OLS估计量是总体参数的无偏估计量：假定5：同方差性Var(u|x1,…,xk

)=

2例子：wage=

0

+1educ+

2exper+

3tenure+u

同方差：Var(u|educ,exper,tenure)=

2

若方差随任一解释变量变化而变化，即为异方差。OLS估计量的方差Rj2是下面多元辅助回归模型的可决系数：

xj=

0+1x1+…+j-1xj-1+

j+1xj+1+…

kxk+w

OLS估计量的方差：

在假定1-假定5下，对于模型

y=

0

+1

x1+2

x2+3

x3

+…+k

xk

+uOLS估计量的方差为：估计

2：OLS估计量的标准误

2的估计量（无偏）：df=观测次数-估计参数的个数在假定1-假定5下，是

2的无偏估计量：高斯—马尔科夫定理：在假定1-假定5下，OLS估计量是最优线性无偏估计量（BLUE）。BestLinearUnbiasedEstimatorOLS的有效性：高斯—马尔科夫定理冗余变量与遗漏变量模型包含无关变量真实模型：y

=b0+b1x1+b2x2+uE(u|x1,x2)=0错误估计的模型：变量是x3冗余的，其真实系数为0E(u|x1,x2,x3)=0？OLS估计量具有无偏性和一致性吗？冗余变量（过度设定）过度设定下OLS估计量具有无偏性和一致性：由于多估计了冗余参数，估计量不具有有效性。遗漏变量（设定不足）

真实模型：

y

=

0+1x1+2x2+u

错误估计的模型：

x2对y的真实影响体现于系数

1，对式（2）进行回归分析时，只能得到OLS估计量。是否有：？（一致性）？（无偏性）正确设定的模型估计结果：和的简单关系：是x2对x1简单回归的斜率系数。以x1和x2为条件：

遗漏变量偏误：是x2对x1简单回归的斜率系数若x1和x2不相关，遗漏变量偏误为零，具有无偏和一致性。若x1和x2相关，偏误不为零，具体为：小时工资方程：偏误向上还是向下？小学生标准化考试分数：

avgscore=

0

+1expend+

2povrate+u若直接用avgscore对expend回归，可能高估还是低估？真实模型：

y

=

0+1x1+2x2+

3x3+u错误估计的模型：

注意：一个变量遗漏会导致其他所有变量系数估计量产生偏误即使x3和x2不相关，遗漏x3然会导致估计量有偏和不一致例如：

wage=

0

+1educ+

2exper+

3abil+u可以认为abil和exper不相关，但遗漏abil会导致

2估计

量产生偏误。遗漏变量（更一般情形）真实总体模型：

y

=

0+1x1+2x2+u考虑

1的两种估计量：若以偏误最小为标准，无论

2取何值

优于前者无偏一致后者在

2不为零时，有偏且不一致若考虑方差的差别，二者孰优孰劣？误设模型的方差当

2

0时，是有偏的，是无偏的，且当

2=0时，和都是无偏的，而且由第二种情况看出：

模型加入冗余变量的代价是，估计量方差增加。完全共线性：假定3不成立若x1与其他变量存在完全共线性，残差=？x1的系数

1不可估计！矩阵不满秩，不可逆。多重共线性完全共线性：假定3不成立

影响方差的因素误差方差

2xj的总样本变异，SSTj。随样本容量增加而减小！多重共线性多重共线性：

两个或多个自变量之间高度（但不完全）相关导致估计量方差变大！

xj与其他自变量相关程度越高，越接近1，方差越大。VIF为方差膨胀因子，VarianceInflationFactor多重共线性不违背假定3高斯—马尔科夫定理成立OLS估计量依然是无偏的和有