多元线性回归分析

多元线性回归分析多元线性回归分析

4.1多元线性回归模型设定4.2多元线性回归模型参数估计4.2.1回归系数估计4.2.2误差估计—残差4.2.3的分布4.3更多假设下OLS估计量性质4.4回归系数检验（t检验）4.5调整

、信息准则和变量选择

调整

4.5.2信息准则多元线性回归分析4.6回归模型检验（F检验）4.7用EViews7.2进行多元线性回归4.8假设条件的放松

4.7.1假设条件的放松（一）—非正态分布误差项4.7.2假设条件的放松（二）—异方差4.7.3假设条件的放松（三）—非随机抽样和序列

相关

4.7.4假设条件的放松（四）—内生性4.9自变量共线性

重要概念4.1

多元线性回归模型设定模型设定：假设1（零条件均值:zeroconditonalmean）

给定解释变量，误差项条件数学期望为0，即4.1

多元线性回归模型设定假设2（无共线性:nocolinearity）解释变量之间不存在线性关系。即不存在不全为零的一组数

使得

若不成立，称自变量间存在完全共线性（perfectcolinearity），此时参数不能被唯一估计。4.1

多元线性回归模型设定对于样本模型，从无共线性的假设得出解释变量样本值形成的向量之间线性无关。…假设2’（样本无共线性:nocolinearity）不存在不全为零的一组数

使得

4.2多元线性回归模型参数估计4.2.1回归系数估计4.2.2误差估计—残差4.2.3的分布4.2多元线性回归模型参数估计4.2.1回归系数估计类比原则得样本矩条件4.2多元线性回归模型参数估计4.2.1回归系数估计多元回归分析参数估计一般用矩阵表示，这里仅给出二元情况下用克莱姆法则解出的解。4.2多元线性回归模型参数估计回归系数估计结论结论1：

OLS估计的一致性如果回归模型误差项满足假设1和假设2，OLS估计

为一致估计，即结论2：

OLS估计的无偏性

如果回归模型误差项满足假设1和假设2，OLS估计

为无偏估计：4.2多元线性回归模型参数估计4.2.2误差估计—残差结论结论3：如果假设1和假设2满足，则回归残差是回归误差的一致估计：结论4：如果假设1和假设2满足，残差形成的向量和自变量样本值形成的向量正交。4.2多元线性回归模型参数估计4.2.3的分布结论5如果假设1和假设2满足，样本量

较大时，OLS估计

近似服从正态分布：其中4.3更多假设下OLS估计量性质假设3（同方差：homoskedasticity）给定解释变量，误差项条件方差为常数，即假设4（随机抽样:randomsample）样本

是随机抽样产生的，样本之间相互独立，模型误差项

之间相互独立。4.3更多假设下OLS估计量性质结论6如果假设1~假设4满足，则当样本量

较大时，OLS估计

近似服从结论5中的正态分布，方差计算公式为其中

为以

为因变量对其余解释变量进行多元线性回归的拟合优度。4.3更多假设下OLS估计量性质结论7如果假设1~假设4满足，统计量是误差项方差

的无偏和一致估计，即

为回归标准误，记为

。4.3更多假设下OLS估计量性质结论8如果假设1~假设4满足，样本量

较大时，如下统计量近似服从正态分布结论9如果假设1~假设4满足，OLS估计量

为最有效估计：在

的所有线性无偏估计中，

的方差最小。这称为OLS估计的马尔科夫性。4.3更多假设下OLS估计量性质假设5（正态分布:normaldistribution）给定解释变量，误差项

服从正态分布，

即

其中

4.3更多假设下OLS估计量性质结论10如果假设1~假设5满足，（1）

服从正态分布，

，

由上面公式给出；（2）

服从自由度为的t-分布其中

由上面公式给出，

。4.4

回归系数检验（

检验）检验的原假设和备选假设为：通常取显著水平或假设1~5都成立的情况下，统计量样本量较大时（n>35），0.05显著水平下双边检验临界值接近2，故常用t值是否大于2判断参数是否显著。4.5

调整

、信息准则和变量选择调整

4.5.2信息准则4.5

调整

、信息准则和变量选择调整

增加解释变量只会减少RSS的值（不受限的最小化总比受限的最小化来的小），从而增加值。用自由度来调整的定义关系：4.5

调整

、信息准则和变量选择4.5.2信息准则将模型自变量个数考虑在内的变量选择标准:AIC,SC,HQ

应用原则是使信息准则值最小的模型最好。（只对嵌套模型有用）

常用AIC和SC准则，SC准则对增加解释变量的惩罚更为严厉，因此得出的模型往往更简洁。

4.6

回归模型检验（

F检验）

拟合优度和信息准则均不严格，带有很多主观判断，因此要进行严格的模型检验。原假设：

至少一个不为0统计量：

4.6

回归模型检验（

F检验）

结论11

如果假设1~假设5满足，上述统计量服从第一自由度为k、第二自由度为（n－2）的F分布，即：实际中，上述F检验拒绝原假设并不意味一定有一个参数的t检验要拒绝原假设；反之，即使全部t检验都不拒绝原假设，上述F检验也不一定不拒绝原假设。

4.7用EViews7.2进行多元线性回归

步骤：与一元线性回归模型类似，先建立Excel数据文件，再将文件导入EViews用Genr按钮从原始数据生成回归模型中的变量按住Control键，选中回归模型中的变量，点击鼠标右键，在弹出菜单中点选Open→asGroup在数据表格界面点击菜单：Proc→MakeEquation，进入模型估计（EquationEstimation）对话框

4.7用EViews7.2进行多元线性回归

步骤：

模型设定窗口Equationspecification，默认OLS估计方法

4.7用EViews7.2进行多元线性回归

步骤：

输出结果

4.7用EViews7.2进行多元线性回归

步骤：

在输出结果界面点击顶端按钮Resids，将输出残差图同样可以在结果界面点击菜单Forecast，保存拟合值。

4.8假设条件的放松

4.8.1假设条件的放松（一）—非正态分

布误差项4.8.2假设条件的放松（二）—异方差4.8.3假设条件的放松（三）—非随机抽

样和序列相关4.8.4假设条件的放松（四）—内生性

4.8假设条件的放松

4.8.1假设条件的放松（一）—非正态分

布误差项去掉假设5不影响OLS估计的一致性、无偏性和渐近正态性。不能采用t-检验来进行参数的显著性检验，也不能用F检验进行整体模型检验。大样本情况下，t统计量往往服从标准正态分布（在原假设下）。

4.8假设条件的放松

4.8.2假设条件的放松（二）—异方差异方差检验原理

至少一个不为0

4.8假设条件的放松

4.8.3假设条件的放松（三）—非随机抽

样和序列相关序列相关不影响OLS估计的无偏性、一致性和渐近正态性标准误的计算要用HAC标准误用EViews检验序列相关

4.8假设条件的放松

4.8.4假设条件的放松（四）—内生性假设1’（外生性假设:exogenousindependentvariable）模型误差项和解释变量不相关0，即结论5’：如果假设1’和假设2满足，（1）OLS估计

是

的一致估计；（2）当样本量

较大时，

近似服从正态分布：

4.8假设条件的放松

4.8.4假设条件的放松（四）—内生性若假设1’都不能满足，则OLS失效，此时应当采用工具变量估计方法、面板数据估计方法等其他方法。4.9自变量共线性当假设2和假设2’不满足时，存在多重共线性（multicolinearity），模型无法估计。方差膨胀因子

一般认为，当时，与其他自变量存在严重共线性，需进行处理。4.9自变量共线性存在多重共线性时处理方法（1）增加样本量。（2）对变量实施变换。例如对取正值的变量取自然对数，采用增长率数据而不是原始数据等。（3）多重共线性只对有共线关系的自变量的回归系数OLS估计方差有影响，如果所关注的自变量不存在严重多重共线性，则不影响对问题的判断。重要概念3.多元线性回归的因变量总平方和，可以分解为回归平方和和残差平方和，由此可以定义拟合优度

。

会随自变量的增加而增加，以此为标准会使模型包含过多的对因变量没有解释能力的自变量。对

分子分母中的量用各自的