第四讲多元线性回归模型.ppt

1、,计量经济学理论,主讲教师：孙植华,第四讲 多元线性回归模型,知识体系,一、回归模型 二、参数估计（ ） 三、统计检验（ ） 四、模型应用（ ）,一、回归模型,知识体系 （一）多元线性回归模型的一般形式（ ） （二）多元线性回归模型的矩阵形式,（一）一般形式,表4-1 多元线性回归模型的一般形式,（一）一般形式,Note: 多元回归分析是以多个解释变量的固定值为条件的，反映了各解释变量X的值固定时，被解释变量Y的平均响应。 偏回归系数 表示在其它解释变量保持不变的条件下， 每变化1个单位时，Y的均值变化。,（二）矩阵形式,（二）矩阵形式,二、参数估计,知识体系 （一）基本假定 （二）普通最小二

2、乘法（ ） （三）OLS估计量的统计性质（ ） （四）*OLS回归线的性质 （五）OLS估计量的区间估计（ ） （六）样本容量问题,（一）基本假定,知识体系 1、经典假定（高斯假定） 2、暗含假定 3、 的分布性质,（一）基本假定,1、经典假定,（1）解释变量 是确定性变量，且各个解释变量之间不存在线性关系。即：,（一）基本假定,（2）随机干扰项 具有零均值、同方差和不序 列相关性，即：,（一）基本假定,1、经典假定,（一）基本假定,1、经典假定,（一）基本假定,1、经典假定,（一）基本假定,1、经典假定,（3）随机干扰项 与解释变量 不相关，即:,（一）基本假定,1、经典假定,（4）随机干扰

3、项 服从零均值，同方差，零 协方差的正态分布，即：,Note: 中心极限定理 相互独立的随机变量序列X1，, Xn的均值和方差分别为 ，则随机变量 渐近服从正态分布 。,（一）基本假定,2、暗含假定,（5）当样本容量趋于无穷时，各解释变量X的 样本方差趋于有限常数，即 的取值 要有变异性，不能单调上升或下降：,（,（6）模型没有设定偏误（specification error） （7）观测次数大于待估参数的个数 ,即,（一）基本假定,2、暗含假定,Note： 回归模型中存在随机干扰项 ，使被解释变量 成为随机变量。因此，只有对随机干扰项作出假定，才能确定被解释变量的分布，从而才能进行参数估计和

4、假设检验，这也是应用普通最小二乘法的前提条件。,3、 的分布性质,（一）基本假定,（二）普通最小二乘法,知识体系 1、OLS的基本思想 2、最小二乘估计 3、样本回归函数的离差形式,（二）普通最小二乘法,1、OLS的基本思想,已知样本观测值 ，若使样本回归线 尽可能好地拟合这些观测点的分布规律，则必须满足所有样本观测点 到样本回归线的距离之和最小，即:,（二）普通最小二乘法,2、最小二乘估计（Ordinary least squares, OLS）,（1）微分求最值,2、最小二乘估计,（二）普通最小二乘法,（2）转化为矩阵形式,。,（二）普通最小二乘法,2、最小二乘估计,（二）普通最小二乘法,

5、2、最小二乘估计,（2）转化为矩阵形式,3、样本回归函数的离差形式,（二）普通最小二乘法,（1）一般离差形式,（2）矩阵离差形式,（二）普通最小二乘法,3、样本回归函数的离差形式,（1）离差形式的OLS估计,（二）普通最小二乘法,3、样本回归函数的离差形式,（1）离差形式的OLS估计,（二）普通最小二乘法,3、样本回归函数的离差形式,（1）离差形式的OLS估计,（二）普通最小二乘法,3、样本回归函数的离差形式,（三）OLS估计量的统计性质,知识体系 1、线性性 2、无偏性 3、有效性,（三）OLS估计量的统计性质,1、线性性,2、无偏性,（三）OLS估计量的统计性质,3、有效性,（三）OLS估

6、计量的统计性质,3、有效性,3、有效性,（三）OLS估计量的统计性质,（三）OLS估计量的统计性质,3、有效性,3、有效性,（三）OLS估计量的统计性质,知识体系 1、OLS回归线通过样本均值点 2、残差的和为零，而残差的平方和最小 3、解释变量与残差的乘积之和为零 4、被解释变量的估计与残差的乘积之和为零 5、估计值 的均值等于实际观测值 的均值,（四）OLS回归线的性质,（四）OLS回归线的性质,1、OLS回归线通过样本均值点,2、残差的和为零，而残差的平方和最小,3、解释变量与残差的乘积之和为零,5、估计值 的均值等于实际观测值 的均值,（四）OLS回归线的性质,4、被解释变量的估计与残

7、差的乘积之和为零,（五）OLS估计量的区间估计,知识体系 1、OLS估计量的分布 2、OLS估计量的区间估计,（五）OLS估计量的区间估计,1、OLS估计量的分布,（1） 方差 已知,（五）OLS估计量的区间估计,1、OLS估计量的分布,（2） 方差 未知, 小结,2、OLS估计量的区间估计,（五）OLS估计量的区间估计,（1） 构造枢轴变量,（2） 构造概率为 的事件,（3） 反解不等式，得到 的置信区间,（六）样本容量问题,1、最小样本容量,2、基本样本容量,三、统计检验（ ）,知识体系 （一）拟合优度检验（R2检验） （二）方程显著性检验（F检验） （三）变量显著性检验（T检验）,（一）

8、拟合优度检验,知识体系 1、总离差的分解 2、可决系数R2（ ） 3、调整的可决系数 （ ） 4、可决系数与调整可决系数的关系（ ） 5*、赤池信息准则和施瓦茨准则,（一）拟合优度检验,1、总离差分解,（一）拟合优度检验,1、总离差分解,（一）拟合优度检验,1、总离差分解,（1）总离差平方和（Total Sum of Square，TSS）,（2）回归平方和（Explained Sum of Square，ESS）,（3）残差平方和（Residual Sum of Square，RSS）,2、可决系数R2拟合优度的指标,（一）拟合优度检验,回归平方和ESS占总离差平方和TSS的比重。,（1）可

9、决系数R2,（2）作用,可决系数越大，说明解释变量联合起来解释了的那部分离差占总离差的比重越大，模型对样本观测值拟合程度越好，即模型的解释能力越强。,（一）拟合优度检验,3、调整的可决系数 消去自由度的R2,（1）调整的可决系数,（2）作用,用来判断新增的解释变量是否应保留到模型中。若新增的解释变量对被解释变量没有解释能力，RSS将基本保持不变，从而导致模型调整的可决系数必然变小，则应剔除该新增的解释变量。反之，则应保留新增的解释变量。,（1）联系,4、可决系数与调整可决系数的关系,（一）拟合优度检验,（2）区别,在多元线性回归模型中，可决系数只说明所有解释变量对被解释变量的联合影响程度，并不

10、说明模型中每个解释变量的影响程度； 调整的可决系数是消去自由度的可决系数，能说明新增的解释变量是否对被解释变量有解释能力。,（一）拟合优度检验,5*、赤池信息准则和施瓦茨准则,（1）赤池信息准则（Akaike information criterion ，AIC ）,（2）施瓦茨准则（Schwarz criterion ，SC ）,（3）作用,若新增的解释变量对被解释变量没有解释能力，RSS将基本保持不变，从而导致AIC和SC必然变大，则应剔除该新增的解释变量。反之，则应保留新增的解释变量。, 新增解释变量的判断准则,若新增的解释变量导致模型的AIC和SC，而 ， 则应剔除该新增的解释变量。反

11、之，则应保留该新增的解释变量。 若新增的解释变量导致模型中各个变量的t值，且部分变量通不过t检验，则应剔除该新增的解释变量。反之，则保留该新增的解释变量。 从经济学理论上说，若新增的解释变量对被解释变量有显著影响，则即使出现了上述情况，也应保留该变量，而考虑剔除其它解释变量。,（二）方程显著性检验,知识体系 1、自由度df（ ） 2、构造F统计量（ ） 3、F检验的步骤（ ） 4、,（二）方程显著性检验,1、自由度df,（1）判断准则,统计量的df，取决于样本容量n与引入的独立统计量个数k之差； 抽样分布的df，取决于构造抽样分布的统计量中自由度最小的统计量。 回归模型的df，取决于模型中能够

12、自由取值的变量个数。,表4-2 多元线性回归模型的df,Note：在回归模型中， 看作常数，而在回归函数中，却看作随机变量。,2、构造F统计量,（二）方程显著性检验,3、F检验的步骤,（二）方程显著性检验,（1）分析问题，提出假设,（2）确定检验的统计量,（3）构造小概率事件,3、F检验的步骤,（二）方程显著性检验,（4）计算检验统计量，判断其落入的区域,4、,（二）方程显著性检验,（1）区别,拟合优度检验是从已经得到的估计模型出发，检验它对样本观测值的拟合程度；F检验是从样本观测值出发检验模型的总体线性关系是否显著成立。 拟合优度检验只提供了模型拟合优度的度量，而未提供模型是否通过检验的明确

13、界限；F检验在给定显著性水平下，给出模型总体线性关系是否显著成立的结论。,4、,（二）方程显著性检验,（2）联系,4、,（二）方程显著性检验,（2）联系,（三）变量显著性检验,知识体系 1、构造T统计量（ ） 2、T检验的步骤（ ） 3*、F检验和T检验的关系（ ）,（三）变量显著性检验,1、构造T统计量,2、T检验的步骤,（三）变量显著性检验,（1）分析问题，提出假设,（2）确定检验的统计量,（3）构造小概率事件,2、T检验的步骤,（三）变量显著性检验,（4）计算检验统计量，判断其落入的区域,（三）变量显著性检验,3*、T检验与F检验的关系,（1）区别,F检验是针对所有解释变量对被解释变量的

14、联合影响是否显著所作的检验；而t检验是针对单个解释变量对被解释变量的影响是否显著所作的检验。 在多元线性回归模型中，F检验和t检验都必须进行，不能相互替代。因为单个解释变量对被解释变量的影响都显著，不代表所有解释变量对被解释变量的联合影响显著；反之亦然。,（三）变量显著性检验,3*、T检验与F检验的关系,（2）联系,四、模型应用（ ）,知识体系 （一）点预测 （二）区间预测,（一）点预测,知识体系 1、Y的条件均值 的点预测 2、Y的个别值 的点预测,（一）点预测,基本思想 利用样本回归函数 ，用解释变量的已知值或预测值 ，对预测期或样本以外的被解释变量数值做出定量的估计。,Note: （1）模型设定的关系式不变； （2）所估计的参数值不变； （3）解释变量在预测期的取值已给定为 。,（一）点预测,1、Y的条件均值 的点预测,（一）点预测,2、 Y的个别值 的点预测,（二）区间预测,知识体系 1、Y的条件均值 的区间预测 2、Y的个别值 的区间预测,（二）区间预测,1、Y的条件均值 的区间预测,基本思想,（二）区间预测,（1）构造枢轴变量,1、Y的条件均值 的区间预测,（二）区间预测,（1）构造枢轴变量,1、Y的条件均