普通最小二乘法PPT课件

1、第二讲 普通最小二乘法（教材第2章、第3章）第1页/共43页主要内容 一元回归模型的最小二乘（OLS）估计 多元回归模型的最小二乘（OLS）估计 回归方程的拟合：决定系数第2页/共43页引言 回归分析中的主要目的是根据样本回归函数（SRF）来估计总体回归函数（PRF），但是，由于抽样的波动，根据SRF估计出来的PRF充其量只是真实PRF的一个近似的结果。 能否设计一种规则或估计方法，使得这种近似结果的误差尽可能小？ 本讲将介绍一种最简单的估计方法普通最小二乘法（Ordinary Least Square，OLS）第3页/共43页一元回归模型的OLS估计 PRF： 是不可直接观测的，要通过SRF

2、： 去估计。 残差： 是实际值 与其估计值 之差。12iiiYXe12iiiYX=12iiiiieYYYXiYiY第4页/共43页普通最小二乘法（1）采用“残差和最小”确定直线位置？（2）采用“残差绝对值和最小”确定直线位置？（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。 et第5页/共43页一元回归模型的估计问题 最小二乘法采用残差平方和最小的准则：22201111()()nnniiiiiiiieYYYX2011(,)niief12iiix yx02YX()iixXX()iiyYY其中，怎样得到的？第6页/共43页22201120110120112m in0120 20 iiii

3、iiiiiiiiiiiiiiiiinnneYXeYXeYXXYXY XXXX YXYX 22022)() ()(iiiiiXYYiix yYXxXXXX最小二乘估计量的数学推导：正规方程第7页/共43页OLS估计量的性质 根据最小化残差平方和算出来的参数估计量叫做普通最小二乘（OLS）估计量。 样本回归线通过Y和X的样本均值 残差之和为0 OLS是“最优”的估计方法第8页/共43页一个例子：Eviews演示 收入消费问题（ data_2.1 ）：Y是消费，X是收入。01YX=回归方程：第9页/共43页第10页/共43页需要填入的变量第11页/共43页回归结果第12页/共43页回归曲线图第13页

4、/共43页思考题 影响一个家庭消费决策的仅仅是收入因素吗？ 除了身高，你认为还有哪些因素会影响一个人的体重？ 第14页/共43页多元回归模型的OLS估计 最简单的多元线性回归是三变量模型 三变量模型，即含有一个因变量和两个解释变量，其总体回归函数PRF为：01122iiiiYXX2iX表示什么意思？第15页/共43页多元线性回归的基本概念 多个自变量的回归模型 假定多元线性回归模型12233kkYXXX那么对被解释变量Y与解释变量X2，X3，Xk作了n次观测后，将所得的n组样本代入上式有 1122133111kkYXXX2122233222kkYXXX12233nnnkknnYXXX第16页/

5、共43页多元线性回归的基本概念 以矩阵形式表示，有12nYYYY2131111223222223111kknnknknXXXXXXXXX= X+nk第17页/共43页普通最小二乘估计 多元线性回归模型yX假定1： 0E为什么有这个假定？ 2var( )（未知）第18页/共43页普通最小二乘估计 普通最小二乘估计法（OLS）1、原理：残差平方和最小 () ()yXyXy yy XX yX X 乘出来是什么？怎样估计 ？ 第19页/共43页若矩阵 的逆存在，则上述方程有解X X 1()X XX y假定2：数据矩阵X列满秩，即矩阵 的逆存在。 X X 列满秩的隐含意思是各个自变量之间相互独立。 对求

6、导并令其等于0可得 X XX ykk满足什么条件，这个方程才有解？ 满足什么条件， 才可逆？ X X 列满秩的经济含义是什么？ 第20页/共43页思考题p 最小二乘估计量 是随机变量吗？为什么？p 判断一个估计量好坏的标准是什么？第21页/共43页普通最小二乘估计 普通最小二乘估计法（OLS）2、估计方法优劣的评判无偏性111()()()()X XX yX XXXX XX第22页/共43页1 ()EX XE X估计值的均值为若无偏，则有 |0EX假定3： 因在假定1之下有 |0cov, |cov, 00EXX EXXE X假定3是什么意思？ 第23页/共43页若有 则有 有效性1111var

7、()() ()() ()()EE X XXX X XX XX EX X X假定4： 2EI 21var ()X X可以证明这就是最小方差。 高斯马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量（BLUE）。 假定4是什么意思？ 第24页/共43页一致性：limp在有限样本情形中，经典回归模型假定数据X是固定变量，否则最小二乘估计量可能是有偏的。但在大样本情况下，即便X是随机的，只要X满足一些条件，最小二乘估计量将依概率收敛于真实值。1. X的每一列xk不退化。2. 随着样本量的增加，个体观测值变得不重要。3. X列满秩。第25页/共43页经典模型的基本假设经典回归模型的基本假

8、设：假定1： 0E假定2：数据矩阵X列满秩，即矩阵 的逆存在。 X X |0EX假定3： 假定4： 2EI 第26页/共43页普通最小二乘估计 普通最小二乘估计法（OLS）3最小二乘估计系数的特征 若一个多元回归中的变量是无关的，则多元回归的斜率 与在多个简单回归中的斜率相同。 回归超平面通过数据的均值点，回归拟合值的均值等于 实际值的均值。 第27页/共43页M：用它乘以任一向量y，都将产生y对x回归的残差向量。 注意两个特殊矩阵M和P P（射影矩阵，投影矩阵）：用它乘以任一向量y，都将产生y对x回归的最小二乘拟合值。 11()()eyXyX X XX yIX X XXyMy令拟合值 ，则有

9、 yXyyeIM yPy1()PX X XX第28页/共43页偏回归系数1122yXX1111122()()X XXyX1221221*1*222() ()()X M XX M yX XX y其中 ， 。 *212XM X*1yM y解释： 是X2对X1进行回归后的残差变量， 是y对X1进行回归后的残差变量。这个过程排除了或筛掉了的影响，所以叫偏回归系数。 *2X*y偏回归系数的解释：当其它变量相同（保持其他变量不变）时，特定变量对解释变量的边际影响（贡献）。 多元回归方程的妙用：加什么，去什么。第29页/共43页思考题 一个超市的老总准备根据销售经理的能力来确定其工资水平？他能实现吗？ 如果

10、某经理在春节期间卖出了大量的商品，他的能力真的很强吗？ 怎样才能解决超市老总的困扰呢？第30页/共43页一个例子：美国国防预算支出（data_2.2） 为了说明美国的经济实力对其国防预算的影响，现考虑如下模型:1223344ittttYXXX=其中Yt年度t的国防预算支出，10亿美元计X2t=年度t的GNP，10亿美元计X3t=年度t的军事销售，10亿美元计X4t=年度t的太空工业销售，10亿美元计在上述方程中，哪些是控制变量？ 第31页/共43页19621981年美国国防预算支出数据第32页/共43页第33页/共43页需要填入的变量点击第34页/共43页回归结果根据回归结果，你的结论是什么？

11、怎样选择控制变量？控制变量的选择：去什么，加什么。怎么算出来的？第35页/共43页思考题 既然OLS估计量是BLUE，那么是否采用OLS就能得到满意的结果呢？ 即便是最好的，也不是令人满意的。 针对一组给定的样本，怎样判断回归方程的拟合程度？第36页/共43页222回归方程的总体拟合度 从几何意义上看，拟合优度是指样本回归线对样本数据拟合得有多好。样本回归线样本点总平方和回归平方和残差平方和样本均值线一般情况下，不可能出现全部观测点都落在样本回归线上。显然若观测值离回归线近，则拟合程度好。 因此，一个直观的评判标准是：残差平方和在总平方和中所占的比例越小，则拟合得越好。e第37页/共43页拟合

12、优度判定系数（R2）：21RSSRTSS回归平方和总平方和2222222221TSS: ()ESS()()RSS TSS=ESS+RSSiiiiiiiiiyYYyYYYYeyxy总平方和回归平方和： =残差平方和：第38页/共43页拟合优度 可以证明当在回归方程中加入另一变量时，R2值不会下降。因此，考虑调整的（用自由度） R2 20()1(1)e e nKRy M yn 为什么要采用调整的R2 ？自由度：观测样本个数减去待估计系数的个数。第39页/共43页当增加一个变量时， 可能上升，也可能下降，甚至为负。上升还是下降依赖于新变量对回归拟合的贡献是否超过对损失一个额外自由度所作修正的补偿。 2R注意：通常采用横截面数据回归后得到的决定系数较小，而采用时间序列数据回归后得到的决定系数较大。调整的决定系数高并不意味着模型就是好的（p32 2.5）。第40页/共43页小结 普通最小二乘（