第2讲 普通最小二乘法

1、第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010第二讲第二讲 普通最小二乘法普通最小二乘法（教材第（教材第2 2章、第章、第3 3章）章）第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010主要内容主要内容v一元回归模型的最小二乘（一元回归模型的最小二乘（OLS）估计）估计v多元回归模型的最小二乘（多元回归模型的最小二乘（OL

2、S）估计）估计v回归方程的拟合：决定系数回归方程的拟合：决定系数第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010引言引言v回归分析中的主要目的是根据样本回归函数回归分析中的主要目的是根据样本回归函数（SRF）来估计总体回归函数（）来估计总体回归函数（PRF），但是，），但是，由于抽样的波动，根据由于抽样的波动，根据SRF估计出来的估计出来的PRF充其充其量只是真实量只是真实PRF的一个近似的结果。的一个近似的结果。v能否设计一种规则或估计方法，使得这种近似结能否设计一种规则或估计方法，使得这种近似结果的误差尽可能小？果

3、的误差尽可能小？v本讲将介绍一种最简单的估计方法本讲将介绍一种最简单的估计方法普通最小普通最小二乘法（二乘法（Ordinary Least Square，OLS）第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010一一元回归模型的元回归模型的OLS估计估计vPRF： 是不可直接观测的，是不可直接观测的，要通过要通过SRF： 去估计。去估计。v残差：残差： 是实际值是实际值 与其估计值与其估计值 之差。之差。12iiiYXe12iiiYX=12iiiiieYYYXiYiY第二讲第二讲 普通最小二乘法普通最小二乘法 Schoo

4、l of Management and Economics, 2010普通最小二乘法普通最小二乘法（1 1）采用）采用“残差和最小残差和最小”确定直线位置？确定直线位置？（2 2）采用）采用“残差绝对值残差绝对值和最小和最小”确定直线位置？确定直线位置？（3 3）最小二乘法最小二乘法的原则的原则是以是以“残差平方和最小残差平方和最小”确定直线位置。确定直线位置。 et第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010一元回归模型的估计问题一元回归模型的估计问题v最小二乘法采用残差平方和最小的准则：最小二乘法采用残差平方和

5、最小的准则：22201111()()nnniiiiiiiieYYYX2011(,)niief12iiix yx02YX()iixXX()iiyYY其中，其中，怎样得到的？怎样得到的？22201120110120112m in0120 20 iiiiiiiiiiiiiiiiiiiiinnneYXeYXeYXXYXY XXXX YXYX 22022)() ()(iiiiiXYYiix yYXxXXXX最小二乘估计量的数学推导：最小二乘估计量的数学推导：正规方程正规方程第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010OLSO

6、LS估计量的性质估计量的性质v根据最小化残差平方和算出来的参数估计量叫做根据最小化残差平方和算出来的参数估计量叫做普通最小二乘（普通最小二乘（OLS）估计量。估计量。样本回归线通过样本回归线通过Y和和X的样本均值的样本均值残差之和为残差之和为0OLS是是“最优最优”的估计方法的估计方法第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010一个例子：一个例子：Eviews演示演示v收入消费问题（收入消费问题（ data_2.1 ）：）：Y是消费，是消费，X是是收入。收入。01YX=回归方程：回归方程：需要填入的变量需要填入的变

7、量回归结果回归结果回归曲线图回归曲线图第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010思考题思考题v影响一个家庭消费决策的仅仅是收入因素吗？影响一个家庭消费决策的仅仅是收入因素吗？v除了身高，你认为还有哪些因素会影响一个人的除了身高，你认为还有哪些因素会影响一个人的体重？体重？v第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010多元回归模型的多元回归模型的OLS估计估计v最简单的多元线性回归是三变量模型最简单的多元线性回归是三变量模型三变量模型，

8、即含有一个因变量和两个解释变量，其三变量模型，即含有一个因变量和两个解释变量，其总体回归函数总体回归函数PRF为：为：01122iiiiYXX2iX表示什么意思？表示什么意思？第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010多元线性回归的基本概念多元线性回归的基本概念v多个自变量的回归模型多个自变量的回归模型假定多元线性回归模型假定多元线性回归模型12233kkYXXX那么对被解释变量那么对被解释变量Y与解释变量与解释变量X2 2，X3，Xk作了作了n次观测后，将所得的次观测后，将所得的n组样本代入上式有组样本代入上式

9、有 1122133111kkYXXX2122233222kkYXXX12233nnnkknnYXXX第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010多元线性回归的基本概念多元线性回归的基本概念以矩阵形式表示，有以矩阵形式表示，有12nYYYY2131111223222223111kknnknknXXXXXXXXX= X+nk第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010普通最小二乘估计普通最小二乘估计v多元线性回归模型多元线性回归模型yX假定

10、假定1： 0E为什么有这个假定？为什么有这个假定？ 2var( )（未知）（未知）第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010普通最小二乘估计普通最小二乘估计v普通最小二乘估计法（普通最小二乘估计法（OLS）1、原理：残差平方和最小、原理：残差平方和最小 () ()yXyXy yy XX yX X 乘出来是乘出来是什么？什么？怎样估计怎样估计 ？ 若矩阵若矩阵 的逆存在，则上述方程有解的逆存在，则上述方程有解X X 1()X XX y假定假定2：数据矩阵数据矩阵X列满秩，即矩阵列满秩，即矩阵 的逆存在。的逆存在。

11、X X 列满秩的隐含意思是各个自变量之间相互独立。列满秩的隐含意思是各个自变量之间相互独立。 对对求导并令其等于求导并令其等于0可得可得 X XX ykk满足什么条件，这满足什么条件，这个方程才有解？个方程才有解？ 满足什么条件，满足什么条件， 才可逆？才可逆？ X X 列满秩的经济含义是什么？列满秩的经济含义是什么？ 第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010思考题思考题p 最小二乘估计量最小二乘估计量 是随机变量吗？为什么？是随机变量吗？为什么？p 判断一个估计量好坏的标准是什么？判断一个估计量好坏的标准是什

12、么？第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010普通最小二乘估计普通最小二乘估计v普通最小二乘估计法（普通最小二乘估计法（OLS）2、估计方法优劣的评判、估计方法优劣的评判无偏性无偏性111()()()()X XX yX XXXX XX1 ()EX XE X估计值的均值为估计值的均值为若无偏，则有若无偏，则有 |0EX假定假定3： 因在假定因在假定1之下有之下有 |0cov, |cov, 00EXX EXXE X假定假定3是什么意思？是什么意思？ 若有若有 则有则有 有效性有效性1111var ()() ()()

13、()()EE X XXX X XX XX EX X X假定假定4： 2EI 21var ()X X可以证明这就是最小方差。可以证明这就是最小方差。 高斯高斯马尔可夫定理：马尔可夫定理：若前述假定条件成立，若前述假定条件成立，OLS估计量是估计量是最佳线性无偏估计量（最佳线性无偏估计量（BLUEBLUE）。 假定假定4是什么意思？是什么意思？ 一致性：一致性：limp在有限样本情形中，经典回归模型假定数据在有限样本情形中，经典回归模型假定数据X是是固定变量，否则最小二乘估计量可能是有偏的。固定变量，否则最小二乘估计量可能是有偏的。但在大样本情况下，即便但在大样本情况下，即便X是随机的，只要是随机

14、的，只要X满满足一些条件，最小二乘估计量将依概率收敛于足一些条件，最小二乘估计量将依概率收敛于真实值。真实值。1. X的每一列的每一列xk不退化。不退化。2. 随着样本量的增加，个体观测值变得不重要。随着样本量的增加，个体观测值变得不重要。3. X列满秩。列满秩。第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010经典模型的基本假设经典模型的基本假设经典回归模型的基本假设：经典回归模型的基本假设：假定假定1： 0E假定假定2：数据矩阵数据矩阵X列满秩，即矩阵列满秩，即矩阵 的逆存在。的逆存在。 X X |0EX假定假定3：

15、 假定假定4： 2EI 第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010普通最小二乘估计普通最小二乘估计v普通最小二乘估计法（普通最小二乘估计法（OLS）3最小二乘估计系数的特征最小二乘估计系数的特征 若一个多元回归中的变量是无关的，则多元回归的斜率若一个多元回归中的变量是无关的，则多元回归的斜率 与在多个简单回归中的斜率相同。与在多个简单回归中的斜率相同。 回归超平面通过数据的均值点，回归拟合值的均值等于回归超平面通过数据的均值点，回归拟合值的均值等于 实际值的均值。实际值的均值。 M：用它乘以任一向量：用它乘以任一

16、向量y，都将产生，都将产生y对对x回归的残差向量。回归的残差向量。 注意两个特殊矩阵注意两个特殊矩阵M和和P P（射影矩阵，投影矩阵）：用它乘以任一向量（射影矩阵，投影矩阵）：用它乘以任一向量y，都将产生都将产生y对对x回归的最小二乘拟合值。回归的最小二乘拟合值。 11()()eyXyX X XX yIX X XXyMy令拟合值令拟合值 ，则有，则有 yXyyeIM yPy1()PX X XX偏回归系数偏回归系数1122yXX1111122()()X XXyX1221221*1*222() ()()X M XX M yX XX y其中其中 ， 。 *212XM X*1yM y解释：解释： 是是

17、X2对对X1进行回归后的残差变量，进行回归后的残差变量， 是是y对对X1进行进行回归后的残差变量。回归后的残差变量。这个过程排除了或筛掉了的影响，这个过程排除了或筛掉了的影响，所以叫偏回归系数。所以叫偏回归系数。 *2X*y偏回归系数的解释：偏回归系数的解释：当其它变量相同（保持其他变量不变）当其它变量相同（保持其他变量不变）时，特定变量对解释变量的边际影响（贡献）。时，特定变量对解释变量的边际影响（贡献）。 多元回归方程的妙用：多元回归方程的妙用：加什么，去什么。加什么，去什么。第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics,

18、 2010思考题思考题v一个超市的老总准备根据销售经理的能力来确定一个超市的老总准备根据销售经理的能力来确定其工资水平？他能实现吗？其工资水平？他能实现吗？v如果某经理在春节期间卖出了大量的商品，他的如果某经理在春节期间卖出了大量的商品，他的能力真的很强吗？能力真的很强吗？v怎样才能解决超市老总的困扰呢？怎样才能解决超市老总的困扰呢？第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010一个例子：美国国防预算支出（一个例子：美国国防预算支出（data_2.2） 为了说明美国的为了说明美国的经济实力对其国防预算经济实力对其国防

19、预算的影响，的影响，现考虑如下模型现考虑如下模型:1223344ittttYXXX=其中其中Yt年度年度t的国防预算支出，的国防预算支出，10亿美元计亿美元计X2t=年度年度t的的GNP，10亿美元计亿美元计X3t=年度年度t的军事销售，的军事销售，10亿美元计亿美元计X4t=年度年度t的太空工业销售，的太空工业销售，10亿美元计亿美元计在上述方程中，哪些是控制变量？在上述方程中，哪些是控制变量？ 19621981年美国国防预算支出数据年美国国防预算支出数据需要填入的变量需要填入的变量点击点击回归结果回归结果根据回归结果，你的结论是什么？根据回归结果，你的结论是什么？怎样选择控制变量？怎样选择

20、控制变量？控制变量的选择：控制变量的选择：去什么，加什么。去什么，加什么。怎么算出来的？怎么算出来的？第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010思考题思考题v既然既然OLS估计量是估计量是BLUE，那么是否采用，那么是否采用OLS就就能得到满意的结果呢？能得到满意的结果呢？v即便是最好的，也不是令人满意的。即便是最好的，也不是令人满意的。v针对一组给定的样本，怎样判断回归方程的拟合针对一组给定的样本，怎样判断回归方程的拟合程度？程度？第二讲第二讲 普通最小二乘法普通最小二乘法 School of Manageme

21、nt and Economics, 2010222回归方程的总体拟合度回归方程的总体拟合度v从几何意义上看，拟合优度是指样本回归线对样从几何意义上看，拟合优度是指样本回归线对样本数据拟合得有多好。本数据拟合得有多好。样本回样本回归线归线样本点样本点总平方总平方和和回归平方和回归平方和残差残差平方平方和和样本均值线样本均值线一般情况下，不可能出现全部观测点都落在样本回一般情况下，不可能出现全部观测点都落在样本回归线上。显然若观测值离回归线近，则拟合程度好。归线上。显然若观测值离回归线近，则拟合程度好。 因此，一个直观的评判标准是：残差平方和在总平因此，一个直观的评判标准是：残差平方和在总平方和中

22、所占的比例越小，则拟合得越好。方和中所占的比例越小，则拟合得越好。e第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010拟合优度拟合优度判定系数（判定系数（R2）：）：21RSSRTSS回归平方和总平方和2222222221TSS: ()ESS()()RSS TSS=ESS+RSSiiiiiiiiiyYYyYYYYeyxy总平方和回归平方和： =残差平方和：第二讲第二讲 普通最小二乘法普通最小二乘法 School of Management and Economics, 2010拟合优度拟合优度 可以证明当在回归方程中加入另一变量时，可以证明当在回归方程中加入另一变量时，R2值不会下降。值不会下降。因此，考虑调整的（用自由度）因此，考虑调整的（用自由度） R2 20()1(1)e e nKRy M yn 为什么要采用调整的为什么要采用调整的R2 ？自由度：观测样本个数减去待估计系数的个数。自由度：观测样本个数减去待估计系数的个数。当增加一个变量时，当增加一个变量时， 可能上升，也可能下降，甚至为负。可能上升，也可能下降，甚至为负。上升还是下降依赖于新