一元线性回归的最小二乘估计ppt课件

1、我们的义务是，我们的义务是， 在给定在给定X和和Y的一组观测值的一组观测值 (X1, Y1), (X2, Y2) , ., (Xn, Yn) 的情况下的情况下, 如何求出如何求出 Yt = + Xt + ut 中中 和和 的估计值的估计值,使得拟合的直线为最正确。使得拟合的直线为最正确。 一元线性回归的最小二乘估计一元线性回归的最小二乘估计 直观上看，也就是要求在直观上看，也就是要求在X和和Y的散点图上穿过各观测的散点图上穿过各观测点画出一条点画出一条“最正确直线，如以以下图所示。最正确直线，如以以下图所示。 * * * * * et * * * * * * * * * * * * YXXt

2、图图 2YX YtYtYtYYt 拟合的直线 称为拟合的回归线. 对于任何数据点 (Xt, Yt), 此直线将Yt 的总值 分成两部分。 第一部分是Yt的拟合值或预测值 ： , t=1,2,n 第二部分，et 代表观测点对于回归线的误差，称为拟合或预测的残差 residuals： t=1,2,n 即 t=1,2,nYXtYttXYtttXYetttYYe残差残差 我们的目的是使拟合出来的直线在某种我们的目的是使拟合出来的直线在某种意义上是最正确的，直观地看，也就是要求意义上是最正确的，直观地看，也就是要求估计直线尽可以地接近各观测点，这意味着估计直线尽可以地接近各观测点，这意味着应使各残差尽可

3、以地小。要做到这一点，就应使各残差尽可以地小。要做到这一点，就必需用某种方法将每个点相应的残差加在一必需用某种方法将每个点相应的残差加在一同，使其到达最小。理想的测度是残差平方同，使其到达最小。理想的测度是残差平方和，即和，即 22)(tttYYe 如何决议估计值 和 ? 残差平方和 最小二乘法就是选择一条直线，使其残差平方和最小二乘法就是选择一条直线，使其残差平方和到达最小值的方法。即选择到达最小值的方法。即选择 和和 ，使得，使得 到达最小值。到达最小值。222)()(tttttXYYYeS 运用微积分知识，使上式到达最小值的必要条件为： 即)2(0)(2) 1 (0)(1(20ttttt

4、XYXSXYSSS整理，得：整理，得：此二式称为正规方程。解此二方程，得：此二式称为正规方程。解此二方程，得：.其中：其中：离差离差) 4() 3(2ttttttXXYXXnY) 6() 5 ()()()(2222XYxyxXXnYXYXnXXYYXXtttttttttttt YYyXXxnXXnYYtttttt,样本均值样本均值估计量估计量5式和式和6式给出了式给出了OLS法计算法计算 和和 的的公式，公式， 和和 称为线性回归模型称为线性回归模型 Yt = + Xt + ut 的参数的参数 和和 的普通最小二乘估计量的普通最小二乘估计量 (OLS estimators。 这两个公式可用于恣

5、意一组观测值数据，以求这两个公式可用于恣意一组观测值数据，以求出截距和斜率的出截距和斜率的OLS估计值估计值estimates)，估计值，估计值是从一组详细观测值用公式计算出的数值。是从一组详细观测值用公式计算出的数值。 普通说来，好的估计量所产生的估计值将相当普通说来，好的估计量所产生的估计值将相当接近参数的真值，即好的估计值。可以证明，对接近参数的真值，即好的估计值。可以证明，对于于CLR模型，普通最小二乘估计量正是这样一个模型，普通最小二乘估计量正是这样一个好估计量。好估计量。 3 例子例子 例1 对于第一段中的消费函数，假设根据数据得到： n = 10 , =23, =20XY(),(

6、)()XXXX Y Y26437 那么有那么有iiiiiXYXYXXYYXX58. 070. 670. 623*58. 02058. 06437)()(2因此因此例例2 设设Y和和X的的5期观测值如下表所示，试估计方程期观测值如下表所示，试估计方程 Yt = + Xt + ut 序号序号 1 2 3 4 5 Yt 14 18 23 25 30 Xt 10 20 30 40 50 解：我们采用列表法计算。计算过程如下：解：我们采用列表法计算。计算过程如下：序号序号YtXtyt= Yt -xt=Xt-xt ytxt211410-8-2016040021820-4-10401003233010004

7、25403103010053050820160400n=5110150003901000Y YX XY YX Xy yx xx xy y2 2x x225110,305150nYYnXXtt3 .1030*39. 022*,39. 010003902XYxxy表表31Eviews创建义务文件，输入数据并进展回归：Create u 1 5data x yls y c x三三、 最小二乘法估计量的性质最小二乘法估计量的性质 1和和的均值的均值 2222)(tttttttttttxxYxYxxYYxxyx 0)(XnXnXXXXxttt 22)(tttttttxXxxYx =)(12ttttttxX

8、xxx =)(12tttttxXxx )(122tttttxxXxx )(122ttttxxx 2tttxx即 的无偏估计量。是这表明）假设（）假设（两边取期望值，有14)()(2tttxExE 由XY我们有： )() (XYEE =)(XXE =)()(EXEX =XX = 即是的无偏估计量。 2. 和的方差 V ar()=E-E()2 根据定义 =E(-)2 由无偏性 E()= 由上段结果：2tttxx 即 2tttxx 由于E(2t)=2, t=1,2,n 根据假设（3） E(ij)=0, ij 根据假设（2） 2222222) 0()(1)(titxxxE 即22)(txVar 与此类

9、似，可得出： 222) (ttxnXVar 22), (txXCov 对于满足统计假设条件(1)-(4)的线性回归模型 Yt = + Xt + ut , ，普通最小二乘估计量 ( OLS估计量) 是最正确线性无偏估计量BLUE。或 对于古典线性回归模型CLR模型Yt=+Xt ，普通最小二乘估计量OLS估计量是最正确线性无偏估计量BLUE。3. 高斯高斯-马尔柯夫定理马尔柯夫定理Gauss-Markov Theorem我们已在前面证明了无偏性，此外，由于：我们已在前面证明了无偏性，此外，由于： 由上段结果，由上段结果， =其中其中 这阐明，这阐明， 是诸样本观测值是诸样本观测值Ytt=1,2,n

10、的线性函数的线性函数,故故 是线性估计量。是线性估计量。 剩下的就是最正确性了，即剩下的就是最正确性了，即 的方差小于等于的方差小于等于的其的其他任何线性无偏估计量的方差，我们可以证明这一点，他任何线性无偏估计量的方差，我们可以证明这一点，但由于时间关系，从略。有兴趣的同窗请参见教科书但由于时间关系，从略。有兴趣的同窗请参见教科书P46-472tttxYxttYk2tttxxk我们在前面列出的假设条件我们在前面列出的假设条件5阐明，阐明， ut N( 0, 2 ) , t= 1, 2, .,n 即各期扰动项服从均值为即各期扰动项服从均值为0、方差为、方差为2的正态分布。的正态分布。思索到假设条件思索到假设条件4，即，即Xt为非随机量，那么由