第2讲普通最小二乘法

1、H拔上i学密解;管of IVTaunaLgement mnd EeconomicscoriDmeirica第二讲普通最小二乘法（教材第2章、第3章）第二讲普通最小二乘法:一元回归模型的最小二乘(OLS)估计 :多元回归模型的最小二乘(OLS)估计 :回归方程的拟合：决定系数© School of Management and Economics, 2010第二讲普通最小二乘法回归分析中的主要目的是根据样本回归函数(SRF)来估计总体回归函数(PRF),但是,由于抽样的波动，根据SRF估计出来的PRF充其 量只是真实PRF的一个近似的结果。:能否设计一种规则或估计方法，使得这种近似结

2、果的误差尽可能小？:.本讲将介绍一种最简单的估计方法普通最小二乘法(Ordinary Least Square, OLS )二.:PRF:犷0 + 02«+q是不可直接观测的,AA要通过SRF: g =0|+02X,+©去估计。:残差：弓二z£二zAAx,是实际值乙与其估计值£之差。© School of Management and Economics, 2010第二讲普通最小二乘法(1)釆用“残差和最小” 确定直线位置？(2 )采用“残差绝对值和最小”确定直线位置?(3)最小二乘法的原则 是以“残差平方和最小” 确定直线位置。©

3、School of Management and Economics, 2010© School of Management and Economics, 2010最小二乘法采用残差平方和最小的准则:nnnX e：=艺（乙一£ ）2 =艺（逅B。一 A X, ）2Z=1i=li=l左弓2 = f皿二 y i=J其中，xz = （Xz-X）, y =（Z G© School of Management and Economics, 2010最小二乘估计量的数学推导:min Ze? = S(y z30 P X /)=&B&B=2为(匕& EX,

4、) =。=2艺(y心Axjx, = o正规方程/SK- =讥 Bo + BZXi lSrzXz = 3oSXz+ASX.2=£xx-艺 x 乏匕 2XX厂尢)3")nSX-(SX/)一为：S(X -X)2B° = yB强2-:根据最小化残差平方和算出来的参数估计量叫做 普通最小二乘(OLS)估计量。样本回归线通过Y和X的样本均值A残差之和为0AOLS是“最优"的估计方法© School of Management and Economics, 2010:收入-消费问题(data_2.1 ) : Y是消费，X是收入-obs170.0000080.

5、00000265.00000100.0000390.00000120.0000495.00000140.00005110.0000160.00006115.0000180.00007120.0000200.00008140.0000220.00009155.0000240.000010150.0000260.0000¥X回归方程：丫二00+电+£© School of Management and Economics, 2010E ViewsQui ckOpti ore Window KelpFile Edit Obj ect Vi ew Procx|Equati

6、on EstimationView | Proc | OlRange: 1Sample: 1之 resid翌 tabled0 xS ySpeci ficati on Opti需要填入的变量Equation speci fiDependvariable followed by list of regressors termz OR an explici t equation likeEstimation settings Method:S ampl e 1 10Least Squares QJLS and AEMAjI 确定 I取.消II Tiilc回归结果MEquation: UNTITLED

7、 Torkfile: TABLE3-2Un叵区M訥 Prm|Object| Print Name Freeze Estimate ForemtResidsDependent Variable: ¥Method: Least SquaresDate: 07Z25/D6 Time: 18:10Sample: 1 10Included observations: 10VariableCoefficientStd. Error t-StatisticProbc24 454556.4138173.8127910.0051X0.5090910.03574314 24317O.ODOOR-squa

8、red0.962062Mean dependent var111.0000Adjusted Rsquared0.957319SD.臼已卩endent var31.42893S.E. of regression6.493003Akaike info criterion6.756184Sum squared resid337.2727Schwarz criterion6.816701Log likelihood-31.78092F statistic202.8679Durbin-Wat son stat2.680127Prob(F-statistic)0.000001回归曲线图160第二讲普通最小

9、二乘法:影响一个家庭消费决策的仅仅是收入因素吗?:除了身高，你认为还有哪些因素会影响一个人的 体重？© School of Management and Economics, 2010第二讲普通最小二乘法二.:最简单的多元线性回归是三变量模型A三变量模型，即含有一个因变量和两个解释变量，其 总体回归函数PRF为：X?/表下什么意思?© School of Management and Economics, 2010第二讲普通最小二乘法假定多元线性回归模型Y胡+牡+肉3+仅笛+£那么对被解释变量丫与解释变量禺，冷 ，蜀作了 次观测后，将所得的组样本代入上式有Y=0严

10、卩丛八伙Xy七久丫2= 0 +02%22 +"3X32 0rXr2 +&2丫产吓呼加+03禺+負x曲»© School of Management and Economics, 2010第二讲普通最小二乘法© School of Management and Economics, 2010第二讲普通最小二乘法© School of Management and Economics, 2010第二讲普通最小二乘法© School of Management and Economics, 2010第二讲普通最小二乘法A以矩阵形式表

11、示，有© School of Management and Economics, 2010第二讲普通最小二乘法© School of Management and Economics, 2010第二讲普通最小二乘法1 X"1X22X32X"xkX«2£i© School of Management and Economics, 2010第二讲普通最小二乘法© School of Management and Economics, 2010第二讲普通最小二乘法:多元线性回归模型© School of Man

12、agement and Economics, 2010第二讲普通最小二乘法© School of Management and Economics, 2010第二讲普通最小二乘法假定 1： Es = 0 var(w) = cr2 (未知)參杆么韦这金假足?© School of Management and Economics, 2010:普通最小二乘估计法（OLS）1、原理：残差平方和最小| 洞=(y_X0)G_X0)一W乘出来是什么？丿< 丿怎髀估针0?kxk若矩阵对D求导并令其等于0可得X的逆存在，则上述方程有解n _ / yr1 f，满 杆么件假定2：数据矩阵

13、X列满秩，即矩阵XX的逆存在。/y = (XX) XyXX 才可盪 7列满秩的隐含意思是各个自变量之间相互独立。列满秩的霾晞舍丈是什么?第二讲普通最小二乘法最小二乘估计量B是随机变量吗？为什么?判断一个估计量好坏的标准是什么?© School of Management and Economics, 2010第二讲普通最小二乘法:普通最小二乘估计法（OLS）2、估计方法优劣的评判p = (XX)Txy = (XX)iXX0+£)= 0 + (XX)-iXE© School of Management and Economics, 2010估计值的均值为Ep=0 +

14、 (XX)T£X'刃若无偏,则有假定3是什么走息?假定3： EsX = O因在假定1之下有I X = 0 o covX,Es X= covX 违=0 o EXfs = 0/Xvar0 = E(0 0)(0 0)'= E(XX)JX 屍'X(XX)T若有= (XX)TXE££X(XX)J算可妇假定4是什么龙恳7var/ff = cr2(XX)1JT以证明这就是最小方差。高斯一马尔可夫定理：若前述假定条件成立， OLS估计量是最佳线性无偏估计量(BLUE)。A致性:p lim B =卩在有限样本情形中，经典回归模型假定数据X是固定变量，否则最小

15、二乘估计量可能是有偏 的。但在大样本情况下，即便X是随机的，只要X满足一些条件,最小二乘估计量将依概率 收敛于真实值。1.X的每一列也不退化。2随着样本量的增加，个体观测值变得不重要。3. X列满秩。第二讲普通最小二乘法经典回归模型的基本假设:假定 1： Es = 0假定2：数据矩阵X列满秩，即矩阵XX的逆存在。假定3： EsX = O假定4： EW = a2I:普通最小二乘估计法（OLS）3. 最小二乘估计系数的特征A回归超平面通过数据的均值点，回归拟合值的均值等于实际值的均值。A若一个多元回归中的变量是无关的，则多元回归的斜率 与在多个简单回归中的斜率相同。© School of

16、 Management and Economics, 2010注意两个特殊矩阵M和Pe=y-XB= (I-X(XrX)-iX,)y=MyM'用它乘以任一向量y,都将产生y对兀回归的残差向量。 令拟合值二Xp,则有y y U My = PyP = X(XX)1 X|=P (射影矩阵，投影矩阵)：用它乘以任一向量y, 都将产生y对兀回归的最小二乘拟合值。A=(X：X，X；(y X2&)A=(X；M/2 尸(X；M) = (X2 X2ylX2 y其中X；：= MiX2，y=Miyoy =A偏回归系数多元回归方程的妙用:加什么，去什么。 *解释：X；是£对X进行回归后的残差变

17、量,y是y对X进行 回归后购残差变量。这个过程排除了或筛掉了的影响， 所以叫偏回归系数。偏回归系数的解释：当其它变量相同（保持其他变量不变） 时，特定变量对解释变量的边际影响（贡献）。第二讲普通最小二乘法 一个超市的老总准备扌良据销售经理的能力来确定 其工资水平？他能实现吗？:如果某经理在春节期间卖出了大量的商品，他的 能力真的彳艮强吗？:怎样才能解决超市老总的困扰呢？为了说明美国的经济实力对其国防预算的影响, 现考虑如下模型：Yi=0+ 0择2( +03%引 +04乂4+6其中岭=年度t的国防预算支出，10亿美元计 禺尸年度啲GNP, 10亿美元计 禺产年度t的军事销售，10亿美元计E：X4

18、产年度t的太空工业销售，10亿美元计在上述方哪密足技制安量7© School of Management and Economics, 20101962 - 1981年美国国防预算支出数据1 1obs 1Y一IX2 1X3X42.3196251.10000560.30000.60000016.000004196352.30000590.50000.90000016.400005196453.60000632.40001.1000001B.700006196549.60000684.90001.40000017.000007196656.80000749.90001.60000020.

19、200008196770.1 DOOD793.90001.00000023.400009196880.50000865.00000.80000025.6000010196981.20000931.40001.50000024.6000011197080.30000992.70001.00000024.8000012197177.700001077.6001.50000021.7000013197278.300001185.9002.95000021.5000014197374.500001326.4004.80000024.3000015197477.800001434.20010.30000

20、2B.8000016197585.6D0DD1549.2D01B.0D0D029.5000017197689.400001718.000147000030.4000018197797.500001918.3008.30000033.30000191978105.20002163.90011.0000038.0000020197911770002417.80013.000004B.20000211980135.90002633.10015.3000057.60000221981162.10002937.70018.0000068.90000Fi1e Edi t ObJ e c t Vi ew P

21、y ocQizick0E.t i ons Window HelpTABLET-8 -View Pro匚 Obje匚上 Print Save Detail210®S QLinpl e .Gener- a.t e S ei" i es.SKgrw Gy SLphEmpty Garoxip CEd.it. Ser i esiS er-i_e s Stat i stiesGroup. Stati sties< >Untitlecl K Zew PageFi1e Edi t ObJ e c t Vi ew Py ocQizick0E.t i ons Window Help

22、Range: 19B2 1981Sample: 1962 1981 20 obs 20 obsE s t im a ta E qizat i otl.f Filter:c resid tableOlX2X3X4资< >Untitlecl K Zew Page需要填入的变量View I Proc I Object诃lenCresitablx2x3x4x5yRange: 1962 1981Sample: 1962 1981Squaras (NLS and ARMA)Sample 1962 1981Estimation EEttMethod：L5点击Y= 22. 77514195 + 0

23、.01670 控制变量的选择: 去什么，加什么。Dependent “怎祥礎律披制Sample: 1L _ . _ _ .Included observations: 20/VariableCoefficientStd Error怎么算出来的?cX2X3X422.77510.016703 -0.69G1741 .4677233.3116950.0070170.4539780.2776086.8771862.380261-1 .5334975.2870470.0i：ii：ii：i0.03010.144783.860000.971 088 Mean dependent var樽据®蚀穡皋，你的偌萤是什么？Log likelihood-by./b lr-statistic'I /y. iDurbin-Watson stat0.67B777Prob(F-statistic).因此，一个直观的评判标准是：残差平方和在总平方和中所占的比例越小，则拟合得越好。判定系数(R2):2二回归平方和_ RSS一总平方和一而V总平方和TSS:工州=工匕一门2回归平方和ESS:工售工(£ -汀二工(£