加权最小二乘法.ppt

1,加权最小二乘法,1、参数OLS估计的方差增大 2、t检验失效，不能拒绝H0的可能性增大， 常常犯纳伪错误 3、降低预测精度,2,1、异方差参数OLS估计的方差增大,3,4,2、t检验失效,5,3、降低预测精度,由于异方差存在，参数的OLS估计的方差增大，参数OLS估计值的变异程度增大，从而造成Y的预测误差增大，降低了预测的精度。,6,第四节异方差的解决方法,1。补救异方差的基本思路 2。模型变换法 3。加权最小二乘法 4。“一般解决法数据变换”,7,1。补救异方差的基本思路,（1）变异方差为同方差 （2）尽量缓解方差变异的程度 以补救异方差造成的严重后果 严重后果： （A）不再具有最小方差 （B）参数的显著性检验失效 （C）预测精度降低,8,2。模型变换法,（1）模型变换法的定义 （2）模型变换法的关键 （3）模型变换法的变换过程 （4）实际处理异方差时，f(xi)的常用形式 （5）常用变换举例 （6）利用EViews作模型变换,9,（1）模型变换法的定义,模型变换法是对存在异方差的总体回归模型作适当的代数变换，使之成为满足同方差假定的模型，然后就可以运用OLS方法估计参数了。,10,（2）模型变换法的关键,模型变换法的关键是事先对异方差 2i = 2 f( xi )的形式有一个合理的假设。 怎样才能提出合理的假设呢？ （1）通过对具体经济问题的经验分析 （2）通过上述格里奇检验、帕克检验结果所提供的信息加以确定,11,（3）模型变换法的变换过程,12,（4）实际处理异方差，f(xi)的常用形式,13,（5）常用变换举例1,14,（5）常用变换举例2,15,（5）常用变换举例3,16,（6）利用EViews作模型变换,以模型变换2为例 GENR Y1=Y/SQR（X） GENR X1=1/SQR（X） GENR X2=X/SQR（X） LS Y1 C X1 X2,17,3。加权最小二乘法,（1）加权最小二乘法的思路 （2）加权最小二乘法的机理 （3）加权最小二乘法的定义 （4）OLS是加权最小二乘法的特例 （5）加权最小二乘法与模型变换法所得结果是一致 （6）在EViews中实现加权最小二乘法,18,（1）加权最小二乘法的思路,根据误差最小建立起来的OLS法，同方差下，将各个样本点提供的残差一视同仁是符合情理的。各个ei提供信息的重要程度是一致的。但在异方差下，离散程度大的ei对应的回归直线的位置很不精确，拟合直线时理应不太重视它们提供的信息。即Xi对应的ei偏离大的所提供的信息贡献应打折扣，而偏离小的所提供的信息贡献则应于重视。因此采用权数对残差提供的信息的重要程度作一番校正，以提高估计精度。这就是WLS（加权最小二乘法）的思路。,19,（2）加权最小二乘法的机理,以递增型为例。设权术WI与异方差的变异趋势相反。Wi=1/2i。Wi使异方差经受了“压缩”和“扩张”变为同方差。,20,（3）加权最小二乘法的定义,21,（4）OLS是加权最小二乘法的特例,显然，当满足同方差假定时， w1 = w2 = = wn = 1/2 = 常数 即权数相等且等于常数，加权最小二乘法，就是OLS法。,22,（5）加权最小二乘法与 模型变换法所得结果是一致,1、请同学们利用案例1的材料自行验证 2、请同学们从数学解析上给予推证,23,（6）在EViews中实现 加权最小二乘法,假定以序列XH为权术，在EViews中，可以在LS命令中使用加权处理方式来完成加权的最小二乘法估计： LS （W=XH） Y C X,24,25,26,4。“一般解决法”,在计量经济学实践中，计量经济学家偏爱使用对数变换解决问题，往往一开始就把数据化为对数形式，再用对数形式数据来构成模型，进行回归估计与分析。 这主要是因为对数形式可以减少异方差和自相关的程度。,27,对数变换的效果减少差异,28,案例1居民储蓄模型估计,1。问题的提出 2。原始数据 3。异方差检验 4。异方差模型的估计 加权LS法和模型变换法,29,1。问题的提出,储蓄是居民的金融消费，也是满足相应收入水平的“基本生活”以后的扩展消费，从具体问题的经验分析，储蓄具有异方差特性。因此建立储蓄模型就不能使用最小二乘法。对于这类典型的异方差问题（提问：为什么是典型的？），我们应当怎样处理呢？（lx5yfch),30,2。原始数据,31,32,33,实际值、拟和值和残差,34,残差与收入x的散点图,35,3。异方差检验,（1）图示法检验 （2）G-Q检验,36,（1）图示法检验,LS Y C X GENR E1=resid GENR E2=E1*E1 SCAT E2 X 残差平方和呈比较典型的喇叭型,37,异方差图示法的程序 load c:lx5yfch.wf1 scat y x 计算储蓄函数chxeq equation chxeq.ls y c x genr e1=resid genr e2=e1*e1 scat e2 x,LX5YFCH.PRG的程序清单,38,残差平方与自变量呈比较典型的 喇叭型,先请同学们看老师的演示。请同学们亲手验证。,39,残差平方与自变量X的散点图,40,储蓄与收入的散点图,41,42,43,异方差：残差随收入增大而增大,44,（2）G-Q检验,1。求两个子样回归方程残差平方和 加载(lx4下)yfch.wf工作文件到内存 SORT X 按居民收入排序 SMPL 1 12 LS Y C X 得ESS1 SMPL 20 31 LS Y C X 得ESS2,45,加权最小二乘法估计结果,46,加权最小二乘法残差与X的散点图,47,load c:lx5yfch.wf1 vector(10) m 存放自由度、小样残差平方和、大样残差平方和、F检验值和F检验的概率值 SORT X 按居民收入排序 SMPL 1 12 小数据样本 m(1)=10 equation smleq.LS Y C X 得ESS1 m(2)=ssr SMPL 20 31 大数据样本 equation lrgeq.LS Y C X 得ESS2 m(3)=ssr m(4)=m(3)/m(2) m(5)=fdist(m(4),m(1),m(1) show m,48,C1 Last updated: 05/12/99 - 17:22 R1 10.00000 R2 162899.2 R3 769899.2 R4 4.726231 R5 0.010965 R6 0.000000 R7 0.000000 R8 0.000000 R9 0.000000 R10 0.000000,49,小数据组OLS处理结果,Sample: 1 12 Included observations: 12 Variable Coefficient Std. Error T-Statistic Prob. C -823.5754 169.3227 -4.863940 0.0007 X 0.095394 0.013067 7.300328 0.0000 R-squared 0.842009 Mean dependent var 382.9167 Adjusted R-squared 0.826210 S.D. dependent var 306.1590 S.E. of regression 127.6320 Akaike info criterion 9.849314 Sum squared resid 162899.2 Schwartz criterion 9.930131 Log likelihood -74.12314 F-statistic 53.29478 Durbin-Watson stat 1.055825 Prob(F-statistic) 0.000026,50,大数据组OLS处理结果,Sample: 20 31 Included observations: 12 Variable Coefficient Std. Error T-Statistic Prob. C 1141.066 709.8428 1.607491 0.1390 X 0.029409 0.021992 1.337264 0.2108 R-squared 0.151699 Mean dependent var 2084.250 Adjusted R-squared 0.066869 S.D. dependent var 287.2405 S.E. of regression 277.4706 Akaike info criterion 11.40244 Sum squared resid 769899.2 Schwartz criterion 11.48326 Log likelihood -83.44191 F-statistic 1.788274 Durbin-Watson stat 2.864726 Prob(F-statistic) 0.210758,51,（2）G-Q检验,H0:21= 22 HA: 21 22 2。计算F统计量 ESS1= 162899.2 ESS2= 769899.2 df=(31-7)/2-2=12-2=10 F=(ESS2/df)/(ESS1/df)= 4.726231 F Fo.o1(10,10)则随机扰动项存在异方差,52,53,load d:eviewslxlx5yfch.wf1 按变量x排序 sort x 生成递增序列t，用以划分小样本和大样本 genr t=1 genr t=t(-1)+1 定义存放计算结果的向量m，m具有10个元素 vector (10) m 存放全部样本观察值个数n m(1)=obs(x) 按照G-Q戈德菲尔德-跨特法对于递增或递减型异方差抽去中间1/4的样本 余下的划分为小样本和大样本 计算小样本包含的最后一个样品 m(2)=FLOOR(3*m(1)/8)+1 计算大样本起始的第一个样品 m(3)=FLOOR(5*m(1)/8)+1 指定小样本的范围 smpl if t= m(2) 对小样本进行最小二乘估计 equation mineqn.ls y x c 将小样本残差平方和置入m(4) m(4)=ssr,54,指定大样本的范围 smpl if t=m(3) 对大样本进行最小二乘估计 equation maxeqn.ls y x c 将打大样本残差平方和置入m(5) m(5)=ssr 计算F统计量 m(6)=m(5)/m(4) 查F分布表，求出大于等于该F的概率，若概率为小概率，拒绝H0存在异方差，否则，为同方差 m(7)=fdist(m(6),m(2)-1,m(2)-1) 显示计算结果 show m,55,4。异方差模型的估计,（1）加权最小二乘法 （2）模型变换法,56,（1）加权最小二乘法,EViews中有加权最小二乘法的命令 LS （W=权数名）CHX C SHR 本例使用命令： GENR SHRH=1/SHR LS（W=SHRH）CHX C SHR 所得结果见操作,57,权数序列名,Proce=Equation=Option=选定同方差、给出权数名=OK,同质性,58,WLS处理结果,LS / Dependent Variable is CHX Weighting series: SHRW Sample: 1 31 Included observations: 31 Variable Coefficient Std. Error T-Statistic Prob. C -571.8496 105.8066 -5.404667 0.0000 SHR 0.076623 0.006294 12.17389 0.0000 Weighted Statistics R-squared 0.501807 Mean dependent var 877.7359 Adjusted R-squared 0.484628 S.D. dependent var 423.6204 S.E. of regression 304.1144 Akaike info criterion 11.49715 Sum squared resid 2682082. Schwartz criterion 11.58966 Log likelihood -220.1929 F-statistic 29.21043 Durbin-Watson stat 1.149682 Prob(F-statistic) 0.000008,59,WLS处理后的残差图,60,（2）模型变换法,GENR Y1= CH / SHR GENR X1= 1 / SHR LS Y1 C X1 思考题 异方差的函数形式是怎样假定的？ 比较加权最小二乘法与模型变换法结果 解释所得模型的经济意义？,61,关于异方差的思考题,1。举例说明经济现象中的异方差性 2。阐述G-Q检验的步骤，并说明构造F检验统计量的道理 3。说明加权最小二乘法的基本思想 4。如何事先假定异方差2i =