应用回归分析第四章部分答案

1、第 4 章违背基本假设的情况4.1答：例 4.1：截面资料下研究居民家庭的储蓄行为Yi=0 ON+i其中：乙？表示第i个家庭的储蓄额，X,表示第i个家庭的口 J支配收入。由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差杲较小，所以 6 的方差呈现单调递增型变化。例 4. 2：以某一行业的企业为样本建立企业生产函数模型Yj=Af Kf 2 L 曾被解释变量：产出量乙解释变量：资本K、劳动L、技术A,那么每个企业所 处的外部环境对产出量的影响被包含在随机谋慕项中。 由于每个企业所处的外部 环境对产出量的 影响程度不同，造成了随机误差项的异方差性。这时，随机误差项的方差并不随某 -

2、个解释变量观测值的变化而呈规律性变化，呈现复杂型。4.2答：回归模型一旦出现异方差性，如果仍采用OLS 估计模型参数，会产生下列不良后果：1、参数估计量非冇效2、变量的显著性检验失去意义3、回归方程的应用效果极不理想总的来说，当模型出现异方差性时，参数OLS 估计值的变异程度增大，从而造成对 Y 的预测误差变大，降低预测精度，预测功能失效。4.3答：普通最小二乘估计就是寻找参数的估计值使离羌平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是冋归参数的最小方差线性无偏估计。然而在异方差 的条件下，平方和中 的毎一项的地位是不相

3、同的，误差项的方差大的项，在残差 平方和屮的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。dboLS求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校止，以提高参数估计的 精度。加权最小二乘法的方法：_ A-尿）/=1N工叽兀一兀）（必-兀）N工a-兀）/=1八00严几-01瓦w； =厶（ cF=kXj）6（因为比例系数 R在参数估计屮可以消却1=74.4答：运用加权最小二乘法消除多元线性回归中异方差性

4、的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数叱，以调整各项在平方和屮的作用，加权最小二乘的离差平方和为：Q KOo, 0W 0p） = wi yi -Oo -A 兀 1 0心）2/=1加权最小二乘估计就是寻找参数久久？?？，禹的估计值氐，氐，血使式 的离差平方和0,达极小。所得加权最小二乘经验回归方程记做九=Bg + BE + +B p、x 卩（3）多元回归模型加权最小二乘法的方法：首先找到权数Wi，理论上最优的权数叱为误差项方差02的倒数，即误差项方差大的项接受小的权数，以降低其在式 (2)平方和中的作用；误 差项方差 小的项接受大的权数，以提高其在平

5、方和中的作用。由(2)式求岀的 加权最小二乘估计久，氐，B阳就是参数久久心的最小方差线性无偏估计。一个需要解决的问题是误差项的方差込 2是未知的，因此无法真正按照式 (4) 选取 权数。在实际问题中谋差项方差丁 2通常与变量的水平有关(如误差项方差 7,2随着 自变量的增大而增大 ), 可以利用这种关系确定权数。 例如 员与第丿?个口 变量取值的平 方成比例时，即厅丸对时 , 这时取权数为Vi;. =亠(5)更一般的情况是误差项方差 员与某个自变量 Xj ( 与| ei |的等级相关系数最大 的自变量)取值的幕函数吋成比例，即 丸瑞，其屮m是待定的未知参数。此 时权数为w- = -A 一(6)

6、这时确定权数叱的问题转化为确定幕参数加的问题，可以借助SPSS软件解决。4.5NN证明： = E 叫? 一 J/)2 = E 叱 ? -A-A 乞尸1=11=1由 塑 =0 翌 =0得:其中,Z w$i工匕(心一礼)(几一几)B 亍 丫叱(乞? - 观,)2 1=1A = K -触4.6证明：对于多元线性回归模型 y = xp + , (1)1E () = 0,COV ( /) =, W,即存在异方差。设W = DD ；. 0、D= 1 1 k 0曲丿用 D 左乘 ( 1 )式两边，得到一个新的的模型：2=0 吹卩+ D%, 即 y* = X? +因为 E ( = E (D%/D* ) = D

7、 (EE，) D ,Z = D A WD1 = z-250.00000-?500.0000010000200003000040000200000-SFQAaucol OQtaaodu -1.00000-.00000-1.00000八-2.00000*-3.0000010000200003000040000X根据绘制出的两个图形可以发现加权最小二乘估计没有消除异方差，只是对原OLS的残差有所改善，而经过加权变换后的残差不存在异方差。4.9解SPSS输出结果如下：Coefficie ntAModelUn sta n dardized Coefficie ntsStan dardized Coeff

8、icie ntstSig.BStd. ErrorBeta1(Co nsta nt)-.831.442-1.882.065X.004.000.83911.030.000a? Dependent Variable: y由上表可得冋归方程为y =-0.831 + 0.004%残弟图为：-Enp2.00000-.00000-seQrpaz-p-2.00000八-4.00000*-6.00000-1000.002000.00I3000.00I4000.004.00000-x的增加而增大。b(2) a由残差散点图可以明显看出存在杲方差，误差的方差随着 用SPSS做等级相关系数的检验，结果如下表所示：相关系

9、数XabseISpearman 的 rhoX相关系数1.000.318*SIg.（双侧）.021N5353abseI相关系数.31 &1.000SIg.（双侧）.021?N5353*.在萱信度(双测)为0.05时，相关性是显著的。得到等级相关系数=0-318, P值=o.O2i,认为残差绝对值|引与自变量兀显 著相关，存在异方差(3) SPSS输出结果如图:系数模型非标准化系数标准系数tSig.B标准误差试用版1（常量）-.683.298-2.296.026X.004.000.8219.930.000a.因变量：y由上述表可得，在 m = 1.5吋对数似然函数达到最大，则幕指数的最优取值为加=

10、1.5。加权后的冋归方程为：九=-0.683 + 0.004兀所示:果如下计算加权后的残差，并对残差绝对值和自变量做等级相关系数分析，结果如下表?= 0.321, P值为0.0190.05,说明异方差已经消除4.10答：例如，居民总消费函数模型：C, =0（）+ 0乙+吕 r=7,2,由于居民收入对消费影响有滞后性，而且今年消费水平受上年消费水平影响，则可能出现序列相关性。另外曲于消费习惯的影响被包含在随机误差项中，则可能出现序列相关性（往往是正相关）。4.11答：宜接用普通最小二乘法估计随机误差项存在序列相关性的线性冋归模型未知参数时，会产生下列一些问题：1. 参数估计量仍然是无偏的，但不具

11、有有效性，因为有口相关性时参数估计值的方差大于无自相关性时的方差。2. 均方误差MSE可能严重低估误差项的方差3. 变量的显著性检验失去意义：在变量的显著性检验中，统计量是建立在参数方弟止确估计基础Z上的，当参数方差严重低估时，容易导致t值和F值偏 大，即可能导致得出冋归参数统计检验和冋归方程检验显著，但实际并不显著的严重错误结论。4.当存在序列相关时，3仍然是0的无偏估计，但在任一特定的样本中,P可能严重歪曲0的真实情况，即最小二乘法对抽样波动变得非常敏感5.模型的预测和结构分析失效。4.12答：优点：1.应用广泛，一般的计算机软件都可以计算出DW值；2. 适用于小样本；3. 口 J用于检验

12、随机扰动项具冇-?阶自回归形式的序列相关问题。此时,难对口缺点:1.DW检验有两个不能确定的区域，一旦DW值落入该区域，就无法判断只冇增大样本容量或选取其他方法；2. DW统计量的上、下界表要求 n15,这是由于样本如果再小，利用残差就很 相关性的存在做出比较止确的诊断；3. DW检验不适应随机项具有高阶序列相关性的检验。4.13解:模型汇总模型RR方调幣R方标准估计的误差1?999*.998.998.663a.预测变量：（常量），某分公司的月销售额y。系数模型非标准化系数标准系数tSig.B标准误差试用版1（常量）-1.435.242-5.930.000总公司 的月销 售额X.176.002

13、.999107.928.000a.因变量：总公司的月销售额X由上表可知：用普通二乘法建立的冋归方程为j =-1.435 +0.176X（2）以口变量总公司的月销传额x为横轴，普通残差为纵轴画残差图如门0.20000-0.100000.00000-0.10000-0.20000120.0130.0140.0150.0160.0170.0180.0总公司月销售额X在自相从图中可以看到，残弟有规律的变化，呈现大致反W形状，说明随机误羞项存关性。以勺T （残差1）为横坐标，勺（残差）为纵坐标，绘制散点图如下：0.100000.00000-0.10000 0.20000 -0.20000-0.10000

14、0.000000.100000.200006存在着正的序由残差图可见大部分的点落在第一、三彖限内，表明随机扰动项列相关；从下表Model SummaryModelRR SquareAdjusted R SquareStd. Error of theEstimateDurbi n- Watso n1.999a.998.998.09744.663a. Predictors: (Constant),总公 口 月销售额 x b? Dependent Variable:某分公司月销售额 y可知DW值为0. 663查DW表,n=20, k=2,显著性水平a二0. 05,得d广1? 20,二1?41,由于0

15、. 663兀=x, -px,然后用儿对石作普通最小二乘回归可得输出结果如下:Coefficie nts?ModelUn sta ndardized Coefficie ntsStan dardized Coefficie ntstSig.BStd. ErrorBeta1(Co nsta nt)-.300.178-1.689.109x2.173.003.99749.673.000a? Dependent Variable: y2ANOV 申ModelSum ofSquaresdfMean SquareFSig.1Regressi on13.133113.1332467.405.000aResid

16、ual Total.09017.00513.22418a? Predictors: (Constant), x2 b ? Dependent Variable: y2Model Summar八ModelRR SquareAdjusted R SquareStd. Error of theEstimateDurbi n- Wats on1.997a.993.993.072961.360可看到新的冋归方程的DW=1.360.且1.181.3601.40二血，即DW落入不相关区域，可知残差序列J不存在口相关，一阶茅分法成功地消除了序列口相关。同时得到回归方程为A=0. 169 Ar z,将込二旺-g

17、，代人，还原原始变量的方程儿二儿一】+0? 169 (兀一兀)(5)答：本题中口相关系数A-0. 6685,不接近于1,不适宜用差分法，另外由迭代 法的F值及八都大于 差分法的值，故差分法的效果低于迭代法的效果；而普通最小二乘法的随机误差项标准差为 0.09744,大于迭代的随机误差项标准差0.07296所以迭代的效果要优于普通最小二乘法，所以本题中一次迭代法最好。4.14解：将数据输入 SPSS经过线性回归得到结果如下:Model Summary(b)ModelRR SquareAdjusted RSquareSid. Error of the EstimateDurbi n-Wats on

18、1.541(a).293.264329.69302.745a Predictors: (Constant), x2, xlb Depe ndent Variable: yANOVA(b)ModelSum ofSquaresdfMean SquareFSig.1Regressi on2205551.67821102775.83910.145.000(a)Residual5326177.03649108697.491Total7531728.71451a Predictors: (Con sta nt), x2, xl b Depe ndent Variable: yCoefficie ntAMo

19、delUn sta ndardized Coefficie ntsSta n dardized Coefficie ntstSig.BStd. ErrorBeta1(Co nsta nt)-574.062349.271-1.644.107x1191.09873.309.3452.607.012x22.045.911.2972.246.029a? Dependent Variable: y由以上3个表可知普通最小二乘法建立 y与xl、x2的回归方程，通过了 r、F、t检验，说明回 归方程显著。y与xl、x2的回归方程为：y 二 574.062+191.098x1+2.045x2残差图ei （ej

20、? e订（ 1）为:600.00000400.00000200.00000 0.00000 -200.00000 ?400.00000 -600.00000 -800.00000 -800.00000-600.00000 -400.00000 *00.000000.00000200.00000400.00000600.00000Un sta ndardized Residual从残差图可以看出残差集中在1、3象限，说明随机误差项存在一阶正自相关。DW=0.745查表得dl=1.46du=1.63, 0DW d u ,所以消除了 口 相关性,0.99Coefficie ntsAModelUn s

21、ta ndardized Coefficie ntsSta n dardized Coefficie ntstSig.BStd. ErrorBeta1DIFF(x1,1)210.11743.692.5444.809.000DIFF(x2,1)1.397.577.2742.421.019a? Dependent Variable: DIFF(yJ) b ? Lin ear Regressi on through the Origin差分法回归方程为：并一畑=210? 117（xi广XI（M）+1.397（*2广X2（M）用 SPSS软件的 口冋归功能，analyze time series- a

22、utoregression:Iterati on HistoryRho (AR1)Regressi on Coefficie ntsCon sta ntAdjusted Sum of SquaresMarquardt Con sta nt周演出场次x1周点击率x20.000191.0982.045-574.0625326177.036.0011.610210.8701.443-489.2033230345.621.0012.631211.0251.435-487.0973228075.980 a.000Melards algorithm was used for estimati on.a T

23、he estimati on term in ated at this iterati on, because the sum of squares decreased by less tha n .001%.Residual Diag no sticsNumber of Residuals52Number of Parameters1Residual df48Adjusted Residual Sum of3228075SquaresResidual Sum of Squares5326177Residual Varia nee66599.102Model Std. Error258.068

24、Log-Likelihood-360.788Akaiket In formati onCriterion (AIC)729.575Schwarzs Bayesia nCriterion (BIC)737.380Parameter EstimatesEstimatesStd ErrortApprox SigRho (AR1).631.1115.677.000Regressi on周演出场次X1211.02247.7204.422.000Coefficie nts周点击率x21.436.6282.285.027Con sta nt? 487.145241.355?248.049Melards al

25、gorithm was used for estimati on.P =0.631, d =258.06&Autocorrelati on Coefficie ntRho (AR1)Std. Error.632.112The Cochra ne-Orcutt estimati on method is used.Model Fit SummaryRR SquareAdjusted R SquareStd. Error of theEstimateDurbi n- Wats on.689.474.441260.5601.748The Cochra ne-Orcutt estimati on me

26、thod is used.Regressi on Coefficie ntsUn sta ndardized Coefficie ntsSta n dardized Coefficie ntstSigBStd. ErrorBeta周演出场次x1211.13948.152.5224.385.000周点击率x21.435.634.2692.263.028(Co nsta nt)-479.341245.124-1.956.056The Cochra ne-Orcutt estimati on method is used.p =0.632, & =260.560, DW= 1.748(6)Autoc

27、orrelati on Coefficie ntRho (AR1)Std. Error.631.112The Prais-Wi nste n estimati on method is used.Model Fit SummaryRR SquareAdjusted R SquareStd. Error of the EstimateDurbi n- Wats on.688.473.440258.0661.746The Prais-Wi nste n estimati on method is used.p =0.632, a =258.066, DW= 1.746Regressi on Coe

28、fficie ntsUn sta ndardized Coefficie ntsSta n dardized Coefficie ntstSigBStd. ErrorBeta周演出场次x1211.02547.710.5214.423.000周点击率x21.435.628.2692.285.027(Co nsta nt)-487.100241.353-2.018.049The Prais-Wi nste n estimati on method is used.(7)综合以上各方法的模型拟合结果如下表所示口冋归方法ApAAAAA01*A A0UDW迭代法0.6275-179.0211.11.43

29、71.716257.86差分法0210.11.3972.04028(0.99精确最大似然0.631211.01.436-4811.7253.07科克伦奥克特0.632-479.3211.11.4351.748260.560普莱斯温斯登0.631211.01.4351.746-4817.1258.066由上表可看出：DW值都落在了随机误羌项无白相关性的区间上，一阶差分法消除自相关最彻底，但因为0=0.627,并不接近于1,故得到的方差较大，拟合效 果不理想。将几种方法所得到的&值进行比较，就可知迭代法的拟合效果最好，以普莱斯温斯登法次乙差分 法最差。4.15答：通常引起异常值的原因和消除异常值的

30、方法冇以下几条，见表4.10：异常值原因异常值消出方法1 ?数据登记误差，存在抄与或录入错误重新核实数据2 ?数据测量误差重新测量数据3 ?数据随机误差删除或重新观测异常值数据4.缺少重耍自变量增加必要自变量5.缺少观测数据增加观测数据，适当扩大口变量取值范6 ?存在界方并米用加权线性回归7?模型选用错误，线性模型不适用改用非线性回归模型4.16解：(1)利用SPSS建立y与xl, x2, x3的三元回归方程，分别计算普通残差，学生化残差，删除残差，删除学生化残差，屮心化杠杆值必和库克距离卩，见下表：从表屮看到绝对值最大的学生化残差为 SRE=2.11556小于3,但冇超过3的个别 值，因而根

31、据 学生化残差诊断认为存在异常值。绝对值最大的删除学生化残差为3.832,对应为第6个数据，因此判断它为为异常值。第 6个数据的中心化杠杆值为0.64,位于第一大，大i2ch =2x =0.6,且库克距离为3.21位于第一大，因10而从杠杆值看是笫6个数据是口变量的异常值，同时库克距离大于1,故第6个数据为异常值的原因是由自变量异常与因变量异常两个共同原因引起的编号yXIX2X3残差学生化残差删除残差删除学生化残差0chn116070351.0-15. 4748189353-28. 35150-0.876040. 166090. 35418226075402.412.824990. 6276716.880520. 592770. 031150. 14025321065402.05. 344340. 265177. 229790. 243490. 006200. 16079426574423.0-0. 0908800433-0.11351-0.003960. 000000.