应用回归分析整理课后习题参考答案概要

1、第二章一元线性回归分析思考与练习参考答案2.1一元线性回归有哪些基本假定？答：假设1、解释变量X是确定性变量，Y是随机变量；假设2、随机误差项e具有零均值、同方差和不序列相关性:E( i)=02Var ( i)=二Cov( i, j)=0i=1,2,ni=1,2,niwji,j=1,2,，n假设3、随机误差项e与解释变量X之间不相关:Cov(Xi,i)=0i=1,2,，n假设4、e服从零均值、同方差、零协方差的正态分布iN(0,仃2)i=1,2,，n2.2考虑过原点的线性回归模型Yi=3iXi+ai=1,2,，n误差&(i=1,2,解：）n仍满足基本假定。求自的最小二乘估计nnQe(Y

2、i-叶)2-(Yi/Xi)2i1Ti1：Qe-n-1(Yi/xjXin”(XiYJidnx(Xi2)i12.3证明（2.27式），工ei=0,工eiXi=0。nnQ=Z(Yi-Y?)2=S(Y-(院+用Xi)2证明：11QQ其中：Y?=E+f?Xie=Y-引丽=0丽=。I£(向+A37=o|Vo+/?rVj-T；)A；=0即:三eiXi=02.4回归方程E(Y)=向+自X的参数乱例的最小二乘估计与最大似然估计在什么条件下等价？给出证明。答：由于eiN(0,仃2)i=1,2,，n所以Yi=0+X+qN(向+iXi,仃2)最大似然函数：1n一一,L(0,1,二2)二二：J(Yi)=(2二

3、二2)"exp-c2、Yi-(010,Xi)2-2-ijin2n21"n-2LnL(p0,Pi,a2)=-ln(2na2)-立Yi-(瓦+%瓦,Xi)222。t使彳3Ln(L)最大的联，可就是由，伉的最大似然估计值。同时发现使得Ln(L)最大就是使得下式最小，nnQ=£(Y-Y?)2=£(Y-(4+Kxj)2ii上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在iN(0,。2)的假设下求得，最小二乘估计则不要求分布假设。所以在iN(o,仃2)的条件下，参数乱代的最小二乘估计与最大似然估计等价。2.5 证明稣是由的无偏估计。nnX-X证

4、明：E(?0)=E(Y-ZX)=E-vYi-XiYi)nidLxx二En(l.XXMkErn(1-Xf)(01Xii)i=1nLxxnLxx=E ° P X，i=1 nLxx2.6证明证明：)曾=九十£(-XX)E(Si)=P。i=1nLxxVar(?0)=(1X")=二2p7-)nXiX2nLxxi1Var(?0)=Var(1XXiX)Yi=(1-X，-X)2Var(01Xii)i1nLxxiTnLxxn 1 2_ X _ X一()2 -2X inLxx(X1xx.221 X 2j七I2.7 证明平方和分解公式：SST=SSE+SSRn_2nSST=£

5、(Yi-Y)=£(YiYi)+M-Y2iin2nn2八Y?-Y2Yi-Y?)(Y?i-Y八YiH)iiin2n2二Yi一Y八YiN)=SSRSSEii=12.8 验证三种检验的关系，即验证：(n-2)rSSR/1Lxx甲,2(1) t=1、;(2)F=-2-=tj_r2SSE/(n-2)?2证明：(1)目JLxx?rJLy/LxxrJLyyJn-2rJn-2rt二二二二二二.；?2Lxx.SSE(Lxx(n-2),SSE(n-2)SSESST.1-r2(2) nnnnssr=z(?-y)2=z(%+隈y)2=z(y+l(xx)2=z(用(为-又刀二再打i=1i1i1i=1匚SSR/1

6、?21Lxx.2F=tSSE/(n-2)?2(x：-x)22.9 验证(2.63)式：Var(ei)=(1-1-(i-)2nLxx证明:var(e)-var(yi-?)=var(y。var(y?)-2cov(yi,y?)-二-2 . ._-2二var(yi)var(?0Zx)-2cov(yi,y?(Xi-X)1(x-x)-2_21(X-x)nLxxnLxx=1 n(xi-x)2p-2LxxCov(yi,y?i(Xi-X)=Cov(yi,y)Cov(yi,Z(XiX)其中:一，1、，一，=Cov(yi,yj(Xi-x)Cov(yi(Xi-X)Lxxyi)工，(Xi-X)21Lxx二（1必n-X)

7、2Lxx)二2:222.10用第9题证明、ei2n-2是o2的无偏估计量证明:%E(y？)2nn-21E(e2)n-2n-2工var(e)=n-2“1i4n(n-2)二2=；二2(Xi-x)2LxxK22.14为了调查某广告对销售收入的影响，某商店记录了5个月的销售收入y（万元）和广告费用x（万元），数据见表2.6,要求用手工计算：表2.6月份12345X12345Y1010202040（1）画散点图（略）（2）X与Y是否大致呈线性关系?答：从散点图看，X与Y大致呈线性关系,（3）用最小二乘法估计求出回归方程。计算表XY2(Xi-X)(Yi-Y)2(Xi-X)(Yi-Y)qM-Y)2(Yi-Y

8、i)21104100206(-14)2(-4)221011001013(-7)2(3)2320000200042010027727254044004034142(-6)2和15100和 Lxx=10Lyy=600和 Lxy=70和100SSR=490SSE=110均3均20均2017, Z =丫 - Z X = 20-3 7 = -1.?二 xy1 Lxx回归方程为:10Y? = ? X = -1 7X(4)求回归标准误差先求SSR (Qe)见计算表。所以二 Qe1106.055.223AfV*弟二早3.3证明?2 = SSE/(n-p-1 )随机误差项e的方差。2的无偏估计。证明:：G =

9、-1 SSE = 1 (ee)=-n _p_1n _ p -1nnne, e2)八 D(e)八二2(i-hii)=E(；?2)=i 1i 11匚/，2、2;e( e)=。n -p-1 i 11 n1-2e,n - p -1 i inn二八(1-1)=;2(n- hii) = ;2(n-p-1)i 1i 13.4一个回归方程的复相关系数R=0.99,样本决定系数R2=0.9801,我们能判断这个回归方程就很理想吗?答：不能断定这个回归方程理想。因为：1 .在样本容量较少，变量个数较大时，决定系数的值容易接近1,而此时可能F检验或者关于回归系数的t检验，所建立的回归方程都没能通过。2 .样本决定系

10、数和复相关系数接近于1只能说明Y与自变量X1,X2,Xp整体上的线性关系成立，而不能判断回归方程和每个自变量是显著的，还需进行F检验和t检验。3 .在应用过程中发现，在样本容量一定的情况下，如果在模型中增加解释变量必定使得自由度减少，使得R2往往增大，因此增加解释变量(尤其是不显著的解释变量)个数引起的R2的增大与拟合好坏无关。Lj3.7验证件=弓,j=1,2,p.Lyyn其中：Ljj=''(Xij-Xj)2i1证明：多元线性回归方程模型的一般形式为:y-0,：iXi,、X2.HI,：pXp,；其经验回归方程式为二书十目为十阳也十川十%，又用=y#x因x2TH-？pxp，故？=

11、y+E(XiXi)+四(X2X2)+”|+?p(XpXp),中心化后,则有?i-y=E(x-Xi)+*2(X2-X2)+|+伊p%-Xp),左右同时除以&=£(yi7)2,令L/(XjXj)2,i=1,2,川,n,j=1,2,|,pLyy?(Xi2X2),V,L22.?(Xip.Xp)、.,fLppL22LyyLpp.一Lyy样本数据标准化的公式为Xij.XjXj,yLjjyijy,i=1,2,111,n,j=1,2,|l,p,Lyy则上式可以记为V=?'L11x?'L22?VLppxyi-1Xi12Xi2p.KpLyyLyy.Lyy二?1x172X2nr?p

12、Xip则有3.11研究货运总量y（万吨）与工业总产值x1（亿元）、农业总产值x2（亿元）、居民非商品支出x3（亿元）的关系。数据见表3.9（略）（1）计算出y,x1,x2,x3的相关系数矩阵。SPSSB出如下:相关系数表yx1x2x3yPearsonCorrelation1.556.731*.724*Sig.(2-tailed).095.016.018N10101010x1PearsonCorrelation.5561.113.398Sig.(2-tailed).095.756.254N10101010x2PearsonCorrelation.731*.1131.547Sig.(2-taile

13、d).016.756.101N10101010x3PearsonCorrelation.724*.398.5471Sig.(2-tailed).018.254.101N10101010.Correlationissignificantatthe0.05level(2-tailed).1.0000.5560.7310.724_10.5561.0000.1130.398则相关系数矩阵为：r0.7310.1131.0000.547II0.7240.3980.5471.000（2）求出y与x1,x2,x3的三元回归方程。CoefficientsaModelUnstandardizedCoefficie

14、ntsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942.100x27.1012.880.5352.465.049x312.44710.569.2771.178.284a.DependentVariable:y对数据利用SPSS故线性回归，得到回归方程为?=-348.383.754X17.10仅212.447&(3)对所求的方程作拟合优度检验。ModelSummaryModelRRSquareAdjustedRSquareStd.Erro

15、roftheEstimate1.898a.806.70823.44188a.Predictors:(Constant),x3,x1,x2由上表可知，调整后的决定系数为0.708,说明回归方程对样本观测值的拟合程度较好。(4)对回归方程作显著性检验；方差分析表bModel平方和自由度均方FSig.1回归13655.37034551.7908.283.015a残差3297.1306549.522总和16952.5009a.Predictors:(Constant),x3,x1,x2b.DependentVariable:y原假设：H01：23=0F统计量服从自由度为(3,6)的F分布，给定显著性水

16、平口=0.05,查表得05(3.6)=4.76,由方查分析表得，F值=8.283>4.76,p彳1=0.015,拒绝原假设H0,由方差分析表可以得到F=8.283,P=0.015<0.05,说明在置信水平为95%F,回归方程显著。(5)对每一个回归系数作显著性检验;回归系数表aModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)-348.280176.459-1.974.096x13.7541.933.3851.942.100x27.1012.880.5352.46

17、5.049x312.44710.569.2771.178.284a.DependentVariable:y做t检验：设原假设为H0:Pi=0,ti统计量服从自由度为n-p-1=6的t分布，给定显著性水平0.05,查得单侧检验临界值为1.943,X1的t值=1.942<1.943,处在否定域边缘。X2白t值=2.465>1.943。拒绝原假设。由上表可得，在显著性水平a=0.O5时，只有x2的团1<0.05,通过检验，即只有X2的回归系数较为显著；其余自变量的P值均大于0.05,即x1,x2的系数均不显著。第四章4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法

18、。答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高

19、参数估计的精度。加权最小二乘法的方法：Xi)2Qw='w"yi-？i)2:'Wi(yi-?0'、Wi(Xi-xw)(y,-yw)：0wyw-i1w(XiXwci =kxiXw)2表示 1wi?w = ?0w ZwX?pwXp(3)kxi2xi2或=kxim,wi二4.4 简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数wi,以调整各项在平方和中的作用，加权最小二乘的离差平方和为：nQw(B0,01,，Pp)=2Wi(y

20、i-p0-PlXii-口pXip)2(2)i1加权最小二乘估计就是寻找参数久P,，Pp的估计值用W,1,Fpw使式(2)的离差平方和Qw达极小。所得加权最小二乘经验回归方程记做多元回归模型加权最小二乘法的方法：首先找到权数wi,理论上最优的权数wi为误差项方差仃i2的倒数，即Wi=4（4）二i误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用；误差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的加权最小二乘估计!?0w,f?L，%w就是参数P0,日1,，Pp的最小方差线性无偏估计。一个需要解决的问题是误差项的方差。2是未知的，因此无法真正按照式（4）选取权数。在

21、实际问题中误差项方差通常与自变量的水平有关（如误差项方差仃2随着自变量的增大而增大），可以利用这种关系确定权数。例如52与第j个自变量取值的平方成比例时,即仃i2=kx2时，这时取权数为1gWi=2（5）xj更一般的情况是误差项方差与某个自变量Xj（与|ei|的等级相关系数最大的自变量）取值的幕函数xjm成比例，即52=kxm，其中m是待定的未知参数。止匕时权数为Wi=-Xij这时确定权数Wi的问题转化为确定幕参数m的问题，可以借助SPS欹件解决。NNQw八w"yi-？J2八Wi（y-？0-弓为）2i1i14.5 （4.5）式一元加权最小二乘回归系数估计公式。证明：NNQw八w.i（

22、y.i-?i）2=wWi（y-？0-WxJ2i=1i=1“Wi(Xi-Xw)(诙-yw)?i1二Q“Wi(Xi-xw0)i1三二yw-？iXw其中而汇叫4.6 验证(4.8)式多元加权最小二乘回归系数估计公式。证明：对于多元线性回归模型y=XB+g(1)2-E()=0,COV(Ge)=wW,即存在异方差。设W二DD,川0D=，f10III瓦用D左乘(1)式两边，得到一个新的的模型：D'y=D"1XB+De,即y*=X*0+1。因为E(g)=E(D,gD-1)=DE(g)D-1'=D仃2WD-1'=<2I,故新的模型具有同方差性，故可以用广义最小二乘法估计

23、该模型，得?w=(XX),Xy=(XD'D'X)XD,Dy=(XWX)XWy原式得证。4.7有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间的差异就越大。你是否同意这位同学的观点？说明原因。答：不同意。当回归模型存在异方差时，加权最小二乘估计(WLS)只是普通最小二乘估计(OLS)的改进，这种改进可能是细微的，不能理解为WLS一定会得到与OLS截然不同的方程来，或者大幅度的改进。实际上可以构造这样的数据，回归模型存在很强的异方差，但WLS与OLS的结果一样。加权最小二乘法不会消除异方差，只是消除异方差的不良影响

24、，从而对模型进行一点改进。第五章5.4 试述前进法的思想方法。答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,.,xm建立m个一元线性回归方程,并计算F检验值，选择偏回归平方和显著的变量（F值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时建立m1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的两变量变量（F值最大且大于临界值）进入回归方程。在确定引入的两个自变量以后，再引入一个变量，建立m2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的三个变量（F值最大）进入回归方程。不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值Fa（1,n-p-1）,回归过程结束。5.5 试述后退法的思想方法。答：后退法的基本思想是：首先因变量Y对全部的自变量x1,x2,.,xm建立一个m元线性回归方程,并计