应用回归分析编辑课后习题参考答案

第二章一元线性回归分析

思考与练习参考答案

2.1一元线性回归有哪些基本假定？

答：假设1、解释变量X是确定性变量，Y是随机变量；

假设2、随机误差项£具有零均值、同方差和不序列相关性:

E（8j）=0i=l,2,...,n

Var（8i）=c^i=l,2,…,n

Cov（£it8/）=0ii=jij=1,2,

假设3、随机误差项£与解释变量X之间不相关：

Cov（Xj,利）=0i=l,2,…,n

假设4、£服从零均值、同方差、零协方差的正态分布

Ei~N（O,<y）i=l,2,…,n

2.2考虑过原点的线性回归模型

Yj=^iXi+Sji=l,2,...,n

误差6=1,2，…,仍满足基本假定。求用的最小二乘估计

解：0=力（匕-£）2=力（匕/',.）2

i=li=l

警=-2力（匕XXJX=O

dpli=i

£（珏）

得：自=三—

七（Xj）

i=l

2.3证明（2.27式），Se,=0,Se,X,=0。

Q=£(4一£)2=£(匕一(A+&X,))2

证明：I'

其中：Z=a+dXje^Y-Y,黑=。=o

0BoS

I£(A+Amo

IE(A+ZUD'=O

即：Ee；=0，EeiM=0

2.4回归方程E（n=为+夕iX的参数伪，外的最小二乘估计与最大似然估计在什

么条件下等价?给出证明。

2

答：由于erN（O,a）i=l,2,…,n

所以Yi=/3o+6iXi+（为+BiXi,a2）

最大似然函数：

n"（K）=（2%/广2exp卜[y,-（A+—X,）]2}

2b片

L〃{L（即4，，）}=一。11（2万/）-占力[匕一（凡+夕四，X,）r

22bM

使得Ln（L）最大的6o，自就是为，小的最大似然估计值。

同时发现使得Ln（L）最大就是使得下式最小，

。=方（匕-匕）2=£（匕-（瓦+6/））2

11

上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估

计是在£，〜M0,/）的假设下求得，最小二乘估计则不要求分布假设。

所以在£j~N（O,的条件下，参数夕0,小的最小二乘估计与最大似然估

计等价。

2.5证明瓦是价的无偏估计。

__1〃一-V

证明：£（瓦）=成歹一尺不）=4一2匕一米2心^匕）

11i=li=l

n

=ii-ix^Yp_-Y）y,.]=E[£（-1-xy_y+Ax,.+

=E[J3O+力（，一米牛2）eJ=尸。+力（，-又午上）Eg=A

Z7nLxxZTnLxx

2.6证明__

Var（A）=（-+=三——炉=b?（，+马

证明：Y（…y…

nj_X一qn1_X-X

Var（6j=—X-^-）yj=[Y（——X七二一＞Hz/•（见+月X,.+与）]

言〃/M〃L/x

2.7证明平方和分解公式：SST=SSE+SSR

证明：SST=力(匕—F)2=力［(匕-E)+匕-中

i=li=l

=Zfe-.+2力&-Z)(Z-Y)+力(匕-X)丫

i-li=li=l

=£&-讨+£&-Yj)2=SSR+SSE

i=li=l

2.8验证三种检验的关系，即验证：

(1)，尹「(2)/=SSR/1=幺£=产

71-r2SSE/(n-2)a2

证明：(1)

f_64^_B_YL/Lq_1A2r_2r

一♦一而也,一JSSE/(L式〃-2))一唇£/(〃—2)-/SSE/SST-《1一户

(2)

SSR=t(%-»=E(A+而•一»=£B\(为一君—»应A(七一幻)2=斤4

/=1i=l/=1/=1

•F=SSR/1=阻4=尸

SSE/(n-2)&2

(XX)22

2.9验证(2.63)式：Var(et)=(1---'~>

«%

证明：

var(ej=var(y-1)=var(yj+var(y,)-2cov(y,1)

=var(j,.)+var(A+舐)-2cov(y,,5+6(七一x))

〃<nLa

二"」一心立”2

〃鼠

人A

CoWy”a+A(Xj-h))=Cov(M,亍)+。。丫(以血(七一土))

其中：=Cov(yi,-^yi)+(xi-x)Cov(yi^(**)j,)

trLXX

12—X)2J一“)~Vr2

=—<yH---------------------cr=(-I---------------------)<T

nLxxnLxx

2.10用第9题证明〃-2是。2的无偏估计量

证明：

EG)=-?f仇y,_a=£E(e；)

〃-2汽〃一2M

IV/、1V-ri1(苍一幻—，

=­TZ丫红⑷=--Z[1------------------]b

n-2,-=In-2,=inLxx

=—!—(〃—2)a2=cr2

n-2

2.14为了调查某广告对销售收入的影响，某商店记录了5个月的销售收入y(万

元)和广告费用x(万元)，数据见表2.6,要求用手工计算：

表2.6

月份12345

X12345

Y1010202040

(1)画散点图(略)

(2)X与Y是否大致呈线性关系？

答：从散点图看，X与Y大致呈线性关系。

(3)用最小二乘法估计求出回归方程。

计算表

(匕一歹尸A(")2

XY(x,.-x)(y-y)

(*,-元产(x(X—耳产

1104100206(-14)2(-4)2

21011001013(-7)2(3)2

3200002000

420100277272

54044004034142(-6)2

和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110

均3均20均20

L70人

—=7,A=y-AX=20-3x7=-l.

XX

回归方程为:y=A+«X=T+7X

(4)求回归标准误差

先求SSR(Qe)见计算表。

所以

第三章

3.3证明夕=sSE/(n-p-l)随机误差项£的方差式的无偏估计。

证明：

<T2—-----------SSE--------(de)—--------£e；,

n—p-ln-p-\n-p-\^f

_，】_，i

'''E(Ze；)=ZD(eJ=Z/(1-&)=cr?Z(1-4)=CT?("_WX)=CT?(〃-p-1)

/=1Z=1/=!i=li=\

1n

■-E&)=--------E》e；)=a2

n-p-\,=l

3.4一个回归方程的复相关系数R=0.99,样本决定系数R2=0.9801,

我们能判断这个回归方程就很理想吗?

答：不能断定这个回归方程理想。因为：

1.在样本容量较少，变量个数较大时，决定系数的值容易接近1,

而此时可能F检验或者关于回归系数的t检验，所建立的回归方

程都没能通过。

2.样本决定系数和复相关系数接近于1只能说明Y与自变量

X1,X2,…,Xp整体上的线性关系成立，而不能判断回归方程和每

个自变量是显著的，还需进行F检验和t检验。

3.在应用过程中发现，在样本容量一定的情况下，如果在模型中增

加解释变量必定使得自由度减少，使得K往往增大，因此增加解

释变量（尤其是不显著的解释变量）个数引起的/的增大与拟合

好坏无关。

3.7验证瓦*=室友,j=

其中：4=£（x「可产

证明：多元线性回归务程模型的一般形式为：

y=Bo+尸内+&X[++咐+e

其经验回归方程式为亍=氐+6%+以/++4%,

乂A=歹--A%-一反为,，

故9=歹+6（%-豆）+&（々一元2）++瓦，-得），

中心化后，贝U有%-歹=£（%-豆）+方2（%2-52）++以,（%-五,），

向=母＞'一1）2,

左右同时除以

令4/=工（马一引2，'=1，2,,n,j=1,2,,p

1=1

x-y.a（%一%）、,可，分（/一务）、,后,

样本数据标准化的公式为

%*=%厂工%*=，，=1，2,,n,j=1,2,,p

则上式可以记为

xxxxxx

y'=B\*\+A*2++PP*P

=B；XX""+B；XX：2+4*pX=p

则有

氏=隼&，/=1，2,,p

3.11研究货运总量y（万吨）与工业总产值xl（亿元）、农业总产值

x2（亿元）、居民非商品支出x3（亿元）的关系。数据见表3.9（略）。

（1）计算出y,xl,x2,x3的相关系数矩阵。

SPSS输出如下：

相关系数表

yx1x2x3

yPearsonCorrelation1.556.731*.724*

Sig.(2-tailed).095.016.018

N10101010

xlPearsonCorrelation.5561.113.398

Sig.(2-tailed).095.756.254

N10101010

x2PearsonCorrelation.731*.1131.547

Sig.(2-tailed).016.756.101

N10101010

x3PearsonCorrelation.724*.398.5471

Sig.(2-tailed).018.254.101

N10101010

*•Correlationissignificantatthe0.05level(2-tailed).

-1.0000.5560.7310.724'

0.5561.0000.1130.398

则相关系数矩阵为：”

0.7310.1131.0000.547

0.7240.3980.5471.000_

（2）求出y与xl,x2,x3的三元回归方程。

Coefficient^

UnstandardzedStandardized

CoefficientsCoefficients

ModelBStd.ErrorBetatSiq.

1(Constant)-348.280176.459-1.974.096

xl3.7541.933.3851.942.100

x27.1012.880.5352.465.049

x312.44710.569.2771.178.284

aDependentVariable:y

对数据利用SPSS做线性回归，得到回归方程为

y=—348.38+3.754%+7.101x2+12.447退

（3）对所求的方程作拟合优度检验。

ModelSummary

AdjustedStd.Errorof

ModelRRSquareRSquaretheEstimate

1.898a.806.70823.44188

aPredictors:(Constant),X3,x1,x2

由上表可知，调整后的决定系数为0.708,说明回归方程对样本观测

值的拟合程度较好。

（4）对回归方程作显著性检验；

方差分析表b

Model平方和自由度均方FSiq.

1回归13655.37034551.7908.283.01f

残差3297.1306549.522

总和16952.5009

aPredictors:(Constant),x3,xl,x2

b.DependentVariable:y

原假设：”0：笈=为=凤=0

F统计量服从自由度为（3,6）的F分布，给定显著性水平。=0.05,

查表得七％36）=4.76,由方查分析表得，F值=8.283>4.76,p值=0.015,

拒绝原假设”。，由方差分析表可以得到f=8.283,P=0.015<0.05,说明

在置信水平为95%下，回归方程显著。

(5)对每一个回归系数作显著性检验;

回归系数表a

UnstandardzedStandardized

CoefficientsCoefficients

ModelBStd.ErrorBetatSig.

1(Constant)-348.280176.459-1.974.096

xl3.7541.933.3851.942.100

x27.1012.880.5352.465.049

x312.44710.569.2771.178.284

aDependentVariable:y

做t检验：设原假设为"。：笈=°,

统计量服从自由度为n-p-1=6的t分布，给定显著性水平0.05,查

得单侧检验临界值为1.943,XI的t值=1.942<1,943,处在否定域边缘。

X2的t值=2.465>1.943。拒绝原假设。

由上表可得，在显著性水平〃=0。5时-，只有々的P值〈0.05,通过检验,

即只有々的回归系数较为显著；其余自变量的P值均大于0.05,即xl,

x2的系数均不显著。

第四章

4.3简述用加权最小二乘法消除一元线性回归中异方差性的思想与

方法。

答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平

方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的

条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差

的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差

平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方

差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS

求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大

的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所

提供信息的重要程度作一番校正，以提高参数估计的精度。

加权最小二乘法的方法：

NN

Qw=Z%（y,）2=Z吗（M-A-31）2

i=li=l

N__

人£吗（七一“）（必一九）

81W=――N------：-------

£（巧-“W）

1=1

然=人-瓦―

]CT,2=Ax,21表示1

IV.=-------=---------=—

22

'（7/kx：x;

或。；2=4%「，吗=々

4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方

法。

答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性

回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数

叱，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：

。“（用，4，一,，4）=才叱（--夕0-4改1-----4的）2⑵

/=1

加权最小二乘估计就是寻找参数片，笈，…,用的估计值氐炉6“,,…,吏式（2）

的离差平方和。”,达极小。所得加权最小二乘经验回归方程记做

Zv=篇+M，X\+…+瓦”七（3）

多元回归模型加权最小二乘法的方法：

首先找到权数叫，理论上最优的权数吗为误差项方差而的倒数，即

1

叫=-Y（4）

误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用；误

差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的

加权最小二乘估计瓦„,瓦,，…，瓦“，就是参数用,综…,用的最小方差线性无偏估

计。

一个需要解决的问题是误差项的方差这是未知的，因此无法真正按照式（4）

选取权数。在实际问题中误差项方差或通常与自变量的水平有关（如误差项方

差（7,2随着自变量的增大而增大），可以利用这种关系确定权数。例如H与第/个

自变量取值的平方成比例时，即这乂片时,这时取权数为

叫=《（5）

局

更一般的情况是误差项方差与某个自变量七（与|已|的等级相关系数最大

的自变量）取值的幕函数引成比例，即或=%引，其中〃？是待定的未知参数。此

时权数为

w.=-^―（6）

引

这时确定权数吗的问题转化为确定暴参数〃泊勺问题，可以借助SPSS软件解决。

NN

a=Z吗（弘一少）2=Z吗（M_A-反巧）2

1=11=1

4.5（4.5）式一元加权最小二乘回归系数估计公式。

证明：NN

2=£吗（y-少）2=t叱（J；-A-A七产

i=li=l

髓一了a0

1£“芭-盛）2的

i=l

Bo=yw反

其中，£,=；Z”

Lwz

九=由»戊

4.6验证（4.8）式多元加权最小二乘回归系数估计公式。

证明：对于多元线性回归模型y=Xp+£,（1）

3£（E）=0,cov（E,E,）=cr2W,即存在异方差。设

W=DD',

（历。］

D=

、0国”

用D”左乘（1）式两边，得到一个新的的模型：

D*y=D*Xp+Di,即y*=X*p+£*。

因为双比'）=E（D~1££,D-,，）=DT£（££'）D'=DT/WD"=cr2I,

故新的模型具有同方差性，故可以用广义最小二乘法估计该模型，得

pw=（X*'X*）TX"y*=（X，DT'DTX）TXDi'DTy=（X，WX）TX，Wy

原式得证。

4.7有同学认为当数据存在异方差时，加权最小二乘回归方程与普通

最小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间

的差异就越大。你是否同意这位同学的观点？说明原因。

答：不同意。当回归模型存在异方差时，加权最小二乘估计（WLS）只是普通

最小二乘估计（OLS）的改进，这种改进可能是细微的，不能理解为WLS一定

会得到与OLS截然不同的方程来，或者大幅度的改进。实际上可以构造这样的

数据，回归模型存在很强的异方差，但WLS与OLS的结果一样。加权最小二

乘法不会消除异方差，只是消除异方差的不良影响，从而对模型进行一点改进。

第五章

5.4试述前进法的思想方法。

答：前进法的基本思想方法是：首先因变量Y对全部的自变量xl,x2,..