10.3 多元线性回归（课件）- 《概率论与数理统计》同步教学（机工版）

“悟道诗---严加安”

随机非随意，概率破玄机；

无序隐有序，统计解迷离．

第十章

回归分析

第三节多元线性回归

一、多元线性回归模型

二、参数的最小二乘估计

三、回归方程的显著性检验

四、回归系数的显著性检验

五、小结

一、多元线性回归模型

随机变量Y

线性相关

可控变量X1,X2,…,Xm

n组独立观测数据xk1,xk2,,xkm,yk,(k1,2,,n)

Y关于X1,X2,…,Xm的m元线性回归模型：

ykb0b1xk1b2xk2bmxkmk,

iid

2

k~N(0,),k1,2,,n.

b0,b1,…,bm为待估计的模型参数.εi为随机误差项.

一、多元线性回归模型

Y关于X1,X2,…,Xm的m元线性回归模型：

ykb0b1xk1b2xk2bmxkmk,

iid

2

k~N(0,),k1,2,,n.

Y关于X1,X2,…,Xm的理论回归方程：

yˆE(Y|x1,,xm)b0b1x1b2x2bmxm

二、参数的最小二乘估计

假设的估计量为ˆˆˆ

b0,b1,…,bmb0,b1,,bm

拟合误差（残差）ekykyˆk,k1,2,,n

一个比较好的回归方程应该使所有观测点的残差平

方和尽可能小y

y

keyyˆ

ˆˆˆkkk

yˆb0b1x1b2x2

回归平面

yˆk

x2

(xk1,xk2)

x1

二、参数的最小二乘估计

残差平方和：

n

ˆˆˆ2

Q(b0,b1,,bm)ek

k1

n2

ybˆbˆxbˆxbˆx

k01k12k2mkm

k1

ˆˆˆ

求m+1元函数Q(b0,b1,,bm)的最小值点，即得未

知参数b0,b1,…,bm的最小二乘估计

二、参数的最小二乘估计

ˆˆˆ

求Q关于b0,b1,,bm的偏导数，并令其等于0，列

方程组如下：

Qn

2(ybˆbˆxbˆxbˆx)0,

ˆk01k12k2mkm

b0k1

n

Q

2(ybˆbˆxbˆxbˆx)x0,(i1,2,,m).

ˆk01k12k2mkmki

bik1

nnnn

ˆˆˆˆ

nb0b1xk1b2xk2bmxkmyk,

k1k1k1k1

nnnn

bˆxbˆxxbˆxxxy,(i1,2,,m).

0ki1kik1mkikmkik

k1k1k1k1

称为正规方程组

二、参数的最小二乘估计

1.第一种解法

求解方程组

ˆˆˆˆ

b0x1b1x2b2xmbmy,

ˆˆˆ

li1b1li2b2limbmliy,(i1,2,,m).

其中

nn

11

yyk,xixki,(i1,2,,m),

nk1nk1

n

lijlji(xkixi)(xkjxj),(i1,2,,m;j1,2,,m),

nk1

liy(xkixi)(yky),(i1,2,,m).

k1

二、参数的最小二乘估计

1.第一种解法

ˆˆˆˆ

b0x1b1x2b2xmbmy,

ˆˆˆ

li1b1li2b2limbmliy,(i1,2,,m).

ˆˆ

由后m个方程解得b1,,bm，代入第一个方程得

ˆˆˆˆ

b0yb1x1b2x2bmxm.

Y关于X1,X2,…,Xm的经验回归方程：

ˆˆˆ

yˆyb1(x1x1)b2(x2x2)bm(xmxm).

二、参数的最小二乘估计

2.第二种解法（矩阵解法）

令

1x11x12x1my1b0

1xxxyb

X21222m,Y2,B1.

1xn1xn2xnmynbm

可得正规方程组的矩阵形式

XTXBXTY.

X称为设计矩阵

二、参数的最小二乘估计

2.第二种解法（矩阵解法）

由XTXBXTY解得

bˆ

0

ˆ

b1T1T

Bˆ(XX)XY.

ˆ

bm

将Bˆ代入理论回归方程式同样可得经验回归方程

三、回归方程的显著性检验

不全为

H0:b1b2bm0,H1:b1,b2,,bm0.

1.离差平方和分解

n

2

SSTlyy(yiy)

i1

nnn

222

(yiyˆiyˆiy)(yiyˆi)(yˆiy).

i1i1i1

nm

2ˆ

回归平方和SSR(yˆiy)biliy

i1i1

nm

2ˆ

残差平方和SSE(yiyˆi)lyybiliy

i1i1

三、回归方程的显著性检验

不全为

H0:b1b2bm0,H1:b1,b2,,bm0.

2.F检验法

定理10.3.1对于m元线性回归，有

SS

E~2(nm1),并且SS和SS相互独立

2ER

SSSS

H成立时，R~2(m),T~2(n1).

022

三、回归方程的显著性检验

不全为

H0:b1b2bm0,H1:b1,b2,,bm0.

2.F检验法

检验统计量

SSmMS

FRR~F(m,nm1)

SSE(nm1)MSE

拒绝域

WFF(m,nm1)

三、回归方程的显著性检验

3.方差分析表

方差来源平方和自由度均方F值

回归SSRmMSR=SSR/mMSR/MSE

剩余SSEn–m–1MSE=SSE/(n–m–1)

总和SSTn–1

当FF(m,nm1)时拒绝原假设H0，认为回

归方程整体上是显著的.

四、回归系数的显著性检验

H0i:bi0,H1i:bi0,i1,2,,m.

ˆˆˆ的分布

1.b0,b1,,bm

1

T

定理10.3.2记CXX(cij)(m1)(m1)，对于m元

线性回归模型，有

ˆ2

bi~Nbi,ci1,i1,(i0,1,,m),

并且SSE和SSR相互独立.

四、回归系数的显著性检验

H0i:bi0,H1i:bi0,i1,2,,m.

2.t检验法

当原假设H0成立时，检验统计量

ˆ

bi

Ti~tnm1.

ˆci1,i1

对于给定的显著性水平α，检验的拒绝域为

Wi|Ti|t2(nm1)

检验的p值：

的观测值的观测值

piP|Ti||Ti|2PTi|Ti|

例10.3.1考察15名不同程度的烟民的每日抽烟量X1

（支）、饮酒（啤酒）量X2（L）与其心电图指标

Y的对应数据，如下表所列：

（）求变量的相关系数矩阵；

1X1,X2,Y

（）求关于的二元线性回归方程；

2YX1,X2

（3）对回归方程进行显著性检验（取0.05）.

解（1）由式(10.25)~式(10.27)计算得

x134.93,x213.67,y340.33,

l112026.93,l12l21368.67,l2289.33,

l1y14965.33,l2y2771.67,lyy119623.33,

于是可得X1和X2的相关系数为

l12368.67

r12r210.8664,

l11l222026.9389.33

解（1）X1和Y的相关系数为

l1y14965.33

r1yry10.9611,

l11lyy2026.93119623.33

X2和Y的相关系数为

l2y2771.67

r2yry20.8479,

l22lyy89.33119623.33

X1,X2,Y的相关系数矩阵为

X1X2Y

1.00000.86640.9611X1

X

R0.86641.00000.84792

0.96110.84791.0000Y

解（2）假设Y关于X1,X2的理论回归方程为

yˆb0b1x1b2x2,

根据式(10.28)写出如下方程组

bˆ34.