4.3 协方差和相关系数（课件）- 《概率论与数理统计》同步教学（机工版第4版）

《概率论与数理统计》

§4.3协方差和相关系数

问题对于二维随机变量(X,Y):

已知联合分布边缘分布

对二维随机变量,除每个随机变量各自

的概率特性外,相互之间可能还有某种联系

问题:用一个怎样的数去反映这种联系.

一.协方差定义与性质

若X,Y独立,则根据数学期望的性质，有

E(XY)=EXEY

E{(X-EX)(Y-EY)}=E(XY)-EXEY=0

X，Y独立E{(X-EX)(Y-EY)}=0

数E(XEX)(YEY)

反映了随机变量X,Y之间的某种关系

定义称E(XEX)(YEY)

为X,Y的协方差.记为

Cov(X,Y)E(XEX)(YEY)

Cov(X,Y)=E(XY)-EX•EY.

证明Cov(X,Y)E(XEX)(YEY)

E{XYXEYYEXEXEY}

E(XY)EXEY

注Cov(X,Y)E(XY)E(X)E(Y)

1

D(XY)D(X)D(Y)

2

若(X,Y)为离散型，

Cov(X,Y)[xiE(X)][yjE(Y)]pij

i1j1

若(X,Y)为连续型，

Cov(X,Y)[xE(X)][yE(Y)]f(x,y)dxdy

协方差性质

性质1

(1)Cov(X,Y)=Cov(Y,X);

(2)Cov(X,X)=D(X);Cov(X,c)=0;

(3)Cov(aX,bY)=abCov(X,Y),其中a,b为常数；

(4)Cov(X+Y，Z)=Cov(X,Z)+Cov(Y,Z);

22

D(C1XC2Y)C1DXC2DY2C1C2Cov(X,Y)

解DX3,DY1,

D(V)16D(X)9D(Y)24Cov(X,Y)33,

D(W)4D(X)16D(Y)16Cov(X,Y)44,

Cov(V,W)Cov(4X3Y1,2X4Y)

8D(X)16Cov(X,Y)6Cov(Y,X)12D(Y)22.

性质2“X与Y独立”

“X与Y不相关”,反之未必成立.

例２设(X,Y)在D={(X,Y)：x2+y21}上服从均匀分

布，求证：X与Y不相关，但不是相互独立的。

性质3X与Y为随机变量,则下列结果等价

(1)X,Y不相关;

(2)Cov(X,Y)=0;

(3)E(XY)=EXEY;

(4)D(X+Y)=DX+DY.

二.相关系数

1.定义若随机变量X，Y的方差和协方差均存在,

且DX>0,DY>0，则

Cov(X,Y)无量纲

XY

DXDY的量

称为X与Y的相关系数.

XE(X)

注1：若记X*

DX

称为X的标准化，易知EX*=0，DX*=1.且

****

XYCov(X,Y)E(XY).

注2不相关

XY0X,Y

Cov(X,Y)0

E(XY)E(X)E(Y)

D(XY)D(X)D(Y)

X,Y相互独立X,Y不相关

22

例3设(X,Y)~N(1,1;2,2;),求XY

解

Cov(X,Y)(x)(y)f(x,y)dxdy

12

x11

1(st)2t2

s2

1122(1)2

ystedsdt

22

t

221

u21

令stut2

2

12t(tu)e2(1)2dudt

2

21

u2

12

2t

12e2(1)dut2e2dt

2

21

12

XY

22

若(X,Y)~N(1,1,2,2,),

则X,Y相互独立X,Y不相关

例4设~U(0,2),X=cos,Y=cos(+),

是给定的常数，求XY

1

解,0t2,

f(t)2

其他

21

E(X)costdt0,

02

21

E(Y)cos(t)dt0,

02

211

E(XY)cos(t)cos(t)dtcos

022

1

cov(X,Y)cos

2

2111

E(X2)cos2tdt,D(X),

0222

2111

E(Y2)cos2(t)dt,D(Y),

0222

XYcos

若

0,XY1YX

若,XY1YX

有线性关系

|XY|1X,Y

若3

,,0X,Y不相关，

22XY

但X,Y不独立，

X,Y没有线性关系，但有函数关系

X2Y21

引理|E(XY)|2E(X2)E(Y2)当E(X2)>0,

2时，当且仅当

E(Y)>0PYt0X0}1

时,等式成立—Cauchy-Schwarz不等式.

证令

g(t)E{YtX}2

t2E(X2)2tE(XY)E(Y2)

对任何实数t,g(t)0

222

4[E(XY)]4E(X)E(Y)0

即|E(XY)|2E(X2)E(Y2)

等号成立g(t)0有两个相等的实零点

E(XY)

t

0E(X2)

即2

g(t0)0g(t0)E{Yt0X}0

等号成立2

E{Yt0X}0

PYt0X0}1

即Y与X有线性关系的概率等于1.

2.相关系数的性质

定理在以上假设条件下，有

；

(1)|XY|1

存在常数使；

(2)|XY|=1a,bP{Y=aX+b}=1

与不相关

(3)XYXY=0;

例51.设(X,Y)服从区域D:0<x<1,0<y<x上的

均匀分布,求X与Y的相关系数

解

2(x,y)Dx=y

f(x,y)

0othersD

1

1x2

E(X)x2dydx

003

1x41

D(X)x22dydx

00918

1x1

E(Y)y2dydx

003

1x11

D(Y)y22dydx

00918

1x1

E(XY)xy2dydx

004

1

Cov(X,Y)E(XY)E(X)E(Y)

36

Cov(X,Y)1

XY

D(X)D(Y)2

例62

1)X~U(0,1),YX,求XY

2

2）X~U(1,1),YX,求XY

解1)

11114

E(X),E(Y),E(XY),D(X),D(Y)

2341245

1

122)E(X)0,E(XY)0

XY0.968

14

0

1245XY

三.矩

k

mkE(X)——X的k阶原点矩

k

AmkE(|X|)——X的k阶绝对原点矩

k的阶中心矩

ckE(XEX)——Xk

2

E(XEX)D(X)——X的方差

E(XkYl)——X,Y的k+l阶混合原点矩

kl

E(XEX)(YEY)

——X,Y的k+l阶混合中心矩

E(XY)——X,Y的二阶原点矩

E(XEX)(YEY)—X,Y的二阶混合中心矩

X,Y的协方差

(XEX)(YEY)

EXY

D(X)D(Y)

——X,Y的相关系数

四.协方差矩阵

1.定义设X1，…,Xn为n个随机变量,记

cij=Cov(Xi,Xj),i,j=1,2,…,n.则称由cij组成的

T

矩阵为随机变量X=(X1，…,Xn)的协方差矩

阵C。即

cc...c

11121n

c21c22...c2n

C(cij)nn

............

cn1cn2...cnn

协方差矩阵C的性质：

(1)C=E[(X-EX)(X-EX)T];

(2)C为实对称矩阵；

(3)C为非负定矩阵；记作C≥0；

例6设(X,Y)~N(1,4;1,4;0.5),

Z=X+Y,求XZ

解E(X)E(Y)1,D(X)D(Y)4,

XY1/2,cov(X,Y)2

Cov(X,Z)Cov(X,X)Cov(X,Y)6

D(Z)D(XY)

D(X)D(Y)2cov(X,Y)12

XZ3/123/2.

附录矩在线性回归中的应用

若X,Y是两个r.v.,用X的线性函数

去逼近Y所产生的平均平方误差为

E[Y(aXb)]2

cov(X,Y)

当取aˆ,

D(X)

D(Y)

bˆE(Y)aˆE(X)E(Y)E（X）

XYD(X)

平均平方误差最小.

附例设X,Y相互独立,且都服从N(0,2),

U=aX+bY,V=aX-bY,a,b为常数，

且都不为零，求UV

解cov(U,V)E(UV)E(U)E(V)

a2E(X2)b2E(Y2)

aE(X)bE(Y)aE(X)bE(Y)

由E(X)E(Y)0,E(X2)2

D(X)D(Y)2E(Y2)2

cov(U,V)(a2b2)2

而D(U)a2D(X)b2D(Y)(a2b2)2

D(V)a2D(X)b2D(Y)(a2b2)2

a2b2

故

UVa2b2

继续a,b取何值时,U与V不相关？

讨论此时,U与V是否独立？

若a=b，UV=0,则U,V不相关.

但U~N(0,2a22),V~N(0,2a22),

1

Ua(XY)X(UV)

2a

1

Va(XY)Y(UV)

2a

11

11

f(u,v)|2a2a|f(uv),(uv)

UV11XY

2a2a

2a2a

111

f(u,v)f(uv)f(uv)

UV2a2X2aY2a

uv2uv2

2a2a

112

e2

2a222

u2v2

122

e4a

2(2a)2

(U,V)~N(0,2a22;0,2a22;0),

且U,V相互独立

正态随机变量的结论