4.3协方差与相关系数（课件）- 《概率论与数理统计（第3版）》同步教学（机工版）

第四章知识结构图

随机变量的数字特征

数学期望方差矩与协方差

矩阵

一维随机二维随机一维随二维随

变量的数变量的数机变量的机变量的相关

学期望学期望方差方差系数

与协

方差

离散型连续型

离散型连续型

第三节协方差与相关系数

问题的引出

随机变量的数学期望及方差都只刻画了一个随

机变量的某一方面的特征，而协方差与相关系

数是刻画两个随机变量之间关系的数字特征.

协方差与相关系数

多维随机变量分量之间关系的数字特征.

注意到:如果两个随机变量X,Y相互独立,

则:E{[XE(X)][(YE(Y)]}0

这就意味着若:E(XEX)(YEY)0

则X,Y不相互独立,而是存在着一定的关系.

一.协方差

1.定义1.量E{[XE(X)][(YE(Y)]}称为随机变量

X与Y的协方差，记为：Cov(X,Y)

即：Cov(X,Y)E{[XE(X)][(YE(Y)]}

注协方差中当X=Y时即为方差的定义，即：

Cov(X,Y)D(X),故方差是协方差的特例。

2.协方差的简单性质

(1).Cov(X,Y)Cov(Y,X)

(2).Cov(aX,bY)abCov(X,Y)a,b是常数

(3).Cov(X1X2,Y)Cov(X1,Y)Cov(X2,Y)

3.计算协方差的一个简单公式

Cov(X,Y)E(XY)E(X)E(Y)

证明：由协方差的定义及期望的性质，可得：

Cov(X,Y)E{[XE(X)][(YE(Y)]}

E(XY)E(X)E(Y)E(Y)E(X)E(X)E(Y)

E(XY)E(X)E(Y)

注显然，若X与Y相互独立则：Cov(X,Y)=0

4.随机变量和的方差与协方差的关系

(1).D(XY)D(X)D(Y)2Cov(X,Y)

nn

(2).D(Xi)D(Xi)2Cov(Xi,Xj)

i1i1ij

若X1,X2,…,Xn两两独立，上式化为：

nn

D(Xi)D(Xi)

i1i1

问题：

协方差的大小在一定程度上反映了X和Y相互间的

关系，但它还受X与Y本身度量单位的影响.

例如：Cov(kX,kY)k2Cov(X,Y)

为了克服这一缺点，对协方差进行标准化，

这就引出了相关系数的概念。

二.相关系数

Cov(X,Y)

1.定义2.量(无量纲)称为随机变量

D(X)D(Y)

X,Y的相关系数，记为：XY

Cov(X,Y)

即：XY

D(X)D(Y)

2.相关系数的简单性质

(1).1X和Y以

XY概率1线

存在常数，使得：性相关

(2).XY1a,b

P(YaXb)1

证明：

(1).|XY|1

由方差的性质和协方差的定义知，对任意实数b,有：

0D(YbX)b2D(X)D(Y)2bCov(X,Y)

Cov(X,Y)

令b,则上式为：

D(X)

[Cov(X,Y)]2

D(YbX)D(Y)

D(X)

[Cov(X,Y)]2

D(Y)[1]D(Y)[12]

D(X)D(Y)XY

由于方差是正的，故必有：2

D(Y)1XY0

所以证得：

|XY|1

证明：存在常数，使得：

(2).XY1a,b

P(YaXb)1

|XY|1

由方差与协方差协关系有：

D(XY)D(X)D(Y)2Cov(X,Y)因此有：

XE(X)YE(Y)XE(X)YE(Y)

D()D()D()

D(X)D(Y)D(X)D(Y)

XE(X)YE(Y)

XE(X)与YE(Y)2Cov(,)

D(X)D(Y)D(X)D(Y)

是标准化随机变量，1122(1)

故其均值为0，方差XYXY

为1

时有

当XY1:

XE(X)YE(Y)

D()0

D(X)D(Y)

由方差的性质，可知:

XE(X)YE(Y)

P(c)1c为常数

D(X)D(Y)

整理得：P(YaXb)1

D(Y)E(X)

其中：a,bE(Y)D(Y)(c)

D(X)D(X)

同理，当XY1时也可推出此结论。因此得证。

P(YaXb)1,即P(YaXb)

D(YaX)0

又D(YaX)D(Y)a2D(X)2Cov(Y,aX)

D(aXb)a2D(X)2E[YE(Y)][aXaE(X)]

a2D(X)a2D(X)2aE[XE(X)][YE(Y)]

2a2D(X)2aCov(X,Y)0

所以：Cov(X,Y)aD(X)协方差定义

YaXb

所以：Cov(X,Y)aD(X)

YbD(Y)

aD(X)D()aD(X)

aa2

a

D(X)D(Y)

a

于是得：Cov(X,Y)D(X)D(Y)

即：

XY1

注

当X和Y相互独立时，XY0但其逆不真.

由于当X和Y独立时，Cov(X,Y)=0，故XY0;

但并不一定能推出和相互独立。

XY0XY

例1.设X,Y在x2y21上服从均匀分布，即：

1

x2y21

f(x,y)

0x2y21

验证：X与Y是不相关的，但不是相互独立的。

证明：由已知，X,Y的边缘概率密度为:

2

x2x

1,1与

fX(x)

0,x1

2

1y2,y1

fY(y)

0,y1

显然，

f(x,y)fX(x)fY(y)奇函数在对

称区间上的

所以：X,Y是不相互独立的。

积分为0

又因为：12

E(X)x1x2dx0

1

12

E(Y)y1y2dy0

所以：1

111x2

1

E(XY)xydxdydx2xydy0

11x

x2y21

从而有：Cov(X,Y)E(XY)E(X)E(Y)0

于是得：xy0故得：X与Y是不相关的

当时，称与不相关。

一般：1.XY0XY

故有：若X与Y相互独立，则X

与Y不相关；但反之不真

2.但对下述情形，独立与不相关等价

若(X,Y)服从二维正态分布，则

X与Y相互独立X与Y不相关

注

相关系数刻划了X和Y间“线性相关”的程度.

若考虑以X的线性函数a+bX来近似表示Y；

以均方误差eE{[Y(abX)]2}来衡量用

a+bX近似表示Y的好坏程度。

则e值越小表示a+bX与Y的近似程度越好.

现用微积分中求极值的方法，求出使e达到

最小时的a，b：

e=E{[Y-(a+bX)]2}数学期望性质

=E(Y2)+b2E(X2)+a2-2bE(XY)

+2abE(X)-2aE(Y)

e

2a2bE(X)2E(Y)0

a

令：

e

2bE(X2)2E(XY)2aE(X)0

b

Cov(X,Y)

解得：b这样求出的

0D(X)最佳逼近为：

L(X)=a0+b0X

a0E(Y)b0E(X)

这一逼近的剩余是：22

E{[YL(X)]}D(Y)(1XY)

可见：则与有严格线性关系

若XY1,YX;

若XY0,则Y与X无线性关系;

若则当：

0XY1,

XY的值越接近于1，Y与X的线性相关程度越高;

XY的值越接近于0，Y与X的线性相关程度越弱.

例2.设(X,Y)服从二维正态分布，它的概率密度为：

22

1(x1)(x1)(y2)(y2)

[2]

1222

f(x,y)e2(1)1122

2

2121

求：X与Y的相关系数

解:由已知，X,Y的边缘概率密度为:

(x)2

1

2

121

fX(x)e,x

21

(y)2

2

2

122

fY(y)e,y

22

其数学期望与方差分别为：

22

E(X)1,E(Y)2,D(X)1,D(Y)2

而：

Cov(X,Y)(x1)(y2)f(x,y)dxdy

其积分过程

12

见教材

Cov(X,Y)

于是：XYP130

D(X)D(Y)

结论：二维正态分布的概率密度函数中的五个参

数的意义分别为：X的数学期望与方差；

Y的数学期望与方差；X与Y的相关系数。

二维正态分布完全由这五个参数所确定。

第四章知识结构图

随机变量的数字特征

数学期望方差矩与协方差

矩阵

一维随机二维随机一维随二维随

变量的数变量的数机变量的机变量的相关

学期望学期望方差方差系数

与协

方差

离散型连续型

离散型连续型

第四节矩与协方差矩阵

一.矩

矩是随机变量的更为广泛的一种数字特征，

前面介绍的数学期望及方差都是某种矩.

定义:设X和Y是随机变量

(1).若E(Xk)存在，则称它为X的k阶原点

矩，k1,2,简称k阶矩。

(2).若E{[XE(X)]k}存在，k1,2,

则称它为X的k阶中心矩。

(3).若E(XkYl)存在，k,l1,2,则称它为

X和Y的kl阶混合矩。

(4).若E{[XE(X)]k[YE(Y)]l}存在，

k,l1,2,则称它为X和Y的kl阶

混合中心矩。

注

数学期望E(X)是随机变量X的一阶原点矩;

方差D(X)是随机变量X的二阶中心矩；

协方差Cov(X,Y)是随机变量X和Y的

二阶混合中心矩。

二.协方差矩阵

定义:若二维随机变量（X1,X2）的四个二阶中心矩

都存在，分别记为：

这是

一个

对称

矩阵

将它们排成矩阵的形式:

称此矩阵为（X1,X2）的协方差矩阵.

注▲

类似可定义n维随机变量(X1,X2,…,Xn)

的协方差矩阵.

若i,j=1,2,…,n

都存在.则称矩阵：

为(X1,X2,…,Xn)

的协方差矩阵

▲n维正态分布的概率密度的定义.

设=(X1,X2,…,Xn)是一个n维随机向量，若

它的概率密度为：推导过程见浙

f(x1,x2,…,xn)大教材P135

则称X服从n元正态分布.

其中：

C是(X1,X2,…,Xn)的协方差矩阵.

|C|是它的行列式，表示C的逆矩阵.

X和是n维列向量，表示X的转置.

▲n元正态分布的四条重要性质

(1).X=(X1,X2,…,Xn)服从n维正态分布的充

分必要条件是：对一切不全为零的实数：