协方差与相关系数——概率论与数理统计,王松桂、程维虎等,科学出版社

1、 概率论与数理统计概率论与数理统计第十三讲第十三讲主讲教师：程维虎教授主讲教师：程维虎教授北京工业大学应用数理学院北京工业大学应用数理学院4.3 协方差与相关系数协方差与相关系数 对于二维随机向量对于二维随机向量(X,Y)， 除了其分量除了其分量X和和Y 的期望与方差之外的期望与方差之外, 还有一些数字特征还有一些数字特征, 用以刻画用以刻画X与与Y之间的相关程度，其中最主要之间的相关程度，其中最主要的就是下面要讨论的协方差和相关系数。的就是下面要讨论的协方差和相关系数。 定义定义1：若若 E X- -E(X)Y- -E(Y) 存在，存在，则称其为则称其为X 与与Y 的协方差，记为的协方差，记

2、为Cov(X,Y), 即即4.3.1 协方差协方差Cov(X, Y) = E X- -E(X)Y- -E(Y) . (1)(3). Cov(X1+X2, Y)= Cov(X1, Y) + Cov(X2, Y) ；(1). Cov(X, Y) = Cov(Y, X)；协方差性质协方差性质(2). 设设 a, b, c, d 是常数，则是常数，则 Cov( aX+b, cY+d ) = ac Cov(X, Y) ；(4). Cov(X, Y) =E(XY)-E(X)E(Y) ，(5). Var(X+Y)=Var(X)+Var(Y)+2Cov(X, Y) . 当当 X 和和 Y 相互独立时，相互独立

3、时，Cov(X, Y)=0；若若 X1, X2, , Xn 两两独立，则两两独立，则性质性质(5)可推广到可推广到 n 个随机变量的情形：个随机变量的情形：. ) ,(2)()(11jininijiiiXXCovXVarXVar. )()(11niniiiXVarXVar 协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X 和和Y相互间的关系，但它还受相互间的关系，但它还受X 和和Y 本身度量单位本身度量单位的影响。的影响。 例如：例如：Cov(aX, bY) = ab Cov(X, Y). 为了克服这一缺点，对协方差进行标准为了克服这一缺点，对协方差进行标准化，这就引入了化，这就

4、引入了相关系数相关系数 。4.3.2 相关系数相关系数为随机变量为随机变量X 和和Y 的相关系数的相关系数 。 定义定义2: 设设Var(X) 0, Var(Y) 0, 则称则称)( )() ,(YVarXVarYXCovXY在不致引起混淆时，记在不致引起混淆时，记 为为 。XY 相关系数性质相关系数性质; 1| ).1 (证：证：由方差与协方差关系，由方差与协方差关系，对任意实数对任意实数b, 有有0Var(Y- -bX)=b2Var(X)+Var(Y)- -2b Cov(X,Y ),)(),(XVarYXCovb 令令则有则有Var(Y- -bX) = )(),()(2XVarYXCovY

5、Var)()(),(1)(2YVarXVarYXCovYVar,1)(2YVar由方差由方差Var(Y)0, 知知 1- - 2 0, 所以所以 | |1。由于当由于当 X 和和 Y 独立时，独立时，Cov(X, Y)= 0 .请看下例：请看下例：(2). X 和和Y 独立时独立时, =0，但其逆不真；，但其逆不真；但但=0 并不一定能推出并不一定能推出 X 和和 Y 独立。独立。 0)()(),(；YVarXVarYXCov所以，所以，证明证明:例例 1：设设 (X,Y) 服从单位服从单位 D= (x, y): x2+y21上的均匀分布，证明：上的均匀分布，证明： XY = 0。 .),(

6、, 0 ,),( ,/1),(DyxDyxyxf,00 /)(111111112222dydydxxdxdyxXEyyyx所以，所以，Cov(X, Y)= E(XY)- -E(X) E(Y) = 0 .同样，得同样，得 E(E(Y)=0,)=0,. 0 0 )y/()(111111112222dydyxdxydxdyxXYEyyyx此外，此外，Var(X) 0, Var(Y) 0 .所以，所以， XY = 0，即即 X 与与 Y 不相关。不相关。但是，在例但是，在例3.6.23.6.2已已计算过计算过: : X与与Y不独立。不独立。存在常数存在常数a, b(b0)，使使 P Y = a+bX

7、= 1 ，即，即 X 和和 Y 以概率以概率 1 线性相关线性相关。(3). |=1但对下述情形，独立与不相关是一回事：但对下述情形，独立与不相关是一回事：前面前面, 我们已经看到：我们已经看到： 若若X 与与Y 独立，则独立，则X 与与Y 不相关；但由不相关；但由X与与Y 不相关，不一定能推出不相关，不一定能推出X与与Y独立。独立。 若若(X, Y )服从二维正态分布，则服从二维正态分布，则X 与与Y 独独立的充分必要条件是立的充分必要条件是X与与Y不相关。不相关。 定义定义1：设设X是随机变量是随机变量, 若若E(Xk) 存在存在(k =1, 2, ), 则称其为则称其为X 的的 k 阶原

8、点矩；若阶原点矩；若 EX-E(X)k 存在存在(k = 1,2, ), 则称其为则称其为X的的 k 阶中心矩。阶中心矩。4.3 矩与协方差矩阵矩与协方差矩阵4.4.1 矩矩 易知：易知：X 的期望的期望 E(X) 是是 X 的一阶原点的一阶原点矩，方差矩，方差Var(X) 是是 X 的二阶中心矩。的二阶中心矩。 定义定义2：设设X和和Y是随机变量是随机变量, 若若 E(XkYm) 存在存在(k, m=1, 2,), 则称其为则称其为X与与Y的的 k+m 阶阶混合原点矩；若混合原点矩；若 EX-E(X)k Y-E(Y)m存在存在(k, m=1,2,，则称其为，则称其为X与与Y的的 k+m 阶混

9、合中阶混合中心矩。心矩。4.4.2 协方差矩阵协方差矩阵 将随机向量将随机向量 (X1, X2) 的四个二阶中心矩的四个二阶中心矩)(),()(),()(,)(2222211222122111221111XEXEcXEXXEXEcXEXXEXEcXEXEc排成一个排成一个22矩阵矩阵 ，则称此矩阵为则称此矩阵为(X1, X2)的方差与协方差矩阵，的方差与协方差矩阵，简称协方差阵。简称协方差阵。22211211cccc 类似地类似地，我们也，我们也可定义可定义n 维随机向量维随机向量 (X1, X2, , Xn) 的协方差阵：若随机向量的所有的的协方差阵：若随机向量的所有的二阶中心矩二阶中心矩为

10、为(X1, X2, , Xn) 的的协方差阵。协方差阵。njiXEXXEXEcjjiiij, 2 , 1, ),()(存在，存在，nnnnnncccccccccC212222111211则称矩阵则称矩阵,)()(21exp|)2(11212XCXCnf (x1, x2, , xn)则称则称X服从服从n元正态分布。元正态分布。其中其中C是是 (X1, X2, , Xn) 的协方差阵，的协方差阵，|C|是是C的行列式，的行列式， 表示表示C的逆矩阵，的逆矩阵，1CX和和 是是n维列向量，维列向量， 表示表示X的转置。的转置。 X 设设 =(X1,X2, ,Xn)是一个是一个n维随机向量维随机向量,

11、若其概率密度若其概率密度Xn元元正态分布的几条重要性质：正态分布的几条重要性质：(1). X =(X1, X2, , Xn) 服从服从 n 元正态分布元正态分布对一切不全为对一切不全为 0 的实数的实数 a1, a2, , an， a1X1+ a2 X2+ + an Xn 服从正态分布。服从正态分布。(2). 若若 X=(X1,X2, ,Xn)服从服从n 元正态分布，元正态分布，Y1,Y2,Yk 是是 Xj (j=1, 2, n)的线性组合的线性组合,则则(Y1,Y2, , Yk)服从服从k 元正态分布。元正态分布。这一性质称为正态变量的线性变换不变性。这一性质称为正态变量的线性变换不变性。

12、(3). 设设(X1,X2, ,Xn)服从服从n元正态分布，则元正态分布，则“X1,X2, ,Xn两两不相关两两不相关”。“X1, X2, , Xn 相互独立相互独立” 等价于等价于例例2: 设随机变量设随机变量X和和Y相互独立，且相互独立，且XN(1, 2), YN(0, 1)。求。求 Z = 2X- -Y+3 的概率密度。的概率密度。 知知 Z=2X-Y+3 服从正态分布，且服从正态分布，且解解: 由由XN(1,2), YN(0,1)，且，且X与与Y相互独立相互独立,Var(Z) = 4Var(X)+Var(Y) = 8+1 = 9, E(Z) = 2E(X)- -E(Y)+3 = 2- -0+3=5 ， 故，故，ZN(5, 32) .Z 的概率密度为的概率密度为. ,231)(18)5(2zezfzZ小结小结 本讲首先介绍二维随机向量本讲首先介绍二维随机向量 (X,Y) 的分量的分量X与与Y 的协方差及相关系数的概念、性质和计的协