第三节协方差及相关系数ppt课件

1、概率论概率论 第三节第三节 协方差及相关系数协方差及相关系数协方差协方差相关系数相关系数概率论概率论 量量E X-E(X)Y-E(Y) 称为随机变量称为随机变量X和和Y的协方差的协方差, 记为记为 cov(X,Y) , 即即: (4) cov(X1+X2, Y) = cov(X1, Y) + cov(X2, Y) (1) cov(X, Y) = cov(Y, X)一、协方差一、协方差 (covariance)2. 简单性质简单性质:(2) cov(aX, bY) = ab cov(X, Y), a, b 是常数是常数cov(X,Y)=E X-E(X)Y-E(Y) 1. 定义定义:(3) cov

2、(C, X) = 0, C 是常数是常数概率论概率论 cov(X,Y)=E(XY) -E(X)E(Y) 可见可见, 假设假设 X 与与 Y 独立独立, 则则cov(X, Y) = 0.3. 计算协方差的一个简单公式计算协方差的一个简单公式cov(X, Y)=E X-E(X)Y-E(Y) =E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y) =E(XY)-E(X)E(Y)即即:特别地特别地:22cov(,)()()()X XE XE XD X 4. 随机变量和的方差与协方差的关系随机变量和的方差与协方差的关系D(XY)= D(X)+D(Y) 2cov(X,Y)概率论概率论 二、相关

3、系数二、相关系数 (correlation)为随机变量为随机变量 X 和和 Y 的相关系数的相关系数 .1. 定义定义: 设设 D(X)0, D(Y)0, 称称:cov(,)()( )XYX YD X D Y 在不致引起混淆时在不致引起混淆时, 记记 XY 为为 .协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X 和和Y 相互间的关系相互间的关系, 但它还受但它还受 X 与与Y 本身度量单位的影响本身度量单位的影响. 例如：例如：cov(kX, kY)=k2cov(X, Y)为了克服这一缺点为了克服这一缺点, 对协方差进行标准化对协方差进行标准化, 这就引入了相关系数这就引入了相

4、关系数.*()()XE XXXD X 注注：若若记记 ，称称为为 的的标标准准化化随随机机变变量量，易知易知: E(X*)=0, D(X*)=1;cov(,)()( )()( )()( )XYX YXE XYE YED X D YD XD Y 且且: : E(Y*)=0, D(Y*)=1;*cov(,)().X YE X Y（标准协方差）（标准协方差）概率论概率论 2. 相关系数的性质：相关系数的性质：1) | 1 2) X 和和 Y 独立时独立时, =0此时称此时称X 和和 Y 不相关）不相关）, 但其逆不真但其逆不真.证：由于当证：由于当X 和和Y 独立时独立时, cov(X,Y)= 0.

5、cov(,)0()()X YD X D Y 故故: : 但由但由 =0 并不一定能推出并不一定能推出 X 和和 Y 独立独立.假设假设 X 与与 Y 独立独立, 那么那么 X 与与 Y 不相关不相关.但但 X 与与 Y 不相关不相关, 不一定能推出不一定能推出 X 与与 Y 独立独立.概率论概率论 事实上事实上, X的密度函数的密度函数:111( )220 xf x 其其它它, ,()0E X 可可得得: :1212()(cos)cos( )0E XYE XXxxf x dx cov(,)()() ( )0.X YE XYE X E Y 反例反例: 设设 X服从服从 (-1/2, 1/2)内的

6、均匀分布内的均匀分布, 而而 Y=cosX,不难求得不难求得: cov(X,Y)=0，因而因而 =0, 即即 X和和 Y不相关不相关 .但但Y 与与X 有严格的函数关系，有严格的函数关系， 即即 X 和和 Y 不独立不独立 .概率论概率论 3)1 存在常数存在常数 a, b(b0), 使使 P Y=aX+b =1,即即: X 和和 Y 以概率以概率 1 线性相关线性相关.相关系数刻划了相关系数刻划了X 和和Y 间间“线性相关的程度线性相关的程度.假设假设 = 0, Y 与与 X 无线性关系无线性关系;可见可见, 假设假设 = 1, Y 与与 X 有严格线性关系有严格线性关系;假设假设 0 |

7、1,|的值越接近于的值越接近于1, Y 与与 X的线性相关程度越高的线性相关程度越高;|的值越接近于的值越接近于0, Y 与与 X的线性相关程度越弱的线性相关程度越弱.（称（称X 和和 Y 完全相关）完全相关）（称（称X 和和 Y 不相关）不相关）概率论概率论 三、原点矩三、原点矩 中心矩中心矩1. 定义定义: 设设 X 和和 Y 是随机变量是随机变量, ,1,2,kE Xk 若若 存存在在，称它为称它为 X 的的 k 阶原点矩，简称阶原点矩，简称 k 阶矩阶矩; (),2,3,kEXE Xk 若若 存存在在, ,称它为称它为 X 的的 k 阶中心矩阶中心矩.可见可见, 均值均值 E(X)是是

8、 X 的一阶原点矩的一阶原点矩, 方差方差 D(X)是是 X的二阶中心矩。的二阶中心矩。(k-th raw moment)(k-th central moment)概率论概率论 可见可见, 协方差协方差 cov(X, Y)是是 X 和和 Y 的二阶混合中心矩的二阶混合中心矩.称它为称它为 X 和和 Y 的的 k+l 阶混合阶混合(原点原点)矩矩. () ( ),1,2,klEXE XYE Yk l 若若存存在在称它为称它为 X 和和 Y 的的 k+l 阶混合中心矩阶混合中心矩. ,1,2,klE X Yk l 若若存存在在2. 定义定义: 设设 X 和和 Y 是随机变量是随机变量, (k+l)

9、-th mixed raw moment)(k+l)-th mixed central moment)概率论概率论 四、协方差矩阵四、协方差矩阵将二维随机变量将二维随机变量 (X1, X2) 的四个二阶中心矩的四个二阶中心矩:)(21111XEXEc)()(221112XEXXEXEc排成矩阵的形式排成矩阵的形式:)()(112221XEXXEXEc)(22222XEXEc称此矩阵为称此矩阵为 (X1, X2) 的协方差矩阵的协方差矩阵(covariance matrix).22211211cccc这是一个对称矩阵这是一个对称矩阵概率论概率论 类似定义类似定义 n 维随机变量维随机变量 (X1, X2, , Xn) 的协方差矩的协方差矩阵阵.