协方差与相关系数ppt课件

1、 一、协方差的定义一、协方差的定义 二、协方差的性质二、协方差的性质 三、相关系数的定义三、相关系数的定义 四、相关系数的性质四、相关系数的性质 五、矩的概念与协方差矩阵五、矩的概念与协方差矩阵 六、六、n n维正态分布的概率密度与性质维正态分布的概率密度与性质 七、小结七、小结 前面我们引见了随机变量的数学期望前面我们引见了随机变量的数学期望和方差，对于多维随机变量，反映分量之和方差，对于多维随机变量，反映分量之间关系的数字特征中，最重要的，就是本间关系的数字特征中，最重要的，就是本讲要讨论的讲要讨论的协方差和相关系数协方差和相关系数本节将要讨论的协方差是反映随机变量之间依赖本节将要讨论的协

2、方差是反映随机变量之间依赖关系的一个数字特征关系的一个数字特征.在一定程度上反映了随机变量在一定程度上反映了随机变量X与与Y之间的关系之间的关系.完完在证明方差的性质时，在证明方差的性质时， 曾经知道，曾经知道，当当X与与Y相互独相互独立时，立时， 有有. 0)()( YEYXEXE反之那么阐明，反之那么阐明，当当0)()( YEYXEXE时，时，X与与Y一定不相互独立，一定不相互独立，这阐明量这阐明量)()(YEYXEXE 一、协方差的定义一、协方差的定义定义定义设设),(YX为二维随机向量，为二维随机向量， 假设假设)()(YEYXEXE 存在，存在，那么称其为随机变量那么称其为随机变量X

3、和和Y的协方差，的协方差， 记为记为),cov(YX即即).()(),cov(YEYXEXEYX 按定义，按定义，其概率分布为其概率分布为), 2 , 1,(, jipyYxXPijii那么那么.)()(),cov(, jiijjipYEyXExYX假设假设),(YX为延续型随机向量，为延续型随机向量，其概率密度为其概率密度为),(yxf),(YX为离型随机向量，为离型随机向量，假设假设),cov(YX .),()()(dxdyyxfYEyXEx利用数学期望的性质，利用数学期望的性质，易将协方差的计算易将协方差的计算化简化简.)()(),cov(YEYXEXEYX )()()()()(XEYE

4、YEXEXYE )()(YEXE ).()()(YEXEXYE 特别地，特别地，. 0),cov( YX有有X与与Y独立时，独立时，当当完完协方差计算的简化公式协方差计算的简化公式二、协方差的性质二、协方差的性质1. 协方差的根本性质协方差的根本性质(1);(),cov(XDXX (2);,cov(),cov(XYYX (3),cov(),cov(YXabbYaX 常数；常数；(4), 0),cov( XC(5);,cov(),cov(),cov(2121YXYXYXX 其中其中ba,是是为恣意常数；为恣意常数；C(6)当当X与与Y相互独立，相互独立，. 0),cov( YX那么那么2. 随机

5、变量和的方差与协方差的关系随机变量和的方差与协方差的关系),cov(2)()()(YXYDXDYXD 特别地，特别地，假设假设X与与Y相互独立，相互独立，).()()(YDXDYXD 注：注： 上述结果可推行至上述结果可推行至n维情形：维情形： njijiniiniiXXXDXD111);,cov(2)()(那么那么假设假设nXXX,21两两独立，两两独立， niiniiXDXD11);()(那么有那么有 可以证明：可以证明： 假设假设YX,的方差存在，的方差存在，那么协方差那么协方差),(YX一定存在且满足以下不等式：一定存在且满足以下不等式：)()(),cov(YEYXEXEYX . )(

6、)(YDXD 完完例例1知离散型随机向量知离散型随机向量),(YX的概率分布如右表的概率分布如右表,求求).,cov(YX1 . 0015. 021 . 005. 03 . 0102 . 01 . 00201 XY解解容易求得容易求得X的概率分的概率分, 3 . 00 XP,45. 01 XP;25. 02 XPY的概率分布为的概率分布为,55. 01 YP,25. 00 YP, 2 . 02 YP布为布为计算得计算得0202 . 0001 . 0)1(0)( XYE1 . 0215 . 0013 . 0)1(1 1 . 02200215. 0)1(2 . 0 2 . 0225. 0055.

7、0)1()( YE.15. 0 25. 0245. 013 . 00)( XE,95. 0 于是于是)()()(),cov(YEXEXYEYX .1425. 015. 095. 0 完完, 3 . 00 XP,45. 01 XP;25. 02 XP,55. 01 YP,25. 00 YP, 2 . 02 YP例例2 设延续型随机变量设延续型随机变量),(YX的密度函数为的密度函数为, 010,8),( 其其它它yxxyyxf求求).,cov(YX解解由由),(YX的密度函数可求得其边缘密度函的密度函数可求得其边缘密度函数分别为数分别为:, 010),1(4)(2 其其它它xxxxfX, 010

8、,4)(3 其其它它yyyfY dxxxfXEX)()( 102)1(4dxxxx,15/8 dyyyfYEY)()( 1034dyyy, 5/4 dxdyyxxyfXYE),()( 1108xdyxyxydx, 9/4 , 010),1(4)(2 其其它它xxxxfX, 010,4)(3 其其它它yyyfY)(XE,15/8 )(YE, 5/4 )(XYE, 9/4 从而从而)()()(),cov(YEXEXYEYX 完完,225/4 协方差的大小在一定程度上反映了协方差的大小在一定程度上反映了X和和Y相互间的关系，但它还受相互间的关系，但它还受X与与Y本身度量单位本身度量单位的影响的影响.

9、 例如：例如：Cov(kX, kY)=k2Cov(X,Y)为防止随机变量本身度量单位不同而影响它们相互为防止随机变量本身度量单位不同而影响它们相互关系的度量，关系的度量， 可将每个随机变量规范化，可将每个随机变量规范化，即取即取,)()(,)()(YDYEYYXDXEXX 并将并将),cov( YX作为作为X与与Y之间相互关系的一种度之间相互关系的一种度量，量，而而,)()(),cov(),cov(YDXDYXYX 定义定义 设设),(YX为二维随机向量，为二维随机向量，, 0)( XD, 0)( YD称称)()(),cov(YDXDYXXY 为随机变量为随机变量X和和Y的相关系数，的相关系数

10、， 有时也记有时也记XY 为为. 特别地，特别地，当当0 XY 时，时，称称X与与Y不相关不相关.三、相关系数的定义三、相关系数的定义四、相关系数的性质四、相关系数的性质性质性质1.; 1 XY 证证 由方差的性质和协方差的定义知，由方差的性质和协方差的定义知， 对恣意实数对恣意实数, b有有),cov(2)()()(02YXbYDXDbbXYD 令令,)(),cov(XDYXb 那么那么)(),cov()()(2XDYXYDbXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD ,1)()()(),cov(1)(22XYYDYDXDYXYD 由于方差由于方差)(YD是正的，

11、是正的，故必有故必有, 012 XY 所以所以. 1 XY 留意到此时留意到此时, 0),cov( YX易见结论成立易见结论成立. 注：注：X与与Y相互独立相互独立X与与Y不相关不相关.性质性质2.假设假设X和和Y相互独立，相互独立，; 0 XY 那么那么例例1 设设X服从服从(-1/2, 1/2)内的均匀分布内的均匀分布,而而Y=cos X,请课下自行验证请课下自行验证因此因此 =0， 即即X和和Y不相关不相关 .但但Y与与X有严厉的函数关系，有严厉的函数关系，即即X和和Y不独立不独立 .不难求得，不难求得，Cov(X,Y)=0，性质性质3.假设假设, 0)(, 0)( YDXD那么那么1

12、XY 存在常数存在常数),0(, aba使使, 1 baXYP而且而且0 a时，时，. 1 XY 注：注：相关系数描写了相关系数描写了X和和Y间间“线性相关的线性相关的 程度程度.XY 的值越接近于的值越接近于1，Y与与X线性相关程度越高；线性相关程度越高；XY 的值越接近于的值越接近于0，Y与与X线性相关程度越弱；线性相关程度越弱；1 XY 时，时，Y与与X有严厉线性关系；有严厉线性关系；0 XY 时，时，Y与与X无线性关系；无线性关系；即即X和和Y以概率以概率1线性相关线性相关.而且而且0 a时，时，. 1 XY 这里留意：这里留意：只阐明只阐明Y与与X没有线性没有线性关系关系. 并不能阐

13、明并不能阐明Y与与X之间没有其它函数关系之间没有其它函数关系.与与从而不能推出从而不能推出YX独立独立.0 XY 时，时，当当4. 设设,)(2baXYEe 称其为用称其为用baX 来来近似近似Y的均方误差，的均方误差， 那么有以下结论：那么有以下结论：假设假设, 0)(, 0)( YDXD那么那么)()(),(/ ),cov(000XEaYEbXDYXa 使均方误差到达最小使均方误差到达最小. =E(Y2)+b2E(X2)+a2- 2bE(XY)+2abE(X) - 2aE(Y)e =EY-(a+bX)2 0)(2)(2)(20)(2)(222XaEXYEXbEbeYEXbEaae)(),(

14、0XDYXCovb 解得解得)()(00XEbYEa这样求出的最正确逼近为这样求出的最正确逼近为L(X)=a0+b0X注：注：示示Y的好坏程度，的好坏程度，我们可用均方误差我们可用均方误差e来衡量以来衡量以baX 近似表近似表似程度越好，似程度越好， 且知最正确的线性近似为且知最正确的线性近似为,00bXa 其他均方误差其他均方误差).1)(2XYYDe 能阐明能阐明XY 越接近越接近1，e越小越小. 反之，反之，XY 越近于越近于0，e就越大，就越大，Y与与X的的线性相关性越小线性相关性越小.e值越小表示值越小表示baX 与与Y的近的近而而从这个侧面也从这个侧面也完完例例3 设设),(YX的

15、分布律为的分布律为14/14/14/14/12/14/1004/142/104/14/1012112iixYPyYPYX 易知易知, 0)( XE, 2/5)( YE, 0)( XYE于是于是, 0 XY YX,不相关不相关. 这表示这表示YX,不存不存在线性关系在线性关系, 但但,1201, 2 YPXPYXP,1201, 2 YPXPYXP知知YX,不是相互独立的不是相互独立的.现实上现实上,X和和Y具有关系具有关系:,2XY Y的值完全可由的值完全可由X的值所确定的值所确定.完完例例4 设设 服从服从, 上的均匀分布上的均匀分布, 且且,sin X cos Y判别判别X与与Y能否不相关能

16、否不相关, 能否独立能否独立.解解 由于由于, 0sin21)( dXE, 0cos21)( dYE而而. 0cossin21)(2 dXYE因此因此),()()(YEXEXYE 从而从而X与与Y不相关不相关. 但由于但由于X与与Y满足关系满足关系:122 YX所以所以X与与Y不独立不独立.完完例例5 知知),3, 1(2NX),4, 0(2NY且且X与与Y的相关系数的相关系数.21 XY 设设,23YXZ 求求)(ZD及及.XZ 解解因因,3)(2 XD,4)(2 YD且且XYYDXDYX )()(),cov( 2143, 6 所以所以 2,3cov2)(41)(91YXYDXD 23)(Y

17、XDZD),cov(21312)(41)(91YXYDXD , 7 因因,3)(2 XD,4)(2 YD且且),cov(YX, 6 所以所以)(ZD, 7 又因又因 23,cov),cov(YXXZX 2,cov3,covYXXX),cov(21),cov(31YXYX , 6),cov(21)(31 YXXD故故.772736)()(),cov( ZDXDZXXZ 例例6 设二维随机变量设二维随机变量),(),(2121 NYX求相关系数求相关系数.XY 解解根据二维正态分布的边缘概率密度知根据二维正态分布的边缘概率密度知,)(1 XE,)(2 YE,)(21 XD,)(22 YD而而 dx

18、dyyxfxxYX),()(),cov(21 )(12121221 yx.2)()1(21exp2121211222dxdyxxy 例例6 设二维随机变量设二维随机变量),(),(2121 NYX求相关系数求相关系数.XY 解解 令令,1111222 xyt,11 xu那么有那么有 tuYX2211(21),cov( dtdueutu2/ )(22122) dtedueutu22221222 例例6 设二维随机变量设二维随机变量),(),(2121 NYX求相关系数求相关系数.XY 解解 那么有那么有),cov(YX dtedueutu22221222 dtteduuetu222212221

19、,22221 即有即有,),cov(21 YX于是于是.)()(),cov( YDXDYXXY注注: 从本例的结果可见从本例的结果可见, 二维正态随机变量二维正态随机变量,(X)Y的分布完全由的分布完全由X和和Y各自的数学期望、各自的数学期望、方差以及方差以及它们的相关系数所确定它们的相关系数所确定. 此外此外, 易见有结论易见有结论:假设假设),(YX服从二维正态分布服从二维正态分布, 那么那么X与与Y相互独立相互独立,当且仅当当且仅当X与与Y不相关不相关.五、矩的概念五、矩的概念定义定义 设设X和和Y为随机变量，为随机变量，lk,为正整为正整数，数，)(kXE为为k阶原点矩阶原点矩 (简称

20、简称k阶矩阶矩);)(kXEXE 为为k阶中心矩阶中心矩)(kXE为为k阶绝对原点矩；阶绝对原点矩；)(kXEXE 为为k阶绝对中心矩；阶绝对中心矩；称称)(tkYXE为为X和和Y的的lk 阶混合矩阶混合矩;)()(tkYEYXEXE 为为X和和Y的的lk 混合中心矩混合中心矩.注注: 由定义可见：由定义可见：(1)X的数学期望的数学期望)(XE是是X的一阶原点矩；的一阶原点矩；(2)X的方差的方差)(XD是是X的二阶中心矩；的二阶中心矩；(3) 协方差协方差),(YXCov是是X与与Y的二阶混合中的二阶混合中心矩心矩.完完六、协方差矩阵六、协方差矩阵将二维随机变量将二维随机变量),(21XX

21、的四个二阶中心矩的四个二阶中心矩,)(21111XEXEc ,)(22222XEXEc ),()(221112XEXXEXEc ).()(112221XEXXEXEc 排成矩阵的方式：排成矩阵的方式： 22211211cccc对称矩阵对称矩阵称此矩阵为称此矩阵为),(21XX的协方差矩阵的协方差矩阵.类似定义类似定义n维随机变量维随机变量),(21nXXX的协方差的协方差矩阵矩阵. 假设假设),cov(jiijXXc njiXEXXEXEjjii, 2 , 1,)()( 都存在，都存在， nnnnnncccccccccC212222111211为为),(21nXXX的协方差矩阵的协方差矩阵.完

22、完称称六、六、n维正态分布的概率密度与性质维正态分布的概率密度与性质先思索二维正态分布的概率密度，先思索二维正态分布的概率密度，再将其推行到再将其推行到n维情形维情形. 二维正态随机向量二维正态随机向量),(21XX的概率密度为的概率密度为 2222211111211122)1(21221121 xxxxe),(21xxf记记,21 xxX,21 协方差矩阵协方差矩阵,22211211 ccccC易验算易验算)()(1 XCXT,22211211 ccccC易验算易验算)()(1 XCXT故二维正态随机向量故二维正态随机向量),(21XX的概率密度可用矩阵的概率密度可用矩阵表示为表示为),(2

23、1xxfexp)2(12/12/2C )()(211 XCXT其中其中TX)( 是是)( X的转置的转置.进一步，进一步，向量，向量， 假设它的概率密度为假设它的概率密度为设设),(21nTXXXX 是一个是一个n维随机维随机假设它的概率密度为假设它的概率密度为设设),(21nTXXXX 是一个是一个n维随机向量，维随机向量，),(21nxxxfexp)2(12/12/Cn )()(211 XCXT那么称那么称X服从服从n维正态分布维正态分布.其中，其中，C是是),(21nXXX的协方差矩阵，的协方差矩阵，C是它的行列式，是它的行列式，1 C表示表示C的逆矩阵，的逆矩阵，X和和 是是n维列向量

24、，维列向量， 而而TX)( 是是)( X的转置的转置.完完n维正态分布的几条重要性质维正态分布的几条重要性质1.n维正态变量维正态变量),(21nXXX的每一个分量的每一个分量), 2 , 1(niXi 都是正态变量，都是正态变量，反之，反之，假设假设,21XX2.n维正态变量维正态变量),(21nXXX服从服从n维正态维正态分布的充要条件是分布的充要条件是nXXX,21恣意线性组合恣意线性组合nnXlXlXl 2211均服从一维正态分布均服从一维正态分布正态变量正态变量.都是都是nnX,nlll,21不全为不全为零零.其中其中3.假设假设),(21nXXX服从服从n维正态分布，维正态分布，设设kYYY,21是是), 2 , 1