方差与协方差理解复习课程

1、方差与协方差理解精品资料仅供学习与交流，如有侵权请联系网站删除 谢谢 精品资料仅供学习与交流，如有侵权请联系网站删除谢谢 2方差、协方差与相关系数2.1方差例1比较甲乙两人的射击技术，已知两人每次击中环数分布为：78967891001 0.6 0.1:01 0.2 0.4 0.2 0.1问哪一个技术较好？首先看两人平均击中环数，此时 E E 8，从均值来看无法分辩孰优孰劣 .但从直观上 看，甲基本上稳定在 8环左右，而乙却一会儿击中 10环，一会儿击中 6环，较不稳定.因 此从直观上可以讲甲的射击技术较好 .上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度.称-E为随机变

2、量对于均值E的离差(deviation)，它是一随机变量.为了给出一个描述离散程度的数值，考虑用 E E，但由于E E =E E =0对一切随机变量2均成立，即的离差正负相消，因此用 E E 是不恰当的.我们改用E E 描述 取值的离散程度，这就是方差.2定义1若E E存在，为有限值，就称它是随机变量的方差(varianee),记作Var2Var =E E(1)但Var的量纲与 不同，为了统一量纲，有时用Var ，称为 的标准差(standarddeviation).2方差是随机变量函数 E 的数学期望，由1的式，即可写出方差的计算公式Var =(x E )2dF进步，注意到EE 2=E22

3、E2E=E 2即有22Var=EE2E(x E )2P(Xi),离散型，i(x) (x E )2p (x)dx，连续型.= 许多情况，用（3）式计算方差较方便些.例1（续）计算例中的方差Var 与Var .解利用式2 X：P（EiVar =E 2Xi)2 2 2=7 xq.1+8 X 0.8+9 0.1=64.2,22=64.2- 8 =0.2.E 2同理，Var = E术较好试计算泊松分布2E = 65.2-64 = 1.2 Var ,所以 取值较 分散P（入）的方差.这说明甲的射击技k2k 0ke(k 1)!(kk 11)示ke 1)!kek 1 (k 1)!je j!2 2所以Var例3

4、设 服从a, b 上的均匀分布 U a, b，求Var_ 2b 2 1 ,12. .2Exdxaab b解a b a31a2 ab b21a2b丄 b a 2Var3212例4设服从正态分布Na,2，求 Var .解此时用公式，由于E a,VarE(a)2(xa)222(x a)2/22dx2e dz2z2 /2 ze22可见正态分布中参数就是它的方差,就是标准差.方差也有若干简单而重要的性质先介绍一个不等式.则对任意给定的正数切贝雪夫(Chebyshev不等式若随机变量的方差存在,恒有的分布函数为=|x E |dF(x)|X E |(x E ) dF(x)12(x2E )dF(x)=Var这

5、就得(4)式.切贝雪夫不等式无论从证明方法上还是从结论上都有一定意义.事实上，该式断言落在,E内的概率小于等于Var2,或者说， 落在区间E ,E内的概率大于 1-Var / 2，从而只用数学期望和方差就可对上述概率进行估计.例如，取 =3 Var ，则Var 1 Var . 3、Var 0.89.当然这个估计还是比较粗糙的(当N a,2时，在第二章曾经指出,P(| EE | 3 ，Var )=P(| 皿| 3 .997 ).性质1 Var =0的充要条件是P(8=c) =1,其中C是常数.证显然条件充分.反之，如果Var = 0,=c,由切贝雪夫不等式,精品资料i仅供学习与交流，如有侵权请联

6、系网站删除 谢谢 精品资料i仅供学习与交流，如有侵权请联系网站删除 谢谢 #P(|E E |护0对一切正数&成立.从而P c 1 P c 01 lim P c 1/n 1性质2设c,b都是常数，则2Var(c +b)=c Var2 2证 Var(c +b)=E(c +b-E(c +b) =E(c +b-cE -b)c2E(E )2=c2 Var性质3若cE,则VarEc证因Var=E2 2-(E ),而)2 E( Ec丿=E2匚2-2cE +c ,2E c2两边相减得VarEc0这说明随机变量E对数学期望E的离散度最小.Var(nni)Var iE( iE i)( j E j)性质4i 1=i

7、 1+2 1 i j n(6)2特别若n两两独立，则1川证 Var(i)=E(i-E(Var(n)2=E(i1i)、2i)Var i1i)2得证(6)式成立.当i E i)2nVari 1+21 i jE(ni)(i)(E j)E j)Ill, n两两独立时,对任何1i, ji j E iE j精品资料仅供学习与交流，如有侵权请联系网站删除谢谢 精品资料仅供学习与交流，如有侵权请联系网站删除谢谢 E( i E i)( j E j)=E( i j iE j jE i E iE j)=E i j E iE j=0,这就得证(7)式成立.利用这些性质，可简化某些随机变量方差的计算例5设E服从二项分布

8、B(n, p),求Var .解如例12构造它们相互独立同分布，此时2 2 2 2 2Var i E i (E i)1 P 0 q p =pq.由于相互独立必是两两独立的，由性质 4例6设随机变量1,|nVar(i)Vari 11 n相互独立同分布，E inVar ii 1a , Var inpq251 n(i训4，n)记=n i 1i,求 一 Var解 由1性质2和本节性质2和4有1 n-EEn i 11 2Var12 Varn i 1这说明在独立同分布时，作为各i的算术平均，它的数学期望与各i的数学期望相同,但方差只有i的1/ n倍.这一事实在数理统计中有重要意义例7设随机变量E的期望与方差

9、都存在,Var 0 .令称它为随机变量E的标准化求E 与Var 解 由均值与方差的性质可知E(E)Var*VarVar(E ) VarVarVar2.2协方差数学期望和方差反映了随机变量的分布特征对于随机向量(1|, n),除去各分量的期望和方差外，还有表示各分量间相互关系的数字特征一协方差.定义2记i和j的联合分布函数为 Fj (x, y).若 E ( i E i)( j E j)，就称E( i E i)( j E j)(x E i)(y E j)dFj(x,y)(8)为 i, j 的协方差(covarianee)，记作 Cov( i, j).显然，C0V i, j Var L公式可改写为n

10、ni Var iCov( i, j)Var( i 1) i 1+21 i j n容易验证，协方差有如下性质： 性质 1 Cov( , ) = Cov( , ) E性质2设a,b是常数，则Cov( a ,b ) abCov(,)nCov(i 1i,)Cov( i,)性质3 i 1对于n维随机向量E =( 1h n)，可写出它的协方差阵bnb21b12b22b1nb2nB EEEbn1bn2bnn5(9)其中bijCov( i,j).精品资料仅供学习与交流，如有侵权请联系网站删除 谢谢 精品资料仅供学习与交流，如有侵权请联系网站删除 谢谢 由性质1可知B是一个对称阵，且对任何实数tj ,j 1|，

11、n ,二次型bjk t jtkj,k 1tjtkE( jj,k 1nE j)( k E k) E( tj( j 1E j)20即随机向量E的协方差阵 B是非负定的 性质4设c11GnE=(n)Cm1Cmn则C的协方差阵为CBC，其中B是E的协方差阵因为 EC (C ) EC CCEC，所以CBC的第i,j元素就是C的第i兀素与第j元素的协方差2.3相关系数协方差虽在某种意义上表示了两个随机变量间的关系，但Cov的取值大小与量纲有关.为避免这一点，用定义3称r =Cov(的标准化随机变量(见例7)来讨论.E (=E=)(=E).Var Var(10)为 E , 的相关系数(correlation

12、 coefficient).为了讨论相关系数的意义，先看一个重要的不等式柯西一许瓦茨(CauchySchwarz)不等式 对任意随机变量E 有2 2 2E E 2E 2等式成立当且仅当存在常数t0使Ptg1证对任意实数tu (t) E(t )2 t2E 2 2tE E是t的二次非负多项式，所以它的判别式2 2 2(E ) E E 0(11)(12)证得(11)式成立.(11)式中等式成立当且仅当多项式u (t)有重根tg，即u t0E(t0)2又由Var to故得Var0 ,同时有E t00 所以由方差的性质1就证得P t01，此即(12)式.由此即可得相关系数的一个重要性质性质1对相关系数r

13、有(13)=1当且仅当=-1当且仅当(14)由(11)式得2E 2,Var Varr证得(13)式成立.证明第二个结论.由定义1.由柯西-许瓦兹不等式的证明t0|r | 1 等价于 u(t)t2E*22tE*2* * 22E /(2e) = E-因此由(12)式得r1当且仅当(1当且仅当(性质1表明相关系数r1时，E与 以概率1存在着线性关系另一个极端是0,此时我们称 E与不相关(uncorrected).性质2对随机变量E和，下列事实等价:(1) Cov( E ,)=0; E E E ; VarVar Var .证 显然与等价又由协方差的性质1得与等价再由（6）式，得 与等价.性质3若E与独

14、立，则E与不相关.显然,由E与n独立知（3）成立，从而E与不相关.但其逆不真例8设随机变量0服从均匀分布U 0, 2手 cos , sin，显然不独立.但Ecos2 1 cos d 0Esi nsinEcos sin2cos0sin*d故Cov=E不相关.注性质2不能推广到n 3个随机变量情形.事实上从n3个随机变量两两不相关只nnVar( i) Var i能推得 i 1 i 1，不能推得E川n E Hl En.反之，从这两个等式也不独立与不相能推得1h n两两不相关.具体例子不列出了 .对于性质3,在正态分布情形,总是致的，这将在下面进行讨论设（E ）服从二元正态分布N a,b；2 21 ,

15、 2,r ,试求 CovCov(x a)(yb) p(x,y)dxdy11 2 1(x a)(yb)exp12(1r2)雪擘dxdy2 2ryz rt(x,y)(z,t)精品资料仅供学习与交流，如有侵权请联系网站删除谢谢11精品资料仅供学习与交流，如有侵权请联系网站删除谢谢111 2Cov ,2厂 r2z2/2(1 r2)22t2 /2(zt rt ) e e dzdt=0+r1 2.故得r 1 2t2t2 /:e dtdtz2 /2(1)dz1.厂.；厂r22 2z2/2(1 r2)dzr_Cov(_,_)Jvar Var这就是说二元正态分布中参数r就是E ,的相关系数所以对二元正态分布，E

16、、 不相关等价于r = 0但在第二章已证E与 相互独立等价于r = 0.这样我们有性质4对二元正态分布，两个分量不相关与相互独立是等价的2.4矩矩(moment)是最广泛的一种数字特征，常用的矩有两种，一种是原点矩，对正整数k ,mk称为E的k阶原点矩.数学期望就是一阶原点矩.另一种是中心矩，对正整数k ,称Ck E( E )k为E的k阶中心矩.方差是二阶中心矩.除此以外，三阶与四阶中心矩也是常用的，它们分 别表示随机变量的性状.往往用他们的相对值./3/2称2/6 为偏态系数，当它大于 0时为正偏态，小于 0时则为负偏态.称C4/C23为峰态系数，当它大于 0时表明该分布密度比正态分布更为尖

17、峭22dx例10设E为服从正态分布 N (,)的随机变量，此时 E 0，且mnCn精品资料|x|仅供学习与交流，如有侵权请联系网站删除 谢谢 精品资料|x|仅供学习与交流，如有侵权请联系网站删除 谢谢 0,1 3 I (n 1)n 2k 1, n 2k.特别m4 C4 3 故不论b为多少，正态分布的偏态系数与峰态系数都为0.我们可以用原点矩来表示中心矩：k kr rCk( 1) mi mk r；r 0 r反过来，我们也可以用中心矩来表示原点矩:k k r rmk( 1) mi Ck r r 0 r我们也定义 阶绝对矩M k E11 -其中是实数.对于例10中的随机变量E| |nk!2k 1,n2k 11 3 川(n 1)利用上述结果，可以求出其他某些分布的矩.如瑞利分布，具有密度R (x),x0，那么xeX222dxX 1|x| e