方差与协方差理解

1、 /12 /122方差、协方差与相关系数21方差例1比较甲乙两人的射击技术，已知两人每次击中环数分布为789、678910、：、010.601：、010.20.40.201问哪一个技术较好？首先看两人平均击中环数，此时E=阿二8，从均值来看无法分辩孰优孰劣但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好.上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度.称B-E：为随机变量对于均值EE的离差(deviation),它是一随机变量.为了给出一个描述离散程度的数值，考虑用E或)，但由于E空)=E-E=0

2、对一切随机变量均成立，即的离差正负相消，因此用E空)是不恰当的.我们改用E也空匕描述取值的离散程度，这就是方差.定义1若E”E存在，为有限值，就称它是随机变量的方差(variance),记作Var,(1)Var=E(-时但Var的量纲与不同，为了统一量纲，有时用Var,所以取值较分散.这说明甲的射击技术较好.例2试计算泊松分布P(莎的方差.歹尢k、尢kEu2=k2e-九=ke-九k!(k1)!TOC o 1-5 h zk=0k=1、八九k、九k(k1)e-九+e-九(k1)!(k1)! HYPERLINK l bookmark19 o Current Document k=1k=18.九j8九

3、j=九2/e九+九e九./j!,0j!j=0j=0所以Var=九2+九一九=九2.例3设服从a,b上的均匀分布Ua,b，求VarJVar=1(a2+ab+b23)一(a+b)二丄(b-a)212例4设服从正态分布，求Var. HYPERLINK l bookmark25 o Current Document 2=jbx21dx=(a2+ab+baba3解此时用公式(2),由于空二a,Var=E(一a)2=X-1e(Xa)2/26dx：2兀二二卜z2e-z2/2dz2兀-8,ze-z2/2s)s)=lxEglsdF(x)s(X一砖)2dF(x)s2讣J：(X-銘)2dF(X)=Varg/s2这就

4、得(4)式.切贝雪夫不等式无论从证明方法上还是从结论上都有一定意义.事实上，该式断言g落在(-8,Eg-s)与(Eg+s,+8)内的概率小于等于Varg/2，或者说，g落在区间(Eg-s,Eg+s)内的概率大于1-Varg/S2，从而只用数学期望和方差就可对上述概率进行估计.例如，取=3P；Vag，则PEg|/Varg)1Varg/CTVOrg089当然这个估计还是比较粗糙的(当g“C,G2)时，在第二章曾经指出,P(|g-Eg|3tVarg)=P(lg-a|)=0对一切正数成立.从而P(g=c)二1P(gC0)=1limP(g-c1/n)=1nT8性质2设c,b都是常数，则Var(氏+b)=

5、C2VarJ(5)证Var(氏+b)=E(比+b-E(氏+b)2=E(比+b-cE-b)C2EGEg)2=c2Varg性质3若心空,则VargE(g证因Varg=Eg2-(Eg)2,而E(g-c)2=Eg2-2cEg+c2,两边相减得VargE(gcA(空-c八这说明随机变量g对数学期望E的离散度最小.Var(工g)工Varg工E(g-Eg)(g-Eg)性质4i=1=i=1+21ijn(6)特别若g1，5gn两两独立，则Var(工g)工Varg(7)工g)艺g工g)(工)2证Var(=1=E(=1-E(=1)2=E=1)2(工(g.2+2Eg.)Varg2E(gEg)(gEg)jj=1+21j

6、nE=11jn得证(6)式成立.当gi55J两两独立时，对任何1“j.令-e称它为随机变量e的标准化.求E*与Var*.解由均值与方差的性质可知E*=先？=Var*=甘VarVar2.2协方差数学期望和方差反映了随机变量的分布特征.对于随机向量（1，,除去各分量的期望和方差外，还有表示各分量间相互关系的数字特征一协方差.定义2记i和j的联合分布函数为Fj（X,y）.若E|（勺-E徉厂Ej）|+8，就称E(g-Eg)(g-Eg)=J+J+(x-E.)(y-Eg)dF(x,y)iijj-g-g1jj为gi，gj的协方差(covariance)，记作Cov(勺，gj).显然，C0VWgjJ=Varg

7、i.公式可改写为工g.工Varg.工Cov(g,g)Var(i=1)=i=1+21j0jkjkjkjjkkjjjj,k=1j,k=1j=1即随机向量g的协方差阵B是非负定的.性质4设c11c1n(8)(6)性质3i=1ii=1i.Icm1则Cg的协方差阵为CBC，其中B是g的协方差阵.因为EC(Cg)=ECZC=CEgC,所以CBC的第C，j)元素就是CE的第i元素与第j元素的协方差.2.3相关系数协方差虽在某种意义上表示了两个随机变量间的关系，但C0V，耳)的取值大小与g的量纲有关.为避免这一点，用g的标准化随机变量(见例7)来讨论.定义3称二e(=Eg)m-中)r胡=Cov(g*，*)JV

8、argVarq为F,耳的相关系数(correlationcoefficient).为了讨论相关系数的意义，先看一个重要的不等式.柯西许瓦茨(CauchySchwarz)不等式对任意随机变量g,耳有(11)(12)|Egq|2Eg2Eq2等式成立当且仅当存在常数t0使p6=tg)=10.证对任意实数tu(t)=E(tg-q)2=12Eg2-2tEgq+Eq2是t的二次非负多项式，所以它的判别式(Egq)2-Eg2Eq20证得(11)式成立.(11)式中等式成立当且仅当多项式u(t)有重根t0，即u(t)=E(tg-q)2=000.又由(3)Var(tg-q)E(tg-q)200,故得Va(rt0

9、g-q)=0,同时有E(t0g-q)=0.所以由方差的性质1就证得P(t0g-q=0)=1，此即(12)式.由此即可得相关系数的一个重要性质.性质1对相关系数rgq有(13)=1当且仅当q-EqVarq=-1当且仅当(14)证由(11)式得Eg*q*寸Eg*2E*2=IVariVarq*=1?r=r=Eg*q*证得(13)式成立.证明第二个结论.由定义gqg*q*.由柯西-许瓦兹不等式的证明可知，1rgql=1等价于U=2Eg*22tEg*q*+Eq*2有重根to二2Eg*q*/(2eg*2)=Eg*q*因此由(12)式得rgq=1当且仅当P(g*T*)二1；勾一1当且仅当P(g*_叶*)二1

10、.注性质1表明相关系数rgq=1时，与q以概率1存在着线性关系.另一个极端是rgq=0,此时我们称g与耳不相关(uncorrected).性质2对随机变量g和耳,下列事实等价:(1)Cov(g,q)=0;(2)g与耳不相关；Egq二EgEq；Var(g+q)=Varg+Varq证显然(1)与(2)等价.又由协方差的性质1得(1)与(3)等价.再由(6)式，得(1)与(4)等价.性质3若g与耳独立，则g与耳不相关.显然，由g与n独立知成立，从而g与耳不相关.但其逆不真.例8设随机变量0服从均匀分布U0,2兀,g=cos9,q=sin0，显然g2+q2=1,故g与q不独立.但Eg=Ecos0奈0E

11、n=Esin0=J2兀sin申土d=00,Egn=Ecos0sin0=J2兀cos申sin申-2-d申=00,故Cov(g,=阳-E=0，即与耳不相关.(3)(3)注性质2不能推广到3个随机变量情形.事实上从3个随机变量两两不相关只Var(工g)=工Varg倂g=倂倂能推得i=!ii=ii，不能推得理1gn=理1理n.反之，从这两个等式也不gg关是例9能推得g1，gn两两不相关.具体例子不列出了.对于性质3,在正态分布情形，独立与不相致的，这将在下面进行讨论.设(g,n)服从二元正态分布N(a，b;C12,c；，,试求Cov(g，n)和备.Cov(g，n)=J+J+s(x-a)(y-b)p(x,y)dxdy-s2-cc1-r212JsP(x-a)(y-b)exp-s2(1-r2)Ic12-(y-b)22c22Jdxdyy-brc2t=口c2,则c1匕=z+rtJ=皿Q(z,t)12于是Cov(g,n)12JsJs(zt+rt2)eVi)e-t2/2dzdt2g1-r2-s-scc=Jste-12/2dt.1Jsze-z2/2(1-r2)dz+12e-12/2dtJJ2Jl-r2=122-s.2-2一X2p(x)=.x2e2G2,x0