4.2 方差、相关系数、矩概率论基础

§2方差、相关系数、矩[例0]A，B两种手表的日走时误差分别具有如下的分布律：

易知E(XA)=E(XB)=0.由数学期望无法判别两种手表的优劣.但直觉告诉我们A优于B,怎么样用数学的方法把这种直觉表达出来呢?一、方差[分析]A手表之所以优于B手表是因为A手表的日走时较B手表稳定。其日走时与其日平均误差的偏离程度小。

研究随机变量与其均值的偏离程度是有必要的。

怎么样去度量这个偏离程度呢?(1)xk

−E(X)表示

xk与

E(X)之间的偏差；(2)

E[X−E(X)]不能反映X与E(X)之间的整体偏差；(3)E{|X−E(X)|}可以度量X与E(X)之间的整体偏差,但运算不方便；(4)E{[X−

E(X)]2}可以度量X与E(X)之间的整体偏差,且运算也较方便。[定义4.2.1]设x是一个随机变量,若E[x-Ex]2存在，则称它为x

的方差(variance)。记为Dx或Var(x)，即Dx=Var(x)=E[x−Ex]2称为x的标准差或均方差或根方差。[定理]证明Dx=E[x−Ex]2=E{x2-2xEx+[Ex]2}=Ex2-2ExEx+[Ex]2=Ex2-[Ex]2

方差实际上是随机变量x的函数f(x)=[x−Ex]2的数学期望。于是对于离散型随机变量x，若P{x

=xk}=pk,k=1,2,…则

对于连续型随机变量x，若其概率密度为p(x)，则[例0]A，B两种手表的日走时误差分别具有如下表的分布律.问哪种手表质量好些?解易知E(XA)=E(XB)=0.所以由于D(XA)<D(XB),因此A手表较B手表的质量好.[例1]设随机变量x概率密度为p(x)，求Dx。

解于是,Dx

=Ex

2−[Ex]2=1/6(1)0-1分布的方差若P{x=0}=q,P{x=1}=p,p+q=1，则Dx=pq。证明(2)

二项分布的方差若随机变量x服从二项分布x

~B(n,p)，则Dx=npq。证明(3)

泊松分布的方差设随机变量x服从泊松分布x

~P(l)，则Dx=l。证明(4)几何分布的方差若随机变量x服从几何分布x~Ge(p)，则证明(5)

均匀分布的方差设随机变量x服从均匀分布x~U(a,b)，则Dx=(b−a)2/12。证明(6)

指数分布的方差

设随机变量x

~Exp(l)，则。证明(7)

正态分布的方差设随机变量x

~N(μ,s2)，

则Dx=s2。证明二、方差的性质性质1

设C是常数,则D(C)=0性质2D(ax+b)=a2Dx证明

D(ax+b)=E[(ax+b)−E(ax+b)]2

=E[(ax+b)−E(ax)−b]2

=E[ax−E(ax)]2=E[a(x−Ex)]2

=a2E[x−Ex]2=a2Dx证明D(C)=E(C−E(C))2=E(C−C)2=0随机变量的标准化证明性质3定理1（车贝晓夫(Chebyshev)不等式）设随机变量x具有数学期望Ex

=m，方差Dx=s2

，则对于任意正数e，有三、车贝晓夫(Chebyshev)不等式证明(1)设连续型随机变量x的概率密度为p(x)，则有(2)设离散型随机变量x的分布列为P{x=xk}=pk，则有[例2]在供暖的季节，住房的平均温度为20度，标准差为2度，试估计住房温度与平均温度的偏差的绝对值小于4度的概率的下界。解解定理2Dx=0的充要条件是x以概率1取常数C,即

P{x=C}=1证明充分性是显然的,现在来证必要性.设Dx=0，则Ex=C存在，于是有由此知P{|x－Ex

|>0}=0，从而P{|x－Ex|=0}=1，即P{x=C}=1。为什么四、随机变量的协方差

E(x,h)=(Ex,Eh)只反映了x与h各自的平均值

但二维概率密度p(x,y)或分布列pij全面地描述了(x,h)的统计规律，也包含有x与h之间关系的信息。

(x,h)的方差(Dx,Dh)只反映了x与h各自离开均值的偏离程度，它们对x与h之间相互关系不提供任何信息。[定义4.4.2-1]任意两个随机变量x和h的协方差，记为Cov(x,h)，定义为⑶Cov(x＋h,z)=Cov(x,z)+Cov(h,z)⑴Cov(x,h)=Cov(h,x)[简单性质]⑵Cov(ax,bh)=abCov(x,h)a,b是常数Cov(x,h)=E[x－Ex][h－Eh

]

证明(1)

Cov(x,h)=E[(x－Ex)(h－

Eh)]=E[(h－Eh)(x－Ex)]=Cov(h,x)证明(2)Cov(ax,bh)=E[(ax－E(ax))(bh－E(bh))]=E[a(x－Ex))][b(h－Eh)]=abE[x－Ex][h－Eh]=abCov(x,h)证明(3)Cov(x＋h,z)=E[(x＋h)−E(x＋h)][z−Ez]=E[(x−Ex)＋(h−Eh)][z−Ez]=E[x−Ex][z−Ez]+[h−Eh][z−Ez]=E[x−Ex][z−Ez]+E[h−Eh][z−Ez]=Cov(x,z)+Cov(h,z)

Cov(x,h)=Exh–ExEh

可见，若x与h独立，Cov(x,h)=0。[计算协方差的一个简单公式]由协方差的定义及期望的性质，可得Cov(x,h)=E[x−Ex][h−Eh

]=Exh−ExEh−EhEx＋ExEh

=Exh−ExEh即若x1,x2,…,xn两两独立,，有D(x+h)=Dx+Dh+2Cov(x,h)随机变量和的方差与协方差的关系特别n维随机变量的协方差矩阵令此时此时下列矩阵称为的协方差矩阵:简记为:可证明B是一个非负定矩阵（半正定矩阵）

协方差的数值在一定程度上反映了x与h相互间的联系，但它受x与h本身数值大小的影响。如令x*=kx，

h*=kh，这时x*与h*间的相互联系和x与h的相互联系应该是一样的，但是Cov(x*,h*)=k2Cov(x,h)

为了克服这一缺点，在计算x与h的协方差之前，先对x

与h

进行标准化：

再来计算x*和h*的协方差，这样就引进了相关系数的概念。五、随机变量的相关系数[定义4.2.3]

设二维随机变量(x,h)的方差Dx

>0，

Dh

>0，协方差Cov(x,h)均存在，则称为随机变量x与h的相关系数(correlationcoefficient).[注意]

当x=C

时，认为x与任意随机变量h的相关系数为0。[定理4.2.1(柯西-施瓦兹不等式)]对于二维随机向量(x,h)，若Ex2，Eh2存在，则有|Exh|2≤Ex2Eh2证明考虑实变量t的二次函数h(t)=E[(tx−h)2]=t2

Ex2−2tExh+Eh2因为对一切t，有(tx－h)2≥0，所以h(t)≥0。

从而二次方程h(t)=0或者没有实根，或者只有重根，因而，由二次方程根的判别式知识得|Exh|2≤Ex2Eh2相关系数的性质性质1随机变量x和h的相关系数满足|rxh|≤1.性质2|rxh|=1的充要条件是，存在常数a,b使得

P{h=a+bx}=1。性质3若x与h相互独立，则rxh=0。性质1随机变量x和h的相关系数满足|rxh|≤1.证明令则从而|rxh|≤1。性质2|rxh|=1的充要条件是,存在常数a,b使得

P{h=ax+b}=1证明令由rxh2=[E(x*h*)]2≤E(x*2)E(h*2)=1知|rxh|=1等价于[E(x*h*)]2－E(x*2)E(h*2)=0它又等价于h(t)=E[(tx*－h*)2]=0有重根t0。又因为E(t0x*－h*)=t0E(x*)－E(h*)=0所以D(t0x*－h*)=0，由方差的性质知它等价于

P{t0x*－h*

=0}=1，即P{h=ax＋b}=1，其中a=t0σ(h)/σ(x)，b=E(h)－

t0E(x)

σ(h)/σ(x)。性质3若x与h相互独立，则rxh=0。证明若x与h

相互独立，则E(xh)=ExEh，又Cov(x,h)=E(xh)－ExEh，所以相关系数的含义考虑以x的线性函数a＋bx来近似表示h。以均方误差e=E[h－

(a＋bx)]2=Eh2＋b2Ex2＋a2－2bExh＋2abEx－2aEh来衡量以a＋bx近似表达h的好坏程度。e的值越小表示a＋bx与h的近似程度越好。为此令从而得解得相关系数只是随机变量间线性关系强弱的一个度量。当|rxh|=1

时，说明x与h间存在着线性关系（除去一个零概率事件以外）。当|rxh|<1时，这种线性相关程度随着rxh的减小而减弱。[定义4.2.4](1)当rxh=1时，称x与h正线性相关；

(2)当rxh=−1时，称x

与h

负线性相关；

(3)当rxh=0时，称x与h不相关。[注](1)x与h不相关，只是意味着x与h不线性相关，但可能存在着别的函数关系；(2)若rxh

存在，则当x与h独立时，x与h一定不相关；但x与h不相关时，x与h不一定独立。[定理4.2.2]对随机变量x与h，下面各项等价：

(1)Cov(x,h)=0;(2)x与h不相关;(3)Exh=ExEh;(4)D(x+h)=Dx＋Dh.[定理4.2.3]若随机变量x与h独立，则x与h不相关。oxhoooxxxhhh0<r<1－1<r<0r=1r=－1相关情况示意图[例4]设随机变量q~U[－π,π]，又x=sinq，

h=cosq试求x与h的相关系数r。解这时有有Cov(x,h)=Exh－ExEh=0，即r=0。从而x与h不相关，没有线性关系；但是x与h存在另一个函数关x2+h2=1，从而x与h是不独立的。[例5]设(x,h)~N(a1,a2,s12,s22,

)，

则x和h的相关系数r=

。[注]若(x,h)服从二维正态分布，则x和h相互独立的充要条件是

=0，（即x和h不相关）。[例8(p195例9)](在抽样调查中的应用）袋中有N张卡片，各记以,不放回地从中抽出n张,求其和的数学期望与方差。［抽样调查(samplesurvey)］以随机的方式抽取若干个体作调查，利用所得数据算出估计值，并给出估计值的精度。

［简单随机抽样］总体由有限个个体组成且满足:(1)每一个个体被抽到的机会相同;(2)每一个个体与总体的分布相同。解取一张时，其数字x的均值及方差分别为及若以记n张卡片的数字之和，以记第i次抽得的卡片上的数字，则解（续）因此所以下面求得上式最后的协方差即可：当n=N时，因此故最后有有限修正因子[定义]