清华大学《概率论与数理统计》第二章-原

第二章离散随机变量与数学期望,1,引言,2,示性函数对于A，考虑定义在样本空间上的实函数：（2.1）称为事件A的示性函数。,3,引入事件的示性函数，可使事件的表示、事件的关系与运算，转化为数量的表示、数量的关系与运算。它是最简单的概念与记号，但它却扮演重要角色，尤其在现代概率论中发挥巨大的基础作用。,4,容易验证：并得到以下关系：（1）,5,（2）（3）（4）（5）,6,（6）,例将n只球(1n号)随机地放进n只盒子(1n号)中去，一只盒子装一只球，若一只球装入与球同号的盒子中，称为一个配对，记X为总的配对数，如何表示呢?,7,我们自然而然地会想到示性函数，令Ai表示第i个球和盒子配对，IAi()为事件Ai的示性函数，则()可表为,8,第一节离散型随机变量第二节多维离散随机变量第三节数学期望与条件数学期望,9,第二章,第一节离散型随机变量,10,定义2.1.1如果随机变量X()所有可能取值是有限个或可列多个，则称X()为离散型随机变量（discreterandomvariable）简写作d.r.v.。,离散型随机变量定义,11,定义2.1.2设离散型随机变量(d.r.v.)X()所有可能取的值为xk，kN=1,2,，X()取各个值的概率为：PX=xk=pk，kN（2.1）称PX=xk=pk(kN)为d.r.vX()的概率分布或分布律。,离散型随机变量,12,r.vX()的概率分布反映了它取各种可能值的概率分配，包含了它的全部概率信息。由概率定义，易知pk满足如下两个条件：(2.2),离散型随机变量,13,可以这样理解分布律，将质量1分布在各个质点上，xk点处的质量为pk。如图2-1,离散型随机变量,14,分布律也可以用表格形式来表示：,离散型随机变量,15,（1）二点分布定义2.1.3若r.v.X只取1和0两个值，且P(X=1)=p，P(X=0)=1-p，(0p1)，则称r.v.X服从参数为p的二点分布。简记为：XB(1,p)。,几个重要的离散型随机变量的概率分布,16,若事件A发生r.v.X取1，否则X取0；即则；可见示性函数可用来描述某随机事件发生与否。,几个重要的离散型随机变量的概率分布,17,例2.1200件产品，190件是合格的，10件是不合格的，现从中任取一件，若规定则X服从参数为0.95的二点分布。,18,二点分布是最简单的一种分布类型，它可描述一切只有或只关心两种可能结果的随机事件。比如产品合格与不合格，新生婴儿是男是女，比赛中的胜与负，电信号的正与负，种子是否发芽等等。,19,（2）二项分布（Binomialdistribution）以X表示n重贝努利试验中A发生的次数，易知X是一个随机变量，其可能取值为0,1,2,n。由于各次试验相互独立，故在n次试验中A发生k次的概率,20,定义2.1.4若r.v.X满足:(2.3)则称r.v.X服从参数为（n,p）的二项分布，又称为贝努利分布（Bernoulli分布），简记XB(n,p)。,21,根据上面的定义，显然有；（规一性），其中。特别地，当n=1时，二项分布化为：这就是二点分布。可见，二点分布是二项分布的一个特例。,22,例2.2某人进行射击训练，每次射中的概率时0.02，独立射击400次，求至少击中1次的概率。解：将每次射击看作一次独立试验，则整个试验可看作一个400次的贝努利试验。设击中的次数为X，则XB(400,0.02)。,23,X的分布率为：则所求概率为：,24,这个例子的实际意义十分有趣。这个射手每次命中的概率只有0.02，绝不是个天才，但他坚持射击400次，则击中目标的概率近似为1，几乎成为必然事件。只要功夫深，铁杵磨成针,25,上例中，直接计算P(X=k)相当麻烦，下面我们介绍一个当n相当大，p很小时二项分布概率的近似公式，这就是二项分布的泊松逼近。,26,定理2.1.1(泊松(Poisson)定理)设0是一个常数，n是任一正整数，设pn=/n，则对任一固定的非负整数k，有(2.4),27,证明：对任一固定的k，当n时，故：,28,由于npn=（常数），所以n时pn0。因此当n很大，pn很小时有以下近似公式：,29,在例2.1中，=np=4000.02=8故,30,例2.3为了保证设备正常工作，需配备适量的维修工人。现有同类型设备300台独立工作，发生故障的概率都是0.01。在通常情况下一台设备的故障可由一个人来处理。问至少需要多少人才能保证当设备发生故障，不能及时维修的概率小于0.01?,31,解：设至少需配备N人，同一时刻发生故障的设备有X台，那么XB(300,0.01)。依题目,要求的N，应使PXN8，因此至少需9人。,32,（3）泊松（poisson）分布定义2.1.5若r.v.X满足：(2.5)其中0是常数，则称X服从参数为的泊松分布记为XPo()。,33,由定义易知：可见PX=k满足概率分布的条件。,34,例2.4自1875年至1955年中某63年间，某市夏季（59月）共发生暴雨180次。每年夏季共有n=31+30+31+31+30=153天。每次暴雨以1天计算，每天发生暴雨的概率则为p=180/(63153)，这个值很小。但n=153很大。,35,应用泊松分布，在一个夏季发生k次暴雨的概率pk为：我们可通过下表来看计算值为实际观测之间相符合的情况。例如，发生2次暴雨的实际有14个夏天，计算值为14.8个。基本相符。,36,（4）几何分布（Geometricdistribution）定义2.1.6若d.r.v.X取值正整数，且满足：(2.6)则称r.v.X服从参数为p的几何分布，记为XG(p)。,37,在Bernoulli独立重复试验中，若事件A在一次试验中出现的概率为p，即P(A)=p记X为首次发生A的试验次数，则XG(p)。几何分布具有一个极特殊的性质无记忆性。,38,我们假设在前n次试验中事件A均未发生，则可证明，在此条件下，从第n+1次试验起到首次A发生的第X次试验，仍服从几何分布，与n无关，即：，有(2.7)这就是几何分布的无记忆性。在离散型分布中，只有几何分布才具有无记忆性。（证明略，见习题）,39,（1）二点分布定义2.1.7若r.v.X只取1和0两个值，且P(X=1)=p，P(X=0)=1-p，(0p1)，则称r.v.X服从参数为p的二点分布。简记为：XB(1,p)。,几个重要的离散型随机变量的概率分布,40,离散型随机变量的示性函数表示法这说明对于任一d.v.r.，总可以分解为互不交的事件的示性函数的迭加。,41,例2.5二项分布可用示性函数表示。若随机变量X()(n,p)，Bk=X=k,（0kn），则,42,第二节多维离散随机变量,43,多维随机变量,定义2.2.1概率空间(,F,P)上n个离散随机变量X1,Xn的整体(X1,Xn)称为n维随机向量，也称为n维随机变量。若X=(X1,Xn)每一个分量都是离散随机向量，则X称为n维离散随机变量。,44,多维随机变量,定义2.2.2若二维离散型随机变量(X,Y)可能取值为(xi,yj)，i,j1，即(x,y):(xi,yi),i,j1，则称P(X=xi,Y=yj)=pij为(X,Y)的联合分布律，简称为分布律。简记为(X,Y)(xi,yj),pij,i,j1。,45,多维随机变量,由定义可知二维离散型随机变量(X,Y)的联合分布律满足,46,多维随机变量,定义2.2.3设(x,y)的联合分布为P(X,Y)=(xi,yj)=pij(i,j1)。(1)称P(X=xi)=为X的边缘分布，称P(Y=yi)=为Y的边缘分布。(2)当P(Y=yj)0,j1给定，称为X关于(Y=yj)的条件分布律。,47,多维随机变量,易知,48,例2.6(X1,X2)的联合分布律如图2.2所示，令X(1)=min(X1,X2)=X1X2,X(2)=max(X1,X2)=X1X2,Y=X1+X2。图2.2,49,例2.6试求：(1)X1的边缘分布律;(2)X1关于(X2=k)的条件分布律(k=1,2);(3)(X(1),X(2)的联合分布律;(4)X2关于(X(1)=k)的条件分布律(k=1,2);(5)Y=X1+X2分布律。,50,解：(1)P(X1=1)=P(X1=1,X2=1)+P(X1=1,X2=2)=13/18P(X1=2)=P(X1=2,X2=1)+P(X1=2,X2=2)=5/18X1的边缘分布律如图2.3图2.3,51,解：(2)类似可求得,52,解：(3)X(1)=X1X2的可能值为1,2P(X(1)=1)=P(X1=1,X2=1)+P(X1=1,X2=2)+P(X1=2,X2=1)=14/18P(X(1)=2)=P(X1=2,X2=2)=4/18,53,解：X(2)=X1X2的可能值为1,2P(X(2)=1)=P(X1=1,X2=1)=5/18P(X(2)=2)=P(X1=1,X2=2)+P(X1=2,X2=1)+P(X1=2,X2=2)=13/18,54,解：X(1),X(2)的可能值为(1,1)(1,2)(2,1)(2,2)P(X(1)=1,X(2)=1)=P(X1=1,X2=1)=5/18P(X(1)=1,X(2)=2)=P(X1=1,X2=2)+P(X1=2,X2=1)=9/18P(X(1)=2,X(2)=1)=0P(X(1)=2,X(2)=2)=P(X1=2,X2=2)=4/18,55,解：(X(1),X(2)的联合分布律如图2.4图2.4,56,解：(4),57,解：,58,解：(5)Y=X1+X2的可能取值为2,3,4P(X1+X2=2)=P(X1=1,X2=1)=5/18P(X1+X2=3)=P(X1=1,X2=1)+P(X1=2,X2=1)=9/18P(X1+X2=4)=P(X1=2,X2=2)=4/18,59,解：Y=X1+X2的分布律如图2.5图2.5,60,练习:设离散型随机变量(X,Y)的联合分布律如图1.10所示，求Z=XY,U=X+Y,V=XY的分布律。图1.10,61,多维随机变量,定义2.2.4设(,A,P)为(有限)简单概率空间。X()=(X1(),Xr()为随机向量，其中Xi()，1ir为简单函数，且(X1=x1,Xr=xr)，称P(X1=x1,Xr=xr)为X的联合分布律。,62,例2.7多项分布的背景：设一袋中有大小相同10个球，白、红、蓝颜色的球分别为5个，3个，2个，现每次随机从中取出1个，观后放回，重复再抽下一次，共抽n次，设(X1,X2,X3)分别记n次中抽到白、红、蓝球的次数，求X=(X1,X2,X3)的联合分布律。,63,解：记每次抽白球、红球、篮球的概率分别为则它的联合分布为其中0nin且n1+n2+n3=n。,64,若已知X=(X1,X2,X3)的联合分布律如何求其边缘分布？(即Xk的分布，k=1,2,3),65,第一种方法：如求X1的边缘分布第二种方法：为求X1的分布律，每次试验只关心白球=A1出现与否。显然X1B(n,p1)，即,66,类似，为求X1+X2的分布律，它表示两种颜色的球共出现的次数，故X1+X2B(n,(p1+p2)。思考：如何求X2关于(X1=i)(0in1)的条件分布？,67,多项分布,定义2.2.5设X=(X1,Xk)中的Xi取值为0,1,n,i=1,k(2kn)。若X=(X1,Xk)的联合分布律为其中0nin,i=1,k,称X=(X1,Xk)为服从参数(n;k;p1,pk)的多项分布。,68,试验模型如下：设有n次独立重复试验，每次试验有k个可能结果A1,Ak，每次出现A1的概率为p1，出现A2的概率为p2,出现Ak的概率为pk，pi0,。记Xi为n次试验中Ai(1ik)出现的次数，则随机向量X=(X1,Xk)的联合分布律为,69,离散随机变量独立性,定义2.2.6设(X,Y)的可能取值为(xi,yi),(i,j)N2，若(i,j)N，有P(X=xi,Y=yi)=P(X=xi)P(Y=yj)，称X与Y相互独立。容易验证：X与Y独立P(Xa,Yb)=P(Xa)P(Yb)，(a,b)R2,70,离散随机变量独立性,定义2.2.7两个域相互独立，设F1,F2为两域，若AiFi(i=1,2)，有A1与A2独立，则称F1与F2独立。记(X)=Xa,aR，则(X,Y)独立(X)与(X)相互独立。,71,离散随机变量独立性,定义2.2.8设X1,Xn是n个离散随机变量，若对(x1,xn)Rn，有P(X1=x1,Xn=xn)=P(X1=x1)P(X1=xn)则称X1,Xn相互独立。若X1,Xn相互独立，1kn，则相互独立，相互独立。,72,离散随机变量独立性,定义2.2.9设n个随机变量X1,Xn相互独立且服从同一分布，即则称X1,Xn独立同分布，简记为i.i.d,73,设简单随机变量X,Y独立同分布，这意味着将样本空间按X取不同值和Y取不同值分解，其中Ai=(X=i),Bj=(Y=j),i,j=1,n.,74,由同分布可设P(X=i)=P(Y=i),i=1,n独立同分布将进行概率意义下的”黄金分割”：进而对ij有此即为概率测度意义下的广义黄金分割。,75,在统计中的应用：设总体XF(x)=P(Xx)，xR，X1,Xn为其样本(即X1,Xn独立同分布且P(Xkx)=F(x)。,76,令，称为X的经验分布函数。且Nn(x,)B(n,F(x)是二项分布(当n,x固定，它是的函数)。故Fn(x,)的分布律为于是,77,故用样本构造Fn(x)的经验分布作为总体X的未知理论分布F(x)的估计，Fn(x,)是F(x)的无偏估计。由切比雪夫不等式知：xR，有故Fn(x,)是F(x)的（弱）相合估计，以后可看到，它还有更强的结论。,78,第三节数学期望与条件数学期望,79,期望、方差、协方差及相关系数,定义2.3.1设为(,F,P)上简单函数，Bk=X=xkF。称(2.3.1)为X的数学期望。,80,例2.8事件示性函数,81,期望、方差、协方差及相关系数,82,定义2.3.2设X为离散型随机变量，若P(X=xn)=pn(nN)，且，则称(2.3.2)为随机变量X的数学期望(MathematicalExpectation)或均值。,期望、方差、协方差及相关系数,83,EX是X所有可能取值的加权平均，当X取值非负整数，即P(X=n)=pn(nN)时，有(2.3.3),期望、方差、协方差及相关系数,84,因为另外若ci为常数，Xi为离散型随机变量，E|Xi|，则(2.3.4),定义2.3.3令，称DX为r.v.X的方差(Variance)，有时记。DX刻画了X取值的集中或分散程度。,85,期望、方差、协方差及相关系数,定义2.3.4两个r.v.(X,Y)，称为(X,Y)的协方差(Covariance)。,86,期望、方差、协方差及相关系数,若X,Y独立，则E(XY)=EXEY，从而得cov(X,Y)=0。于是，若cov(X,Y)0，则X,Y不独立。因此cov(X,Y)0刻画了X,Y取值存在某种统计上的线性相关关系。协方差有如下性质:,87,期望、方差、协方差及相关系数,定义2.3.5为(X,Y)的相关系数(CorrelationCoecient)。,88,期望、方差、协方差及相关系数,(X,Y)刻画了X,Y之间线性关系的密切程度，若=0，称X,Y不相关。主要性质有:(1),89,期望、方差、协方差及相关系数,(2)若X1,X2,Xn两两不相关，则(3)施瓦茨(Schwarz)不等式，若随机变量X,Y的二阶矩存在，则特别是,90,期望、方差、协方差及相关系数,(4)，当且仅当即，(X,Y)以概率1在直线上。,91,期望、方差、协方差及相关系数,设(X,Y)为(,F,P)上两个离散型随机变量，且E|X|0，称为给定Y=yj时，X的条件分布律。称为给定Y=yj时,X的条件数学期望(ConditionalMathematicalExpectation)。,92,条件数学期望,93,这是因为：记Bj=:Y=yjF,Ai=:X=xiF,于是整个样本空间按Y的不同取值分为B1,Bj,等互不相容的事件()。而又按X不同取值分为A1,Ai,等互不相容的事件()。,94,当AiBj=时，P(X=xi,Y=yj)=0，P(X=xi|Y=yj)=0，于是因此E(X|Y=yj)是Bj时X()的局部加权平均,如图2.6所示。,95,96,图2.6,显然，E(X|Y=y1),.,E(X|Y=yj),.,依赖于Y=yj，即依赖于Bj=:Y=yj，这样，从全局样本空间及对可以变化的观点看，有必要引进一个新的随机变量，记为E(X|Y)。对于这个随机变量E(X|Y)，当Bj时(即Y=yj时)它的取值为E(X|Y=yj)，称随机变量E(X|Y)为随机变量X关于随机变量Y的条件数学期望。,97,为给出E(X|Y)的确切定义及表示式，引进事件的示性函数如下:,98,定义2.3.6记(2.3.5)称E(X|Y)为X关于Y的条件数学期望。,99,条件数学期望,E(X|Y)的定义包含如下的直观意义:(1)随机变量E(X|Y)是随机变量Y的函数，当:Y=yj时，E(X|Y)的取值为E(X|Y=yj)。事实上，它是局部平均E(X|Y=yj),jN的统一表达式。,100,(2)当E(X|Y=yj)E(X|Y=yk)(jk)时，PE(X|Y)=E(X|Y=yj)=P(Y=yj)；否则，令Dj=k:E(X|Y=yk)=E(X|Y=yj)，则,101,由于随机变量E(X|Y)是随机变量Y的函数，故它的数学期望应为(4)BF，有,102,条件数学期望的基本性质,设X,Y,Xi(1in)为随机变量，g(x),h(y)为一般函数，且E|X|,E|Xi|(1in)，E|g(X)h(Y)|，E|g(X)|。则有：(1)(2.3.6),103,条件数学期望的基本性质,将全概率公式纳入全期望公式的范畴，令X=IA，Y为d.r.v事件Bj=:Y()=yj，则,104,条件数学期望的基本性质,(2)(2.3.7)(3)(2.3.8)特别地(2.3.9)(4)如X,Y相互独立，则E(X|Y)=EX。,105,多元随机变量的条件数学期望,三个随机变量(X,Y,Z)，称随机变量E(X|Y,Z)是X关于Y,Z的条件数学期望，用示性函数表示，定义为：其中,106,多元随机变量的条件数学期望,也可以叙述为以下等价定义：(1)E(X|Y,Z)是(Y,Z)的二元函数，当Y=yj；Z=zk时，E(X|Y,Z)的取值为E(X|Y=yj;Z=zk);(2),107,多元随机变量的条件数学期望,当E|X|时，请读者证明,108,以示性函数为例，验证上面的结论。,109,110,111,所以,母函数,112,定义2.3.7对于数列an,n0，如果幂级数g(s)=，的收敛半径大于0，则称g(s)为数列an,n0的母函数。,母函数,113,母函数g(s)显然由数列an,n0唯一确定。反过来说，由于在其收敛半径内可逐项求n阶导数，再令s=0可得an=g(n)(0)/n!。则an,n0也可以由g(s)唯一确定，即g(s)携带或隐含an,n0的信息。,母函数,114,例2.9组合数列，其母函数g(s)=为将其隐含而不露。,母函数,115,定义2.3.8设X()为取值非负整数的随机变量，其分布律为p(X