概率论基础 第三章 随机变量与分布函数

第三章随机变量与分布函数,Contents,1.随机变量及其分布2.随机向量，随机变量的独立性3.随机变量的函数及其分布,随机变量概念的产生引入随机变量的意义随机变量的分类,一、随机变量的定义,1.随机变量及其分布,、随机变量概念的产生,在实际问题中，随机试验的结果可以用数量来表示，由此就产生了随机变量的概念.,1、有些试验结果本身与数值有关（本身就是一个数）.,例如，掷一颗骰子面上出现的点数；,六月份广州的最高温度；,每天进入地铁站的人数；,昆虫的产卵数；,2、在有些试验中，试验结果看来与数值无关，但我们可以引进一个变量来表示它的各种结果.也就是说，把试验结果数值化.,正如裁判员在运动场上不叫运动员的名字而叫号码一样，二者建立了一种对应关系.,Example,1A=,1，如果A发生,0，如果A不发生,反之，也应该保证任何一个这样的变量在某些范围内取值，都是随机事件。,对任意的随机事件A都可以引进一个函数(0,1)来表示A是否发生。,这种对应关系在数学上理解为定义了一种实值单值函数.,这种实值函数与在数学分析中大家接触到的函数不一样！,.x,.,(),（1）它随试验结果的不同而取不同的值，因而在试验之前只知道它可能取值的范围，而不能预先肯定它将取哪个值.,（2）由于试验结果的出现具有一定的概率，于是这种实值函数取每个值和每个确定范围内的值也有一定的概率.,称这种定义在样本空间上的实值单值函数=()为,随,量,机,变,简记为r.v.,对于随机试验E的每一个可能结果，都有唯一的一个实数值()相对应，称()为随机变量，简记为.,随机变量(RandomVariable)的概念,随机变量通常用大写字母X,Y,Z,W,N，或希腊字母,，等表示,在试验之前只知道可能取值的范围，而不能预先肯定它将取哪个值.,它的取值与试验结果形成对应，,(1)随机变量是定义在样本空间上的实值函数，,(2)由于试验结果的出现具有一定的概率，,的取值情况;,它取值的概率的分布情况.,随着实验结果的不同而取不同的值，,所以随机变量取每个值和每个确定范围内的值也有一定的概率.,如何把握一个随机变量?,随机变量的取值既具有可变性，也有随机性。这种双重性正是随机变量与普通变量(函数)的本质区别。,也可以说,随机事件是从静态的观点来研究随机现象,而随机变量则是一种动态的观点,随机事件这个概念实际上是包容在随机变量这个更广的概念内.,引入随机变量的意义?,就象数学分析中常量与变量的区别那样.,以函数为工具,研究随机事件的概率规律,通过将随机事件数值化转化为,研究随机变量取值的概率规律,使概率可转化为我们所熟知的函数形式,分析工具有了用武之地,随机变量概念的产生是概率论发展史上的重大事件.引入随机变量后，随机试验中的任一随机事件就可以通过随机变量的取值关系式表达出来，对随机现象统计规律的研究，就由对事件及事件概率的研究扩大为对随机变量及其取值规律的研究.,事件及事件概率,随机变量及其取值规律,如：在捐款节目中，单位时间内马英九收到的捐款次数用X表示，它是一个随机变量.,事件收到不少于1次捐款,没有收到捐款,X1,X=0,我们用变量X表示，,2：抛一枚硬币，结果分为“正面”、“反面”,1：生化检验结果分阳性和阴性，,X=0表正面；X1表反面。,X=0表阴性；X1表阳性。,Example,3抛掷骰子,观察出现的点数.,=1，2，3，4，5，6,样本点本身就是数量,且有,则有,设是定义于概率空间上的单值实函数，如果对于直线上任一博雷尔点集B，有,则称为随机变量(Randomvariable).而称为随机变量的概率分布。,特别地，若取，则有,Definition3.1.1,下面给出随机变量的严格数学定义.,随机变量是数轴上的随机游动点，其可能的每个取值是它的停靠点。,随机变量几何解释,注意到,所以只要对一切实数给出概率，就能算出落入某个区间的概率，再利用概率的性质还可以算出属于某些相当复杂的直线点集的概率。,称,为随机变量的(累计)分布函数(cumulative)distributionfunction,c.d.f.)。记作,Definition3.1.2,按定义，随机变量是样本点的函数，因此在试验前我们只能知道它可能取那些值，而不能确知它将取何值，这就是随机性；但到了试验之后，它的取值就明确了。,为了计算概率，必须要求随机变量具有可测性，而分布函数的引进则把对于随机变量的概率计算化为对分布函数的数值运算。,由测度论的方法还可以证明：分布函数可以唯一决定概率分布。（测度扩张的唯一性-见杨振明书51页。),二、分布函数的性质,(1),(2),由于的单调有界性，,Proof,存在,因为,故,Proof,由于是单调函数，只须证明对于一列单调上升的数列成立,即可。,根据概率的可列可加性可知,因而,(3)F(x)左连续，即,另证,利用概率的下连续性,在第三节中我们将证明：满足上述三条性质的函数必为某个随机变量的分布函数。因此，以后我们把满足这三条性质的函数称为分布函数。,注：,如果分布函数定义中的“”改为“”，则为右连续，此时给定一分布函数，也对应一个随机变量。,有了分布函数，关于随机变量的许多概率都能方便算出，例如,综上所述，分布函数是一种分析性质良好的函数，便于处理；而给定了分布函数就能算出各种事件的概率。因此，引进分布函数以后，许多概率论问题便简化或归结为函数的运算，这样就能利用数学分析的许多结果，这也是引进随机变量的好处之一。,无穷且不可列取值,、随机变量的分类,有限或无穷可列取值,我们将研究两类重要的随机变量：,如“取到次品的个数”，“收到的捐款次数”等.,随机变量,离散型随机变量,连续型随机变量,例如，“电视机的寿命”，实际中常遇到的“测量误差”等.,全部可能取值不仅有无穷多，而且充满一个区间而不能一一列举.,例1（离散型）观察投掷一个骰子出现的点数.,随机变量的分类,随机变量X的可能值是:,1,2,3,4,5,6.,例2（连续型）随机变量X为“灯泡的寿命”.,则X的取值范围为,从中任取3个球,取到的白球数是一个随机变量.,(1)可能取的值是0,1,2;,(2)取每个值的概率为:,看一个例子,三、离散型随机变量,Definition某些随机变量的所有可能取值是有限多个或可数多个,这种随机变量称为离散型随机变量.,其中(i=1,2,)满足：,Definition设xi(i=1,2,)是离散型随机变量所取的一切可能值，称,为离散型随机变量的概率分布，或称为分布列.,用这两条性质判断一个函数是否是分布律,离散型随机变量表示方法,（1）公式法,（2）列表法,例1闪电侠韦德因为其无解的突破而成名，职业生涯的投篮命中率为0.482(）.求他两次独立投篮投中次数的概率分布.,解：可取值为0,1,2;,P=0=(1-0.482)(1-0.482)=0.268324,P=1=2(1-0.482)(0.482)=0.499352,P=2=(0.482)(0.482)=0.232324,常常表示为：或,当x0时，Xx=，故F(x)=0,例2,设随机变量X的分布律为,当0 x1时，F(x)=PXx=P(X=0)=,求X的分布函数F(x).,当1x2时，F(x)=PX=0+PX=1=+=,当x2时，F(x)=PX=0+PX=1+PX=2=1,故,注意左连续,下面我们从图形上来看一下.,的分布函数图,设离散型r.v的分布律是,P=xk=pk,k=1,2,3,F(x)=P(x)=,即F(x)是取的诸值xk的概率之和.,一般地,则其分布函数,可见，为离散型随机变量当且仅当的分布函数为阶梯型函数.,且的取值点恰为的间断点，且,当然，亦可表为,常用的离散型分布,退化（degenerate）分布（单点分布）,分布函数：,随机变量只取常数值，即,Bernoulli分布,设随机变量X只可能取x1与x2两个值,它的分布律为,则称X服从两点分布.,(其中0p1),当x1=0，x2=1时两点分布称为(0-1)分布,即：设随机变量X只可能取0与1两个值,它的分布律为,则称X服从(0-1)分布或伯努利分布，,(其中0p0时,0(x)的值.,当x0时,若,若N(0,1),由标准正态分布的查表计算可以求得，,这说明，X的取值几乎全部集中在-3,3区间内，超出这个范围的可能性仅占不到0.3%.,当XN(0,1)时，,P(|X|1)=20(1)-1=0.6826,P(|X|2)=20(2)-1=0.9544,P(|X|3)=20(3)-1=0.9974,3准则,将上述结论推广到一般的正态分布,这在统计学上称作“3准则”.,N(0,1),时，,解,P(h)0.01,或P(0,故对y0,PX1|Y=y,Example设(,)服从单位圆上的均匀分布，概率密度为,求,-1,1,Solution,当|x|1时，p(x,y)=0，所以p1(x)=0,当|x|1时,不服从均匀分布,当|x|1时,有,即当|x|1时,有,作为已知变量,这里是y的取值范围,已知的条件下的条件密度,|=x服从均匀分布,乘法公式,Example设数在区间(0,1)均匀分布，当观察到=x(0x1)时，数在区间(x,1)上随机地取值.求的概率密度.,解依题意，具有概率密度,对于任意给定的值x(0x1)，在=x的条件下，的条件概率密度为,和的联合密度为,于是得的概率密度为,已知边缘密度、条件密度，求联合密度,例3对于二维正态分布，在已知=x条件下，求的条件分布.,解,设,则其概率,密度为,的边缘密度为,在=x条件下，的条件概率密度为,两事件A,B独立的定义是：若P(AB)=P(A)P(B)则称事件A,B独立.,四、随机变量的独立性,Definition,可以证明，,相互独立当且仅当对任意实数x,y，,于是，我们可以把上述定义表述为：,它表明，两个r.v相互独立时，它们的联合分布函数等于两个边际分布函数的乘积.,Definition3.2.3,相互独立,一族无限多个随机变量称作相互独立的，如果其中任意有限个相互独立。,Theorem独立的等价条件,1,2,n相互独立的充要条件是，对,任意Borel点集B1,B2,Bn，都有,P1B1,2B2,nBn,=P1B1P2B2PnBn,特别地，,相互独立，当且仅当,PB1,B2=PB1PB2,对于任意的Borel点集B1,B2都成立,因为(-,x1)与(-,x2)都是Borel点集，,所以充分性显然；下证必要性.,固定某个实数x2，记A1为满足如下条件,的全体Borel点集B1所构成的集类：,PB1,x2=PB1Px2,Proof,不难验证A1是一个代数(为什么?),另一方面，根据独立性的定义由直线上,全体半直线构成的集类C=(-,x1),x1R1显然是A1的子集：CA1，因此A1包含了由C所生成的代数m(C)，而根据练习1.48,m(C)也就是一维Borel集类B1,即我们有,对任意Borel点集B1和任意实数x2成立；,PB1,x2=PB1Px2,再固定某一个Borel点集B1，记A2为,满足：PB1,B2=PB1PB2,的所有Borel点集B2构成的集类，,同理可以证明A2是代数并且也有m(C)A2，即B1A2，证明完成。,Theorem,如果随机变量相互独立，则其中任何一部分随机变量仍独立。,于是，整体独立的多个随机变量是两两独立的，但其逆命题不真。,定理,定理,如果为离散型随机向量，则与独立的充分必要条件是它的联合分布等于边际分布之积。,随机变量与相互独立，当且仅当,下面，以n=2为例讨论独立性定义的种种等价形式。,Remark,若只取有限值，其概率分布为,称为的联合概率矩阵.则,相互独立，当且仅当的秩为1.,定理,如果为连续型随机向量，则与独立的充分必要条件是它的联合密度等于边际密度之积。,对几乎处处的成立。,若随机变量与独立，则条件分布化为无条件分布。,即由的取值不能得出任何关于的信息。,设,二元正态分布的独立性,则相互独立，当且仅当,Example,假定在一段确定的时间内，放射性物质发射出的粒子数服从参数为的泊松分布，如果每个发射出的粒子被记录下的概率均为，且各粒子能否被记录相互独立，求证在这段时间内被记录下的粒子数与未被记录下的粒子数相互独立。,Solution,由于泊松分布在随机选择下不变，故随机变量均服从泊松分布，参数分别为与，于是，对任何非负整数与有,因此，与相互独立。,Proposition在独立重复的伯努利实验序列中，如果实验重复的次数服从泊松分布，那么成功次数和失败次数相互独立。,Remark这个命题的逆命题也成立，可以利用母函数给出简单的证明。,随机向量之间的独立性,定义,对于维随机向量和维随机向量，如果,成立，,则称与相互独立。,其中分别是任意一个维和维的博雷尔点集。,显然若与独立，则的子向量与的子向量独立,*五、正态分布的导出,1809年，高斯（CarlFriedrichGauss，17771855）发表了其数学和天体力学的名著绕日天体运动的理论。在此书末尾，他写了一节有关“数据结合”（datacombination）的问题，实际涉及的就是这个误差分布的确定问题。高斯这项工作对后世的影响极大:使正态分布同时有了“高斯分布”的名称；是最大试然估计法的源头；因为这项工作，后世多将最小二乘法的发明权归之于他.,Sketch,在测量中，以表示的测量值，为真实值，那么误差为.设的分布密度为p(x-).由经验，p(x)关于x0对称.为推导方便，还假设p(x)有连续导数.经过n次测量后，得到样本值x1,x2,xn.这组样本发生的可能性大小，可用下试然函数表征：,根据最大试然估计原理，只要找到0，使L()达到最大值，那么，0就可以作为的估计值.根据经验，高斯认为合理的估计值应为：换而言之，剩下的，就是解出上述关于p(x)的函数方程了.以下略去273字,高斯出人意表地把最大试然估计反过来使用，先承认算术平均是应取的估计，然后去找误差密度函数p(x)以迎合这一点.高斯的说法有一点循环论证的气味.革命不需要顾忌法律，只需要冲锋陷阵.,3.随机变量的函数及其分布,在实际中，人们常常对随机变量的函数更感兴趣.,求截面面积A=的分布.,比如，已知圆轴截面直径d的分布，,在比如，已知t=t0时刻噪声电压V的分布，,求功率W=V2/R(R为电阻）的分布等.,为了解决类似的问题,下面我们讨论随机变量函数的分布.,一、博雷尔函数与随机变量的函数,在许多问题中需要计算随机变量函数的分布律，这类问题的一般提法是：若是随机变量，求的分布律。,为了使有分布律可言，当然要求是随机变量，因此对函数也必须有一定的要求，为此,博雷尔函数是很广泛的一类函数，我们所碰到的大部分函数都是博雷尔函数，特别地，所有的连续函数和单调函数都是博雷尔函数。且其集类对极限运算封闭。,Definition3.3.1,设是到上的一个映照，若对于一切中的博雷尔点集均有,则称是一元博雷尔（可测）函数。,Proposition,若是概率空间上的随机变量，而是一元博雷尔函数，则是上的随机变量。,Recall设是定义于概率空间上的单值实函数，如果对于直线上任一博雷尔点集B，有,则称为随机变量(Randomvariable).,Proof,对一切一元博雷尔点集，有,这里,由博雷尔函数的定义知它是一维博雷尔点集，再根据随机变量的定义知上式成立。,Definition3.3.2,设是到上的一个映照，若对于一切中的博雷尔点集均有,则称是n元博雷尔（可测）函数。,若是概率空间上的随机向量，而是n元博雷尔函数，则是上的随机变量。,Proposition,更一般地，还要研究维随机向量的个函数，这里都是元博雷尔函数，这是一个维随机向量，需要求出它们的分布。,有时侯，我们还要考虑随机向量的函数的分布律。,问题,离散型随机变量函数的分布,Y的可能值为,即0,1,4.,解,例1,故Y的分布律为,由此归纳出离散型随机变量函数的分布的求法.,则的分布列可由下法得到，列出,当然这里可能有某些相等，把它们作适当并项即可,一般地来说，对于离散性随机变量，求出它的函数的分布并不困难，例如，若的分布列为,离散型随机变量的函数的分布,二元离散型随机向量函数的分布,设为二维离散型随机向量，概率分布为,为二元函数，则随机向量函数,的概率分布为：,例1若、独立，P(=k)=ak,k=0,1,2,P(=k)=bk,k=0,1,2,求=+的概率函数.,解,=a0br+a1br-1+arb0,由独立性,r=0,1,2,离散卷积公式,分布的再生性,若同一类分布的独立随机变量和的分布仍是此类分布，则称此类分布具有再生性（卷积封闭性）.,一般的算命理论大多来自古代人的统计结论，但是缺乏实际数据，而且大多是统计相关而非因果相关的结论,星座理论：处女座的人做事较龟毛（做事拖拖拉拉，犹豫不决）。此命题说明可能有很多个处女座人士很龟毛，但是究竟有多少百分比的处女座人士很龟毛？从古至今的星座算命书籍并未有确切的统计数据留下来，而且处女座并非导致龟毛的原因，所以二者并非因果相关，而是统计相关。,我们班中有多少处女座的男生？,假如我们班中有m名男生，其中人是处女座的，p为任一名男生是处女座的概率.按理来说，都是确定的.我能数出m，星座作为私隐，我无从知晓.换而言之，对我来说是个随机变量.其次，我可以很主观地认为于是，b(m,p).,女生勒？,同样地，我们可以假设处女座的女生数目b(n,p)，其中n为班中女生数目，,服从什么分布？,二项分布的再生性,若B(m,p)，B(n,p)，,Remark若iB(ni,p)，且独立，则=1+2+kB(n,p),n=n1+n2+nk.,且独立，,则=+B(m+n,p).,春田花花幼稚园的校长经营了一家粉面档，麦兜好想知道究竟有几多人会帮衬它。,设为每天光顾的男性顾客。这是个典型的排队问题，所以可以设P(1)同样地，每天光顾的女性顾客数目P(2),服从什么分布？,泊松分布的再生性,若P(1)，P(2)，,Remark不服从泊松分布.,且独立，,则=+P(1+2).,解依题意,例若X和Y相互独立,它们分别服从参数为的泊松分布,证明Z=X+Y服从参数为,于是,i=0,1,2,j=0,1,2,的泊松分布.,r=0,1,即Z服从参数为的泊松分布.,Theorem设则的密度函数为,一般地，称服从参数为的Cauchy分布,记为若的密度函数为,二、单个随机变量的函数的分布律,Figure,一般地，若为连续型随机变量，其密度函数为，而，我们对下面两种情形进行讨论。,（1）若严格单调，且反函数有连续导函数，则是具有密度函数,的连续型随机变量。,（2）若在不相重叠的区间上逐段严格单调，其反函数分别为，而且它们均有连续导数，那么是连续型随机变量，其密度函数为,Remark这里和后面均约定，对使反函数无意义的点y，密度函数定义为0.,Proof,（1）对于任一实数，记使成立的的值的范围为，则,这里利用了“变量代换”，由上式知结论成立。,（2）给定实数，以记中使成立的的集合，显然诸不相交，则,因此结论成立。,分布,Theorem设则的密度函数为,此时，我们记,Figure,对数正态分布LognormalDistribution,为服从参数为的对数正态分布,Excel函数：LOGNORMDIST().,Figure,对数正态分布的应用,对数正态分布常用于描述价格的分布.如：设某种资产当前价格为考虑单期投资问题，设投资于该资产的连续复合收益率为到期价格为一般地，服从正态分布，故服从对数正态分布.,每个上的严格单调的连续函数都有唯一的反函数，反函数与有相同的单调性和连续性。,现在分布函数只有非降性和左连续性，需要将反函数的概念加以推广。,Definition,称,为分布函数的单调逆。,分布函数的单调逆函数,注定义中的“”改为“”也可，下面的性质,除了右连续性需改为左连续性外，其余仍成立。,Property,（2）单调不降。,（1）当是严格上升的连续函数时，它的单调逆就是普通的反函数。,（3）,当在点连续时等号成立,反之不真。,（5）在任意点处均右连续。,推论,对任意给定的，有,（4）,严格不等号有时成立,事实上，若，则,故,Proof,（1）显然成立，下面证明（2）单调不降性。,Proof,设，则。,对于，由下确界的定义知：,即,（3）,当在点连续时等号成立,反之不真。,另一方面，对于，同样由下确界的定义知：,存在，使得,因为,故有,若在点右连续，在上式中取极限即知,于是，我们有,反之不真，请找反例.,（3）,当在点连续时等号成立,反之不真。,（4）,对固定的，设则,因而，我们得到,严格不等号有时成立,Proof,推论,对任意给定的，有,Proof,因为,（5）在任意点处均右连续。,Proof,取定，要证,因而取极限知：,事实上，根据的单调不降性和性质（3）知：,【证毕】,一方面，由的单调性：,下面证明,根据推论可知：只须证明：,均匀分布的特殊地位,Proposition,设随机变量的分布函数为，且为连续函数，则服从上的均匀分布。,Proof,因为为连续函数，故对，有,因此结论成立。,这个结论在统计中起重要作用。,设为分布函数，服从上的均匀分布，则随机变量以为分布函数。,对任意的，由推论有,因此结论成立。,Proposition,Proof,随机变量的存在性定理,若是左连续的单调不减函数，且，则存在一个概率空间及其上的随机变量，使的分布函数正好为.,Proof,取，再取为中博雷尔点集全体，,而取为直线上的勒贝格测度（它是长度概念的推广，但对一切博雷尔点集都有定义）。,定义，则是上的随机变量。,并且对一切的，有,因此服从上的均匀分布。,最后，设为的单调逆函数，则由前面的命题知是上的随机变量且分布函数为,三、随机向量的函数的分布律,若，而的密度函数为,则,Example设和的联合密度为p(x,y),求=+的概率密度.,这里积分区域D=(x,y):x+y0时,故,从而，n=2时命题成立.,假设则于是，命题得证.,伽玛分布的再生性,商的分布,同理可得,故有,当,独立时,由此可得分布密度为,更进一步地，我们有：,ExampleM=max(X,Y)及N=min(X,Y)的分布,设X，Y是两个相互独立的随机变量，它们的分布函数分别为FX(x)和FY(y),我们来求M=max(X,Y)及N=min(X,Y)的分布函数.,FM(z)=P(Mz),=P(Xz,Y0时,当且仅当,即时,上述积分的被积函数不等于零.,故,于是的概率密度为,极大分布、极小分布、和的分布分别对应并联系统、串连系统、备用系统。,关于顺序统计量的若干分布,若是相互独立的随机变量，具有相同的分布函数，而及相当于把按大小顺序重新排列为的末项和首项，它们在参数统计中有重要应用。,首先求的分布函数，,再求的分布函数，,因此,进一步，讨论的联合分布。,记,若，则,若，则,因此其联合密度函数为,最后，我们来求极差的分布密度函数,显然，对，。若，则,因此,Thm设相互独立同分布，且分布函数均为将按由小到大的次序排列为,对任意设则,Sketch留意到表示中至少有个小于即等于中恰好有个，个个小于这个事件的并.,四、随机向量的变换,若的密度函数为求,的分布。,显然，这是最一般的场合，当时便是随机向量的情形，当时得到单个随机变量的函数的情形。,若对存在唯一的反函数,且的密度函数为那么,比较前面两式可知,其中为坐标变换的雅可比行列式,这里假定上述偏导数存在且连续。,Example6,若的密度函数为而,这里,试求的密度函数,Solution,本例中,因此,最后，根据公式得,而,Example7（习题三.38）,若为独立随机变量，且分别服从分布,及,试