南京工业大学概率统计复习概要.docVIP

概率论概要（20071222）一 事件与概率 1 随机试验，随机事件及其运算。 在一定条件下，其结果不能预先确定而可以重复进行的试验称为随机试验。随机试验的每一个可能结果称为基本事件或样本点，全体可能结果称为样本空间。随机事件A时由若干个基本事件组成，即样本空间的子集：。而全空间称为必然事件，空集称为不可能事件.事件A发生的可能性的度量称为这个事件的概率，记为。事件的关系与运算以下引进事件的关系和运算. 既然事件是集合，故事件也遵守集合运算的规则. 以下设 为事件.“事件 在某次试验中发生”，用集合论的语言就是，其中为这次试验的结果.包含关系 意味：发生，必发生. 即 .并 意味： 发生或 发生。即 .交 意味： ， 同时发生。即 .差 意味：发生但不发生。即.对立事件 ，即不发生.若，称 , 互不相容，即 , 不可能同时发生. 这时可记. （一般记，不论是否相容）运算规律交换律 .结合律 .分配律 .对偶律 .对偶律可以推广到有限或无限个事件的情形，例如，对事件有 , 上面的其他运算规律也有类似的推广。 2事件与概率的数学定义，概率空间的概念（柯尔莫哥洛夫公理体系）一般来讲，我们所关心的事件随着目的和场合的不同而不同，就是在同一样本空间中，各种各样的事件族都可能成为被考察的对象.在概率论中，事件族要求满足如下公理：公理1.11) ;2)若，则；3)若，则；同时满足三个公理的事件族称为代数.我们还容易知道有如下性质：4) （因为）；5) 若则（由对偶律）.确定好我们关心的事件族代数后，再去考虑中事件发生的概率（或称概率测度）.事件发生的概率记为（直观上，表示事件发生的可能性），要求它满足如下公理：公理1.21) ；2) =1;3) 完全可加性：若,且互不相容，则 由公理1.2容易推出4） （在3）中令，即可）；5）有限可加性：若,且互不相容，则（在3）中令，即可）三者的结合物称为概率空间。以上是柯尔莫哥洛夫提出的概率空间的公理体系。柯尔莫哥洛夫公理体系同现代的几何基础公理体系不去界说诸如点，线，面这些几何基本元素一样，着眼于规定事件与事件的概率的最基本的性质与关系，而不去解释它们的现实背景与含义；将概率论建立在坚实的数学基础之上. 3 概率的其他性质1） 加法公式 2） 连续性。对任意单调上升或单调下降的事件列有其中 （上升情形）或(下降情形)。4条件概率。若, 则称为已知A发生的条件下事件B的条件概率。条件概率的性质：1） 函数满足概率的三条公理, 称三元组为条件概率空间。2） 乘法公式3） 全概公式与逆概公式 若事件不相容且它们至少有一个发生（即，则 5 独立性 称事件独立，若。称事件独立，若对任意和有 6 独立试验序列 设一次试验中事件A发生的概率为（即）作n次独立重复试验，事件A发生的次数记为X，则 ，二 随机变量及其分布1随机变量及其分布函数设为概率空间, 为定义在其上的实函数, 如果对任一实数, 有 (*)则称为随机变量. (初学者仅需理解随机变量为试验结果的函数，而“可测性”条件 (*) 是数学上的要求，不必深论).其次令,(可简记为)称为随机变量的分布函数. 以后事件常常简记为.为计算与随机变量有关的各个事件的概率, 我们不必深入到较为抽象的概率空间中去，而可通过具体的实变元实函数进行. 因此, 数学分析一切工具都可运用, 这就是引进分布函数的好处. 分布函数具有如下性质 1) 单调不减: 如果, 则. 2) 右连续： . 3) .4) .且 ，2离散型随机变量 离散型随机变量X是仅可能取有限个或者可列个值的随机变量. 设X可能取的值为： .它取各个值的概率, 即概率分布为:.还可以列为概率分布表:显然有1） ;2) .又离散型随机变量X的分布函数显然为 =, .它是阶梯函数.3 连续型随机变量如果存在非负可积函数，使对，都有 （1）我们称这样的随机变量X为（绝对）连续型随机变量；称p(x)为它的概率密度函数，简称为密度. 显然具有如下性质：1) p(x)0 x2) 又随机变量X落在区间的概率为 显然X落于区间或的概率与落在区间的概率一样，即P(axb)= P(axb)= P(axb)= P(axb) （2）且在单点集a的概率为0，P(X=a)=0. (3)对于离散型随机变量，（2）（3）一般不成立（例如在二点分布情形）.随机变量X的分布函数显然为 （4）而一般地有 （5） 4随机向量与联合分布在概率空间中，有时我们需要同时考察两个或两个以上的随机变量，并研究它们之间的关系. 整体 可看成是定义于样本空间，取值于n维欧氏空间的函数；我们称X()（简写为X）为n维随机向量或值随机变量.设为任意实数，显然 为事件（即F中的元）；它的概率记为或简写为，并称这个n元函数为随机变量的联合分布函数（或随机向量X的分布函数）. 即 （1）以下较详细地讨论二维情形（其中大多结果可推广到维情形）. 这时，分布函数. 仿照一维情形可证： 联合分布函数具有如下性质：1)在如下的意义下单调不减：若a1b1，a2b2，则 2)右连续性 3) ； =1令，则 故是随机变量的分布函数，我们称它为关于的边缘分布函数. 同理，是随机变量X2分布函数，也称为关于X2的边缘分布函数.若存在非负可积函数使对任意区域有： （2）则称随机向量为连续型随机向量，具有联合密度.其联合分布函数显然为 （3）由（2）（3）式不难看出， （3）分别是随机变量X1，X2的密度，也称为边缘密度.例（2维正态分布）如果二维随机向量X=(X1，X2)为连续型，联合密度为 （4）则称X=(X1，X2)服从二维正态分布. 其中5个参数满足条件：1，20，|1它们的概率意义在下一章说明.下求X1，X2的边缘密度. 由（3）(4)有=令，则 = = 最后一式第二个因子是正态分布的分布密度的积分，故等于1. 这就证明了 即 ；同理 于是.称随机向量为离散型，如果它仅能取有限或可列个值；例如它取值于集合 . 的联合分布为 离散型随机向量的边缘分布概念与连续型类似. 的边缘分布为 它就是离散型随机变量本身的概率分布. 同理，的边缘分布为 它就是离散型随机变量本身的概率分布.例（三项分布）若离散随机向量的联合分布为=，.其中是给定的正整数；， . 则称随机向量服从三项分布. 我们来求边缘分布. = = = (由二项式定理)即 同理 由此看出随机变量服从二项分布，服从二项分布.5 随机变量的独立性如果随机变量的联合分布函数可以写成n个一维随机变量分布函数的积的形式 = 则称这n个随机变量是相互独立的；其中是Xk的边缘分布函数，. 命题1 设为离散型随机变量，Xk取值于, .则相互独立的充要条件为 对,(2)的左端也就成为的联合概率分布.注 如果随机向量服从二维正态分布， 相互独立的充要条件为.命题2 设为连续型随机变量，联合密度为，Xk的边缘密度为，则相互独立的充要条件为= 6 随机变量函数的分布在许多问题中需要计算随机变量或随机向量的函数的概率分布. 例如无线电接收中，收到信号是一随机变量，这个信号通过平方检波器，输出的信号是，我们需要计算随机变量的分布. 又如在统计物理中，已知分子速度的分布，需要求分子动能的分布. 在数理统计中推导统计量的概率分布也属于这类问题. 因此，无论在理论上还是在实践上这类问题都有重要意义. 1 )问题的一般提法：设n维随机向量的联合分布是,而 其中 都是n元函数（数学上要求这些函数Borel可测，本书不深入讨论）.试求m维随机向量的联合分布函数 .理论上这个问题并不难，令 则 = =于是当X有联合分布密度时这就归结为计算一个n重积分问题. 然而在很多情况下计算这个积分并不容易.以上的方法可导出求随机变量的函数的分布的有用的变换公式. 为简明起见，以下定理仅对二维情形陈述，n维情形是类似的.命题 设随机向量有联合密度；,设DR2是区域，使得；设变换的值域为G，且是一一变换；又设f1,f2连续可导，于是存在唯一的反函数，令Y1=,Y2=,则随机变量具有联合密度 （5）证 这是微积分中的重积分变换公式的明显推论.附注 如果存在多个反函数g(k)(y1,y2)， 则（5）的右端第一式改为 （6）2）和，差，积，商的分布 设二维随机向量（X,Y）的联合密度为p(x,y)，则随机变量， ， 的密度分别为 = = 3） 各种加法性质（1）如果X,Y相互独立，且,；则X+Y（2）如果X,Y相互独立，且,；则(3)设,独立，且， ,，则.(4)设相互独立，且,;则.三 随机变量的数字特征1数学期望（简称期望）就是随机变量取值的加权平均。随机变量（向量）函数()的期望有如下计算公式 期望的性质：（1）； （2）.(3)(4)2 方差（它表达了随机变量与其均值之间的平均误差.） = (X为离散型时) （或）= (X为连续型时)我们称是的标准差或均方差，记为.的期望称为随机变量的阶矩，即阶矩是 = (X为离散型) （或）= (X为连续型)最常用的是二阶矩. 方差有如下性质 （1），即常数的方差为0； （2） ； （3） ； （4） ，即方差关于平移不变； （5) 如果X，Y独立，则 D(X+ Y)=D(X)+D(Y).附注 当随机变量X偏离它的期望的概率越大，则X的方差与标准差也越大. 例如，X，从正态密度的图象可看出这种关系.3协方差与相关系数协方差与相关系数刻画了两个随机变量之间的相关程度.称为X，Y的协方差，记为或. 由期望的性质，容易证明 =故当相互独立时，必有.又如果X，Y的联合分布为F(x,y)，则 (离散型) （或） (连续型)又显然有 =，=. 设X，Y为随机变量，D(X)0, D(Y) 0，则称 为X，Y的相关系数.命题 设设X，Y的相关系数，则 1) 2) 如果X，Y独立，则 =0 3) 的充分必要条件是：存在常数a, b，使P(Y=a+bX)=1.例 设,前面已算出， 以下求协方差令 ，则 后一项是的期望，它等于所以 而相关系数于是便弄清了二维正态的五个参数的概率含义；并知道X，Y独立等价于（即X,Y不相关）4* 特征函数特征函数是证明概率论中的许多极限定理的强有力的工具. 设X为任意随机变量，称 是X的特征函数。定理1 设f(t)是随机变量X的特征函数，则1）f(t)在一致连续，而且 2）如果X的n阶矩存在，则 3）设随机变量相互独立，特征函数分别为;则的特征函数为 定理2（反演公式） 设随机变量X的分布函数为F(x),特征函数为f(t)，如果a,b是F(x)的连续点，则 从而，分布函数与特征函数一一对应. 定理3收敛定理） 设是随机变量列，X是随机变量；的分布函数为，特征函数为；则， 对F的每个连续点x的充要条件是， 对每个t. 例 1）设，求特征函数上式求导和分步积分得 即 连同初始条件f(0)=1, 解这个微分方程，便求得标准正态分布的特征函数为 还可以用复分析中的围道积分法求出这个特征函数. 的奇数阶矩显然为0，而偶数阶矩可以对上式求阶导数得出： 2）设，则，故Y的特征函数为 3）设X，Y相互独立，. Z=X+Y的特征函数为这就证明了正态分布的一个常用的加法性质：.四 极限定理1切贝雪夫不等式1)若为非负随机变量，且期望存在，则，有 2)设X为随机变量，期望与方差都存在，则，有 2大数定律 设是相互独立同分布的随机变量列，设X1的二阶矩存在. 令Sn=X1+Xn, 则对有 这时我们称Sn/n依概率收敛于p，记为 推论 (贝努利（Bernoulli）大数定律，它弄清楚了频率与概率的极限关系) 在n次独立重复试验中，设事件A在一次试验中发生的概率为p. 令 , 当A在第次试验发生， =0, 当A在第次试验不发生于是 是n次试验中事件A发生的总次数，而就是频率。我们有，故