工科数理统计-课件 1 概率论的基本概念和分布

第1章

概率论的基本概念和分布1.1随机变量的分布1.2常见的随机变量分布1.3多维随机向量的分布和数字特征1.4多项分布和多维正态分布经典统计案例：蒙提霍尔问题1.1随机变量的分布1.1随机变量的分布数理统计学的核心任务是通过大量重复试验去发现不确定性的规律.试验中各种可能结果可以用一个变量去描述，即将每个可能结果映射成一个数值，产生的变量称为随机变量，这些映射过来的数值就是随机变量的可能取值.随机变量可以用大写字母X、Y、Z…表示.对应上述（1）~（4）的试验，即可产生下列随机变量：（1）X：表示投掷一枚骰子掷出的点数.（2）Y：表示一次手中扑克牌的花色和数值，是一个多维随机向量.（3）Z：表示这只灯管的寿命值.（4）W：表示一次测量误差值.我们的目标是：将试验结果的不确定性通过随机变量的分布规律加以描述.也就是将数值的分布规律通过一个随机变量的分布规律去描述.如果一个随机变量的可能取值是有限个或可列个，即这些可能值对应着数轴上一个个孤立的点，则称这样的随机变量为离散型随机变量.例如前面例子中投掷骰子出现的点数.对于离散型随机变量，我们主要研究它的单点概率.定义1.1

设随机变量X

的所有可能取值为x1，x2，…，xn，…，则称为随机变量X

的分布律，分布律也可表示为分布律具有非负性和归一性：1.1随机变量的分布将一枚均匀骰子连续抛掷两次，X

表示两次中出现的较大的点数，那么X

的分布律为当随机变量取值具有连续性特征时，研究单点概率没有意义.我们转而研究一个随机变量取值落到某个区间内的概率，例如，灯管的寿命大于1000h的概率，以及测量误差小于0.05cm的概率.区间类型很多，开的、闭的、半开半闭等等，我们只需选择一类区间概率进行研究，而其他各类区间概率都可以用这种区间概率求解.定义1.2

设X

是一个随机变量，x

是任意实数，函数F（x）=P{X

≤x}称为X

的分布函数.分布函数是单调不减函数，其函数值是概率.如果分布函数已知，任何类型概率都可以利用分布函数求得.例如：离散型随机变量的分布函数是一个阶梯形跳跃函数，在每个可能取值点处函数值发生跳跃.若随机变量的可能取值可以连续变化，且取任一特定值的概率均为0，则称其为连续型随机变量，例如前面例子中灯管的寿命和测量误差.严格定义如下：1.1随机变量的分布定义1.3

设随机变量X

的分布函数F（x），如果存在非负函数

f（x），使得对任意实数x，有则称X

为连续型随机变量.其中函数

f（x）称为X

的概率密度函数，简称密度函数.（1）密度函数与分布律具有类似性质：非负性和归一性，如图1-1.（2）连续型随机变量的分布函数是积分上限函数，因此是连续函数;在可导点处，其导数等于密度函数.因此，对于连续型随机变量，若给定分布函数，可通过求导得到密度函数.若分布函数在个别点处不可导，则密度函数值可以任意赋予一个有限实数值.密度函数在个别点的函数值对连续型随机变量的概率不产生影响，密度函数几乎处处唯一.（3）已知连续型随机变量密度函数，即可求出其取值在任一区间的概率.求区间概率就是对密度函数积分，如图1-2.连续型随机变量的概率是积分值，而积分的几何意义是面积，所以对于一维连续型随机变量概率就是面积.1.1随机变量的分布设X

是连续型随机变量，其密度函数为解（1）由密度函数的性质求：（1）常数c;（2）P{X>1}.因此如果一个随机变量的取值既有连续变化的特点，又存在非零的单点概率值，则称这类随机变量为混合型随机变量.混合型随机变量既不存在分布律，也不存在密度函数，因此通常使用分布函数来描述其概率分布.除上述类型外，还存在奇异型分布（本教材不作详述）.随机变量的分布律、分布函数和密度函数是对随机变量统计规律的完整描述，它们包含了一个随机变量的全部与概率相关的信息，可以说构成了该随机变量的最大信息库.只要掌握了这些分布信息，就等于知道了随机变量的所有概率特性.1.2常见的随机变量分布1.二项分布设X

为一个离散型随机变量，若X

的分布律为其中0<p<1，q=1-p，则称X

服从参数为n

与p

的二项分布，记为X~B（n，p）.在n

重伯努利试验中，设每次试验事件A

发生的概率为p，则n

次试验中事件A

发生的次数服从二项分布;二项分布的数学期望和方差分别为当n=1时，二项分布B（1，p）也称为0-1分布.2.泊松（Poisson）分布设X

为一个离散型随机变量，若X

的分布律为其中λ>0，则称X

服从参数为λ

的泊松分布，记为X~P（λ）.一般稀有事件发生的次数是服从泊松分布的.泊松分布的数学期望和方差分别为3.几何分布设X

为一个离散型随机变量，若X

的分布律为其中p>0，q=1-p，则称X

服从参数为p

的几何分布，记为X~G（p）.独立重复实验中，某一事件首次发生时的实验次数是服从几何分布的几何分布的数学期望和方差分别为4.超几何分布设X为一个离散型随机变量，若X

的分布律为其中N>M，N>n，则称X

服从参数为n，M，N

的超几何分布，记为X~H（n，M，N）.在不放回抽样中，抽到的某种特殊样品的个数服从超几何分布.超几何分布的数学期望和方差分别为5.负二项分布设X

为一个离散型随机变量，若X

的分布律为其中r是正整数，0<p<1，则称X

服从参数为的r，p的负二项分布，记为X~NB（r，p）.在独立重复试验中，某事件第r次发生时所需的试验次数服从负二项分布负二项分布可写成独立的几何分布之和.其数学期望和方差分别为其他6.均匀分布若随机变量X

的密度函数为则称X

在区间（a，b）上服从均匀分布，记为X~U（a，b）.其密度函数的图像如图1-3.分布函数为在一个区间上随机取值所产生的随机变量服从均匀分布，即均匀分布满足等可能概型.均匀分布的数学期望和方差分别为7.指数分布若随机变量X

的密度函数为其中λ>0，则称X服从参数为λ的指数分布，记为X~e（λ）.其密度函数的图像如图1-4.其分布函数为常用指数分布描述电子元件的寿命、排队中的等待时间等指标，在可靠性理论和排队论中应用广泛.指数分布的数学期望和方差分别为8.正态分布若随机变量X

的密度函数为其中μ∈R，σ>0，则称X

服从参数为μ，σ2的正态分布，记为X~N（μ，σ2）.其密度函数的图像如图1-5.其分布函数为如果一个指标受很多因素影响，且每个因素都不起决定性作用，那么这个指标通常可以用正态分布描述.当μ=0，σ2=1时，正态分布N（0，1）称为标准正态分布.正态分布是概率论和数理统计中最重要的分布之一，也称高斯分布.其数学期望与方差分别为图1-59.Γ

分布若随机变量X

的密度函数为其中α>0，λ>0，则称X服从参数为α，λ

的Γ

分布，记为X~Ga（α，λ）或X~Γ（α，λ）.其密度函数的图像如图1-6.当参数α=1时，Ga（1，λ）=e（λ）.Γ分布通常用于描述电子设备的使用寿命，是可靠性数学中最重要的分布之一.其数学期望和方差分别为图1-610.贝塔分布如果随机变量X的密度函数为其中α>0，b>0，则称X

服从参数为a，b

的贝塔分布，记为X~Be（a，b）.其密度函数的图像如图1-7.当参数α=1，b=1时，Be（1，1）=U（0，1）.贝塔分布是贝叶斯统计中重要的分布之一，通常用来描述概率的先验分布.其数学期望和方差分别为图1-711.逆Γ

分布如果随机变量X的密度函数为其中α>0，λ>0，则称X

服从参数为α，λ

的逆Γ

分布（或倒Γ

分布），记为X~Γ-1（α，λ）.其密度函数的图像如图1-8.图1-8若随机变量

，则

逆伽马分布是贝叶斯统计中非常重要的一个分布，通常用于描述随机变量方差的先验分布.其均值和方差分别为1.3多维随机向量的分布和

数字特征1.3.1多维随机向量的分布1.离散型随机向量（1）联合分布律设x=（x1，x2，…，xp）T

是X

的任一可能取值，则称P（X=x）为随机向量X的联合分布律.分布律满足非负性和归一性：（2）边缘分布律概率

称为X

的k维边缘分布律.其中是I

的真子集.当k=1时即为一维边缘分布律.1.3.1多维随机向量的分布1.离散型随机向量（3）独立性若P（X=x）=P（X1=x1）P（X2=x2）…P（Xp=xp），对任意x∈Rp

成立，则称X的各分量相互独立.（4）条件分布律若

，则称

1.3.1多维随机向量的分布2.连续型随机向量

可导点处密度函数为显然1.3.1多维随机向量的分布2.连续型随机向量（2）边缘分布这里只给出一维和二维边缘分布，类似地，可以表示直至

p

-1维的边缘分布.边缘分布函数为边缘密度函数为1.3.1多维随机向量的分布2.连续型随机向量（3）独立性如果随机向量的联合分布能写成一维边缘分布之积，则称向量的分量之间相互独立.即

1.3.2多维随机向量的数字特征1.均值向量定义1.4

设X=(X1，X2，…，Xp)T

是一个p

维向量，且EXi

存在，则称为随机向量X

的均值向量，通常记为1.3.2多维随机向量的数字特征1.均值向量与一维情形类似，设A、B

为满足矩阵阶数加法和乘法运算的常数矩阵，则均值向量具有下列性质（证明略）.为X

与Y

的互协方差阵.当X=Y

时，Cov（X，X）即为X

的协方差阵，记为Var（X）.显然有：（1）Var（X）是对称阵，但Cov（X，Y）可以不是方阵;（2）若X

与Y

相互独立，则Cov（X，Y）=0;（3）Cov（X，b）=0，其中b

是常向量;（4）若向量X

的各分量相互独立，则Var（X）为对角阵，其对角线元素为各分量的方差，即1.3.2多维随机向量的数字特征2.协方差阵定义1.4

设随机向量X=（X1，X2，…，Xp）T，Y=（Y1，Y2，…，Yq）T，则称1.3.2多维随机向量的数字特征2.协方差阵其中A，B

是阶数适合的常数矩阵，a

是一个常数.（4）Var（X+Y）=Var（X）+Var（Y）+Cov（X，Y）+Cov（Y，X）;（5）当X

与Y

相互独立时，Var（AX+BY）=AVar（X）AT+BVar（Y）BT.这里（4）和（5）需满足条件：X

与Y

的维数相同，即p=q.下面只给出性质（1）的证明，其他可由简单的矩阵计算得出.类似于方差的性质，协方差阵具有下列性质：（1）Var（X）≥0（非负定阵）;（2）Var（X+b）=Var（X），其中b

为p

维常向量;（3）Cov（AX，BY）=ACov（X，Y）BT;特例情况：1.3.2多维随机向量的数字特征2.协方差阵证明

根据非负定阵的定义，需证对∀a=（a1，a2，…，ap）T∈Rp，都有定义1.6

令

，称R=（rij）为随机向量X

的相关系数阵.显然：（1）相关系数阵为对称阵，对角线元素为1;（2）相关系数阵可由协方差阵求得

其中1.3.2多维随机向量的数字特征2.相关系数阵同时协方差阵能够完全确定相关系数阵，但相关系数阵不能确定协方差阵.标准化随机向量的协方差阵和相关系数阵是完全相同的.1.3.2多维随机向量的数字特征已知随机变量X1，X2，X3

相互独立，且均服从标准正态分布，（1）求X=（X1，X2，X3）的均值向量和协方差阵;（2）令Y1=2X1-X2，Y2=X2-X3，Y3=X3+1，求Y=（Y1，Y2，Y3）T

的均值向量和协方差正阵;（3）求X

和Y

的互协方差阵.解

（1）显然EX=0，Var（X）=I3;（2）令（3）1.4多项分布和多维正态分布1.多项分布的定义和性质进行n次独立重复试验，每次试验有r个可能结果：A1，A2，…，Ar，这r个事件构成样本空间的一个划分.令P（Ai）=pi，则p1+p2+…+pr=1，设X1，X2，…，Xr

分别表示n次实验中A1，A2，…，Ar

发生的次数，则X=（X1，X2，…，Xr）T

服从多项分布.定义1.7

若随机向量X=（X1，X2，…，Xr）T

的分布律为其中0<pi<1，i=1，2，…，r，n1，n2，…，nr

是非负整数，且，则称X

服从参数为n

和p

的多项分布，记作显然，X1+X2+…+Xr=n.因此，该r维分布的支撑集位于一个r-1维超平面上，其分布本质上是r-1维的.1.多项分布的定义和性质多项分布的性质（1）多项分布的边缘分布仍为多项分布（2）与二项分布类似，可将多项分布进行分解：X=N1+N2+…+Nn，其中N1，N2，…，Nn

相互独立，且均服从多项分布Mr（1，p）.Ni

的均值向量和协方差阵分别为1.多项分布的定义和性质多项分布的性质（3）（4）这里只证明性质（4），这个结论是χ2拟合优度检验的理论基础.1.多项分布的定义和性质证明

1.多项分布的定义和性质做变换Z=Γ1Y，则1.多项分布的定义和性质令单位正交阵做变换W=Γ2Z，则根据中心极限定理2.多维正态分布的定义和性质多维正态分布是多元统计中最重要的分布之一，大量多元指标本身服从正态分布，或经适当变换后近似服从正态分布.其定义有多种形式，这里延续一维正态分布的理论给出它的定义.设N1，N2，…，Np

是独立的标准正态分布，则向量N=（N1，N2，…，Np）T

的密度函数为其中x=（x1，x2，…，xp）T。这是把一维标准正态分布推广到多维标准正态分布，记为N~Np（0，I）.定义1.3

设N~Np（0，I），称该多维标准正态分布的任意线性变换为正态分布.即服从正态分布.其中A

和μ分别是

n×p

阶矩阵和

n维列向量.2.多维正态分布的定义和性质（1）若|AAT|≠0，即AAT

为非退化记为X~Nn（μ，Σ）.方阵，则X

的密度函数存在，且X的密度函数为记为X~Nn（μ，Σ）.（2）若|AAT|=0，则AAT

是一个退化方阵，此时X

的密度函数不存在，称为退化正态分布，仍记为X~Nn（μ，Σ）.2.多维正态分布的定义和性质多维正态分布的性质（1）正态分布线性变换仍然为正态分布：

（3）若Σ

为对角阵，且则X1，X2，…，Xp

相互独立，即正态分布的两两独立等价于n

个相互独立.令则2.多维正态分布的定义和性质（4）正态分布的边缘分布仍为正态分布：（5）若

X1~Np（μ1，Σ11）与X2~Np（μ2，Σ22）相互独立，则AX1+BX2

服从正态分布.其中A

和B

均为

n×p

阶矩阵.上述性质证明比较简单，性质（1）根据定义直接得到;性质（2）、性质（3）根据独立性定义，联合密度函数等于边缘密度函数之积即可证得.性质（4）（5）只需将给定向量表示为正态分布的线性变换形式，即2.多维正态分布的定义和性质设X1，X2，X3，X4独立同分布，均值向量和协方差阵分别为（1）求Y=X1

+X2

-X3+X4

的均值向量和协方差阵;（2）求Y