工科数理统计-全套课件 第1-7章 概率论的基本概念和分布 - 回归分析

第1章

概率论的基本概念和分布1.1随机变量的分布1.2常见的随机变量分布1.3多维随机向量的分布和数字特征1.4多项分布和多维正态分布经典统计案例：蒙提霍尔问题1.1随机变量的分布1.1随机变量的分布数理统计学的核心任务是通过大量重复试验去发现不确定性的规律.试验中各种可能结果可以用一个变量去描述，即将每个可能结果映射成一个数值，产生的变量称为随机变量，这些映射过来的数值就是随机变量的可能取值.随机变量可以用大写字母X、Y、Z…表示.对应上述（1）~（4）的试验，即可产生下列随机变量：（1）X：表示投掷一枚骰子掷出的点数.（2）Y：表示一次手中扑克牌的花色和数值，是一个多维随机向量.（3）Z：表示这只灯管的寿命值.（4）W：表示一次测量误差值.我们的目标是：将试验结果的不确定性通过随机变量的分布规律加以描述.也就是将数值的分布规律通过一个随机变量的分布规律去描述.如果一个随机变量的可能取值是有限个或可列个，即这些可能值对应着数轴上一个个孤立的点，则称这样的随机变量为离散型随机变量.例如前面例子中投掷骰子出现的点数.对于离散型随机变量，我们主要研究它的单点概率.定义1.1

设随机变量X

的所有可能取值为x1，x2，…，xn，…，则称为随机变量X

的分布律，分布律也可表示为分布律具有非负性和归一性：1.1随机变量的分布将一枚均匀骰子连续抛掷两次，X

表示两次中出现的较大的点数，那么X

的分布律为当随机变量取值具有连续性特征时，研究单点概率没有意义.我们转而研究一个随机变量取值落到某个区间内的概率，例如，灯管的寿命大于1000h的概率，以及测量误差小于0.05cm的概率.区间类型很多，开的、闭的、半开半闭等等，我们只需选择一类区间概率进行研究，而其他各类区间概率都可以用这种区间概率求解.定义1.2

设X

是一个随机变量，x

是任意实数，函数F（x）=P{X

≤x}称为X

的分布函数.分布函数是单调不减函数，其函数值是概率.如果分布函数已知，任何类型概率都可以利用分布函数求得.例如：离散型随机变量的分布函数是一个阶梯形跳跃函数，在每个可能取值点处函数值发生跳跃.若随机变量的可能取值可以连续变化，且取任一特定值的概率均为0，则称其为连续型随机变量，例如前面例子中灯管的寿命和测量误差.严格定义如下：1.1随机变量的分布定义1.3

设随机变量X

的分布函数F（x），如果存在非负函数

f（x），使得对任意实数x，有则称X

为连续型随机变量.其中函数

f（x）称为X

的概率密度函数，简称密度函数.（1）密度函数与分布律具有类似性质：非负性和归一性，如图1-1.（2）连续型随机变量的分布函数是积分上限函数，因此是连续函数;在可导点处，其导数等于密度函数.因此，对于连续型随机变量，若给定分布函数，可通过求导得到密度函数.若分布函数在个别点处不可导，则密度函数值可以任意赋予一个有限实数值.密度函数在个别点的函数值对连续型随机变量的概率不产生影响，密度函数几乎处处唯一.（3）已知连续型随机变量密度函数，即可求出其取值在任一区间的概率.求区间概率就是对密度函数积分，如图1-2.连续型随机变量的概率是积分值，而积分的几何意义是面积，所以对于一维连续型随机变量概率就是面积.1.1随机变量的分布设X

是连续型随机变量，其密度函数为解（1）由密度函数的性质求：（1）常数c;（2）P{X>1}.因此如果一个随机变量的取值既有连续变化的特点，又存在非零的单点概率值，则称这类随机变量为混合型随机变量.混合型随机变量既不存在分布律，也不存在密度函数，因此通常使用分布函数来描述其概率分布.除上述类型外，还存在奇异型分布（本教材不作详述）.随机变量的分布律、分布函数和密度函数是对随机变量统计规律的完整描述，它们包含了一个随机变量的全部与概率相关的信息，可以说构成了该随机变量的最大信息库.只要掌握了这些分布信息，就等于知道了随机变量的所有概率特性.1.2常见的随机变量分布1.二项分布设X

为一个离散型随机变量，若X

的分布律为其中0<p<1，q=1-p，则称X

服从参数为n

与p

的二项分布，记为X~B（n，p）.在n

重伯努利试验中，设每次试验事件A

发生的概率为p，则n

次试验中事件A

发生的次数服从二项分布;二项分布的数学期望和方差分别为当n=1时，二项分布B（1，p）也称为0-1分布.2.泊松（Poisson）分布设X

为一个离散型随机变量，若X

的分布律为其中λ>0，则称X

服从参数为λ

的泊松分布，记为X~P（λ）.一般稀有事件发生的次数是服从泊松分布的.泊松分布的数学期望和方差分别为3.几何分布设X

为一个离散型随机变量，若X

的分布律为其中p>0，q=1-p，则称X

服从参数为p

的几何分布，记为X~G（p）.独立重复实验中，某一事件首次发生时的实验次数是服从几何分布的几何分布的数学期望和方差分别为4.超几何分布设X为一个离散型随机变量，若X

的分布律为其中N>M，N>n，则称X

服从参数为n，M，N

的超几何分布，记为X~H（n，M，N）.在不放回抽样中，抽到的某种特殊样品的个数服从超几何分布.超几何分布的数学期望和方差分别为5.负二项分布设X

为一个离散型随机变量，若X

的分布律为其中r是正整数，0<p<1，则称X

服从参数为的r，p的负二项分布，记为X~NB（r，p）.在独立重复试验中，某事件第r次发生时所需的试验次数服从负二项分布负二项分布可写成独立的几何分布之和.其数学期望和方差分别为其他6.均匀分布若随机变量X

的密度函数为则称X

在区间（a，b）上服从均匀分布，记为X~U（a，b）.其密度函数的图像如图1-3.分布函数为在一个区间上随机取值所产生的随机变量服从均匀分布，即均匀分布满足等可能概型.均匀分布的数学期望和方差分别为7.指数分布若随机变量X

的密度函数为其中λ>0，则称X服从参数为λ的指数分布，记为X~e（λ）.其密度函数的图像如图1-4.其分布函数为常用指数分布描述电子元件的寿命、排队中的等待时间等指标，在可靠性理论和排队论中应用广泛.指数分布的数学期望和方差分别为8.正态分布若随机变量X

的密度函数为其中μ∈R，σ>0，则称X

服从参数为μ，σ2的正态分布，记为X~N（μ，σ2）.其密度函数的图像如图1-5.其分布函数为如果一个指标受很多因素影响，且每个因素都不起决定性作用，那么这个指标通常可以用正态分布描述.当μ=0，σ2=1时，正态分布N（0，1）称为标准正态分布.正态分布是概率论和数理统计中最重要的分布之一，也称高斯分布.其数学期望与方差分别为图1-59.Γ

分布若随机变量X

的密度函数为其中α>0，λ>0，则称X服从参数为α，λ

的Γ

分布，记为X~Ga（α，λ）或X~Γ（α，λ）.其密度函数的图像如图1-6.当参数α=1时，Ga（1，λ）=e（λ）.Γ分布通常用于描述电子设备的使用寿命，是可靠性数学中最重要的分布之一.其数学期望和方差分别为图1-610.贝塔分布如果随机变量X的密度函数为其中α>0，b>0，则称X

服从参数为a，b

的贝塔分布，记为X~Be（a，b）.其密度函数的图像如图1-7.当参数α=1，b=1时，Be（1，1）=U（0，1）.贝塔分布是贝叶斯统计中重要的分布之一，通常用来描述概率的先验分布.其数学期望和方差分别为图1-711.逆Γ

分布如果随机变量X的密度函数为其中α>0，λ>0，则称X

服从参数为α，λ

的逆Γ

分布（或倒Γ

分布），记为X~Γ-1（α，λ）.其密度函数的图像如图1-8.图1-8若随机变量

，则

逆伽马分布是贝叶斯统计中非常重要的一个分布，通常用于描述随机变量方差的先验分布.其均值和方差分别为1.3多维随机向量的分布和

数字特征1.3.1多维随机向量的分布1.离散型随机向量（1）联合分布律设x=（x1，x2，…，xp）T

是X

的任一可能取值，则称P（X=x）为随机向量X的联合分布律.分布律满足非负性和归一性：（2）边缘分布律概率

称为X

的k维边缘分布律.其中是I

的真子集.当k=1时即为一维边缘分布律.1.3.1多维随机向量的分布1.离散型随机向量（3）独立性若P（X=x）=P（X1=x1）P（X2=x2）…P（Xp=xp），对任意x∈Rp

成立，则称X的各分量相互独立.（4）条件分布律若

，则称

1.3.1多维随机向量的分布2.连续型随机向量

可导点处密度函数为显然1.3.1多维随机向量的分布2.连续型随机向量（2）边缘分布这里只给出一维和二维边缘分布，类似地，可以表示直至

p

-1维的边缘分布.边缘分布函数为边缘密度函数为1.3.1多维随机向量的分布2.连续型随机向量（3）独立性如果随机向量的联合分布能写成一维边缘分布之积，则称向量的分量之间相互独立.即

1.3.2多维随机向量的数字特征1.均值向量定义1.4

设X=(X1，X2，…，Xp)T

是一个p

维向量，且EXi

存在，则称为随机向量X

的均值向量，通常记为1.3.2多维随机向量的数字特征1.均值向量与一维情形类似，设A、B

为满足矩阵阶数加法和乘法运算的常数矩阵，则均值向量具有下列性质（证明略）.为X

与Y

的互协方差阵.当X=Y

时，Cov（X，X）即为X

的协方差阵，记为Var（X）.显然有：（1）Var（X）是对称阵，但Cov（X，Y）可以不是方阵;（2）若X

与Y

相互独立，则Cov（X，Y）=0;（3）Cov（X，b）=0，其中b

是常向量;（4）若向量X

的各分量相互独立，则Var（X）为对角阵，其对角线元素为各分量的方差，即1.3.2多维随机向量的数字特征2.协方差阵定义1.4

设随机向量X=（X1，X2，…，Xp）T，Y=（Y1，Y2，…，Yq）T，则称1.3.2多维随机向量的数字特征2.协方差阵其中A，B

是阶数适合的常数矩阵，a

是一个常数.（4）Var（X+Y）=Var（X）+Var（Y）+Cov（X，Y）+Cov（Y，X）;（5）当X

与Y

相互独立时，Var（AX+BY）=AVar（X）AT+BVar（Y）BT.这里（4）和（5）需满足条件：X

与Y

的维数相同，即p=q.下面只给出性质（1）的证明，其他可由简单的矩阵计算得出.类似于方差的性质，协方差阵具有下列性质：（1）Var（X）≥0（非负定阵）;（2）Var（X+b）=Var（X），其中b

为p

维常向量;（3）Cov（AX，BY）=ACov（X，Y）BT;特例情况：1.3.2多维随机向量的数字特征2.协方差阵证明

根据非负定阵的定义，需证对∀a=（a1，a2，…，ap）T∈Rp，都有定义1.6

令

，称R=（rij）为随机向量X

的相关系数阵.显然：（1）相关系数阵为对称阵，对角线元素为1;（2）相关系数阵可由协方差阵求得

其中1.3.2多维随机向量的数字特征2.相关系数阵同时协方差阵能够完全确定相关系数阵，但相关系数阵不能确定协方差阵.标准化随机向量的协方差阵和相关系数阵是完全相同的.1.3.2多维随机向量的数字特征已知随机变量X1，X2，X3

相互独立，且均服从标准正态分布，（1）求X=（X1，X2，X3）的均值向量和协方差阵;（2）令Y1=2X1-X2，Y2=X2-X3，Y3=X3+1，求Y=（Y1，Y2，Y3）T

的均值向量和协方差正阵;（3）求X

和Y

的互协方差阵.解

（1）显然EX=0，Var（X）=I3;（2）令（3）1.4多项分布和多维正态分布1.多项分布的定义和性质进行n次独立重复试验，每次试验有r个可能结果：A1，A2，…，Ar，这r个事件构成样本空间的一个划分.令P（Ai）=pi，则p1+p2+…+pr=1，设X1，X2，…，Xr

分别表示n次实验中A1，A2，…，Ar

发生的次数，则X=（X1，X2，…，Xr）T

服从多项分布.定义1.7

若随机向量X=（X1，X2，…，Xr）T

的分布律为其中0<pi<1，i=1，2，…，r，n1，n2，…，nr

是非负整数，且，则称X

服从参数为n

和p

的多项分布，记作显然，X1+X2+…+Xr=n.因此，该r维分布的支撑集位于一个r-1维超平面上，其分布本质上是r-1维的.1.多项分布的定义和性质多项分布的性质（1）多项分布的边缘分布仍为多项分布（2）与二项分布类似，可将多项分布进行分解：X=N1+N2+…+Nn，其中N1，N2，…，Nn

相互独立，且均服从多项分布Mr（1，p）.Ni

的均值向量和协方差阵分别为1.多项分布的定义和性质多项分布的性质（3）（4）这里只证明性质（4），这个结论是χ2拟合优度检验的理论基础.1.多项分布的定义和性质证明

1.多项分布的定义和性质做变换Z=Γ1Y，则1.多项分布的定义和性质令单位正交阵做变换W=Γ2Z，则根据中心极限定理2.多维正态分布的定义和性质多维正态分布是多元统计中最重要的分布之一，大量多元指标本身服从正态分布，或经适当变换后近似服从正态分布.其定义有多种形式，这里延续一维正态分布的理论给出它的定义.设N1，N2，…，Np

是独立的标准正态分布，则向量N=（N1，N2，…，Np）T

的密度函数为其中x=（x1，x2，…，xp）T。这是把一维标准正态分布推广到多维标准正态分布，记为N~Np（0，I）.定义1.3

设N~Np（0，I），称该多维标准正态分布的任意线性变换为正态分布.即服从正态分布.其中A

和μ分别是

n×p

阶矩阵和

n维列向量.2.多维正态分布的定义和性质（1）若|AAT|≠0，即AAT

为非退化记为X~Nn（μ，Σ）.方阵，则X

的密度函数存在，且X的密度函数为记为X~Nn（μ，Σ）.（2）若|AAT|=0，则AAT

是一个退化方阵，此时X

的密度函数不存在，称为退化正态分布，仍记为X~Nn（μ，Σ）.2.多维正态分布的定义和性质多维正态分布的性质（1）正态分布线性变换仍然为正态分布：

（3）若Σ

为对角阵，且则X1，X2，…，Xp

相互独立，即正态分布的两两独立等价于n

个相互独立.令则2.多维正态分布的定义和性质（4）正态分布的边缘分布仍为正态分布：（5）若

X1~Np（μ1，Σ11）与X2~Np（μ2，Σ22）相互独立，则AX1+BX2

服从正态分布.其中A

和B

均为

n×p

阶矩阵.上述性质证明比较简单，性质（1）根据定义直接得到;性质（2）、性质（3）根据独立性定义，联合密度函数等于边缘密度函数之积即可证得.性质（4）（5）只需将给定向量表示为正态分布的线性变换形式，即2.多维正态分布的定义和性质设X1，X2，X3，X4独立同分布，均值向量和协方差阵分别为（1）求Y=X1

+X2

-X3+X4

的均值向量和协方差阵;（2）求Y=X1+X2-X3+X4

与Z=0.5X1+0.5X2+0.5X3+0.5X4

的协方差阵.解（1）由独立性（2）2.多维正态分布的定义和性质

解（1）即（2）即2.多维正态分布的定义和性质多元正态分布是多元统计分析中极为重要的分布.多元统计分析中许多重要理论和方法都直接或间接建立在它的基础之上.多元正态分布的应用远不止统计学本身，在经济学、金融学、生物学、工程学及计算机科学等众多领域都扮演着重要角色.例如，在金融领域，多种资产的收益率通常用多元正态分布来建模;在生物学中，同一批个体的多项生理指标往往近似服从多元正态分布.在机器学习中，多元正态分布被广泛应用于高斯混合模型(GMM)等算法中.在这些学科的交叉研究中，多元正态分布作为一个通用的数学工具，能够有效地连接不同学科的理论和方法，促进多学科的协同发展.(3)同理经典统计案例：蒙提霍尔问题经典统计案例：蒙提霍尔问题电视节目《让我们做个交易》中，参赛者面前有三扇门：一扇门背后有汽车，另外两扇门背后是山羊.参赛者先选择一扇门，但不打开.主持人知道每扇门后的情况，他会打开剩下两扇门中的一扇，露出一只山羊，然后询问参赛者是否要改选另一扇未打开的门.概率分析：参赛者第一次选中汽车的概率为1/3，选中山羊的概率为2/3.当主持人打开一扇有山羊的门后，如果参赛者坚持最初的选择，那么赢得汽车的概率仍然是1/3.原因在于一开始选中的那扇门后面是汽车的概率没有改变.但如果参赛者换门，赢得汽车的概率就变成了2/3.因为最初选择错误(选中山羊)的概率是2/3，而当主持人打开一扇有山羊的门后，剩下的未选择的门后面就是汽车.这个结果与人们的直觉相反，很多人会认为换不换门赢得汽车的概率都是1/3，但实际上换门会增加赢得汽车的概率.这个故事展示了条件概率的奇妙之处，也揭示了直觉在概率判断中的潜在误区.第2章

统计学基本概念2.1样本数据的简单描述2.2常用统计量及其分布2.3正态总体的抽样分布经典统计案例：《红楼梦》作者之谜统计推断既然称为“推断”，就必须容许其出错；要求百分之百正确既不合理，也不可能实现。推断质量以错误概率的大小来衡量，为将该概率降至最低，除选用合理的推断方法外，抽样需兼顾两方面：第一，样本的代表性，即每个个体被抽中的概率相等；第二，样本容量尽可能大，容量越大，推断犯错的概率越小。下面首先明确总体、个体与样本的概念。总体与个体：研究对象某项指标所有可能取值构成的集合称为总体，其中的每个元素称为个体注意，总体是一个由数值构成的集合。例如，研究成年男子身高时，所有身高数值构成的集合即为总体；研究灯管寿命时，所有寿命值构成的集合亦为总体。若研究一批灯管的次品率，可为每只灯管赋值：1表示次品，0表示合格品，则总体即为由大量0与1构成的集合。由于集合中数据的分布规律可由随机变量的分布描述，故今后提到总体时，均以总体

X

表示。若集合中的元素为二维数据，则对应总体为一个二维随机变量。本书仅讨论一维总体，多维情形归入多元统计范畴。样本：从总体中抽出一部分个体进行研究，这部分个体称为一个样本。一般情况下用

X1，X2，…，Xn

表示，这就是一组容量为

n

的样本，也称为一个样本。注意：样本是随机变量，由于抽取样本具有随机性，X1，X2，…，Xn

的取值是随机的.所有可能取值构成

n

维空间，称为样本值空间.当一次抽样结束，X1，X2，…，Xn

对应一组确定的数值x1，x2，…，xn，称为是样本观测值或样本值.样本值是对样本的一次观察结果，是样本值空间中的一个元素.从总体中抽取样本属于随机抽样问题.为使样本具有代表性，针对不同类型的总体需选择不同的抽样方式，比较典型的有整群抽样、分层抽样、系统抽样等.本书介绍最基础的简单随机抽样.满足下面两个条件的样本称为简单随机抽样.（1）代表性：每个Xi都能代表总体X，即每个Xi

与总体X有相同的分布.（2）独立性：X1，X2，…，Xn

相互独立.要使样本满足上述两个条件，只需将抽取个体看成有放回抽样即可.实际抽样是不放回抽样，不放回抽样不满足独立性和代表性.把不放回抽样看成有放回抽样是合理的，因为统计推断中总体数量非常庞大，甚至可以看成无限总体，而样本容量相对很小，所以一个个体或者几个个体没有放回可以看成对整体数量没有影响.设总体X

的分布函数为F（x），X1，X2，…，Xn

为取自该总体的一组简单样本，那么样本的联合分布与总体分布之间满足下列关系：样本的联合分布函数为若总体为离散型随机变量，则样本的联合分布律为若总体为连续型随机变量，密度函数为

f（x），则样本的联合密度函数为由此，总体与样本之间的联系得以建立，为利用样本推断总体信息奠定了理论基础.2.1样本数据的简单描述2.1.1总体分布描述1.离散总体的分布律用频率估计概率.设样本值x1，x2，…，xn

中互不相同的值有k

个，分别为y1，y2，…，yk，每一个数值出现的频数分别为n1，n2，…，nk，则估计总体的分布律见表2-1.2.连续总体的密度曲线(直方图)

2.1.1总体分布描述3.连续总体分布函数曲线(累计频率图)(1)设样本数据取值区间为[x(1)，x(n)]，记L=x(n)-x(1).将区间分成k

段，保证每个区间内落入的数据个数相同.k

值满足1≤n/k<N，这里的N

值与样本容量n

有关，即n

越大时，对应的N

取值也越大.(2)在直角坐标系中，将各区间标注于x

轴上，在每个区间上以相应的累计频率值作为高绘制矩形.(3)用平滑曲线连接各矩形的左上顶点(或中点)，根据曲线形状.推断分布函数的具体形式，如图2-2.2.1.2总体数字特征描述1.总体位置特征(1)样本中位数：将样本值从小到大排序后，处于中间位置的数值或中间两个数据的平均值.(2)样本众数：样本中出现次数最多的那个数值(对于连续型数据通常不适用).(3)样本平均值：所有数据的算术平均值.2.总体离散程度(1)样本极差：样本中最大值与最小值之差.(2)样本1/4差：样本中处于前1/4处的数值与后1/4处数值的距离.(3)样本平均绝对偏差：各样本值与样本平均值距离的平均值.(4)样本方差：各样本值与样本平均值距离平方的平均值.2.1.2总体数字特征描述3.p

分位点则(1)中位数为78，众数为85，平均值为74.84;(2)极差为64，1/4差为27，平均绝对偏差为12.90，方差为249.61，标准差为15.80;(3)0.05分位点是45，0.90分位点是93;(4)该数据具有连续性特征，将数据分成7组，对应的区间分别为(36，44]，(44，53]，(53，62]，(62，71]，(71，80]，(80，89]，(89，100].每个区间数据对应的频数依次为1，2，4，5，6，8，5，直方图如图2-3.将样本值由小到大排序得X

(1)，X(2)，…，X

(n)，令np=k，则X

(k)称为样本p分位点.例如，假设某班级31名同学，概率统计课程期末考试成绩由低到高排列如下：2.2常用统计量及其分布前一节我们介绍了对数据的简单描述，这种描述简单直观，但比较粗糙，理论性不强.本节将以概率论为基础，利用样本数据对总体进行统计推断.由于样本是n

维数据、信息分散，因此需要压缩数据，集中提取样本中关于总体有用的信息，构造统计量.定义2.1设X1，X2，…，Xn

是来自总体X

的一组简单随机样本.若样本函数U=g(X1，X2，…，Xn)中不含任何未知参数，则称U

为一个统计量.统计量是一个随机变量，而u=g(x1，x2，…，xn)称为统计量的观测值，是一个具体数值.“统计量中不含任何未知参数”的含义是：一旦给出样本观测值，就能算出统计量的具体数值，否则说明函数中仍含有未知参数.2.2.1常见统计量定义2.2

设X1，X2，…，Xn是来自总体X的一组简单随机样本.则称(1)为样本均值;(2)为样本方差，为样本标准差;(3)为样本k

阶原点矩.样本均值和样本方差是统计学中十分重要的两个统计量，分别用于推断总体均值和总体方差的相关问题.2.2.1常见统计量定理2.1

证明

运用期望和方差的性质(1)(2)(1)2.2.1常见统计量(2)首先整理S2

的另一表达式对上式求期望2.2.1常见统计量

样本相关系数是推断总体线性相关性的一个重要指标.以上所给的统计量都是样本矩，用来推断相对应的总体矩.2.2.1常见统计量定义2.4

设X1，X2，…，Xn

是来自总体X

的一组简单随机样本，对样本的每组取值按由小到大的顺序排序，排序后记为X

(1)，X(2)，…，X

(n)，称之为顺序统计量.显然X(1)=min(X1，X2，…，Xn)，X(n)=max(X1，X2，…，Xn)，称

L=X(n)-X(1)为极差.极差是简单衡量样本取值离散程度的一个指标.

解

样本的分布律见表2-2，对于每一组样本值，排序得X(1)，X

(2)，X

(3)的值.2.2.1常见统计量根据表2-2，顺序统计量的分布如下：(1)一维分布，见表2-3至表2-5.(2)二维分布2.2.1常见统计量(3)三维分布注意：顺序统计量是一组全新的随机变量，并不是对样本整体的简单排序.若总体为连续型随机变量，可以导出顺序统计量分布的通用公式.定理2.2

设总体

X

为连续型随机变量，分布函数为

F(x)，密度函数为

f(x)，X1，X2，…，Xn

是一组简单随机样本，X

(1)，X(2)，…，X(n)是顺序统计量.则(1)X

(i)

的密度函数为(2)若i<j，(X(i)，X

(j))联合密度函数为2.2.1常见统计量证明(1)设X

(i)

的分布函数为Fi(x)，则事件{x<X(i)≤x+dx}等价于：在n

个观测值中，有i-1个落入区间(-∞，x]，1个落入区间(x，x+dx]，以及n-i

个落入区间(x+dx，+∞).根据分组问题，将n

个观测值划分为三组，各组的数量分别为i-1，1，n-i.由图2-4可得2.2.1常见统计量由分布函数的右连续性可得(2)如图2-5，同理(1)可得2.2.1常见统计量即设总体X

具有概率密度取容量为n=10的样本X1，X2，…，X10，求f5(x)，f3，7(x，y)，f1~10(x1，x2，…，x10).2.2.1常见统计量解

X

的分布函数为F(x)=x2(0<x<1)，代入公式可得2.2.1常见统计量设总体X~U(0，1)，抽取样本X1，X2，…，Xn

，其顺序统计量为X

(1)，X(2)，…，X

(n)，求EX(k).解

X

的分布函数为F(x)=x，密度函数为f(x)=1，x∈(0，1).顺序统计量在解决实际问题中有着重要应用，例如串并联系统的寿命、排序问题、中位数和极差问题等.2.2.1常见统计量定义2.5

设X1，X2，…，Xn

是来自总体X

的一组简单随机样本，X

的分布函数为F(x)，则称

给定一组样本值后，经验分布函数便是一个具体的阶梯形分布函数.经验分布函数在非参数统计推断中具有重要应用，通常被用来估计总体分布函数.由定义直接可得：EFn(x)=F(x);nFn(x)~B(n，F(x));2.2.1常见统计量从总体X中抽取容量为5的一组样本，样本值为1，2，1，3，2，则当总体分布形式已知，但分布中含有未知参数时，我们需要通过样本推断未知参数值，即提取样本中有关未知参数的信息.比如在推断一批产品的次品率时，从给出的样本中提取对次品率有用的信息，这个有用的信息就是样本中次品的个数.因此，次品数包含了样本中关于次品率的全部信息，称之为充分统计量.2.2.1常见统计量定义2.6设总体X的分布函数为F(x;θ)，θ

是未知参数，X1，X2，…，Xn

是一组样本，T(X1，X2，…，Xn)是统计量.若给定T值后，样本的条件分布与参数θ无关，则称T(X1，X2，…，Xn

)为θ的充分统计量.

证明

显然T~B(n，p)，寻找充分统计量通常可从参数的几何意义或其点估计入手.例如，次品率仅与样本中的次品个数有关，估计总体均值时，自然会想到样本均值等.若用定义证明一个统计量是否为充分统计量，就必须计算条件分布，这一过程往往十分烦琐，下面不加证明地给出一种非常有效的求解充分统计量的定理.2.2.1常见统计量定理2.3(因子分解定理)设总体X

的概率函数(密度函数或分布律)为p(x;θ)，抽取样本X1，X2，…，Xn，T(X1，X2，…，Xn)为统计量.则T(X1，X2，…，Xn)为θ

的充分统计量的充要条件是：对任意θ，存在两个函数g(t，θ)和h(x1，x2，…，xn)，使得对于样本的联合分布有设总体X~P(λ)，抽取样本X1，X2，…，Xn，证明：统计量T=X是参数λ

的充分统计量.证明

2.2.1常见统计量设总体X~U(0，θ)，抽取样本X1，X2，…，Xn，求参数θ的充分统计量.即X(n)是参数θ

的充分统计量.解例2.7中，总体的取值范围与参数有关，这种关系一定会影响到密度函数的形式.如果样本的联合密度函数中包含与参数有关的示性函数，那么充分统计量必然与X

(1)

或X

(n)有关.

2.2.1常见统计量证明

2.2.1常见统计量设总体X~U(-θ，θ)，抽取样本X1，X2，…，Xn，求参数θ

的分统计量.解即(X

(1)，X(n))是参数θ

的充分统计量.从例2.9可以看出充分统计量的维数与未知参数的维数不是完全对应的，在处理该问题时我们需找到维数最小的充分统计量.2.2.1常见统计量设总体X

的分布律如下：其中θ是未知参数.样本：X1，X2，…，Xn，求参数θ的充分统计量.解

设样本中1、2、3的个数分别为N1、N2、N3，显然，因此，(N1，N2，N3)是充分统计量，可以降低维数为(N1，N2).2.2.2统计推断中的四大分布1.标准正态分布标准正态分布是概率统计中最重要的分布之一.标准正态分布具有优良的数学性质，这里不再赘述.只强调下面一条结果.递推下去

EX2k-2=(2k-3)EX2k-4，而EX2=1，因此EX2k=(2k-1)!!.2.2.2统计推断中的四大分布2.χ2-分布设X1，X2，…，Xn

相互独立，且均服从标准正态分布，称为服从自由度为n

的χ2

分布，记为：χ2~χ2(n).性质(1)已知X~χ2(n)，Y~χ2(m)，且X，Y

相互独立，则(2)E[χ2(n)]=n，D[χ2(n)]=2n;(3)χ2

的密度函数为密度曲线大体形状如图2-62.2.2统计推断中的四大分布3.F-分布设X~χ2(n)，Y~χ2(m)，且X

与Y

相互独立，则称随机变量为服从自由度为(n，m)的F

分布，记为F~F(n，m).性质(1)F

的密度函数为密度函数曲线如图2-7.2.2.2统计推断中的四大分布4.t

分布设X~N(0，1)，Y~χ2(n)，且X

与Y相互独立，则称随机变量

服从自由度为n

的t分布，记为T~t(n).性质(1)T

的密度函数为密度函数曲线如图2-8;(2)，即;(3)由定义直接可得：t2(n)~F(1，n).2.2.2统计推断中的四大分布设总体X~N(0，1)，X1，X2，…，Xn是简单随机样本，试问下列统计量服从什么分布?

②同理③因为Cov(X1+X2，X1-X2)=0，所以X1+X2

和X1-X2

相互独立，即有④可得2.2.2统计推断中的四大分布定义2.7

设Y

是一个连续型随机变量，密度函数为f(x)，α∈(0，1)，如果存在一个常数b，满足则称b

是随机变量Y

的上α

分位点，记为b=Yα，即P(Y>Yα)=α.由图2-9可得2.2.2统计推断中的四大分布

对应于四大分布，本教材附录中给出了表格，可以直接通过查表获得分位点.例如：对于F分布，表中只能查到右侧尾部分位点，对于左侧尾部分位点可以通过下面公式得到：2.2.2统计推断中的四大分布证明

由分位点定义式有再由F

分布的性质(2)可得所以而比较两式得2.3正态总体的抽样分布一般总体下，求一个样本函数的确切分布极为困难，几乎不可实现，因为样本函数是n

个随机变量的函数.只有具有优良性质的总体，才可能求得样本函数的精确分布，例如具有可加性的分布，样本和的分布和总体分布属于同一分布族.本节的主要内容是正态总体的抽样分布.首先介绍统计学中一个非常重要的定理———柯赫伦定理.该定理在处理卡方(χ2)分布分解的问题时非常便捷，在后续的正态总体抽样分布定理，方差分析及回归分析的定理证明中均起到了关键性的作用.

标准化得（2）

令则计算Y

的期望向量和协方差阵即Y1，Y2，Y3，…，Yn

相互独立，Yi~N(0，1)，

这个证明也可以由柯赫伦定理直接完成.因为

设X1，X2，…，X10

为总体X~N(0，0.32)的简单随机样本，求即(3)得证.

设总体

X~N(0，1)，样本X1，X2，…，Xn.证明：证明

因为标准化所以又因为

统计推断中，常需判断两个总体是否存在差异.例如两台机器生产同一种产品，每台机器生产的产品的某项指标可视为一个总体，我们怎么去判断这两个总体是否相同呢?如果两个总体都服从正态分布，而正态分布完全由均值和方差决定，则只需比较两总体的均值是否相等，以及方差的大小关系.因此，对于两个正态总体，通常需要构造与均值差和方差比相关的抽样分布.(1)(3)若σ1=σ2，则

(2)标准化得到定理2.6中(1)证明：由定理2.5得且这两个正态总体相互独立，因此根据定理2.5可知且二者相互独立，因此整理得定理2.6中(2)显然，这个卡方分布与(1)的标准正态分布独立，所以进一步当σ1=σ2

时，整理可得定理2.6中(3)定理2.5和定理2.6分别给出了单正态总体和双正态总体的抽样分布;多正态总体的情况，将在方差分析章节讨论.对于非正态总体，情况比较复杂，通常可借助中心极限定理处理.下面不加证明地给出独立同分布中心极限定理.即定理2.7(独立同分布中心极限定理)设X1，X2，…，Xn…是一个独立同分布随机变量序列，且EXn=μ，DXn=σ2.令，其分布函数记为Fn(x)，则有

当n

较大时，近似地有中心极限定理搭建起了概率论与数理统计学之间的桥梁.该定理提供了一种普遍适用的分布逼近方法，极大地简化了概率分布的复杂性：无论原始数据的分布如何，只要满足一定条件，样本均值的分布都会趋近于正态分布.这使得我们在未知总体分布的情况下，仍能通过样本数据对总体参数进行估计和检验.中心极限定理保证了大样本条件下样本均值的分布趋于正态分布，显著降低了统计分析的复杂性，使得统计学家可以在许多不同领域中应用正态分布的理论来解决问题.经典统计案例：《红楼梦》

作者之谜经典统计案例：《红楼梦》作者之谜

有学者利用统计学方法探究《红楼梦》的作者归属.他们对前80回和后40回的用词频率、句式结构等进行统计分析.发现前80回与曹雪芹的其他作品在用词风格上高度一致，从而证实前80回为曹雪芹所写.而对于后40回，统计分析结果否定了“高鹗一人续写”的传统观点，认为后40回可能是曹雪芹亲友据草稿整理而成，其中宝黛故事和贾府衰败情节等段落或出自不同作者.这一统计学研究结果在红学界引起了很大轰动.统计分析：首先对《红楼梦》120回进行文本预处理，提取其中的虚词.然后统计每个回目中47个虚词出现的次数(频率)，得到一个120×47的数据矩阵.接着选择合适的聚类分析方法，如层次聚类法等，根据虚词频率数据计算各回目之间的相似性或距离.最后通过聚类树状图等可视化方式，将120回分成不同的类别，结果显示前80回为一类，后40回为一类，从而证实了前后两部分并非同一人所作.这一统计分析结果为《红楼梦》作者归属问题的研究提供了新的视角，丰富了红学研究的方法和成果.它展示了统计学在文学研究领域的独特应用价值，通过对文学作品中语言数据的量化分析和科学处理，能够揭示作品背后隐藏的作者风格等信息，为解决文学领域的疑难问题提供了新的思路和方法.第3章

参数估计3.1参数的点估计3.2估计的优良标准3.3区间估计经典统计案例：费米问题参数的点估计，是指用一个具体数值作为参数的估计值.前面章节介绍了常见的统计量.这些统计量通常针对总体的某一特征进行构造，例如用样本均值估计总体均值、用样本方差估计总体方差、用经验分布函数估计总体分布函数等.大数定律保证了常见统计量中基于样本的指标依概率收敛到对应的总体指标.因此，可以通过构造合理的统计量，并利用其观测值来估计未知参数值.

定义的核心是构造统计量，由于构造统计量的理论基础不同，对于同一参数可能得到不同的估计量.点估计的方法有很多种，本教材仅介绍三种较为通用的方法：矩法估计、最大似然估计和贝叶斯估计.3.1参数的点估计3.1.1矩法估计矩法估计基于一种简单的“替换”思想，由英国统计学家K.皮尔逊最早提出.其基本思想是用样本矩估计总体矩，这里的矩既可以是原点矩也可以是中心矩，二者估计结果差距不大.当总体均值已知时，原点矩的效果优于中心矩，故下文统一使用原点矩.矩法估计的理论基础是辛钦大数定律.当总体的k

阶矩存在时，辛钦大数定律的结论可以直接扩展为由辛钦大数定律，我们用样本原点矩去估计总体原点矩，即令注意：上面等式不是相等的意思，等号右侧是等号左侧的估计值或估计量.一般情况下，EXk

是关于未知参数θ(可以为多维)的函数g(θ).k

的取值由小到大，所需列出的方程个数和θ

的维数相同.辛钦大数定律：设X1，X2，…，Xn

是一个独立同分布的随机变量序列，且EXn=μ，则有3.1.1矩法估计已知X

的密度函数为其中θ

是未知参数，X1，X2，…，Xn

是一组样本，求θ

的矩估计量.

即解得3.1.1矩法估计设总体X

的分布律为其中θ

是未知参数.取得一组样本值为x1=1，x2=2，x3=1，x4=3，x5=3，求θ的矩估计值.

即解得3.1.1矩法估计若x~U(-θ，θ)，样本：X1，X2，…，Xn，求未知参数θ

的矩估计量.解

由于EX=0，且EX

不是θ

的函数，因此令EX2=A2，即解得矩法估计的优点是理论简单，应用广泛，只要总体矩存在就可以求矩估计量.3.1.1矩法估计设X1，X2，…，Xn

是取自总体X

的样本，求EX

和DX

的矩估计量.解

令即解得不难发现，当总体分布未知时，总体均值和总体方差的矩估计量形式相同.这也体现出矩法估计对总体分布的依赖性较低，因而估计相对粗糙.其本质原因在于：这种估计方法只利用了总体矩的信息，而无须知道总体的分布信息.我们知道，总体的全部概率信息都包含在其分布之中，估计过程中利用的信息越充分，估计效果通常越好.3.1.2最大似然估计最大似然估计(又称极大似然估计)最早由J.C.F.高斯提出，后由英国统计学家费歇(R.A.Fisher)于1912年在一篇论文中重新阐述，并证明了该方法的若干优良性质，“极大似然估计”这一名称亦由费歇命名.例如，一个袋中装有m个红球和n

个白球，现在随机从袋中取出一球，如果m>n，显然取到红球的概率更大；反之，若一次试验取出的是红球，我们倾向于认为，袋中红球数量较多的可能性大.最大似然估计的思想：在一次抽样中，若某一组观测值出现，我们便认为这组值出现的可能性最大，即实验结果应是最有可能发生的结果.这一思想简单直观，很容易理解.最大似然估计的关键是建立一个似然函数，其函数值大小能够充分反映样本观测值出现的可能性.对于离散型总体，似然函数取样本值点的联合概率值；对于连续型总体，则取样本值点的联合密度函数值.(1)设总体X

的分布律为P(X=yi)=p(yi；θ)，其中θ

为未知参数，X1，X2，…，Xn

为一组样本，x1，x2，…，xn

为这组样本的一次观测值，令称

L(θ)为似然函数，该似然函数是关于未知参数θ

的函数.3.1.2最大似然估计(2)设总体X

的密度函数f(x；θ)，X1，X2，…，Xn

是一组样本，样本值为

x1，x2，…，xn，则似然函数为

求函数最大值的一般方法是：先求导数，找出极值点，再确定最大值点.但似然函数呈连乘形式，直接求导求解困难，故通常先取对数再求导.因对数函数是单调递增函数，故取对数后不会改变函数的最大值点.求最大似然估计的一般步骤如下：(1)建立似然函数(2)对似然函数取自然对数(3)求导并令导数等于零

3.1.2最大似然估计设总体X

的分布律为其中θ

是未知参数.取得一组样本值为求θ的最大似然估计值.解

3.1.2最大似然估计设总体X

服从几何分布G(p)，X1，X2，…，Xn

是取自X的一组样本，求未知参数p

的最大似然估计量.取对数求导，令导数等于0，即解解得3.1.2最大似然估计设总体X

服从几何分布G(p)，X1，X2，…，Xn

是取自X的一组样本，求未知参数p

的最大似然估计量.取对数求导，令导数等于0，即解解得上面列出的步骤仅是求最大似然估计的一般方法.求最大似然估计的本质是寻找最大值点.在某些问题中，上述步骤可能不完全需要，甚至无法实施，但这并不妨碍我们采用其他方法找到最大值点.3.1.2最大似然估计

直接求导即L(a，b)关于a

单调递增，关于b单调递减.因此，为使L(a，b)最大，应取a

尽可能大，b

尽可能小.但必须满足所有样本点位于区间[a，b]内，即a

≤x(1)

且x(n)

≤b，因此解3.1.2最大似然估计该例题的特点在于：随机变量的取值范围与参数有关，参数的取值直接受样本值的控制，似然函数导数不等于0，因此，参数的最大似然估计形式与样本的最大值或最小值有关.需要再次强调：最大似然估计的关键在于构建似然函数，似然函数值始终反映样本值出现的可能性.即使样本不是完全样本或并非来自同一总体，也并不妨碍获得参数的最大似然估计，这一点是矩法估计无法做到的.设总体X~e(λ)，样本为X1，X2，…，Xn，得到m

个确定的样本值

x1，x2，…，xm，其余n-m

个值在x0

处右删失，即xi>x0，i=m+1，…，n.求参数λ

的最大似然估计量.解

建立似然函数取对数求导，令导数等于0解得最大似然估计量为3.1.2最大似然估计设Yi~N(β0+β1xi，σ2)，在已知x1，x2，…，xn

下，给出一组实验结果y1，y2，…，yn，求β0，β1，σ2

的最大似然估计值.解

建立似然函数取对数求导，令导数等于0，即3.1.2最大似然估计解得最大似然估计中的“参数”是广义的，它不仅是指总体分布中的未知参数，也可以是与总体有关的概率或数字特征，本质上都是参数的函数.这种推广在实际问题中具有广泛应用.下面直接给出结论：

3.1.2最大似然估计总体X~e(λ)，样本X1，X2，…，Xn，求EX

的最大似然估计量.解

建立似然函数取对数求导，令导数等于0，即解得所以最后，将似然函数的形式与因子分解定理相对照，不难发现：最大似然估计通常是充分统计量的函数，因此最大似然估计量的估计误差较小.在极少数情况下，最大似然估计量并不理想，例如，若总体X~U(θ-1，θ+1)，则似然函数为常数，导致最大似然估计不唯一；参数取值范围(x(n)-1，x(1)+1)内的任何一点都可作为最大似然估计.这种情况下，最大似然估计方法显然不适用.3.2估计的优良标准3.2.1相合性相合性也称一致性.估计量是随机变量，随样本值不同，每次得到的估计值也不同，且估计值和真实值之间会存在一定偏差.估计偏差应随样本量增大而减小，因为样本量越大，提供的信息就越多，估计的偏差就越小.一个有意义的估计量应该满足：当样本容量趋于无穷时，估计偏差应趋于零.

或

已知X~U(0，θ)，样本X1，X2，…，Xn，求θ

的矩估计量，并判定是否为相合估计量.

对任意的ε>0，根据切比雪夫不等式可得

3.2.1相合性相合性是对估计量的最低要求，若估计量不满足相合性，则不会被采用.矩法估计的理论基础是大数定律，样本矩依概率p

收敛到总体矩，因此矩法估计一定满足相合性.用定义验证相合性常较烦琐，下面给出判定相合性的一个简单实用的判定定理.证明

对于任意的ε>0，根据切比雪夫不等式

而因此，当n>N

时，

3.2.1相合性已知X~U(0，θ)，样本X1，X2，…，Xn，求θ

的最大似然估计量，并判断是否为相合估计量.计算

3.2.1相合性显然满足

3.2.2无偏性

设总体X

服从正态分布N(μ，σ2)，X1，X2，…，Xn

是取自X

的样本，求μ，σ2

的矩估计量，并判定其无偏性.解

由例3.4有3.2.2无偏性

如果一个估计量是有偏估计量，在某些情况下，可以将它修正为无偏估计量则这样S2

就是σ2

的无偏估计量.即样本方差是总体方差的无偏估计量.3.2.3有效性无偏性是从整体上衡量估计偏差.在处理实际问题时，往往是根据一次样本值来估计参数.即使是无偏估计量，也不能排除某一次抽样得到的估计值存在较大误差，因此仅凭无偏性无法保证估计的精度.此外，无偏估计量通常不唯一，同是无偏估计量的情况下，我们必须引入其他标准来进一步判定估计量的优劣.估计偏差越小，其估计量越好.如果一个估计量满足无偏性，那么它的方差就恰好反映了估计量的平均偏差.

证明

3.2.3有效性

解

令Y=min{X1，X2，…，Xn}，则Y

的分布函数为两个估计量都是无偏估计量，再求方差

先求期望

3.2.4一致最小方差无偏估计量和有效估计量平均误差是评价估计量优良性最具说服力的指标，它能全面反映估计量的优劣.均方误差定义式为

3.2.4一致最小方差无偏估计量和有效估计量

一种是找参数的充分统计量，充分统计量中包含了样本中参数的全部信息.如果一致最小方差无偏估计量存在，那么它一定是充分统计量的函数，这是寻找一致最小方差无偏估计量的充分性原则.充分性原则涉及理论较深，这里不展开讨论.值得注意的是，最大似然估计量往往是充分统计量的函数，通常先求最大似然估计量，如果有偏就设法将其修正为无偏估计量，虽然该无偏估计量不一定就是一致最小方差无偏估计量，但可以确定的是，这个无偏估计量一定是优良性较好的估计量.另一种方法是找到所有无偏估计量方差的下界.若某个无偏估计量的方差恰好达到此下界，则它就是方差最小的那个.达到方差下界的估计量称为有效估计量，此即有效性原则.本书中，关于有效估计量的理论仅限于一维参数情形，多维情况相对烦琐，略去.

3.2.4一致最小方差无偏估计量和有效估计量

令则有3.2.4一致最小方差无偏估计量和有效估计量证明

此证明以连续型总体给出，离散型总体可类似得到.由无偏性可得等式两侧对参数θ求导3.2.4一致最小方差无偏估计量和有效估计量由于因此3.2.4一致最小方差无偏估计量和有效估计量根据柯西-施瓦茨不等式由于因此显然即3.2.4一致最小方差无偏估计量和有效估计量定义3.7

在定理3.3条件下，定义如下概念：

注意：有效估计量一定是一致最小方差无偏估计量，但一致最小方差无偏估计量未必是有效估计量.在很多情况下，所有无偏估计量的方差都无法达到C-R下界.费希尔信息量是统计学中的重要概念，它与充分统计量、无偏估计量的方差及其下界均密切相关.概括地说，这个量与无偏估计量的偏差有关，信息量越大，估计量的偏差越小，估计效果越好.因此，信息量I(θ)形象地反映了总体分布中包含未知参数θ的信息多少，而样本信息量nI(θ)则反映了样本中包含参数θ

的信息总量.

3.2.4一致最小方差无偏估计量和有效估计量下面推导信息量的另一计算公式.

等号两侧对θ

求导因为则有即3.2.4一致最小方差无偏估计量和有效估计量已知X~“0-1”分布，P(X=1)=p，求参数p

的信息量.信息量为解3.2.4一致最小方差无偏估计量和有效估计量

求方差

总体分布为求对数求导数计算信息量C-R下界为

3.2.4一致最小方差无偏估计量和有效估计量设总体X~N(0，σ2)，σ2

是未知参数，X1，X2，…，Xn

是来自总体X

的一组样本.求σ2的最大似然估计量，并判断是否为有效估计量.解

建立似然函数取对数求导并令导数等于0解得首先判定无偏性3.2.4一致最小方差无偏估计量和有效估计量在无偏的基础上求方差总体分布为求对数求导数计算信息量C-R下界为

3.2.4一致最小方差无偏估计量和有效估计量对σ2

求导数计算信息量这时C-R下界为结论是一样的，但需注意I(σ)≠I(σ2).3.3区间估计

这实际上就是以至少1-α

的概率给出了未知参数θ的一个取值范