工科数理统计-课件 2 统计学基本概念

第2章

统计学基本概念2.1样本数据的简单描述2.2常用统计量及其分布2.3正态总体的抽样分布经典统计案例：《红楼梦》作者之谜统计推断既然称为“推断”，就必须容许其出错；要求百分之百正确既不合理，也不可能实现。推断质量以错误概率的大小来衡量，为将该概率降至最低，除选用合理的推断方法外，抽样需兼顾两方面：第一，样本的代表性，即每个个体被抽中的概率相等；第二，样本容量尽可能大，容量越大，推断犯错的概率越小。下面首先明确总体、个体与样本的概念。总体与个体：研究对象某项指标所有可能取值构成的集合称为总体，其中的每个元素称为个体注意，总体是一个由数值构成的集合。例如，研究成年男子身高时，所有身高数值构成的集合即为总体；研究灯管寿命时，所有寿命值构成的集合亦为总体。若研究一批灯管的次品率，可为每只灯管赋值：1表示次品，0表示合格品，则总体即为由大量0与1构成的集合。由于集合中数据的分布规律可由随机变量的分布描述，故今后提到总体时，均以总体

X

表示。若集合中的元素为二维数据，则对应总体为一个二维随机变量。本书仅讨论一维总体，多维情形归入多元统计范畴。样本：从总体中抽出一部分个体进行研究，这部分个体称为一个样本。一般情况下用

X1，X2，…，Xn

表示，这就是一组容量为

n

的样本，也称为一个样本。注意：样本是随机变量，由于抽取样本具有随机性，X1，X2，…，Xn

的取值是随机的.所有可能取值构成

n

维空间，称为样本值空间.当一次抽样结束，X1，X2，…，Xn

对应一组确定的数值x1，x2，…，xn，称为是样本观测值或样本值.样本值是对样本的一次观察结果，是样本值空间中的一个元素.从总体中抽取样本属于随机抽样问题.为使样本具有代表性，针对不同类型的总体需选择不同的抽样方式，比较典型的有整群抽样、分层抽样、系统抽样等.本书介绍最基础的简单随机抽样.满足下面两个条件的样本称为简单随机抽样.（1）代表性：每个Xi都能代表总体X，即每个Xi

与总体X有相同的分布.（2）独立性：X1，X2，…，Xn

相互独立.要使样本满足上述两个条件，只需将抽取个体看成有放回抽样即可.实际抽样是不放回抽样，不放回抽样不满足独立性和代表性.把不放回抽样看成有放回抽样是合理的，因为统计推断中总体数量非常庞大，甚至可以看成无限总体，而样本容量相对很小，所以一个个体或者几个个体没有放回可以看成对整体数量没有影响.设总体X

的分布函数为F（x），X1，X2，…，Xn

为取自该总体的一组简单样本，那么样本的联合分布与总体分布之间满足下列关系：样本的联合分布函数为若总体为离散型随机变量，则样本的联合分布律为若总体为连续型随机变量，密度函数为

f（x），则样本的联合密度函数为由此，总体与样本之间的联系得以建立，为利用样本推断总体信息奠定了理论基础.2.1样本数据的简单描述2.1.1总体分布描述1.离散总体的分布律用频率估计概率.设样本值x1，x2，…，xn

中互不相同的值有k

个，分别为y1，y2，…，yk，每一个数值出现的频数分别为n1，n2，…，nk，则估计总体的分布律见表2-1.2.连续总体的密度曲线(直方图)

2.1.1总体分布描述3.连续总体分布函数曲线(累计频率图)(1)设样本数据取值区间为[x(1)，x(n)]，记L=x(n)-x(1).将区间分成k

段，保证每个区间内落入的数据个数相同.k

值满足1≤n/k<N，这里的N

值与样本容量n

有关，即n

越大时，对应的N

取值也越大.(2)在直角坐标系中，将各区间标注于x

轴上，在每个区间上以相应的累计频率值作为高绘制矩形.(3)用平滑曲线连接各矩形的左上顶点(或中点)，根据曲线形状.推断分布函数的具体形式，如图2-2.2.1.2总体数字特征描述1.总体位置特征(1)样本中位数：将样本值从小到大排序后，处于中间位置的数值或中间两个数据的平均值.(2)样本众数：样本中出现次数最多的那个数值(对于连续型数据通常不适用).(3)样本平均值：所有数据的算术平均值.2.总体离散程度(1)样本极差：样本中最大值与最小值之差.(2)样本1/4差：样本中处于前1/4处的数值与后1/4处数值的距离.(3)样本平均绝对偏差：各样本值与样本平均值距离的平均值.(4)样本方差：各样本值与样本平均值距离平方的平均值.2.1.2总体数字特征描述3.p

分位点则(1)中位数为78，众数为85，平均值为74.84;(2)极差为64，1/4差为27，平均绝对偏差为12.90，方差为249.61，标准差为15.80;(3)0.05分位点是45，0.90分位点是93;(4)该数据具有连续性特征，将数据分成7组，对应的区间分别为(36，44]，(44，53]，(53，62]，(62，71]，(71，80]，(80，89]，(89，100].每个区间数据对应的频数依次为1，2，4，5，6，8，5，直方图如图2-3.将样本值由小到大排序得X

(1)，X(2)，…，X

(n)，令np=k，则X

(k)称为样本p分位点.例如，假设某班级31名同学，概率统计课程期末考试成绩由低到高排列如下：2.2常用统计量及其分布前一节我们介绍了对数据的简单描述，这种描述简单直观，但比较粗糙，理论性不强.本节将以概率论为基础，利用样本数据对总体进行统计推断.由于样本是n

维数据、信息分散，因此需要压缩数据，集中提取样本中关于总体有用的信息，构造统计量.定义2.1设X1，X2，…，Xn

是来自总体X

的一组简单随机样本.若样本函数U=g(X1，X2，…，Xn)中不含任何未知参数，则称U

为一个统计量.统计量是一个随机变量，而u=g(x1，x2，…，xn)称为统计量的观测值，是一个具体数值.“统计量中不含任何未知参数”的含义是：一旦给出样本观测值，就能算出统计量的具体数值，否则说明函数中仍含有未知参数.2.2.1常见统计量定义2.2

设X1，X2，…，Xn是来自总体X的一组简单随机样本.则称(1)为样本均值;(2)为样本方差，为样本标准差;(3)为样本k

阶原点矩.样本均值和样本方差是统计学中十分重要的两个统计量，分别用于推断总体均值和总体方差的相关问题.2.2.1常见统计量定理2.1

证明

运用期望和方差的性质(1)(2)(1)2.2.1常见统计量(2)首先整理S2

的另一表达式对上式求期望2.2.1常见统计量

样本相关系数是推断总体线性相关性的一个重要指标.以上所给的统计量都是样本矩，用来推断相对应的总体矩.2.2.1常见统计量定义2.4

设X1，X2，…，Xn

是来自总体X

的一组简单随机样本，对样本的每组取值按由小到大的顺序排序，排序后记为X

(1)，X(2)，…，X

(n)，称之为顺序统计量.显然X(1)=min(X1，X2，…，Xn)，X(n)=max(X1，X2，…，Xn)，称

L=X(n)-X(1)为极差.极差是简单衡量样本取值离散程度的一个指标.

解

样本的分布律见表2-2，对于每一组样本值，排序得X(1)，X

(2)，X

(3)的值.2.2.1常见统计量根据表2-2，顺序统计量的分布如下：(1)一维分布，见表2-3至表2-5.(2)二维分布2.2.1常见统计量(3)三维分布注意：顺序统计量是一组全新的随机变量，并不是对样本整体的简单排序.若总体为连续型随机变量，可以导出顺序统计量分布的通用公式.定理2.2

设总体

X

为连续型随机变量，分布函数为

F(x)，密度函数为

f(x)，X1，X2，…，Xn

是一组简单随机样本，X

(1)，X(2)，…，X(n)是顺序统计量.则(1)X

(i)

的密度函数为(2)若i<j，(X(i)，X

(j))联合密度函数为2.2.1常见统计量证明(1)设X

(i)

的分布函数为Fi(x)，则事件{x<X(i)≤x+dx}等价于：在n

个观测值中，有i-1个落入区间(-∞，x]，1个落入区间(x，x+dx]，以及n-i

个落入区间(x+dx，+∞).根据分组问题，将n

个观测值划分为三组，各组的数量分别为i-1，1，n-i.由图2-4可得2.2.1常见统计量由分布函数的右连续性可得(2)如图2-5，同理(1)可得2.2.1常见统计量即设总体X

具有概率密度取容量为n=10的样本X1，X2，…，X10，求f5(x)，f3，7(x，y)，f1~10(x1，x2，…，x10).2.2.1常见统计量解

X

的分布函数为F(x)=x2(0<x<1)，代入公式可得2.2.1常见统计量设总体X~U(0，1)，抽取样本X1，X2，…，Xn

，其顺序统计量为X

(1)，X(2)，…，X

(n)，求EX(k).解

X

的分布函数为F(x)=x，密度函数为f(x)=1，x∈(0，1).顺序统计量在解决实际问题中有着重要应用，例如串并联系统的寿命、排序问题、中位数和极差问题等.2.2.1常见统计量定义2.5

设X1，X2，…，Xn

是来自总体X

的一组简单随机样本，X

的分布函数为F(x)，则称

给定一组样本值后，经验分布函数便是一个具体的阶梯形分布函数.经验分布函数在非参数统计推断中具有重要应用，通常被用来估计总体分布函数.由定义直接可得：EFn(x)=F(x);nFn(x)~B(n，F(x));2.2.1常见统计量从总体X中抽取容量为5的一组样本，样本值为1，2，1，3，2，则当总体分布形式已知，但分布中含有未知参数时，我们需要通过样本推断未知参数值，即提取样本中有关未知参数的信息.比如在推断一批产品的次品率时，从给出的样本中提取对次品率有用的信息，这个有用的信息就是样本中次品的个数.因此，次品数包含了样本中关于次品率的全部信息，称之为充分统计量.2.2.1常见统计量定义2.6设总体X的分布函数为F(x;θ)，θ

是未知参数，X1，X2，…，Xn

是一组样本，T(X1，X2，…，Xn)是统计量.若给定T值后，样本的条件分布与参数θ无关，则称T(X1，X2，…，Xn

)为θ的充分统计量.

证明

显然T~B(n，p)，寻找充分统计量通常可从参数的几何意义或其点估计入手.例如，次品率仅与样本中的次品个数有关，估计总体均值时，自然会想到样本均值等.若用定义证明一个统计量是否为充分统计量，就必须计算条件分布，这一过程往往十分烦琐，下面不加证明地给出一种非常有效的求解充分统计量的定理.2.2.1常见统计量定理2.3(因子分解定理)设总体X

的概率函数(密度函数或分布律)为p(x;θ)，抽取样本X1，X2，…，Xn，T(X1，X2，…，Xn)为统计量.则T(X1，X2，…，Xn)为θ

的充分统计量的充要条件是：对任意θ，存在两个函数g(t，θ)和h(x1，x2，…，xn)，使得对于样本的联合分布有设总体X~P(λ)，抽取样本X1，X2，…，Xn，证明：统计量T=X是参数λ

的充分统计量.证明

2.2.1常见统计量设总体X~U(0，θ)，抽取样本X1，X2，…，Xn，求参数θ的充分统计量.即X(n)是参数θ

的充分统计量.解例2.7中，总体的取值范围与参数有关，这种关系一定会影响到密度函数的形式.如果样本的联合密度函数中包含与参数有关的示性函数，那么充分统计量必然与X

(1)

或X

(n)有关.

2.2.1常见统计量证明

2.2.1常见统计量设总体X~U(-θ，θ)，抽取样本X1，X2，…，Xn，求参数θ

的分统计量.解即(X

(1)，X(n))是参数θ

的充分统计量.从例2.9可以看出充分统计量的维数与未知参数的维数不是完全对应的，在处理该问题时我们需找到维数最小的充分统计量.2.2.1常见统计量设总体X

的分布律如下：其中θ是未知参数.样本：X1，X2，…，Xn，求参数θ的充分统计量.解

设样本中1、2、3的个数分别为N1、N2、N3，显然，因此，(N1，N2，N3)是充分统计量，可以降低维数为(N1，N2).2.2.2统计推断中的四大分布1.标准正态分布标准正态分布是概率统计中最重要的分布之一.标准正态分布具有优良的数学性质，这里不再赘述.只强调下面一条结果.递推下去

EX2k-2=(2k-3)EX2k-4，而EX2=1，因此EX2k=(2k-1)!!.2.2.2统计推断中的四大分布2.χ2-分布设X1，X2，…，Xn

相互独立，且均服从标准正态分布，称为服从自由度为n

的χ2

分布，记为：χ2~χ2(n).性质(1)已知X~χ2(n)，Y~χ2(m)，且X，Y

相互独立，则(2)E[χ2(n)]=n，D[χ2(n)]=2n;(3)χ2

的密度函数为密度曲线大体形状如图2-62.2.2统计推断中的四大分布3.F-分布设X~χ2(n)，Y~χ2(m)，且X

与Y

相互独立，则称随机变量为服从自由度为(n，m)的F

分布，记为F~F(n，m).性质(1)F

的密度函数为密度函数曲线如图2-7.2.2.2统计推断中的四大分布4.t

分布设X~N(0，1)，Y~χ2(n)，且X

与Y相互独立，则称随机变量

服从自由度为n

的t分布，记为T~t(n).性质(1)T

的密度函数为密度函数曲线如图2-8;(2)，即;(3)由定义直接可得：t2(n)~F(1，n).2.2.2统计推断中的四大分布设总体X~N(0，1)，X1，X2，…，Xn是简单随机样本，试问下列统计量服从什么分布?

②同理③因为Cov(X1+X2，X1-X2)=0，所以X1+X2

和X1-X2

相互独立，即有④可得2.2.2统计推断中的四大分布定义2.7

设Y

是一个连续型随机变量，密度函数为f(x)，α∈(0，1)，如果存在一个常数b，满足则称b

是随机变量Y

的上α

分位点，记为b=Yα，即P(Y>Yα)=α.由图2-9可得2.2.2统计推断中的四大分布

对应于四大分布，本教材附录中给出了表格，可以直接通过查表获得分位点.例如：对于F分布，表中只能查到右侧尾部分位点，对于左侧尾部分位点可以通过下面公式得到：2.2.2统计推断中的四大分布证明

由分位点定义式有再由F

分布的性质(2)可得所以而比较两式得2.3正态总体的抽样分布一般总体下，求一个样本函数的确切分布极为困难，几乎不可实现，因为样本函数是n

个随机变量的函数.只有具有优良性质的总体，才可能求得样本函数的精确分布，例如具有可加性的分布，样本和的分布和总体分布属于同一分布族.本节的主要内容是正态总体的抽样分布.首先介绍统计学中一个非常重要的定理———柯赫伦定理.该定理在处理卡方(χ2)分布分解的问题时非常便捷，在后续的正态总体抽样分布定理，方差分析及回归分析的定理证明中均起到了关键性的作用.

标准化得（2）

令则计算Y

的期望向量和协方差阵即Y1，Y2，Y3，…，Yn

相互独立，Yi~N(0，1)，

这个证明也可以由柯赫伦定理直接完成.因为

设X1，X2，…，X10

为总体X~N(0，0.32)的简单随机样本，求即(3)得证.

设总体

X~N(0，1)，样本X1，X2，…，Xn.证明：证明

因为标准化所以又因为

统计推断中，常需判断两个总体是否存在差异.例如两台机器生产同一种产品，每台机器生产的产品的某项指标可视为一个总体，我们怎么去判断这两个总体是否相同呢?如果两个总体都服从正态分布，而正态分布完全由均值和方差决定，则只需比较两总体的均值是否相等，以及方差的大小关系.因此，对于两个正态总体，通常需要构造与均值差和方差比相关的抽样分布.(1)(3)若σ1=σ2，则

(2)标准化得到定理2.6中(1)证明：由定理2.5得且这两个正态总体相互独立，因此根据定理2.5可知且二者相互独立，因此整理得定理2.6中(2)显然，这个卡方分布与(1)的标准正态分布独立，所以进一步当σ1=σ2

时，整理可得定理2.6中(3)定理2.5和定理2.6分别给出了单正态总体和双正态总体的抽样分布;多正态总体的情况，将在方差分析章节讨论.对于非正态总体，情况比较复杂，通常可借助中心极限定理处理.下面不加证明地给出独立同分布中心极限定理.即定理2.7(独立同分布中心