数理统计与随机过程3第五六章ppt课件

1 契比雪夫不等式 大数定律 中心极限定理 2 Chebyshevs Inequality 3 大数定律（Law of Large Numbers） 贝努里大数定理建立了在大量重复独立试验中事件 出现频率的稳定性，正因为这种稳定性，概率的 概念才有客观意义！ 贝努里大数定理还提供了通过试验来确定事件概率 的方法，既然频率nA/n与概率p有较大偏差的可能 性很小，我们便可以通过做试验确定某事件发生 的频率并把它作为相应的概率估计。 这种方法即是将要介绍的参数估计法，参数估计的 重要理论基础之一就是大数定理。 5 此条件也可写为： 利用依概率收敛的定义可知： 贝努里大数定理意味着： 也可知：对于相互独立的随机变量Xk (k=1,2,)， 如果它们具有相同的分布，且E(Xk)=，则 这被称为弱大数定理 7 背景： 有许多随机变量，它们是由大量的相互独 立的随机变量的综合影响所形成的，而其中每个 个别的因素作用都很小，这种随机变量往往服从 或近似服从正态分布，或者说它的极限分布是正 态分布。 中心极限定理正是从数学上论证了这一现 象，它在长达两个世纪的时期内曾是概率论研究 的中心课题。 8 10 例：设某工厂有400台同类机器，各台机器发生故障 的概率都是0.02，各台机器工作是相互独立的，试求 机器出故障的台数不小于2的概率。 由于 E(xk)=p, D(xk)=p(1-p)=pq, X=xk 1 1 由于大量随机现象必然呈现出其规律性，因而从 理论上讲，只要对随机现象进行足够多次的观察，随 机现象的规律性就一定能够清楚地呈现出来。 但是，客观上只允许我们对随机现象进行 次数不多的观察或试验，也就是说：我们获得 的只能是局部的或有限的观察资料。 例：若规定灯泡寿命低于1000小时者为次品，如 何确定次品率？ 由于灯泡寿命试验是破坏性试验，不可能把整批 灯泡逐一检测，只能抽取一部分灯泡作为样本进 行检验，以样本的信息来推断总体的信息，这是 数理统计学研究的问题之一。 数理统计的任务就是研究 “如何有效地收 集、整理和分析所获得的有限资料，并对所研 究的问题尽可能地给出精确而可靠的推断”。 现实世界中存在着形形色色的数据，分析 这些数据需要多种多样的方法。 因此，数理统计中的方法和支持这些方法 的相应理论是相当丰富的。概括起来可以归纳 成两大类。 参数估计: 根据数据，对分布中的未知参数 进行估计； 假设检验: 根据数据，对分布的未知参数的 某种假设进行检验。 参数估计与假设检验构成了统计推断的两 种基本形式，这两种推断渗透到了数理统计的 每个分支。 6.2 总体与样本 Population and sample 在数理统计中，称研究问题所涉及对象的 全体为总体，总体中的每个成员为个体。 例如: 研究某工厂生产的某种产品的废品率，则这种 产品的全体就是总体，而每件产品都是一个个体。 6.2.1 总体、个体 例1：用一把尺子测量一件物体的长度。 假定 n 次测量值分别为X1,X2 ,Xn。显然，在 该问题中，我们把测量值X1,X2 ,Xn看成样本。但 总体是什么呢? 事实上，这里没有一个现实存在的个体的集合 可以作为上述问题的总体。可是，我们可以这样考 虑，既然 n 个测量值 X1,X2,Xn 是样本，那么， 总体就应该理解为一切所有可能的测量值的全体。 例2：为研究某种安眠药的药效，让 n 个病人同时服 用这种药，记录服药者各自服药后的睡眠时间比未 服药时增加睡眠的小时数 X1,X2,Xn， 则这些数字就是样本。 那么，什么是总体呢? 设想让某个地区(或某国家，甚至全世界)所有 患失眠症的病人都服用此药，则他们所增加睡眠的 小时数之全体就是研究问题的总体。 对一个总体，如果用X表示其数量指标，那么， X的值对不同的个体就取不同的值。因此，如果我们 随机地抽取个体，则X的值也就随着抽取个体的不同 而不同。 所以，X是一个随机变量! 既然X是随机变量，自然就有其概率分布 。我们把X的分布称为总体分布。 总体的特性是由总体分布来刻画的。因此，常 把总体和总体分布视为同义语。. 6.2.2 总体分布 (Population Distribution) 例3 ( 例1续 )：在例2中，假定物体真实长度为(未知) 。一般说来，测量值X就是总体，取 附近值的概率 要大一些，而离 越远的值被取到的概率就越小。 如果测量过程没有系统性误差，则X取大于 和 小于 的概率也会相等。 在这种情况下，人们往往认为X 服从均值为，方 差为2 的正态分布。2反映了测量的精度。于是，总 体X的分布为 N(,2)。 如果总体所包含的个体数量是有限的, 则 称该总体为有限总体。 有限总体的分布显然是离散型的。 如果总体所包含的个体数量是无限的，则 称该总体为无限总体。 在数理统计中，研究有限总体比较困难。因为其分布 是离散型的，且分布律与总体中所含个体数量有关系 。 通常在总体所含个体数量比较大时，将其近似地视为 无限总体，并用连续型分布逼近总体的分布，这样便 于进一步地做统计分析。 例4：研究某大城市年龄在1岁到10岁之间儿童的身高。 显然，不管城市规模多大，这个年龄段的儿童数量总是 有限的。因此，该总体X只能是有限总体。总体分布只 能是离散型分布。 然而，为便于处理问题，我们将有限总体近似地 看成一个无限总体，并用正态分布来逼近这个总体的 分布。 当城市比较大，儿童数量比较多时，这种逼近所 带来的误差，从应用观点来看可以忽略不计。 为评价某总体的某种特性，通常的做法是：从总 体中随机(任意)地抽取一些样品进行观测(检测)，统 计学上称这些样品为一个样本。 抽样：从总体中抽取有限个个体对总体取值进 行观察的过程。 样本：随机抽取的n个个体的集合 (X1,X2,Xn), n为样本容量 6.2.3 样本 (Sample) 样本的二重性 假设 X1, X2, , Xn 是总体X中的样本，在一 次具体的观测或试验中，它们是一批测量值, 是已经取到的一组数。这就是说，样本具有 数的属性。 由于在具体试验或观测中，受各种随机因素的 影响，在不同试验或观测中，样本取值可能不同。 因此，又可将样本X1,X2,Xn看成随机变量。故 ，样本又具有随机变量的属性。 样本X1,X2,Xn既被看成数值，又被看成随 机变量，这就是所谓的样本的二重性。 例 ：在前面测量物体长度的例子中，如果我们在完 全相同的条件下，独立地测量了n 次，把这 n 次测量 结果，即样本记为 X1,X2,Xn . 那么，我们就认为：这些样本相互独立，且有相同的分 布；其分布与总体分布 N(, 2)相同。 将上述结论推广到一般的分布:如果在相同条件 下对总体 X 进行 n 次重复、独立观测，就可以认为所 获得的样本 X1,X2,Xn是 n 个独立且与总体 X 有同 样分布的随机变量。 在统计文献中，通常称相互独立且有相同 分布的样本为简单随机样本。 n 为样本大小或样本容量。 简单随机样本 说明：后面提到的样本均指简单随机样本 既然样本 X1,X2,Xn 被看作随机向量, 自然需要研究其联合分布。 6.2.3 样本分布 (Sample Distribution) 假设总体 X 具有概率密度函数 f (x)，因 样本X1,X2,Xn独立且同分布于 X，于是， 样本的联合概率密度函数为 28 由样本推断总体的某些情况时，需要对样本进行 “加工”，构造出若干个样本的已知 (确定)的函数，其 作用是把样本中所含的某一方面的信息集中起来。 6.3.1 统计量 这种不含任何未知参数的样本的函数称 为统计量。 它是完全由样本所决定的量。 6.3 统计量 (Statistic) 几个常见统计量 样本均值 样本方差 样本标准差 样本 k 阶原点矩 样本 k 阶中心矩 k=1,2, 提示：统计量是样本的不含任何未知参数的函数。 抽样分布(Sampling Distribution) 统计量既然依赖于样本，而后者又是随机变量， 故统计量也是随机变量，有一定的分布，这个分布称 为统计量的抽样分布。 当总体的分布函数已知时，抽样分布是确定的， 但是要得到统计量的精确分布却是很困难的。 对于基于正态分布的一些统计量，人们常用的有： 6.4 正态总体 6.4.1 2 Distribution 定义1: 设 X1, X2, , Xn 相互独立，且均 服从正态分布 N(0, 1), 则称随机变量 服从自由度为 n 的2分布，记成 。 分布的密度函数为 分布密度函数图 由 分布的定义，不难得到其如下性质： 进一步，由中心极限定理可以推出, n 充 分大时,近似于标准正态分布 N(0,1)。 n 2 分布上 分位点有表可查，见附表5。 对于给定的 (0,1), 称满足条件 的点 n 2()为 n 2分布的上(右) 分位点。 分布分位点 t 分布的概率密度为 为服从自由度 为n 的 t 分布，记为 T tn。 6.4.2 t 分布 （ Students t-distribution） 定义2: 设 X N(0, 1) , Y n2 , 且 X与Y 相互独立，则称随机变量 t 分布的概率密度图 当 n趋于时，f (x; n) 趋近于标准正态。 t 分布 的 数学期望与方差 若 T tn , 对给定的 (0,1)，称满足条件 t 分布的分位点 的点 tn()为 tn 分布上 分位点。 t 分布的上 分位点有表可查，见附表4。 tn 分布上 分位点示意图 6.4.3 F 分布 （F Distribution) 则称 F =(X/m)/(Y/n)服从第一 自由度为m，第二自由度为n 的 F 分布。 记成 F Fm ,n 。 定义3： F 分布 的概率密度为 F-分布图 若 FFm, n，对给定的 (0,1), 称满足条件 F 分布的分位点 的点 Fm,n()为F分布的上 分位点。. F 分布上 分位点有表可查，见附表6。 F 分布上 分位点示意图 F分布分位点的一个重要性质： 证明：若 X Fm,n，则 Y = X -1 Fn,m。 根据 Y ( Fn,m ) 的上 分位点定义义，有 在通常 F 分布表中，只对 比较小的值，如 = 0.01, 0.05, 0.025及0.1等列出了分位点。 当我们需要查 比较大的分位点时，需要利用分位点的关系 式(1)把它们计算出来。 例如：对m=12, n=9, =0.95, 我们们在 F 分布表中查查不到 F12,9(0.95)，但由(1)式，知 可从F 分布 表中查到 定理 6.6： 6.4.4 正态总体样本均值与样本方差的分布 Distribution of Sample Mean and Vari