大数定理与中心极限定理5.ppt

1、第五章 大数定律与中心极限定理,本章要解决的问题,为何能以某事件发生的频率 作为该事件的 概率的估计？,为何能以样本均值作为总体 期望的估计？,为何正态分布在概率论中占 有极其重要的地位？,大样本统计推断的理论基础 是什么？,ANSWER,大数 定律,中心极 限定理,大数定律和中心极限定理是概率论的重要基本理 论，它们揭示了随机现象的重要统计规律，在概率 论与数理统计的理论研究和实际应用中都具有重要 的意义。 迄今为止,人们已发现很多大数定律(laws of large numbers) 所谓大数定律，简单地说，就是大量数目的随机变量所呈现 出的规律，这种规律一般用随机变量序列的某种收敛性来刻

2、 画。 本章仅介绍几个最基本的大数定律。下面，先介绍一个 重要的不等式。,设非负随机变量 X 的期望 E( X )存在，则对于任意实数 0,马尔可夫（Markov） 不等式,5.1 切尔谢夫不等式,设随机变量 X 的方差 D ( X )存在， 则对于任意实数 0,推论 2 切贝雪夫（ chebyshev ）不等式,或,示意图,Ex,Ex+e,Ex-e,j(x),x,Dx/e2,例1 设x是掷一颗骰子所出现的点数, 若给定e=1,2, 实际计算P(|x-Ex|e), 并验证切贝谢夫不等式成立.解 因P(x=k)=1/6, (k=1,2,3,4,5,6),例2 设有一大批种子，其中良种占1/6.

3、试估计 在任选的 6000 粒种子中, 良种所占比例与 1/6 比较上下小于1%的概率.,解 设 X 表示 6000 粒种子中的良种数 ,X B (6000,1/6 ) -注：二项分布,实际精确计算：,用Poisson 分布近似计算：,取 = 1000,例3 设电站供电网有10000盏电灯，夜晚每一盏灯开灯的概率是0.7, 而假定开、关时间彼此独立，估计夜晚同时开着的灯数在6800与7200之间的概率.（p105）,解 设 X 表示夜晚同时开灯的数目,X B (10000,0.7 ) -注：二项分布,例4 设每次试验中，事件 A 发生的概率为 0.75, 试用 Chebyshev 不等式估计,

4、 n 多大时, 才 能在 n 次独立重复试验中, 事件 A 出现的 频率在0.74 0.76 之间的概率大于 0.90?,解 设 X 表示 n 次独立重复试验中事件 A 发生 的次数 , 则,X B(n,0.75),事件A发生的概率,即,即,由 Chebyshev 不等式， = 0.01n ,故,令,解得,切比雪夫不等式说明，DX越小，则 越小， 越大，也就是说，随机变量X取值基 本上集中在EX附近，这进一步说明了方差的意义。 同时当EX 和DX 已知时，切比雪夫不等式给出了概率 的一个上界，该上界并不涉及随机变X 的具体概率分布，而只与其方差DX和有关，因此，切比 雪夫不等式在理论和实际中都

5、有相当广泛的应用。需要指 出的是，虽然切比雪夫不等式应用广泛，但在一个具体问 题中，由它给出的概率上界通常比较保守。,5.2 大数定律,在叙述大数定律之前，首先介绍两个基本概念。 定义5.1 设 为一个随机变量序列，记为 ，若对任何n2，随机变量 都相互独 立，则称 是相互独立的随机变量序列。 定义5.2 设 为一随机变量序列，X为一随机变 量或常数，若对任意0，有 则称 依概率收敛于X,记为 或 ， . 下面是一个带普遍性结果的大数定律。,大数定律,贝努里（Bernoulli） 大数定律,设 nA 是 n 次独立重复试验中事件 A 发生的 次数, p 是每次试验中 A 发生的概率，则,有,或

6、,贝努里（Bernoulli） 大数定律的意义：,定义,a 是一常数，,(或,故,在 Bernoulli 定理的证明过程中， Y n 是相互 独立的服从 0-1分布的随机变量序列 Xk 的 算术平均值, Y n 依概率收敛于其数学期望 p .,结果同样适用于服从其它分布的独立随 机变量序列,Chebyshev 大数定律,(指任意给定 n 1, 相互独立)，且 具有相同的数学期望和方差,或,算术平均值,定理的意义：,当 n 足够大时，算术平均值几乎就是一个常数, 可以用算术平均值近似地代替数学期望.,具有相同数学期望和方差的独立随机变量序列的 算术平均值依概率收敛于数学期望.即,本结果由俄国数学

7、家切比雪夫于1866年证明，是关于大数定律的普遍结果，许多大数定律的古典结果都是它的特例。,推论1 设 是独立同分布的随机变量序列，且 则对任意0，有 .,推论1使我们关于算术平均值的法则有了理论上的依据。如 我们要测量某段距离，在相同条件下重复进行n次，得n个 测量值 ，它们可以看成是n个相互独立的随机 变量,具有相同的分布、相同的数学期望和方差 ， 由推论1的大数定律知，只要n充分大，则以接近于1的概率 保证 这便是在n较大情况下反映出的客观规律,故称为“大数”定 律。 比推论1条件更宽的一个大数定律是辛钦（Khintchine） 大数定律,它不需要推论1条件中“方差 存在”的限制， 而在

8、其它条件不变的情况下，仍有切比雪夫式的结论。,辛钦大数定律-推论2,推论2（贝努利大数定律）设事件A发生的概率为p，在n重 贝努利试验中A发生的频率为 ，则对任意的0，有 , 即， . 这是历史上最早的大数定律，是贝努利在1713年建立 的。概率论的研究到现在约有300多年的历史，最终以事件 的频率稳定值来定义其概率。作为概率这门学科的基础， 其“定义”的合理性这一悬而未决的带根本性的问题,由贝努 利于1713年发表的这个“大数定律”给予了解决，被称为概 率论的第一篇论文,为概率论的公理化体系奠定了理论基础。 之所以被成为“定律”,是这一规律表述了一种全人类多年的 集体经验.因此，对尔后的类似

9、定理统称为大数“定律”。,5.3 中心极限定理,人们已经知道，在自然界和生产实践中遇到的大量随机 变量都服从或近似服从正态分布，正因如此，正态分布占有 特别重要的地位。那么，如何判断一个随机变量服从正态分 布显得尤为重要。如经过长期的观测，人们已经知道，很多 工程测量中产生的误差X都是服从正态分布的随机变量。分 析起来，造成误差的原因有仪器偏差X1、大气折射偏差X2, 温度变化偏差X3、估读误差造成的偏差X4等等，这些偏差Xi 对总误差 的影响都很微小，没有一个起到特别突 出的影响，虽然每个Xi的分布并不知道，但 却服从正态分布。类似的例子不胜枚举。 设 为一随机变量序列，其标准化随机变量,在

10、什么条件下， , 这是十八世纪以来概率论 研究的中心课题，因而，从二十世纪二十年代开始，习惯上把 研究随机变量和的分布收敛到正态分布的这类定理称为中心极 限定理（Central Limit Theorems）。这里仅介绍独立同分 布场合下的中心极限定理。,5.2 中心极限定理,定理1 独立同分布的中心极限定理,则对于任意实数 x ,本定理的证明在20世纪20年代由林德伯格和莱维给出， 因证明较复杂，在此从略。 由定理5.2可知，当n充分大时， ， (5-8) 从而，,注：,即 n 足够大时，Y n 的分布函数近似于标准正态 随机变量的分布函数,记,近似,近似服从,定理2 李雅普诺夫(Liapu

11、nov)定理,独立，且有有限的期望和方差：,记,若,则对于任意实数 x ,定理3 德莫佛 拉普拉斯中心极限定理 （DeMoivre-Laplace ）,设 Y n B( n , p) , 0 p 1, n = 1,2,则对任一实数 x，有,即对任意的 a b,Y n N (np , np(1-p) (近似),正态分布的概率密度的图形,二项分布的随机变量可看作许多相互独立的0-1分布的随机变量之和, 下面是当x-B(20,0.5)时, x的概率分布图,普阿松分布相当于二项分布中p很小n很大的分布, 因此, 参数l=np当很大时也相当于n特别大, 这个时候普阿松分布也近似服从正态分布, 下面是l=

12、30时的普阿松概率分布图.,例1 设有一大批种子，其中良种占1/6. 试估计 在任选的6000粒种子中，良种所占比例与 1/6比较上下不超过1%的概率.,解 设 X 表示6000粒种子中的良种数 , 则,X B(6000,1/6),比较几个近似计算的结果,用中心极限定理,用二项分布(精确结果),用Poisson 分布,用Chebyshev 不等式,例2 某车间有200台车床，每台独立工作，开工 率为0.6. 开工时每台耗电量为 r 千瓦. 问供 电所至少要供给这个车间多少电力, 才能以 99.9% 的概率保证这个车间不会因供电不足 而影响生产？,解 设至少要供给这个车间 a 千瓦的电力,设 X

13、 为200 台车床的开工数.,X B(200,0.6) ,问题转化为求 a , 使,X N (120, 48) (近似),由于将 X 近似地看成正态分布，故,反查标准正态函数分布表，得,令,例3 检查员逐个地检查某种产品, 每检查一只 产品需要用10秒钟 . 但有的产品需重复检 查一次，再用去10秒钟. 假设产品需要重 复检查的概率为 0.5, 求检验员在 8 小时内 检查的产品多于1900个的概率.,解 检验员在 8 小时内检查的产品多于1900个 即检查1900个产品所用的时间小于 8 小时.,设 X 为检查1900 个产品所用的时间(单位： 秒),设 Xk 为检查第 k 个产品所用的时间

14、(单位：秒), k = 1,2,1900,0.5 0.5,相互独立,且同分布,解法二, 1900个产品中需重复检查的个数,例4 对敌人的防御工事用炮火进行 100 次轰击, 设每次轰击命中的炮弹数服从同一分布, 其 数学期望为 2, 均方差为 1.5 . 如果各次轰击 命中的炮弹数是相互独立的, 求100 次轰击 (1) 至少命中180发炮弹的概率; (2) 命中的炮弹数不到200发的概率.,解 设 X k 表示第 k 次轰击命中的炮弹数,相互独立，,设 X 表示100次轰击命中的炮弹数, 则,(1),(2),例5 售报员在报摊上卖报, 已知每个过路人在 报摊上买报的概率为1/3. 令X 是出售了100份 报时过路人的数目，求 P (280 X 320).,解 令Xi 为售出了第 i 1 份报纸后到售出第