第四章 大数定律与中心极限定理

1、第四章 大数定律与中心极限定理第四章 大数定律与中心极限定理一、教学要求1. 深刻理解并掌握大数定律，能熟练应用大数定律证明题目；2.理解随机变量序列的两种收敛性，了解特征函数的连续性定理；3. 深刻理解与掌握中心极限定理，并要对之熟练应用。二、重点与难点本章的重点是讲清大数定律与中心极限定理的条件、结论，难点是随机变量序列的两种收敛及大数定律和中心极限定理的应用。§4.1 大数定律一、大数定律的意义1.引入在第一章中引入事件与概率的概念时曾经指出，尽管随机事件A在一次试验可能出现也可能不出现，但在大量的试验中则呈现出明显的统计规律性频率的稳定性。频率是概率的反映，随着观测次数的增加

2、，频率将会逐渐稳定到概率。这里说的“频率逐渐稳定于概率”实质上是频率依某种收敛意义趋于概率，这个稳定性就是“大数定律”研究的客观背景。详细地说：设在一次观测中事件A发生的概率，如果观测了次（也就是一个重贝努利试验），A发生了次，则A在次观测中发生的频率为，当充分大时，频率逐渐稳定到概率。若用随机变量的语言表述，就是：设表示第次观测中事件A发生次数，即 则是个相互独立的随机变量，显然,从而有.因此“稳定于”，又可表述为次观测结果的平均值稳定于。 现在的问题是：“稳定”的确切含义是什么？稳定于是否能写成 （1）亦即，是否对， ? （2）对重贝努里试验的所有样本点都成立？实际上，我们发现事实并非如此

3、，比如在次观测中事件A发生次还是有可能的，此时，从而对，不论多么大，也不可能得到成立。也就是说，在个别场合下，事件（）还是有可能发生的，不过当很大时，事件（）发生的可能性很小。例如，对上面的，有 。显然，当时， ，所以“稳定于”是意味着对，有 （3） （概率上“稳定于”还有其他提法，如波雷尔建立了，从而开创了另一形式的极限定理-强大数定律的研究）沿用前面的记号，（3）式可写成一般地，设是随机变量序列，为常数，如果对，有 （4）即则称稳定于。概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。2定义若将（4）式中的换成常数列，即得大数定律的一般定义。定义4.1 若是随机变量序列

4、，如果存在常数列，使对，有成立，则称随机变量序列服从大数定律。 若随机变量具有数学期望，则大数定律的经典形式是：对，有这里常数列。二、大数定律本段介绍一组大数定律，设是一随机变量序列，我们总假定存在。定理4.1（马尔可夫大数定律）如果随机变量序列，当时，有（*）证明：服从大数定律。证明 : 对，由切比雪夫不等式，有因此即 故服从大数定律。 此大数定律称为马尔可夫大数定律，（*）式称为马尔可夫条件。定理4.2（切比雪夫大数定律）设是一列独立随机变量列，若存在常数，使有则随机变量序列服从大数定律，即对，有证明： 因为为独立随机变量列，且由它们的方差有界即可得到从而有满足马尔可夫条件，因此由马尔可夫

5、大数定律，有 注：切比雪夫大数定律是马尔可夫大数定律的特例。例1 设为独立同分布随机变量序列，均服从参数为的泊松分布，则由独立性及知其满足定理4.2的条件，因此有注：此例题也可直接验证满足马尔可夫条件。定理4.3（贝努利定理或贝努利大数定律）设是重贝努利试验中事件A出现的次数，又A在每次试验中出现的概率为，则对，有证明：令 显然.由定理条件，独立同分布（均服从二点分布）。且都是常数，从而方差有界。由切比雪夫大数定律，有 贝努利大数定律的数学意义：贝努利大数定律阐述了频率稳定性的含义，当充分大时可以以接近的概率断言，将落在以为中心的内。贝努利大数定律为用频率估计概率（）提供了理论依据。注1：此定

6、理的证明也可直接验证满足马尔可夫条件。注2：贝努利大数定律是切比雪夫大数定律的特例。它是1713年由贝努利提出的概率极限定理中的第一个大数定律。以上大数定律的证明是以切比雪夫不等式为基础的，所以要求随机变量的方差存在，通过进一步研究，我们发现方差存在这个条件并不是必要条件。定理4.4（辛钦大数定律）设是一列独立同分布的随机变量，且数学期望存在,则对，有成立。注：贝努利大数定律是辛钦大数定律的特例。辛钦大数定律的数学意义：辛钦大数定律为实际生活中经常采用的算术平均值法提供了理论依据。它断言：如果诸是具有数学期望、相互独立、同分布的随机变量，则当充分大时，算术平均值一定以接近1的概率落在真值的任意

7、小的邻域内。据此，如果要测量一个物体的某指标值，可以独立重复地测量次，得到一组数据：，当充分大时，可以确信，且把作为的近似值比一次测量作为的近似值要精确的多，因，；但，即关于的偏差程度是一次测量的偏差程度的，越大，偏差越小。辛钦大数定律也是数理统计学中参数估计理论的基础，通过第六章的学习，我们对它会有更深入的认识。例2 设随机变量X1,X2,Xn,相互独立同分布，且EXn=0,求 .解 由辛钦大数定律有(=1) 即 显然有 故 。从而有 。 例3 设独立同分布，且存在，则也服从大数定律。证明：独立同分布，所以也独立同分布；又存在，故由辛钦大数定律知服从大数定律。注：例3是统计学中矩估计法的理论

8、依据。§4.2随机变量序列的两种收敛性一、依概率收敛和依分布收敛定义4.2 设有一列随机变量，如对任意的0，有 （5）则称随机变量序列依概率收敛到，并记作 （）（5）式也等价于。注：由此可知，前一节中讨论过的大数定律只是上述依概率收敛的一种特殊情况。例4 证明随机变量序列依概率收敛于随机变量的充要条件为：证：充分性，令，则，故是的单调上升函数，因而，于是有 对任意的成立，充分性得证。必要性，对任给的，令，因为，故存在充分大的使得当时有，于是有 ，由的任意性知，结论为真。 我们知道，随机变量的统计规律由它的分布函数完全刻划，当时，其相应的分布函数与之间的关系怎样呢？例5 设都服从退化分

9、布：对任给0，当n时，有所以 而的d.f为 的d.f为 易验证 当时，有（n）但，不趋于 上例表明，一个随机变量依概论收敛到某随机变量，相应的分布函数不是在每一点都收敛，但如果仔细观察这个例，发现不收敛的点正是的不连续点，类似的例子可以举出很多，使人想到要求在每一点都收敛到是太苛刻了，可以去掉的不连续点来考虑。定义4.3 设为一分布函数序列，如存在一个函数，使在的每一连续点x，都有，则称分布函数列弱收敛于，并记作 （6）定义4. 设随机变量序列和的分布函数分别为，若 ，则称按分布收敛于，并记作 （）.二、两者之间的关系定理4.5 若，则。证 对于，因有故 即 因 ，故所以有 同理可证，对 有于

10、是对任意 有令，有若x是的连续点，就有。 注：此定理的逆不真。例6 抛掷一枚均匀硬币，记=“出现正面”，=“出现反面”则令 n=1，2， 因与完全相同，显然有对成立。但对，有 = ，故 不成立。 一般来说，按分布收敛不能推出依概率收敛，但在特殊情况下，却有下面的结果。定理4.6 设C是一常数，则（即），证（）由定理4.5推得（）（不妨就设）对任给，有 (7) 因 的分布函数为 只在处不连续，而在处都是连续的，由在（7）中令得。在第一节中介绍的大数定律实际上就是随机变量列依概率收敛于常数的问题，由定理4.6知，它可归结为相应的分布函数列弱收敛于一退化分布，而中心极限定理就是随机变量的分布函数列弱

11、收敛问题，可见分布函数列的弱收敛在本章讨论中占重要地位。然而，要直接判断一个分布函数列是否弱收敛是很困难的上一章我们就知道，分布函数与特征函数一一对应，而特征函数较之分布函数性质优良很多，故判断特征函数的收敛一般较易，那么是否有相应的。答案是肯定的。即下述的特征函数的连续性定理。三、特征函数的连续性定理定理4.7 分布函数列弱收敛于分布函数的充要条件是相应的特征函数列收敛于的特征函数。证明：略。例7 若是服从参数为的普哇松分布的随机变量，证明：证明：已知的特征函数为，故的特征函数为对任意的，有于是从而对任意的点列，有又是分布的特征函数，由定理4.6即知有因是可以任意选取的，所以 注：此例说明普

12、哇松分布（当参数时）收敛于正态分布。例8 辛钦大数定律的证明证：因同分布，故有相同的特征函数，将（t）在t=0处展开，有由相互独立，得的特征函数为对于任意，由定理4.7知，再由 定理4.6得，即服从大数定理。随机变量到依概率收敛具有如下性质。定理4.8（斯鲁茨基）设，是k个随机变量序列，并且, （n,i=1,2, ,k）又R是k元变量的有理函数，并且R,则有R（，,） R，n成立。作为它的直接推论，我们可知，随机变量序列在概率意义下的极限（即依概率收敛于常数）在四则运算下仍然成立。推论若，则有 （1） （2）时，例9 设，为上的连续函数，则有 。证明：由于在上连续，故对任意的，任给，存在使当时

13、，由此可知，因此。由于则上式右端当时而趋向于1，因此即 。 例10 设为独立同分布随机变量序列，存在，令 证明 证：i.i.d 则 亦i.i.d由辛钦大数律 ， 由例9， 故由斯鲁茨基定理 §4.3 中心极限定理 第二章介绍正态分布时，我们一再强调正态分布在概率统计中的重要地位和作用，为什么实际上有许多随机现象会遵循正态分布？这仅仅是一些人的经验猜测还是确有理论依据，“中心极限定理”正是讨论这一问题的。在长达两个世纪的时间内成为概率论讨论的中心课题，因此得到了中心极限定理的名称。一、中心极限定理的概念设为一独立随机变量序列，且，均存在，称 为的规范和。概率论中，一切关于随机变量序列规

14、范和的极限分布是标准正态分布的定理统称为中心极限定理，即设的规范和为，有，则称服从中心极限定理。中心极限定理实质上为 近似服从标准正态分布。 二、独立同分布中心极限定理大数定律仅仅从定性的角度解决了频率稳定于概率p，即，为了定量地估计用频率估计概率的误差，历史上De MoivreLaplace给出了概率论上第一个中心极限定理，这个定理证明了的标准化随机变量渐近于分布。定理4.9（德莫佛拉普拉斯）极限定理 在重贝努里试验中，事件A在每次试验中出现的概率为，为次试验中事件A发生的次数，则注：定理4.9说明近似服从，从而近似服从，又服从二项分布，所以定理4.5也称为二项分布的正态近似或二项分布收敛于

15、正态分布。在第二章，泊松定理也被说成是“二项分布收敛于泊松分布”。同样一列二项分布，一个定理说是收敛于泊松分布，另一个定理又说是收敛于正态分布，两者不是说有矛盾吗？请仔细比较两个定理的条件和结论，就可以知道其中并无矛盾之处。这里应该指出的是在定理4.9中，而泊松定理中则要求。所以在实际问题中作近似计算时，如果很大，不大或不大（即很小或很小），则应该利用泊松定理；反之，若都较大，则应该利用定理4.9。定理4.9（林德贝尔格-勒维）极限定理设，,是一列独立同分布的随机变量，且， 则有 注：德莫佛拉普拉斯极限定理是林德贝尔格-勒维极限定理的特例。证明：设的特征函数为，则的特征函数为又因为所以于是特征

16、函数为有展开式从而对任意固定的，有又是分布的特征函数，由定理4.7有注：定理4.9表明：当充分大时，的分布近似于，从而具有近似分布。这意味大量相互独立、同分布且存在方差的随机变量之和近似服从正态分布。该结论在数理统计的大样本理论中有广泛应用，同时也提供了计算独立同分布随机变量之和的近似概率的简便方法。例11 利用中心极限定理证明：证：设是独立同分布随机变量序列，共同分布为的Poisson分布，故，由林德贝尔格-勒维中心极限定理知由Poisson分布的可加性知服从参数为的Poisson分布，因而，但，所以成立，结论得证。三、应用 德莫佛拉普拉斯中心极限定理是概率论历史上的第一个中心极限定理，它有

17、许多重要的应用。下面介绍它在数值计算方面的一些具体应用。1.二项概率的近似计算设是重贝努里试验中事件发生的次数，则，对任意有 当很大时，直接计算很困难。这时如果不大（即较小接近于0）或不大（即接近于1）则用泊松定理来近似计算（大小适中）；当不太接近于0或1时，可用正态分布来近似计算（较大）：例12在一家保险公司里有10000个人参加保险，每人每年付12元保险费。在一年内一个人死亡的概率为0.006，死亡时其家属可向保险公司领得1000元，问：(1) 保险公司亏本的概率多大？(2) 保险公司一年的利润不少于40000元的概率为多大？解：保险公司一年的总收入为120000元，这时(1) 若一年中死

18、亡人数，则保险公司亏本；(2)若一年中死亡人数，则利润元。令则，记,已足够大，于是由德莫佛拉普拉斯中心极限定理可得欲求事件的概率为（1）（其中）同理可求得 （2）。例13某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？解：由题意，任意一个分机或使用外线或不使用外线只有两种可能结果，且使用外线的概率=0.04，260个分机中同时使用外线的分机数设总机确定的最少外线条数为,则有 由于较大，故由德莫佛拉普拉斯定理，有查正态分布表可知解得所以总机至少备有16条外线，才能以95%的把握保证各个分机使用外线时不必等候。2.用频率估计概率的误差估计由贝努利大数定律 那么对给定的和较大的，究竟有多大？贝努利大数定律没有给出回答，但利用德莫佛拉普拉斯极限定理可以给出近似的解答。对充分大的 故 由此可知，德莫佛拉普拉斯极限定理比贝努利大数定律更精细，也更有用。例14重复掷一枚质地不均匀的硬币，设在每次试验中出现正面的概率未知。试问要掷多少次才能使出现正面的频率与相差不超过的概率达95%以上？解：依题