第四章 大数定律与中心极限定理.ppt

1、xiaobugs,第四章大数定律与中心极限定理,第四章目录,4.2 随机变量序列的两种收敛性,4.3 中心极限定理,4.4 中心极限定理（续）,4.1 大数定律,4.1 大数定律（引论）,概率论应用于实际的一个重要原则是所谓“实际推断原理”，即认为：概率接近于0的事件（小概率事件）在个别（一次）试验中“实际上是不可能发生的”；反之认为概率接近于1的事件（大概率事件），在一次试验中当作是“实际上必然的”。,大数定律（引论2 ）,在概率论中建立概率接近于0的规律具有特别重要的意义，规律接近于0的概率中最重要的是联系到大量现象的一系列法则，例如重复进行k次独立试验，当k充分大时，事件A的发生频率/n

2、与其概率p应该很接近，从理论上可以证明，当k无限增大时,事件 的概率趋于1，这个概率显然是很重要的，概率论中有一系列定理以极限形式建立概率接近于0的规律，这些定理通常都称作大数定律（或大数法则）。,定理4.1 （贝努里大数定律）,设 是n重贝努里试验中事件A出现的次数，又A在每次试验中出现的概率为p（00，有,定理证明,频率“靠近”概率是可以直接观察到的一种客观现象，贝努里大数定律说明了大数次重复试验下所呈现的客观规律性。,大数定律的一般提法,定义4.1 若 为随机变量序列，如果存在常数列 ，使得对任意的0，有 （4.3） 成立，则称随机变量序列 服从大数定律。,契贝晓夫大数定律,定理4.2

3、设 是一列两两不相关的随机变量，又设它们的方差有界，即存在常数C，使得 ，则对任意的0，有 （4.4）,定理证明,辛钦大数定律,定理4.3 设 是一列独立同分布的随机变量序列，且数学期望存在，即 则对任意的0，有 （4.5） 成立。,马尔可夫条件,在契贝晓夫大数的证明中，马尔可夫注意到，只要下式 成立，则大数定律就能成立。通常称上式为马尔可夫条件。,*马尔可夫大数定律,设 为一随机变量序列，如果马尔可夫条件成立，则对任意的0，有 成立。,依概率收敛的定义,我们称由（4.5）式 表示的极限关系式为 依概率收敛于a。并记作 或 贝努里大数定律表明了频率依概率收敛于概率，即,4.2随机变量序列的两种

4、收敛性,定义4.2 设有一列随机变量 对任意的0，有 （4.6） 则称随机变量序列 依概率收敛于，并记作 （4.6） 或 （4.6） 由此可知，前面所述的大数定律只是依概率收敛的一种特例。,两条性质,性质1： 依概率收敛于的充分必要条件是： 依概率收敛于0。 性质2： 依概率收敛于，且 依概率收敛于，则,弱收敛,定义4.3 设 是一列分布函数，如果对F(x)的每一个连续点都有 成立，则称分布函数列 弱收敛于分布函数F(x)，并记作 （5.9） 在这里称“弱收敛”是自然的，因为它的确比在每一点上都收敛“弱”一些。,例4.2,定理4.4,若随机变量序列 依概率收敛于随机变量，即 则相应的分布函数序

5、列 弱收敛于的分布函数F(x)。即 一般来说，此定理的逆定理是不成立的。,反例,定理4.5,定理4.5 随机变量序列 依概率收敛于常数C的充分必要条件是 这里F(x)是C的分布函数，即,证明,斯鲁茨基定理（引子）,如果 和 是两个随机变量序列， 并且当 时有 这里a与b是两个常数，则有 （1） （2）若b0，有,斯鲁茨基定理（定理4.7）,设 是k个随机变量序列，且 又 是k元变量的有理函数， 并且 则有 成立,4.3 中心极限定理（独立同分布的中心极限定理）,贝努里大数定律回顾 设 是n重贝努里试验中事件A出现的次数，又A在每次试验中出现的概率为p（00，有,定理4.8,德莫佛拉普拉斯（De

6、 MoivreLaplace）定理 在n重贝努里试验中，事件A在每次试验中出现的概率均为p（0p1）， 是n次试验中A出现的次数，则 中心化和标准化的概念 中心化： 标准化：,定理4.9,林德贝格勒维（LindebergLevy）定理 若 是一列独立同分布的随机变量，且 则有,例题,例 设 是n次贝努里试验中事件A出现的次数，且P(A)p（0p1），试求 其中a、b为常数 解：因为 由定理4.8知当n很大时，有,例题（2）,其中(x)为N(0,1)分布的分布函数，于是有 此时只需查一下书后的N(0,1)分布表即可得到所需要的概率了。,习题选解,大数定律与中心极限定理的关系,在前面，贝努里大数定

7、律只告诉我们，当n趋向于无穷时，频率依概率收敛于p。但对很大的n和指定的0,要问事件 发生的概率是多大是无能为力的，但德莫佛拉普拉斯定理却给出了近似的解答，因为当n很大时，有 由此看来德莫佛拉普拉斯定理比贝努里大数定律更强也更有用,4.4中心极限定理（续）（独立非同分布中心极限定理）,林德贝格条件：设 是独立的随机变量序列，又 此时 （1）若 是连续型随机变量，密度函数列为 ，如果对任意的0，有 （4.13）,林德贝格条件（续）,（2）若 是离散型随机变量， 的分布列为 如果对任意的0，有 （4.14） 则称 满足林德贝格条件。,林德贝格中心极限定理,定理4.10 设独立随机变量序列 满足林德

8、贝格条件，则当n时，对任意的x，有 （4.14） 由定理4.10给出的林德贝格条件是比较一般的，但有时验证起来比较烦琐或无法进行验证。下面我们给出一个比较容易验证的定理。,李雅普诺夫中心极限定理,设 是独立的随机变量序列，又 记 若存在0，使 （4.15） 则对任意的x有,本章结束,定理4.1 证明,令 则 是n个相互独立的随机变量，且 E=p,D=pq （i=1,2,n） 而 于是,定理4.1 证明2,由契贝晓夫不等式得 又由 相互独立知： 从而,定理4.1,定理4.2 证明,由契贝晓夫不等式知 由于 两两不相关，所以,定理4.2 证明2,从而 证毕,定理4.2,例4.2,设， 都是服从退化

9、分布的随机变量，且 于是对任意的0，当 时有 所以 成立，,例4.2,又设， 的分布函数分别为 、 显然，当x0时有 成立。而当x=0时，,返回例 4.2,反例,抛投一枚均匀硬币有两个实验结果。令 则是一个随机变量，且其分布函数为,反例（2）,若令，则显然与有相同的分布函数F(x)，再令 的分布函数记为 ， 故 所以对任意的R，有 即 成立。 而对任意的02,恒有 即不可能有,反例（3）,此例说明，随机变量、在每次试验中取相反的两个数值，可它们有完全相同的分布函数，由此可知，一般说来并不能从分布函数列的弱收敛肯定相应的随机变量序列依概率收敛，但是在特殊情况下是成立的，即定理4.5给出的结论,返

10、回反例,定理4.5的证明,必要性的证明已由定理4.4解决，下面验证充分性，对任意的0，有,返回定理4.5,习题选解（8-1）,NO 4.32 如果要估计抛掷一枚图钉时尖头朝上的概率，为了有95%以上的把握保证所观察到的频率与概率p的差小于p/10，向至少应该作多少次试验？ 解：令 据题意选取试验次数n应满足,习题选解（8-2）,因为n比较大，由中心极限定理有,习题选解（8-3）,故应取 即 但是图钉底部重，尖头轻，由直观判断 ，故可取n=400。,习题选解（8-4）,NO 4.33 一本书共有一百万个印刷符号，排版时每个符号被排错的概率为0.0001，校对时每个排版错误被改正的概率为0.9，求在校对后错误不多于15个的概率。 解：令 因为排版与校对是两个独立的工序，因而,习题选解（8-5）,是独立同分布的随机变量序列， 令 其中 由中心极限定理有 其中 查标准分布表可得,习题选解（8-6）,NO 4.35 有一批种子，其中良种占1/6，从中任取6000粒，问能以0.99的概率保证其中良种的比例与1/6相差多少？ 解：令 则 ，其中n=6000， 依