教学材料《概率论》-第五章

第一节大数定律

第一章曾讲过，事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的频率逐渐稳定于某个常数，而发生偏离这个固定值较大的可能性很小.例如，独立地抛掷一枚质地均匀的硬币ｎ次，当ｎ充分大后，出现正面的频率ｍｎ与１２很接近(其中ｍ表示此ｎ次试验中出现正面的次数).概率这一概念，正是对频率的这一特征进行抽象而形成的.在大量的随机现象中，我们不仅发现随机事件的频率具有稳定性，而且发现大量的随机现象的平均结果也具有稳定性.这就是说，无论个别随机现象的结果以及它们在进行过程中的个别特征如何，大量随机现象的平均结果实际上与每一个个别现象的特征无关，几乎不再是随机的了.下一页返回第一节大数定律

概率中用来阐明大量随机现象平均结果的稳定性的一系列定律称为大数定律.在引入大数定律之前，我们先学习一个重要的不等式———切比雪夫不等式.前面已经讲过，方差及标准差是用来衡量随机变量的取值与其数学期望的偏差程度的，随机变量Ｘ的取值与数学期望Ｅ(Ｘ)的偏差越小，方差Ｄ(Ｘ)与标准差σ(Ｘ)也越小，反之亦然因此当Ｄ(Ｘ)与σ(Ｘ)越小时，Ｘ的取值接近Ｅ(Ｘ)的可能性就越大下面来估计一下随机事件{｜Ｘ－Ｅ(Ｘ)｜≥ε}的概率.上一页下一页返回第一节大数定律

定理５１(切比雪夫不等式)设随机变量Ｘ具有有限的方差Ｄ(Ｘ)，则对∀ε>０，有该不等式表明，当Ｄ(Ｘ)很小时，Ｐ{｜Ｘ－Ｅ(Ｘ)｜≥ε}也很小，即Ｘ的取值与数学期望Ｅ(Ｘ)的偏差越小这再次说明方差是描述Ｘ取值分散程度的一个量.请读者自己证明Ｘ是离散型随机变量的情况.上一页下一页返回第一节大数定律

另外，切比雪夫不等式也可表示成这个不等式给出了在随机变量Ｘ的分布未知的情况下事件{｜Ｘ－Ｅ(Ｘ)｜<ε}的概率的下限估计.【例５－１】设Ｘ是掷一颗骰子所出现的点数，若给定ε＝１，２，实际计算Ｐ{｜Ｘ－Ｅ(Ｘ)｜≥ε}，并验证切比雪夫不等式成立.上一页下一页返回第一节大数定律

可见切比雪夫不等式成立.切比雪夫不等式在具体计算中只能给出事件的下限或上限估计，而没有计算出具体值.即切比雪夫不等式在理论上具有重要意义，但是估计的精度不高.切比雪夫不等式作为一个理论工具，在大数定律证明中可使证明非常简洁.定义５１设Ｙ１，Ｙ２，，Ｙｎ，是一个随机变量序列，ａ是一个常数，若对于任意正数ε，有则称序列Ｙ１，Ｙ２，，Ｙｎ，依概率收敛于ａ.上一页下一页返回第一节大数定律

下面介绍四个定理，它们分别反映了算术平均值及频率的稳定性.定理５.２(切比雪夫大数定律)设Ｘ１，Ｘ２，，Ｘｎ，是相互独立的随机变量序列，每一随机变量均存在有限的数学期望Ｅ(Ｘ１

)，Ｅ(Ｘ２

)，，Ｅ(Ｘｎ

)，及方差Ｄ(Ｘ１

)，Ｄ(Ｘ２

)，Ｄ(Ｘｎ

)，，并且对于所有的ｉ＝１，２，有Ｄ(Ｘｉ

)<ｌ，其中ｌ是与ｉ无关的常数，则对任意的ε>０，有，上一页下一页返回第一节大数定律

该定理表明，当ｎ很大时，ｎ个独立随机变量的平均数这个随机变量的离散程度是很小的.这意味着，经过算术平均以后得到的随机变量将比较密集地聚集在它的数学期望附近，它与数学期望之差依概率收敛于０.定理５.３(切比雪夫大数定律的特殊情况)设随机变量Ｘ１，Ｘ２，，Ｘｎ，相互独立，上一页下一页返回第一节大数定律

定理５.４(伯努利大数定律)设ｎＡ是ｎ次独立重复试验中事件Ａ出现的次数，而ｐ(０<ｐ<１)是事件Ａ在每次试验中出现的概率，则对∀ε>０，有由于Ｘｋ只依赖于第ｋ次试验，而每次试验又相互独立，故Ｘ１，Ｘ２，，Ｘｎ，相互独立ꎻ又由于Ｘｋ服从两点分布，故有Ｅ(Ｘｋ

)＝ｐ，Ｄ(Ｘｋ

)＝ｐ(１－ｐ)，ｋ＝１，２，.上一页下一页返回第一节大数定律

由切比雪夫大数定律有伯努利大数定律表明，事件发生的频率ｎＡｎ依概率收敛于事件Ａ的概率ｐ，这个定理以严格的数学形式表达了频率的稳定性.即当ｎ很大时，事件发生的频率与概率有较大偏差的可能性很小.由实际推断原理，在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率.切比雪夫大数定律要求随机变量Ｘ１，Ｘ２，，Ｘｎ，的方差存在，但在随机变量服从相同分布的场合，并不需要这一要求，从而我们有以下定理.上一页下一页返回第一节大数定律

定理５.５(辛钦大数定律)设随机变量Ｘ１，Ｘ２，，Ｘｎ，相互独立并服从同一分布，且具有数学期望Ｅ(Ｘｋ

)＝μ(ｋ＝１，２，)，则∀ε>０，有显然，伯努利大数定律是辛钦大数定律的特殊情况.这一定律使算术平均值的法则有了理论依据.实际应用中往往用某物体的某一指标值的一系列实测值的算术平均值来作为该指标值的近似值.上一页返回第二节中心极限定理正态分布在随机变量的各种分布中占有特别重要的地位在某些条件下，即使原来并不服从正态分布的一些独立的随机变量，它们的和的分布，当随机变量的个数无限增加时，也是趋于正态分布的在概率论中，把研究在什么条件下大量独立随机变量和的分布以正态分布为极限的这一类定理称为中心极限定理.定理５.６(独立同分布的中心极限定理)设随机变量Ｘ１，Ｘ２，，Ｘｎ，相互独立，服从同一分布，且具有数学期望Ｅ(Ｘｋ

)＝μ，方差Ｄ(Ｘｋ)＝σ２

>０(ｋ＝１，２，)，则随机变量下一页返回第二节中心极限定理的分布函数Ｆｎ(ｘ)对于任意ｘ满足从定理５.

６的结论可知，当ｎ充分大时，近似地，有上一页下一页返回第二节中心极限定理如果用Ｘ１，Ｘ２，，Ｘn

，表示相互独立的各随机因素，假定它们都服从相同的分布(不论服从什么分布)，且都有有限的期望与方差(每个因素的影响有一定限度)，则式(５－８)说明，作为和式这个随机变量，当ｎ充分大时，便近似地服从正态分布.【例５－２】一个螺丝钉的质量是一个随机变量，期望值是１００克，标准差是１０克，求一盒(１００个)同型号螺丝钉的质量超过１０２千克的概率.解设一盒质量为Ｘ，盒中第ｉ个螺丝钉的质量为Ｘｉ(ｉ＝１，２，，１００).由题意知:Ｘ１，Ｘ２，，Ｘ１００相互独立，Ｅ(Ｘｉ

)＝１００，Ｄ(Ｘｉ

)＝１０，则有Ｘ＝上一页下一页返回第二节中心极限定理定理５７(李雅普诺夫定理)设随机变量Ｘ１，Ｘ２，，Ｘｎ，相互独立，其数学期望和方差分别为Ｅ(Ｘｋ

)＝μ，Ｄ(Ｘｋ)＝σ２ｋ>０(ｋ＝１，２，

).上一页下一页返回第二节中心极限定理的分布函数Ｆｎ(ｘ)对于任意ｘ满足随机变量Ｘｋ(ｋ＝１，２，)具有怎样的分布，只要满足定理条件，则它们的和当ｎ很大时，就近似地服从正态分布.而在许多实际问题中，所考虑的随机变量往往可以表示成多个独立的随机变量之和，因而它们常常近似地服从正态分布.上一页下一页返回第二节中心极限定理这就是正态随机变量在概率论与数理统计中占有重要地位的主要原因，也是生活中经常会遇到正态随机变量的原因.在数理统计中我们将看到，中心极限定理是大样本统计推断的理论基础.这个定理表明，二项分布以正态分布为极限.当ｎ充分大时，我们可以利用上两式来近似地计算二项分布的概率.上一页下一页返回第二节中心极限定理上一页下一页返回第二节中心极限定理正态分布和泊松分布虽然都是二项分布的极限分布，但前者只要求ｎ→，而后者以ｎ→，同时ｐ→０，ｎｐ