概率统计(魏宗舒版)4

1、第四章 大数定律与中心极限定律4.1 大数定律(一一)依概率收敛依概率收敛 第一章提到过，某一事件第一章提到过，某一事件A发生的频率，当实验发生的频率，当实验次数次数n增大时，会逐渐趋向于其概率。即增大时，会逐渐趋向于其概率。即)( APnAAfnn)()( ？ )()(limAPnAnn HHH 若若能否理解为对任意一组实验中的样本点能否理解为对任意一组实验中的样本点，有，有 ，显然上述极限不成立，但是发生的，显然上述极限不成立，但是发生的概率很小。概率很小。设设第第i次试验事件次试验事件A发生发生第第i次试验事件次试验事件A不发生不发生 01i则则,)(pEi )1()(ppDi 由切比雪

2、夫不等式由切比雪夫不等式221|npqnDpnPnn pnEnEniin 11npqDnnDnDniiniin 12111 n , 01|lim Pnn或或则称则称n依概率收敛依概率收敛于于 . 记为：记为：Pn定义定义 设设n为一个随机变量序列，为一个随机变量序列， 为一个随机变量，为一个随机变量，若任给的若任给的0，有，有等价定义等价定义 设设n为一个随机变量序列，为一个随机变量序列，一个随机变量，一个随机变量，若任给的若任给的0，0存在存在N，使得当，使得当nN时，时，Pn |则称则称n依概率收敛依概率收敛于于 。0|lim Pnn).()(limnn .| )()(|n aPn 表示不

3、管表示不管有多小，当有多小，当n，n落在落在 内的概率内的概率1，即落在，即落在 外的概率外的概率0。),(aa ),(aa n收敛于收敛于的几种形式。的几种形式。 对任意对任意，有有1.逐点收敛逐点收敛2.一致收敛一致收敛 对任意对任意0，存在，存在N，当，当nN时，对所有时，对所有，有有).()(limnn 若存在若存在A ，P(A)=1，使得，使得对任意对任意A，有有3.几乎必然收敛几乎必然收敛a.s. limnn n几乎必然收敛于几乎必然收敛于，可记为，可记为11|11 lPnknkl 用集合的方式来表示即是用集合的方式来表示即是其中其中n收敛于收敛于的点的点构成的集合是构成的集合是

4、.1|11lnknkl 4.几乎必然一致收敛几乎必然一致收敛 若存在若存在A ，P(A)=1，使得，使得对任意对任意0，存在，存在N，当当nN时，对所有时，对所有A，有有.| )()(|n 11|1 lPnnnll 用集合的方式来表示即是，存在一个整数序列用集合的方式来表示即是，存在一个整数序列nl，l=1,2,使得使得 如果随机变量序列如果随机变量序列n的分布函数的分布函数Fn(x)在连续点处收在连续点处收敛于敛于的的分布函数分布函数F(x)，称，称n弱收敛于弱收敛于,记作记作Ln也称随机变量也称随机变量n依分布收敛于依分布收敛于。5.弱收敛弱收敛.rLn也把它记为也把它记为6.积分平均收敛

5、积分平均收敛0|lim rnnE各种收敛之间的关系各种收敛之间的关系几乎必然几乎必然一致收敛一致收敛几乎必几乎必然收敛然收敛弱收敛弱收敛依概率收敛依概率收敛积分平积分平均收敛均收敛依概率收敛依概率收敛存在子列几乎必然收敛存在子列几乎必然收敛1|lim pnPnn(二二)几个常用的大数定律几个常用的大数定律1.伯努利大数定律伯努利大数定律定理定理4.1(伯努利定理伯努利定理) 设设n是是n重伯努利试验中事件重伯努利试验中事件A出现的次数，又出现的次数，又A在每次试验中出现的概率为在每次试验中出现的概率为p(0p0，有，有证明证明:设设第第i次试验事件次试验事件A发生发生第第i次试验事件次试验事件

6、A不发生不发生 01i则则,)(pEi )1()(ppDi 由切比雪夫大数定律由切比雪夫大数定律221|npqnDpnPnn pnEnEniin 11npqDnnDnDniiniin 12111 n , 0事实上，可以证明事实上，可以证明 几乎处处收敛于几乎处处收敛于p，即满足，即满足强大数定律。强大数定律。nn1|1|lim1 anPnniin大数定律的一般定义大数定律的一般定义定义定义4.1 若若 是随机变量序列，如果存在是随机变量序列，如果存在常数常数 使得使得,21n,21naaa成立，则称随机变量序列成立，则称随机变量序列 服从大数定律。服从大数定律。n1|11|lim11 EnnP

7、niiniin则对任意的则对任意的0，有，有, 2 , 1 iCDi，2.切比雪夫大数定律切比雪夫大数定律定理定理4.2 设设 是一列两两不相关的随机变量是一列两两不相关的随机变量，又设它们的方差有界，即存在常数，又设它们的方差有界，即存在常数C0，使有，使有,21n证明；由切比雪夫不等式证明；由切比雪夫不等式由于由于 两两不相关，两两不相关，,21n|11|11EnnPniinii )1(112 niinD)1(112 niinD221nDnii nCnnC222 n , 01|1|lim1 nPniin例例4.1 设设 是独立同分布的随机变量序列，是独立同分布的随机变量序列，均服从参数为均

8、服从参数为的泊松分布，的泊松分布，因为因为Ei=，Di=，因此，因此 满足大数定律，即对任意满足大数定律，即对任意0，有，有,21nn3.马尔可夫大数定律马尔可夫大数定律定理定理4.3 对随机变量序列对随机变量序列 ，若有，若有n0)(112 niiDn则则 服从大数定律，即对任意的服从大数定律，即对任意的0，有，有n1|11|lim11 EnnPniiniin0)(112 niiDn大数定律的证明过程中利用了大数定律的证明过程中利用了称其为马尔可夫条件。称其为马尔可夫条件。01)(11212 nCDnDnniinii当随机变量序列独立且方差有界时显然有当随机变量序列独立且方差有界时显然有 而

9、如果随机变量序列独立同分布，方差存在即有而如果随机变量序列独立同分布，方差存在即有界，显然满足马尔可夫条件，进而满足大数定律。界，显然满足马尔可夫条件，进而满足大数定律。即马尔可夫大数定律成立。即马尔可夫大数定律成立。 而如果随机变量序列仅仅是独立同分布，方差是而如果随机变量序列仅仅是独立同分布，方差是否存在未知，则同样可以证明其满足大数定律，但是否存在未知，则同样可以证明其满足大数定律，但是不能用切比雪夫大数定律了，要用到特征函数的工具。不能用切比雪夫大数定律了，要用到特征函数的工具。3. 辛钦大数定律辛钦大数定律 定理定理4.4 若若 为独立同分布随机变量序列为独立同分布随机变量序列, 且

10、数学期望存在且数学期望存在：,21n), 2 , 1()( iaEi则对于任意则对于任意 ，有，有0 1|1|lim1 anPnkkn（三）（三）几个大数定几个大数定的关系的关系结论结论条件条件伯努利伯努利大大数定律数定律频率依概频率依概率收敛于率收敛于概率概率切比雪夫切比雪夫大数定律大数定律平均值依概率收敛于其数学平均值依概率收敛于其数学期望期望马尔可夫马尔可夫大数定律大数定律辛钦大辛钦大数定律数定律随机变量序随机变量序列两两不相列两两不相关且方差有关且方差有界界方差的平方差的平均值趋向均值趋向于于0独立同分独立同分布且数学布且数学期望存在期望存在1|lim Pnn则称则称n依概率收敛依概率

11、收敛于于 . 记为：记为：Pn定义定义4.2 设设n为一个随机变量序列，为一个随机变量序列， 若任给的若任给的0，有，有等价定义等价定义 设设n为一个随机变量序列，若任给的为一个随机变量序列，若任给的0，0存在存在N，使得当，使得当nN时，时，Pn |则称则称n依概率收敛依概率收敛于于 。4.2 随机变量序列的两种收敛性随机变量序列的两种收敛性Pnn lim或或关于依概率收敛极限的唯一性关于依概率收敛极限的唯一性Pn若且Pn2|2|nn 由由于于2|2|PPnn 02|2| nnnPP 11|nn又又0|故故P 01|) 1|(11 nnnPnPP故故. sa 即即关于依概率收敛极限保持运算的

12、性质关于依概率收敛极限保持运算的性质Pn若若且且Pn02|2| nnnPP问问 ？ Pnn ？ )0 ( Pnn 2|2|PPnnnn 这里只证明加法的情形，对任意的这里只证明加法的情形，对任意的0,依概率收敛性是否被连续函数所保持？即若依概率收敛性是否被连续函数所保持？即若 ， f(x)是连续函数，是否是连续函数，是否 成立？成立？Pn)()(ffPn| )()(|ffn 考虑考虑f(x)一致连续的情况一致连续的情况，证明如下：，证明如下：对任意的对任意的0，存在，存在0，使得当，使得当|x1-x2|时，时，|f(x1)-f(x2)|，故，故|n 故有故有| )()(|ffPn |Pn 0

13、nn12pn.10P0max,0nx 例设为一列独立同分布随机变量，其密度函数为：(x)=其中，令其它证明证明：证明：对任意的对任意的 ，有，有0111()()() ,0nnxnniiixPxPxdxx()0,0; ()1,nnPxxPxx(|)()()0,nnnPPn )(0例例4.2 设设，n都是服从退化分布的随机变量序列，都是服从退化分布的随机变量序列， 且且1)0( P1)1( nPn则则 ，但，但 。 Pn)()(limxFxFnn 1)|(|)|(| PPnnPn自然的问题自然的问题?)()(xFxFn分布函数分布函数, 0 证明：对证明：对,1n 当当Pn故故 nxnxxFn1

14、01 1)( 0 00 1)(xxxF但但 0 00 1)(limxxxFnn但但)()(limxFxFnn 故故1)0(0)0(lim nFFn只在不连续点只在不连续点0处处定义定义4.3 设设F1(x),F2(x),F3(x),是一列分布函数，如果对是一列分布函数，如果对F(x)的每个连续点的每个连续点x，都有，都有)()(limxFxFnn 称分布函数称分布函数Fn(x)弱收敛于分布函数弱收敛于分布函数F(x),并记作并记作)()(xFxFWn如果随机变量序列如果随机变量序列n的分布函数弱收敛于的分布函数弱收敛于的的分布函数，分布函数，也称也称n弱收敛于弱收敛于,记作记作Ln也称随机变量

15、也称随机变量n依分布收敛于依分布收敛于。定理定理4.5 若随机变量序列若随机变量序列1,2,3,依概率收敛于随机变依概率收敛于随机变量量,即即则相应的分布函数则相应的分布函数F1(x),F2(x),F3(x),弱收敛于分布函数弱收敛于分布函数F(x)，即，即)()(xFxFWnPn x xxxnn , xx 证明：对证明：对 xxxxnn . xxPxPxPnn 故故而而 0| xxPxxPnn,lim xPxPnn 故故)(lim) (xFxFnn 即即xx 当当 时，时，).()(limxFxFnn 同理有同理有xxx 于是当于是当 时，有时，有)()(lim)(lim)(xFxFxFxF

16、nnnn ，xxx 当当F F在在x x处连续时，令处连续时，令 有有).()(limxFxFnn TH 1 1)(定理定理4.5的逆命题不真，即弱收敛不蕴含依概率收敛的逆命题不真，即弱收敛不蕴含依概率收敛例例4.3 抛掷一枚均匀的硬币的试验，样本空间为抛掷一枚均匀的硬币的试验，样本空间为=H,T定义两个随机变量：定义两个随机变量： HT 1 1)(显然，它们有相同的分布函数显然，它们有相同的分布函数 1 011 21 1 1)(xxxxF令令n 则则 不成立不成立Pn但但)()()(xFxFxFn 仅在非常特殊的一些情况下弱收收敛才蕴含依概率收敛。仅在非常特殊的一些情况下弱收收敛才蕴含依概率

17、收敛。定理定理4.6 随机变量序列随机变量序列 （c为常数）的充要为常数）的充要条件是条件是cPn )()(xFxFWn这里这里F(x)是是=c的分布函数，也就是退化分布：的分布函数，也就是退化分布： cxcxxF 0 1)(110 0 )()()|(|cPcPcPnnn )2()(cPcPnn )2(1)(cFcFnn )(1)(cFcFn 证明：证明：作业：作业：P226 1 2 6 选做选做 3 8 问题：由第问题：由第3章知识随机变量的分布函数和其特征章知识随机变量的分布函数和其特征函数一一对应，那么依分布收敛（弱收敛）与其特征函函数一一对应，那么依分布收敛（弱收敛）与其特征函数的收敛

18、性是否等价？数的收敛性是否等价？定理定理4.7 分布函数列分布函数列 Fn(x) 弱收敛于分布函数弱收敛于分布函数 F(x) 的充的充要条件是相应的特征函数列要条件是相应的特征函数列 n(x) 收敛于收敛于F(x)的特征函的特征函数数(x)。例例4.4 若若是服从参数为是服从参数为的泊松分布的随机变量，证明：的泊松分布的随机变量，证明： xtdtexP02221limt iet itieettg )1()()( 证明：已知证明：已知 特征函数是特征函数是 ，故，故 的特征函数为的特征函数为)1()( iteet xtndtexP02221lim ottieti )1(212，因为因为 ott

19、ieti )1(2)1( 2，故故 eott ieti e )1(2)1(2，故故22)(limtnetg 从而从而22te 是标准正态分布随机变量的特征函数，由定理是标准正态分布随机变量的特征函数，由定理4.70 ),()0( )0()( ttott定理定理4.4（辛钦大数定律）的证明：（辛钦大数定律）的证明： 0 ),(1 ttoait0 ,)(1)()( ntntontainttgnnn 因为因为k同分布，故设其特征函数为同分布，故设其特征函数为(t)，又因为，又因为 Ek=a存在，故有存在，故有(0)=ai，(t)在在0处作泰勒展开处作泰勒展开 nkkn11k互独立，因此互独立，因此

20、的特征函数为的特征函数为aitnnnnntontaitge )(1lim)(lim 故故,11anLnkk 由定理由定理4.6 aite是退化分布的特征函数，是退化分布的特征函数，,11anPnkk 再由定理再由定理4.7 考察射击命中点与靶心距离的偏差考察射击命中点与靶心距离的偏差这种偏差是大量这种偏差是大量微小的偶然因素造成的微小误差的总和微小的偶然因素造成的微小误差的总和, 这些因素包括这些因素包括: 瞄准误差、测量误差、子弹制造过程方面瞄准误差、测量误差、子弹制造过程方面 (如外形、重如外形、重量等量等) 的误差以及射击时武器的振动、气象因素的误差以及射击时武器的振动、气象因素(如风速

21、、如风速、风向、能见度、温度等风向、能见度、温度等) 的作用的作用, 所有这些不同因素所引所有这些不同因素所引起的微小误差是相互独立的起的微小误差是相互独立的, 并且它们中每一个对总和并且它们中每一个对总和产生的影响不大产生的影响不大.问题问题: 某个随机变量是由大量相互独立且某个随机变量是由大量相互独立且微微小的小的随机变量相加而成的随机变量相加而成的, 研究其概率分布情况研究其概率分布情况.4.3 中心极限定理中心极限定理(一一)问题的提法问题的提法设设n(n=1,2,)相互独立。相互独立。 nnnE)()( 如果讨论如果讨论n= 1+2+n(n=1,2,)的收敛规律律，的收敛规律律，它的

22、极限可能取到正负无穷，哪怕是它的极限可能取到正负无穷，哪怕是n-En也是如此，也是如此，即可能出现即可能出现 因此无意义。因此无意义。), 2 , 1( ,21 nnnnn 如果讨论如果讨论 的收敛规律的收敛规律律，由大数定律，其会收敛于它们的数学期望的平均值，律，由大数定律，其会收敛于它们的数学期望的平均值，即即。0)( PnnnE但这是我们已知的结论。但这是我们已知的结论。nnnnDE npqnpniin 1 因此，分母中因此，分母中n的数量级很关键，应当与的数量级很关键，应当与n= 1+2+n(n=1,2,)的标准差的数量级一致。即我们的标准差的数量级一致。即我们应当考虑应当考虑n称为称

23、为n的中心化随机变量。显然满足的中心化随机变量。显然满足En=0，Dn=1。npqDnpEniinii 11, 例如例如n重伯努利试验，重伯努利试验，En=p，Dn=pq，(q=1-p), 因此应当考虑因此应当考虑 的收敛规律的收敛规律(二二)同分布的中心极限定理同分布的中心极限定理定理定理4.10 若若 1,2,是一列独立同分布随机变量，且是一列独立同分布随机变量，且 xtnndtexnpqnpP2221 ) (lim定理定理4.9（棣模弗拉普拉斯棣模弗拉普拉斯） 在在n重伯努利试验中，事重伯努利试验中，事件件A在每次试验中出现的概率为在每次试验中出现的概率为p(0p1)，n为为n次试验次试

24、验中中A出现的次数，则出现的次数，则 .21 ) (lim212 xtnkkndtexnnaP1,2, 0),( ,22 kDaEkk则有则有例例 n为为n重伯努利试验中事件重伯努利试验中事件A出现的次数，试计算出现的次数，试计算 baPn 解：)1(),1 , 0( pqNnpqnpn 近似服从近似服从由中心极限定理由中心极限定理 npqnpbnpqnpnpqnpaPbaPnn)()(npqnpanpqnpb 方法二：方法二：方法一：方法一： )1( ,pqqpCbaPknkbakknn 计计算算量量相相当当大大。例例4.5 某单位内部有某单位内部有260架电话分机，每个分机有架电话分机，每

25、个分机有 4%的概率要与外线通话，可以认为各个电话分机用不用的概率要与外线通话，可以认为各个电话分机用不用外线是相线独立的，问总机要备有多少条外线才能以外线是相线独立的，问总机要备有多少条外线才能以95%的把握保证各个分机在用外线时不必等候。的把握保证各个分机在用外线时不必等候。2602601,ii解：令解：令i10第第i个分机要用外线个分机要用外线第第i个分机不用外线个分机不用外线12i ， ， ，260若若260架分机中同时要求使用外线的分机数为架分机中同时要求使用外线的分机数为260260260260 xP260260PP()260260 xpxpxpqpq由题意有，设需要求的最小整数为

26、 ，则() 0.95成立即 ()2601.65260 xppq而（1.65）=0.9505，故得x15.611695%解得所以总机至少应备有条外线，才能有以上的把握保证各个分机在使用外线时不必等候。练习练习 对于一个学生而言对于一个学生而言, 来参加家长会的家长人数是一来参加家长会的家长人数是一个随机变量个随机变量. 设一个学生无家长、设一个学生无家长、1名家长、名家长、 2名家长来名家长来参加会议的概率分别为参加会议的概率分别为0.05，0.8，0.15. 若学校共有若学校共有400名学生名学生, 设各学生参加会议的家长数相互独立设各学生参加会议的家长数相互独立, 且服从同且服从同一分布一分

27、布. (1) 求参加会议的家长数求参加会议的家长数 X 超过超过450的概率的概率;(2) 求有求有1名家长来参加会议的学生数不多于名家长来参加会议的学生数不多于340的概率的概率.解解, )400 , 2 , 1( ) 1 (长数个学生来参加会议的家记第以kkXk 的分布律为则kX15. 08 . 005. 0210kkpX, 1 . 1)( kXE易知)400, 2 , 1(,19. 0)(kXDk , 4001kkXX而根据独立同分布的中心极限定理， 19. 04001 . 1400 4001kkX随机变量 19. 04001 . 1400X),1, 0(N近似服从 19. 04001

28、. 140045019. 04001 . 1400XP450 XP于是 147. 119. 04001 . 14001XP .147. 11 , )2(议的学生数记有一名家长来参加会以Y ),8 . 0,400( bY则由德莫佛拉普拉斯定理知,350P Y 2 . 08 . 04008 . 04003402 . 08 . 04008 . 0400YP 5 . 22 . 08 . 04008 . 0400YP.9938. 0)5 . 2(例例 某类保险公司有某类保险公司有100000100000人参加，每人每年付人参加，每人每年付7272元元保险费。在一年内一个人死亡的概率为保险费。在一年内一个

29、人死亡的概率为0.5%0.5%，死亡时，死亡时其家属可向保险公司领得其家属可向保险公司领得1000010000元，公司一年的总开元，公司一年的总开支为支为7070万元。问：万元。问：(1)(1)保险公司亏本的概率有多大？保险公司亏本的概率有多大？(2)(2)保险公司一年的纯利润不少于保险公司一年的纯利润不少于9090万元、万元、100100万元、万元、150150万元的概率各为多大？万元的概率各为多大？解：解： 设设表示一年内死亡的人数，则表示一年内死亡的人数，则 B(n, p), 其中其中n= 100000，p=0.5%，保险公司每年的净收入为：保险公司每年的净收入为：72元元 100000-700000=6500000元元30.22)(5 .497)1()(,500)(