概率统计简明教程大数定律与中心极限定理

1、第五章大数定律与中心极限定理我们知道，随机事件在某次试验中可能发生也可能不发生，但在大量 的重复试验中随机事件的发生却呈现出明显的规律性，例如人们通过大量 的试验认识到随机事件的频率具有稳定性这一客观规律.实际上，大量随机现象的一般平均结果也具有稳定性，大数定律以严格的数学形式阐述了这 种稳定性，揭示了随机现象的偶然性与必然性之间的内在联系客观世界中的许多随机现象都是由大量相互独立的随机因素综合作用的结果，而其中每个随机因素在总的综合影响中所起作用相对微小.可以证明，这样的随机现象可以用正态分布近似描述，中心极限定理阐述了这一 原理.§ 1 大数定律首先我们介绍证明大数定律的重要工具

2、一切比雪夫(Chebyshev)不等式.1.1 切比雪夫不等式定理1.1设随机变量X数学期望E(X )和方差D(X )都存在，则对任意给定的正数 8 ,成立JI D(X)PX -E(X)顼4.(1.1)z证明 只对X是连续型随机变量情形给予证明.设X的密度函数为f(x),则有px - E ( X )= jf (x)d x|x±(X)|_；')2x - E(X )-,2 f (x)dxx _E (X )22一x - E (X ) f (x)dxD (X )一2.z称(1.1)为切比雪夫不等式，它的等价形式为D(X) P|X _E(X) |<sX .(1.2z切比雪夫不等式

3、直观的概率意义在于：随机变量X与它的均值E(X )1 的距离大于等于 e的概率不超过 1( X).在随机变量 X分布未知的情e况下，利用 切比雪夫不等式 可以给出随机手件X _E(X) <&的概率的 一种估计.例如当z =3jD(X)时，有P| X - E(X) | ：: 3'. D(X) ? - 8 =0.8889. 9也就是说，随机变量 X落在以E(X)为中心，以3jD(X)为半径的 邻域内的概率很大，而落在该邻域之外的概率很小 .当JD(X)较小时,随 机变量X的取值集中在E (X )附近，而这正是方差这个数字特征的意义所 在.例1.1 已知随机变量X和Y的数学期望

4、、方差以及相关系数分别为 E(X) =E(Y) =2 , D(X) =1 , D(Y) =4 , Px,y =0.5 ,用切比雪夫不等 式估计概率P X Y >6.解由于E(X -Y) =E (X ) -E(Y) =0 ,Cov(X ,Y)=x,y . D(X) . D(Y) =1 ,D (X -Y) = D(X) D (Y) 2cov(X,Y) = 52 = 3,由切比雪夫不等式，有D (X -Y)P( X -Y 芝 6 =P (X Y) E(X Y)芝 6苴2631=0.0833 .3612例1.2 假设某电站供电网有 10000盏电灯，夜晚每一盏灯开灯的概 率都是0.7 ,并且每一

5、盏灯开、关时间彼此独立 ，试用切比雪夫不等式估计 夜晚同时开灯的盏数在 6800至7200之间的概率.解 令X表示夜晚同时开灯的盏数，则XB(n,p) , n =10000 ,p =0.7 ,所以E(X) =np = 7000, D(X) = np(1 - p) = 2100.由切比雪夫不等式，有2100P 16800 : X ：:7200- P 1| X 7000 | ：: 200一 1 一= 0.9475.在例1.2中，如果用二项分布直接计算，这个概率近似为 0.99999.可见切比雪夫不等式的估计精确度不高.切比雪夫不等式的意义在于它的理论价值，它是证明大数定律的重要工具.1.2依概率收

6、敛在微积分中，收敛性及极限是一个基本而重要的概念，数列an收敛到a是指对任意e> 0,总存在正整数 N ,对任意的n > N时，恒有I an - a |< e.在概率论中，我们研究的对象是随机变量，要考虑随机变量序列的收 敛性.如果我们以定义数列的极限完全相同的方式来定义随机变量序列的收敛性，那么，随机变量序列 Xn( n3 1)收敛到一个随机变量 X是指对 任意e > 0 ,总存在正整数 N ,对任意的n > N时，恒有| x n - X |< e .但由于X n, X均为随机变量，于是|Xn- X |也是随机变量，要求一个随机变量取值小于给定足够小的e未

7、免太苛刻了，而且对概率论中问题的进一步研究意义并不大.为此，我们需要对上述定义进行修正，以适合随机变量本身的特性.我们并不要求n > N时，|Xn- X |< e恒成立，只要求n足够大时，出现|Xn- X |> e的概率可以任意小.于是有下列的定义定义1.1设X/X?，Xn，是一个随机变量序列，X是一个随机变量，如果对于任意给定的正数8，恒有-X0,(1.3 )179则称随机变量序列Xi，X?，Xn，依概率收敛于X ,记作1.3大数定律在第一章，我们曾指出，如果一个事件A的概率为p ,那么大量重复试验中事件 A发生的频率将逐渐稳定到p，这只是一种直观的说法.下面的定理给出这一

8、说法的严格数学表述.定理1.2伯努利大数定律 设nA是n重伯努利试验中事件 A发生的次数，p (0 < p <1)是事件A在一次试验中发生的概率，则对任意给定的正数有lim Pn_ l :nAT.(1.4 )证明 由于nA是n重伯努 利试验中 事件A发生的次 数，所以nA B (n，p),进而E (nA) = np , D (n A) = np (1 - p).匕 E(nA)E()=p ,n n根据切比雪夫不等式，对任意给定的nA、D (nA)p(1- p)=2-n nne a。，有crnA(-/叫、I.P( -E()< 8 >1 -aD( A)2z.p(1 - p)1

9、 n ；nA< P(p < 哥壬1 .nlim p(n_ .a.,p < & =1 .由伯努利大数定律可以看出，当试验次数 n充分大时，事件 A发生 的频率咽与其概率p能任意接近的可能性很大(概率趋近于 1),这为实 际应用中用频率近似代替概率提供了理论依据 定理1.3切比雪夫大数定律设X1-X2"i,Xn"L是相互独立的随机变量序列，其数学期望与方差都存在，且方差一致有界，即存在正数 M ,对 任意k ( k =1,2，)，有D(XQ 土M则对任意给定的正数& ,恒有f1 n 一£ Xk1 n 一£ E(Xk)1<

10、; s Jn k*n kmJlim Pn_j：:=1.(1.5 )n1.EXk =_、E(Xn k七证明 因为nn11),D(£ Xk )=二£ D(Xk)n k 1n k ±由切比雪夫不等式，有Z D(Xk)nn' k /r 1 一 1, jP-，Xk ，Eg) <&Xn k会 nn z由于方差一致有界，因此n'、'D(XQ £ nM , k 1从而得M1 n1 n1-Z Xk-Z E(Xk) </<1n谷n k 土n k义令n t *,则有推论1.11 一一、Eg)设随机变量X.X?，Xn， 相互独立

11、且服从相同的分布,具有数学期望 E (X k) = Wk =1,2，)和方差D (X k) =。2 ( k =1,2，),则对任意给定的正数 8,有S 11l%pj£ Xk <3=1.(1.6)切比雪夫大数定律是 1866年俄国数学家切比雪夫提出并证明的 ，它是 大数定律的一个相当普遍的结果，而伯努利大数定律可以看成是它的推论 . 事实上，在伯努利大数定律中，令°,在第k次试验中事件A发生，、，一，(k =1,2, ), 在第k次试验中事件A不发生.n则 Xk B(1,p)(k =1,2"), Xk =nA, L： Xk =堕，E(Xk) = p ， k&#

12、177;n k 注n n k并且X1，X2，Xn,满足切比雪夫大数定律的条件, 数定律可证明伯努利大数定律于是由切比雪夫大以上两个大数定律都是以切比雪夫不等式为基础来证明的，所以要求随机变量的方差存在.但是进一步的研究表明，方差存在这个条件并不是必要的.下面介绍的辛钦大数定律就表明了这一点.定理1.4 辛钦(Khintchine) 大数定律 设随机变量序列Xi，X2，Xn, 相互独立且服从相同的分布,具有数学期望E(XD =N, k =1,2，,则对任意给定的正数 & ,有n!”了'-* Xk 一” =(1.7 )证明略.使用依概率收敛的概念，伯努利大数定律表明：n重伯努利试验

13、中事件A发生的频率依概率收敛于事件 A发生的概率，它以严格的数学形式阐 述了频率具有稳定性的这一客观规律.辛钦大数定律表明：n个独立同分布的随机变量的算术平均值依概率收敛于随机变量的数学期望，这为实际问 题中算术平均值的应用提供了理论依据.例1.3 已知X1, X 2l , X n相互独立且都服从参数为2的指数分1 n布，求当nT七时，Yn =£ X k2111 E(XQ=E (XQ+Dg) =+_= - , k=1,2，, 42由辛钦大数定律，有n 1 2 P21*=一 X kE(Xk)=.n k 土2最后需要指出的是：不同的大数定律应满足的条件是不同的，切比雪夫大数定律中虽然只要

14、求X1,X2，Xn, 相互独立而不要求具有相同的分布，但对于方差的要求是一致有界的；伯努利大数定律则要求X1,X2，Xn, 不仅独立同分布，而且要求同服从同参数的0- 1分布；依概率收敛的极限. n k 21 1 .解 显然 E(Xk)= , D(Xk)=，所以2 4辛钦大数定律并不要求 X k的方差存在，但要求 X 1, X 2，X n, 独立同分布.各大数定律都要求 X k的数学期望存在，如服从柯西(Cauchy)分布, 1笞度函数均为f (x)= 的相互独立随机变重序列，由于数学期望p(1+ x2)不存在，因而不满足大数定律.§ 2 中心极限定理上节大数定律实际上告诉我们：当n

15、趋向于无穷时，独立同分布的随1 n机变量序列的算术平均值一？ y依概率收敛于Xk的数学期望m,即对kkn k = in1任怠给7E的e> 0，有p| _L? Xk - m钞e 0.那么，对固te的e> 0 ,n k= 1nn充分大时，事件| 一？ Xk- m| e)的概率究竟有多大，大数定律并没n k=1有给出答案，本节的中心极限定理将给出更加“精细”的结论 定理2.1列维-林德伯格(Levy-Lindberg)定理(独立同分布的中心极限定理)设随机变量 X1，X2，Xn， 相互独立且服从相同的分布，具有)=。A0 (k=1,2，)，则对任意实数2数学期望E(XJ=H和方差D(Xx

16、,有2t1 X -= Xf-e dt”(X).(2.1)证明略.独立同分布的中心极限定理表明：只要相互独立的随机变量序列Xi，X2，Xn，服从相同的分布，数学期望和方差(非零)存在，贝U当 n t 时，随机变量n'、Xk -nk ±Yn-总以标准正态分布为极限分布，或者说，随机变量n£ X k 以 N (n P, ncr2 ) k =1为其极限分布.在实际应用中，只要n足够大,便可以近似地把n个独立同分布的随机变量之和当做正态随机变量来处理，即n近似-.,2二 X k : N (n.、n。)k 4n£ Xi近似i A.(2.2 )Yn = 一： N(0,1

17、).下面的定理是独立同分布的中心极限定理的一种特殊情况定理2.2棣莫弗一拉普拉斯(De Moivre-Laplace )定理设随机变量Yn服从参数为n, p(0 < p <1)的二项分布，则对任意实数x,恒有七- np"*1一 疽、2 tx _2 ,e dt =(x)-CO(2.3 )证明 设随机变量X1，X2，.，Xn相互独立，且都服从B(1, p) n(0 < p <1 )，则由二项分布的可加性，知Yn = £ X k .nkk =±由于E(Xk) =p , D(Xk) = p(1 p) , k =1,2，根据独立同分布的中心极限定理可

18、知，对任意实数I 二 X k - nPjk1 x Wlim. P '< x . = ： , | e dt =(x),I P( P) J亦即2Yn _ np1 x 3lim P Mx * = = e 2dt =(x).当n充分大时，可以利用该定理近似计算二项分布的概率例2.1某射击运动员在一次射击中所得的环数X具有如下的概率分X109876p0.50.30J0.050.05求在100次独立射击中所得环数不超过930的概率.解 设Xi表示第i(i =1,2，100)次射击的得分数，则X1, X2，X100相互独立并且都与 X的分布相同，计算可知E(X,) =9.15 , D (X,)

19、 =1.2275, i =1,2，100 ,于是由独立同分布的中心极限定理，所求概率为100P = P X, £ 930 Ji 4j10°I 二 X, -100 9.15930 -100 9.15=P ,-I "100 1.22753'100 1.2275IJ2（1.35） =0.9115 .例2.2某车间有150台同类型的机器，每台出现故障的概率都是0.02 ,假设各台机器的工作状态相互独立，求机器出现故障的台数不少于 2的概率.解 以X表示机器出现故障的台数,依题意，X : B(150, 0.02),且0(180E(X) =3 , D(X) =2.94

20、 , Jd(X) =1.715 ,由德莫弗一拉普拉斯中心极限定理，有X -31-3P IX _2. =1 一P 1 X < 1；=1 - P 11.7151.7151 _ 中（-0.5832） =0.879 .例2.3生产线生产的产品成箱包装，每箱的重量是一个随机变量，平均每箱重50千克，标准差5千克.若用最大载重量为 5吨的卡车承运， 利用中心极限定理说明每辆车最多可装多少箱，才能保证不超载的概率大 于 0.977 ?解 设每辆车最多可装 n箱，记Xji =1,2，n）为装运的第i箱的重量（千克），则X“X2，Xn相互独立且分布相同，且E(Xi) =50 , D (Xi) =25, i

21、 =1,2，,n ,于是n箱的总重量为Tn =X1 +X2 +,十 Xn ,由独立同分布的中心极限定理，有nXi 50n5000 一 50nPTn £ 5000 = P 土 一 -25 n. 25 n5000 -50n).由题意，令5000 -50n1 k +0.5 np I 陌;=rlJnp(1p) j1 k 0.5 np I,Jnp(1 p) j(2)对非负整数k1, k2； 0 我:k2 £ n( )k2 npP峪 <X <k2)财-,：,Jnp( 1 - p) j(2.4)、一np中 r ,Jnp(1 p),(2.5 )(=一)>0.977 =(2

22、).25n有 5000 -50 勇, 解得n <98.02，即每辆车最多可装98箱.、.25 n第二章的泊松定理告诉我们：在实际应用中，当n较大p相对较小而np比较适中(n芝100,np <10 )时，二项分布 B (n, p)就可以用泊松分布P(赤)(九=np )来近似代替；而德莫弗一拉普拉斯中心极限定理告诉我们：只要n充分大，二项分布 B(n, p)就可以用正态分布近似计算， 一般的计算方法是：(1)对 k =0,1，n,P(X =k = Pk -0.5 : k _k 0.5)186*李雅普诺夫(Liapunov )定理设X”X2，Xn,相互独立，且具有数学期望E(Xk)=A和

23、方差2Dg)=矿 #° ( k =1,2，)，记n2L2B = 厂nkk去若存在正数& ,使得nT w时,则随机变量1 n一 E(|Xk")B '、二 nnnnnX _E(W X )Xk 、kkkknk-x的分布函数Fn(x)对于任意实数x ,恒有lim Fn(x) =lim P n_.Un ?:2t1X-=- e 2 dt =(x)IJOO' 2 二证明略.在李雅普诺夫定理的条件下，当n充分大时，随机变量nn、xl七k 1kA.Z =n近似服从标准正态分布N (0, 1).因此，当n充分大时，随机变量nnnE Xk =BnZn +£改近似

24、服从正态分布N(£匕Bl) .这就是说，无论k 七k ±k 4.随机变量X k (k =1,2，)服从什么分布,只要满足李雅普诺夫定理的条件当n充分大时，这些随机变量的和 乏Xk就近似服从正态分布.在许多实际问题中，所考察的随机变量往往可以表示成很多个独立的随机变量的和 例如，一个试验中的测量误差是由许多观察不到的、可加的微小误差合成 的；一个城市的用水量是大量用户用水量的总和，等等，它们都近似服从 正态分布.习题五1. 已知E(X)=1, D(X)=4 ,利用切比雪夫不等式估计概率PX -l| .：: 2.5 , 22. 设随机变量X的数学期望E(X) = P，方差D(X)=b ,利用切 比雪夫不等式估计p q x -|_ 3。).3. 随机地掷6颗骰子，利用切比雪夫不等式估计6颗骰子出现点数之和在15 : 27之间的概率.4. 对敌阵地进行1000次炮击，每次炮击中.