大数定律与中心极限定理

1、第四章 大数定律与中心极限定理教学目的与教学要求：了解特征函数的定义和常用分布的特征函数；理解并能应用大数定律；掌握依概率收敛和按分布收敛的概念；掌握并能应用独立同分布下的中心极限定理。教学重点：大数定律、依概率收敛和按分布收敛的概念、中心极限定理。教学难点：大数定律和中心极限定理的应用。教学措施：理论部分的教学多采用讲授法，注意思想方法的训练，计算类问题采用习题与讨论的方法进行教学。教学时数：12学时教学过程：41特征函数特征函数是处理概率论问题的有力工具，其作用在于：(1)可将求独立随机变量和的分布的卷积运算化成乘法运算；(2)可将求各阶矩的积分运算化成微分运算；(3)可将求随机变量序列的

2、极限分布化成一般的函数极限问题等。4.1.1特征函数的定义定义4.1.1设X是一个随机变量，称计X(t) E(e )( t )其中i为虚数单位，为X的特征函数。注：因为|eitX | 1 ,所以E(eitX)总是存在的，即任一随机变量的特征函数总是存在的特征函数的求法:(1)当离散随机变量X的分布列为Pk P(XXk)(k 1,2,3, U|)则X的特征函数为(t)eitXk Pk( t );k 1(2)当连续随机变量X的密度函数为p(x),则X的特征函数为 itx(t) e p(x)dx ( t ) o特征函数的计算中用到复变函数，为此注意:(1)欧拉公式：e1tx cos(tx) i si

3、n(tx);复数的共腕：a bi a bi ；复数的模：|a bi | Ja2 b2。例4.1.1常用分布的特征函数itpe q ； 单点分布：p(X a) 1,其特征函数为(t) eita;(2) 0 1 分布：p(Xx)px(1 p)1x(x 0,1),其特征函数为 (t)k 泊松分布P( ): p(X k) e (k 0,1,2,),其特征函数为k!(t)k 0k ikt e 一 e k!eit(eit 1)e e e1(4)均匀分布U(a,b):因为密度函数为p(x) b a0a x b其它所以其特征函数为(t)b itx e dxibtiatit(b a)(5)标准正态分布N(0,1

4、):因为密度函数为p(x)21 x2y2 e ( x ),所以其特征函数为1 itx E 11(t)；e 2dx ； e 2(x a ge 2 dx e 2 ；(6)指数分布Exp():因为密度函数为P(x)0,所以其特征函数为eitxe xdx ( 0 cos(tx)exdxsin(tx)exdx)(7 ilp) (1 -)1o4.1.2特征函数的性质性质4.1.1| (t)|(0) 1。性质4.1.2(t) (t),其中(t)是(t)的共腕。性质4.1.3若Y aX b ,其中a、b是常数，则丫ibt / ,、e X(at) o性质4.1.4独立随机变量和的特征函数为特征函数的积,即设X与

5、Y相互独立，则X Y(t)X(t)Y(t)。性质4.1.5若E(Xl)存在，则X的特征函数(t)可l次求导，且对1 k l,有(0) ikE(Xk) 0注：上式提供了一条求随机变量的各阶矩的途径，特别可用下式去求数学期望和方差，E(X) 一(0 i、Var(X) (0) ( (0)2。例4.1.2利用特征函数的方法求伽玛分布 Ga(,)的数学期望和方差?t解：因为Ga(,)的特征函数(t) (1 -),从而(t) -(1 与13(1 K)于是(。)(0) -3所以E(X) -(0) I2(1) I 2Var(X) (0) ( (0)2(一)o定理4.1.1 (一致连续性)随机变量 X的特征函数

6、 在(，)上一致连 续。定理4.1.2 (非负定性)随机变量X的特征函数(t)是非负定的，即对任意正整数n及n个实数t1、t2、tn和n个复数乙、z2、zn,有 n n(tk tj)ZkZj 0。 k 1 j 1定理4.1.3 (逆转公式)设F(x)和(t)分别是随机变量X的分布函数和特征 函数，则对F(x)的任意两个连续点X1 X2,有Itx1ItX21 T e e 2F(X2) F(x) TlIm T- (t)dt o定理4.1.4 (唯一性定理)随机变量的分布函数由其特征函数唯一决定定理4.1.5若X为连续随机变量，其密度函数为 p(x),特征函数(t),如果，即 | (t)|dt ,则

7、有P(x)2e1tx (t)dt。42大数定律在本课程一开始引入事件与概率的概念时， 曾指出就一次试验而言，一个随机事件可以出现也可不出现，但作大量的重复试验则呈现出明显的规律性 (统计 规律性)，即：任一事件出现的频率是稳定于某一固定数的，这固定数就是该事 件在一次试验下发生的概率，这里说的“频率稳定于概率” ，实质上是频率依某 种收敛意义趋于概率，“大数定理”就是解释这一问题的。由于正态分布在概率统计中的重要地位和作用，因而用很多时间介绍正态分 布，为什么实际上有许多随机现象会遵循正态分布？这仅仅是一些人的经验猜测 还是确有理论依据，“中心极限定理”正是讨论这一问题的。4.2.1伯努利大数

8、定律定理4.2.1(伯努利大数定律)设n为n重伯努利试验中事件A发生的次数,而p(0 p 1)是事件A在每次试验中发生的概率，则 0,有lim p| - p| n n、人1证明：令Xk01。第k次试验A发生第k次试验A不发生(k 1,2,|,n),则 X1X2、 Xnn1 n-E( Xk)n k 1是n个相互独立的随机变量，且 E(Xk) p、Var(Xk) pq、 n Xk ,于是 k 1nn np 1nxzpXknn n k 1由切比雪夫不等式得:n1 np(| p| ) p(LXk1 n-E( Xk)|n k 1nVar(Xk)k 12 2npq2 n TOC o 1-5 h z 从而

9、lim p(| p|) 0nn即：lim p| Jp | 1nn42.2常用的几个大数定律、大数定律的一般形式定义4.2.1设XJ是一随机变量序列，若 0,有1 n 1 nlim p(|- Xi - E(Xi)|) 1nn 1 n 1成立，则称随机序列Xn服从大数定律。二、切比雪夫大数定律定理4.2.2 (切比雪夫大数定律)设Xn为一两两不相关的随机变量序列,若每个Xi的方差存在，且有共同的上界，即存在常数c,使得Var(Xi)c(i 1,2,3,),0,有limn1 np(| Xin i 1E(Xi)|) 1。证明：由不相关性知:nnVar ( Xi)Var(Xi) nci 1i 1由切比雪

10、夫不等式得:1 n1 np(|- Xi - E(Xi)|n i 1n i 1Var( Xi)i 11 n 1 n _从而 lim p(|- Xi - E(Xi)| nn i 1 n i 1一1 n1 n即：lim p(|- Xi - E(Xi)|nn i 1n i 1)1。三、马尔可夫大数定律定理4.2.3 (马尔可夫大数定律)设Xn为一随机变量序列，若马尔可夫条1 n lim 2Var( X,) n n i成立，则 0,有1 n 1nlim p(|；iiXi MnE(Xi)|) 1。例4.2.1设Xn为一同分布、方差存在的随机变量序列，且 Xn仅与Xn1和Xn 1相关，而与其他的XI不相关，

11、试问该随机变量序列Xn是否服从大数定律？解：由于Xn为相依随机变量序列，于是利用马尔可夫大数定律判断 TOC o 1-5 h z n1 nn 1-2Var( XJ 二(Var(XJ 2 Cov(Xi,Xi 1) ni 1n i 1i 1记Var(Xn)2 ,则 |Cov(Xi，Xj)|2,从而n122、 3n 2 22Var( XJ 2(n 2(n 1) )20n 11nn即马尔可夫条件满足，故结论成立。四、辛钦大数定律定理4.2.4 (辛钦大数定律)设Xn为一独立同分布的随机变量序列，若Xi的数学期望存在，则 0,有n 1 nlim p(|- Xi - E(Xi)|) 1。nn i 1 n

12、i 1注意：(1)伯努利大数定律是切比雪夫大数定律的特例；(2)切比雪夫大数定律是马尔可夫大数定律的特例；(3)伯努利大数定律是辛钦大数定律的特例。43随机变量序列的两种收敛性随机变量序列的收敛性常用的有两种:(1)依概率收敛：用于大数定律；(2)按分布收敛：用于中心极限定理4.3.1依概率收敛定义4.3.1 (依概率收敛)设工为一随机变量序列，Y为一随机变量。若nlim p(|Y Y| ) 1(或 nlim p(|Yn Y| ) 0)则称Yn依概率U敛于Y ,记作Yn P Y注：随机变量序列Xn服从大数定律-Xi - E(Xi) p 0n i 1 n i 1从定义可见，依概率收敛就是实函中的

13、依测度收敛。依概率收敛的四则运算:定理4.3.1设Xn、Yn是两个随机变量序列，a、b是两个常数。若Xnp a、Ynp b则(1) Xn Ynp a b；(2) Xn Yn pa b； (3) X。Ynp a b(b 0)。4.3.2按分布收敛、弱收敛我们知道，随机变量的统计规律由它的分布函数全面描述，当Xn p X时,其相应的分布函数Fn(x)与F(x)之间的关系怎样呢？例4.3.1设X、Xn都服从退化分布，令p(X 0) 1p(Xn ：) 1 (n 1,2,|)|)一.， TOC o 1-5 h z 于是对任给0,当n 时，有p(|Xn X | ) p(|Xn|) 0所以Xnp X1x n

14、1x n而X、Xn的分布函数分别为1x 0十F(x) cC 和 Fn(x)0 x 0从而，当 x 0时，有 Jim Fn(x) F(x)当 x 0时，lim Fn(0) lim 0 0 1 F(0)。 nn上例表明：一个随机变量序列依概论收敛于某个随机变量，相应的分布函数不是在每一点都收敛，但如果仔细观察这个例，发现不收敛的点正是 F(x)的不连续点，类似的例子可以举出很多，使人想到要求 Fn(x)在每一点都收敛到F(x)是太苛刻了，可以去掉F(x)的不连续点来考虑。定义4.3.2设Fn (x)是随机变量序列Xn的分布函数列，F(x)是X的分布函数，若对F(x)的每一连续点x ,都有lim F

15、n(x) F(x) n则称Fn(x)弱收敛于F(x),记作Fn(x) w F(x),也称Xn按分布收敛于X ,记作Xn L X o依概率收敛与按分布收敛间的关系：定理 4.3.2 Xn p XXn L X o证明：对于x、x R,有(X x) (Xn x,X x)lJ(Xn x,X x) (X。x)U(Xx,X x)于是 p(X x) p(Xn x) p(Xn x,X x )当x x时，有F(x) Fn(x) p(Xn X| x x)由 Xn p X 得：p(Xn X x x) 0(n )所以，F(x)阿 Fn(x)于是对任意xx x ,有 F(x)同理可证，当x x时，有lim Fn(x)

16、F(x ) nlim Fn(x) lim Fn(x) F(x ) nnx ,有 F (x 0) Jjm Fn(x) nHm Fn(x) F(x 0) TOC o 1-5 h z 若x是F(x)的连续点，就有nim Fn(x)F(x)注：此定理的逆定理不成立例4.3.2设X的分布列为11p(x 1) 2、p(x i)-令Xn X ,则Xn与X同分布，即Xn与X有相同的分布函数，故XnL X ；但对任意的02,有p(|Xn X| )p(2|X |) 1即：Xn不依概率收敛于X。定理4.3.3若c为常数，则Xnp c Xn L Co证明：必要性已由定理4.3.2给出，下证充分性：对任意的 0 ,有p

17、| Xn C| p(Xn C ) p(Xn C )p(Xn C .2) p(Xn C ) 1 Fn(C .2) Fn (C)由题意知：常数C的分布函数为F(x)C (即其只在x c处不连续，而c/2和c 处都是连续的，由XnFn(x)wF(x)得：p| Xn c| |1 1 0 0(n)即：Xn p co4.3.3判断弱收敛的方法定理4.3.4分布函数序列Fn(x)弱收敛于分布函数F(x)的充要条件是Fn(x)的特征函数序列 n(t)收敛于F(x)的特征函数(t)。辛钦大数定律的证明：证明：因Xn独立同分布，故Xn a独立同分布，从而有相同的特征函数(t),由 E(Xk a) 0 -(0，将(

18、t)在t 0处展开，有 i(t)(0)(0)t o(t) 1 o(t),.一 .、，11 n由Xn a相互独立，得Yn - (Xk a)的特征函数为 n k 1Yn(t)n(-) (1 O(-)nnn对于任意t R ,有nlim Yn(t) pm (1 o()n 1由定理4.3.4知YnL 0,再由定理4.3.3得Ynp 0,即Xn服从大数定理,44中心极限定理独立随机变量和设Xn为独立随机变量序列，记其和为nYnXii 1中心极限定理就是研究独立随机变量和的极限分布为正态分布的问题。独立同分布下的中心极限定理定理4.4.1 (林德贝格-勒维中心极限定理)设Xn是独立同分布的随机变量序列，且

19、E(Xi)、Var(Xi)(i 1,2,),则对任意实数x ,有nXinnlim p(U忑一 x) (x)1 x e dt o4.4.3二项分布的正态近似定理4.4.2 (棣莫弗-拉普拉斯极限定理)设n是n重贝努里试验中事件A发生的次数，而p是事件A在每次试验中发生的概率，则对任意实数 x,有.t2n np1 x 5lim p(-. x) (x)e 2dt on ,npq. 2二项分布在np 5和n(1 p) 5时，由中心极限定理用正态分布近似较好,因为二项分布是离散分布，而正态分布是连续分布，所以用正态分布作为二项分布的近似计算中，作些修正可以提高精度。若 ki k2均为整数，一般先作如下修

20、正后再用正态近似p(kin k2) p(k10.5 n k2 0.5)k2 0.5 np(F-)k1 0.5 np(/=)。npq中心极限定理的应用:、已知n和y ,求概率例4.4.1 100个独立工作(工作的概率为0.9)的部件组成一个系统，求系统中至少有85个部件工作的概率?解：令Xi第i个部件正常工作第i个部件不正常工作,则系统中正常工作的部件数为100YXi - b(100,0.9),且 E(Y) 90、Var(Y) 9i 1于是，所求概率为85 0.5 90p(Y 85) p(Y 85 0.5) 1()31( 5.5/3)(1.83) 0.966。、已知n和概率，求y例4.4.2某车间有200台独立工作(工作的概率为0.7)的机床，每台机床工 作时需15(kW)电力，问共需多少电力，才可以有 95%的可能性保证此车间正常生产?解：令Xi第i台机床工作第i台机床不工作,则200台机床中同时工作的机床数为200Y Xi - b(200,0.7),且 E(Y) 140、Var(Y) 42 i 1此车间正常生产同时工作的Y台机床所需电力数不超过供电数 y (kW),于是，由题意知y 15 0.5 140(、益 ) 0.95由(1.645) 0.95y 15 0.5 1401.645y 2252 (kW)。三、已知y