依概率收敛与弱大数定律

2依概率收敛与弱大数定律一、依概率收敛二、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数 . 例如 , 向区间 0,1 上随机等可能投点,表示落点的位置，定义精品资料()1,0,0,0.5(0.51, ()0,1, 0,0.5( 0.51, .(1)则和具有相同的分布函数f(x)=0,1 / 2,1,x0,0x1,x1.(2)|d如果定义n, n1 , 则n, 但n|1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.定义 1设和n 是定义在同一概率空间(,f, p) 上的随机变量序列. 如果对任意 0,limnp(|n|)=0,(3)或limnp(|n|)=1,(3) p则称n 依概率收敛(convergence in probability)于，记作n.p注定义 1 要求所有和n 的定义域相同.n可直观地理解为：除去极小的可能性，只要n 充分大，n 与的取值就可以任意接近.d从上面例子可以看出, 由np并不能导出n. 关于这两种收敛性之间的关系，我们有下面的定理.定理 1设和n 是定义在概率空间( ,f, p) 上的随机变量序列.p1. 如果nd, 则n.dp2. 如果nc , c 为常数，则nc .证1.设 f 和 fn 分别是和n 的分布函数，x 表示 f 的连续点 . 任意给定0,(x)(x,nx)(x,nx)(nx)(n) ,因此f(x)fn ( x)p(n) .p(p令 n, 由于n, 故n)p(|n|)0 , 从而f(x)limnfn (x ).(4)类似地(nx )(nx,x)(nx ,x)(x)(n) ,从而fn ( x)f(x)p(n) .令 n, 得limnfn ( x)f( x).(5)连接 (4) (5) 两式，对任意 0,有f(x)limnfn (x )limnfn ( x)f( x).由于 f 在 x 点连续，令0,就得d2.如果nc ，则limnfn( x)f( x)d, 即n.lim f( x)0,xcnn1,xc .因此对任意0 ,有p(|1nc |)p(ncp(nc)p(ncp(nc)=1fn ( c0)fn (c)0,(n ).定理证毕 .例 1设n 独立同分布，都为0, a 上的均匀分布,napn.max1 ,2 ,n .求证w证由定理 1, 只须证明n 的分布函数g n (x )d( xa) , 其中 d(x-a) 是在 a 点的退化分布函数 .g( x) f( x)n从第二章知道：若k 的分布函数为f(x),则n 的分布函数为n. 现在k 的分布函数为f(x)=0,x / a, 1,x0,0xa, xa.故g n ( x)0,( x / a) n ,x00 xa0,xa1,xa d(x-a)=1,xa(n ).证毕.依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法 . 大部分性质放在习题中留给读者自己证明.例 2设和n 是定义在概率空间( ,f, p) 上的随机变量序列. 求证：pp1. 若n，n, 则 p( = )=1.f ( )pp2. 若n, f 是 (- , ) 上的连续函数，则f (n ).证1.任意给定0 ，我们有(|)(|n|/ 2)(|n|/ 2) ,从而p(|)p(|n|/ 2)p(|n|/ 2) .|pp由n,n, 并注意到上式左方与n 无关 , 得 p(|)=0.进一步 ,|0)p(|1 / n)p(|1 / n)p(|n 1n 1=0,即 p( =)=1.2.任意给定,0 ，存在m0,使得p(| |m)p(| |m /2)/ 4 .(6)n1n(|p由于n, 故存在1, 当 n1 时,pn|m /2)/4 , 因此p(|n |m )p(|n|m / 2)p(|m / 2)/ 4/ 4/ 2(7)又因 f (x)在(- ,) 上连续，从而在-m, m 上一致连续 . 对给定的0,存在0,当|x-y| 时，| f (x)- f (y)|0,p(| | x)ef (| |)f ( x ).(10)证当 ef(| |)= 时，(10) 式显然成立 . 设 ef(| |)x时, f(| y|)f (x ) ,从而p(|x)df ( y)f (| y |) df ( y)|y| x| y| xf ( x)1f ( x)f (|y |)df ( y)ef (|)f (x).n2|21p定理 3n当且仅当e|nx 2|0.证充分性：注意到f (x)= 1x 2 在0, 上非负单调不减, 对任意0,由定理 2|)12|2nennp(|21 |20,p即n.必要性：设n的分布函数是fn ( x ) . 对任意0,22e|n| 1|n|x21x 2dfn(x)|x |x 22 dfn ( x)1 x|x|x 22 dfn ( x)1x212|x2dfn (x )2= 1p(|n|).(11)n|21p2由于n, 在(11) 式两边先令n, 再让0 ，即得证e|n|0.二、弱大数定律考虑随机试验e 中的事件a，假设其发生的概率为p (0 p 1),现在独立重复地做试验n次 n 重贝努里试验. 令1,i0,a在第i次试验中出现a在第i次试验中不出现,1in .nsni则 p(i =1)=p, p(i =0)=1-p.i 1是做试验e n 次后 a 发生的次数， 可能值 0,1,2,n,视sn试验结果而定. 熟知ensn=p.在第一章 1 中曾经指出 : 当 n时频率n稳定到 （ 在某种意义下收敛于）概率p.我们想知道snn与 p 之间的差究竟有多大.sn首先应该意识到不可能期望对任意给定的0 1,当 n 充分大时 , |n-p|对所有试验结果成立 . 事实上，当0 p 1,snp(nn=1)=p(1 =1,n =1)= p,snp(nn1p)=0)=p(1 =0,n =0)=(,sn它们都不为零. 而在第一种情况，取 ; 在第二种情况，取sn .sn然而，当n 充分大后，事件nsn=1 和n=0 发生的可能性都很小. 一般来说，自然地希望sn当 n 充分大以后，出现|n-p|的可能性可以任意地小. 这一事实最早由贝努里发现.定理 4 （ 贝努里大数定律） 设n 是一列独立同分布的随机变量，p(n =1)=p,nsnisnpp(n =0)=1-p,0 p 1,记i 1, 则np .继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.定义 2设n 是定义在概率空间(, f, p)上的随机变量序列，如果存在常数列 an 和 b n 使得1nkb nan k 1p0,(n )，(12)则称n 服从弱大数定律( weak law of large numbers),简称 n 服从大数定律.定理 5 （ 切比雪夫大数定律） 设n 是定义在概率空间(,f, p) 上的独立随机变量序列，2en =n , varn =n . 如 果1n2n 2 k 1k0，则 n 服从弱大数定律，即1nn k 1k1 np0n k 1k.证考察随机变量1nn k 1k, 因 e(1nn k 11nk)= n k 1k, var(1 nn k 11n2k)= nk 12k，用第三章2 的切比雪夫不等式，得p(|1n(n k 1kk )|12)var(1nn k 1k )=11n2 ( n2 k 12k) 0.此即所证 .注 1贝努里大数定律是切比雪夫大数定律的特例.注 2如果条件“n 独立”被“n 两两不相关”所代替， 定理 5 依然成立 . 更一般地 , 由该定1n21n2理的证明容易看出：如果取消条件“n 独立”，但条件“nk 1k 0”改为“n2var( k 1k)0”,则定理 5 的结论仍然成立, 称为“马尔科夫大数定律” .如果n 不仅独立，而且同分布，则可以改进定理5 如下：定理 6（ 辛钦大数定律） 设n 是定义在概率空间(, f, p)上的独立同分布随机变量序列，n|snksnpe|1. 记 e1 =,k 1, 则n 服从弱大数定律，即n.证分别令f (t ) 与fn (t ) 为1 与 sn / n 的特征函数. 既然 n 相互独立同分布，那么fn (t ) = ( f (tn/ n ). 另外 , e1= , 所以由泰勒展开式知f (t ) =1+ito(t ) ,t0.(13)对每个 tr,f (t/ n) =1+it / no(1 / n) , n ,(14)f n (t ) =(1+it / no(1 / n) ) ni te,n.p由于 ei t 恰好是集中单点的退化分布的特征函数，运用第一节的逆极限定理即可知道dsn / n. 再根据定理1 得 sn / n. 定理证毕 .k sks例 2设k 有分布列0.5 0.5, s1 /2 为常数， 且k 相互独立 . 试证 k 服从弱大数定律.k sks证已知k 有分布列0.5 0.52 sk，所以 ek =0, vark =. 当 s1/ 2 时,1nn 2 kvark11= n 2nk 2sk 11nn 2 kn 2sn 2s 101.另外, k 又是相互独立的，所以k 服从切比雪夫大数定律，即1nkn k 1p0 .2 / x 3 , x1例 3设k 相互独立 , 密度都为p(x)=0,x1，求证 k 服从大数定律.证k 独立同分布 , ek =xp(x )dx =2,所以 k 服从辛钦大数定律.2例 4设k 独立同分布 , ek = , vark =. 令1n21n2nksn(kn )n k 1,n k 1.s2p2求证:n.s21nn(证n k 1kn )2=1n(kn k 1)(n) 21n22(kn k 1)(n).(15)p由辛钦大数定律知n，从而 (n2p20). 再因 (k)独立同分布，22e(k)=vark =2, 故(k) 也服从辛钦大数定律，即1n2(k)p2n k 1.s2p2由(15) 式与依概率收敛的性质（习题18 ），n.注在数理统计中，n 称为样本均值，n2sn1n称为样本方差. 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.最后，给出随机变量序列的另一种收敛性概念.| |nr定义 3设和, n1 , 是定义在同一概率空间(,f, p) 上的随机变量序列，e,n |1re |, n, 0 r . 如 果e |nr|0，(16)l r则称n r- 阶平均收敛 (convergen