第五部分随机变量的收敛

1、1第五章：随机变量的收敛性n随机样本：iid样本 ，n统计量：对随机样本的概括为随机变量， 的分布称为统计量的采样分布n如：样本均值、样本方差、样本中值12(,.,)nyt xxx=12,.,nxxxixf2收敛性n主要讨论两种收敛性3例1：依概率收敛n概率的频率解释：随着观测次数 的增加，频率将会逐渐稳定到概率 pa pan nafann0 0n nn nfap lim?nnfap limnnfapp 010nnfapp 0nfa nfa4例2：依分布收敛n考虑随机序列 ，其中n直观： 集中在0处， 收敛到0n但2 0nnxxvp 0,1nxnn nx（chebyshev不等式）210n n

2、x12,.,nxxx5两种收敛的定义n5.1 定义：令 为随机变量序列， 为另一随机变量，用表示的cdf，用 表示 的cdfn1、如果对每个 ，当 时，n则依概率收敛于 ，记为 。n2、如果对所有12,.,nxxx0en()0nxxe-ppnxx揪nxx()()limnnf tf t=同教材上 6两种收敛的定义n当极限分布为点分布时，表示为1, , ppnnxcand xx then xcp 1, , nnxcand xx then xcp7其他收敛n还有一种收敛：均方收敛（2收敛， converge to in quadratic mean） n对证明概率收敛很有用n当极限分布为点分布时，记

3、为2 0, , qmnnifxxasthen xxe qmnxc 1 0, , lnnifxxasthen xxe 2lim0nnxxelim0nnxxe8n依概率收敛n随机变量序列 ，当对任意 ，n则称随机变量序列 几乎处处依概率收敛到（converge almost surely to ） ，记为： n几乎处处收敛：比依概率收敛更强其他收敛0lim0nnxxp. .a snxx12,.,nxxx :lim0nnxxp或12,.,.nxxxlim0nnxxp lim:0nnxxp或9各种收敛之间的关系n点分布， 为实数l1almost surely(l2) 1xcp反过来不成立！quadra

4、tic meanprobabilitydistributionpoint-mass distribution10例：伯努利大数定律n设在一次观测中事件 发生的概率为 ，如果观测了 次，事件 发生了 次，则当 充分大时， 在次观测中发生的频率 逐渐稳定到概率 。0 lim0annpnp pa pan nafannann11例：5.3n令n直观： 集中在0处， 收敛到02 0nnxxvp 0,1nxnn nx（chebyshev不等式）21 n nx lim00nnxp12例：续n依分布收敛：令 表示0处的点分布函数， 表示标准正态分布的随机变量 0,1 n0,1nnxnnxn 0, nnnftx

5、tnxntzntas nppp 0,for t 1, nnnftxtnxntzntas nppp 0,for t , 0 0nnftf tfor all tx0tf但是 不是 的连续点 1 0, 001 2nfor tff 0010tf tt13收敛的性质( )( )( )( )( )( )5.5,. nnpppnnnnqmqmqmnnnnnnnnpppnnnnnnnnpnxx y ygaxxyyxyxybxxyyxyxycxxycxyxcdxxyyx yxyexxycx ycxfxxg揪井+揪 揪井+揪 换+揪井揪换揪定理：是机量， 是函如果，那么 如果，那么 如果，那么 如果，那么 如果，

6、那么 如果，那么 设随变连续数，()( )( )()( ).pnnnxg xgxxg xg x揪换如果，那么 14弱大数定律（wlln）n独立同分布（iid）的随机变量序列 ， 方差 ，则样本均值 依概率收敛于期望 ，即对任意n称 为 的一致估计（一致性）n在定理条件下，当样本数目 无限增加时，随机样本均值将几乎变成一个常量n对样本方差呢？依概率收敛于方差 ixeniinxnx11lim0nnxp0nx2ixv 12,.,nxxx222 0, nnxxasn vp证明：根据cheyshev不等式215()2222221111111111nnnnnnniiiiiinnsxxxnxxxnnnnn=

7、骣骣鼢珑=-=-=-鼢珑鼢珑鼢-桫桫邋 根据大数定律，()2211npiiixxn=揪e 又1, 1nas nn- 所以()22111npiiinxxnn=骣揪-桫e （如果,ppnnxx yy揪井，则pnnx yxy揪） 同样，根据大数定律，pnxm揪，由于( )2g yy=为连续函数， 所以22pnxm揪， 221pnnxnm揪- 所以()2222pnisxms= 揪 =e 样本方差依概率收敛于分布的方差16强大数定律（slln）n独立同分布（iid）的随机变量序列 ， 方差 ，则样本均值 几乎处处收敛于期望 ，即对任意ixeniinxnx11lim0nnxp2ixv 12,.,nxxx0

8、17例：大数定律n考虑抛硬币的问题，其中正面向上的概率为 ，令 表示单次抛掷的输出（0或1）。因此n若共抛掷 次，正面向上的比率为 。根据大数定律，n但这并不意味着 在数值上等于n而是表示当 很大时， 的分布紧围绕n令 ，若要求 ，则 至少为多少？n解：ix1iipxxpenxpnxp nxnx1 2p nxpnnxxpp21 2, 11 4nnxpxnppnnev21 2, 1iixpxppev212510.1110.740.1nxnn p1 250.7 84nn18中心极限定理(central limit theorem, clt)n独立同分布（iid）

9、的随机变量序列 , ，则样本均值 近似服从期望为 方差为 的正态分布 ，即其中 为标准正态分布或也记为 221lim2zxnnp zzzedx 2nnnn xzz2,nxnn niinxnx112, iixxev 12,.,nxxx19中心极限定理中心极限定理试验 http:/:8080/skills/portal/resources/65995/67826/entryfile/swf/zhongxinjixian.htm20例：中心极限定理n每个计算机程序的错误的数目为 ，n现有125个程序，用 表示各个程序中的错误的数目，求 的近似值n解： ,5xpoisson12125,.,xxx5.5

10、nxp5.55.5nnn xnxpp2115,5xxev2.50.9938zp1255.555zp21中心极限定理的应用之一二项概率的近似计算 n设 是 重贝努里试验中事件 发生的次数，则 ，对任意 ，有 n当 很大时，直接计算很困难。这时 如果不大（即 0.1，5）或 不大，则可用poisson分布来近似计算n,nbinomial n pab1n kkknna k babc pp pnp1np1!xn kkknc ppex ,npoissonnp22中心极限定理的应用之一二项概率的近似计算（续） n当 不太接近于0或1时，可根据clt，用正态分布来近似计算n根据clt，111nnnpanpn

11、npabnppnppnpppp11bnpanpnppnpp 11, 1nnnniiixbernoulli pxxxpxppnnev1nnniixnx,1,1nnxn pppnn np npp德莫弗拉普拉斯定理 23中心极限定理的应用之一二项概率的近似计算（续） n例：已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为3:1，现种植杂交种400株，求结黄果植株介于83到117之间的概率。 n由题意：任意一株杂交种或结红果或结黄果，只有两种可能性，且结黄果的概率 n种植杂交种400株，相当于做了400次贝努里试验，记为400株杂交种结黄果的株数，则 n当 =400较大时，根据clt，4

12、001 4p 400117400 1 483400 1 483117400 1 4 3 4400 1 4 3 4 p400400,1 4binomial1.961.96 21.9612 0.975 10.95 24中心极限定理的应用之一二项概率的近似计算（续） n例：某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？ n一个分机使用外线的概率 n260个分机中同时使用外线的分机数 n设总机确定的最少外线条数为 ,n则根据clt，0.04p 260260 0.040

13、.95260 0.04 0.961xnpxxnpp p260260,0.04binomial 16x25中心极限定理n标准差 通常不知道，可用样本标准差代替，中心极限定理仍成立，即n其中()22111nnniisxxn=-nnn xzss26中心极限定理n无论随机变量 为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布n但近似的程度与原分布有关31x e()( )31333sup4nzxzzznms- fep27多元分布的中心极限定理n令 为iid随机向量，其中n协方差矩阵为 ，令样本均值向量为n则 。，均值向量为，其中12,.,nxxx12.iiikixxxx1122.iikk

14、ixxxeee12.kxxxx11njjiixxn 0,n xn28delta方法n随机变量的变换的中心极限定理n假定 ，且 可导，n则n换句话说，()()0,1nn ynms-( )0gm( )( )()( )()0,1nn g ygngmm s-( )( )( )()222,nnyng ynggnnssmmm骣骣鼢珑鼢晦珑鼢珑鼢珑桫桫29n令 为iid，n其均值和方差（有限）分别为 n则根据clt：n假设 n则利用delta方法，有例：12,.,nxxx2, , snnwg xg se sgse()0,1nxnms-骣-桫()22,nwn eenmms30delta方法n多元变量情况n假设 为随机向量序列，n且 ，n令 且n令 表示 时 的 值，假设 中的元素非0，则12,.,nnnkyyyyy g:kgrr()()0,nn ynm-诲( )( )()()0,tnn g ygnmmm-逖( )1.kgyg ygy骣 = 桫31例：n令 为iid随机向量，n其均值为 ，方差为n令 ，根据clt：n定义 ，其中n所以则t12, 12121111, nniiiixxxxnn121 2,g s