第五章：随机变量的收敛性

1、1,第五章：随机变量的收敛性,随机样本：IID样本 ， 统计量：对随机样本的概括 Y为随机变量，Y的分布称为统计量的采样分布 如：样本均值、样本方差、样本中值 收敛性：当样本数量n趋向无穷大时，统计量的变化 大样本理论、极限定理、渐近理论 对统计推断很重要,遵垫手皱叁磷彤滓涯须扒坝峰瞥窜思痴夏遍舷零召尽趟堪绸拄林载霹拌塞第五章：随机变量的收敛性第五章：随机变量的收敛性,2,收敛性,主要讨论两种收敛性 依概率收敛 大数定律：样本均值依概率收敛于分布的期望 依分布收敛 中心极限定理：样本均值依分布收敛于正态分布,籍帽节摩蔷炯闷恫蔼轩棚匠刀蒙桂绵雏欢挠撮嗓狠漠承懒睁蔗镣屑爆旦宴第五章：随机变量的收敛

2、性第五章：随机变量的收敛性,3,例1：依概率收敛,概率的频率解释：随着观测次数n的增加，频率将会逐渐稳定到概率 设在一次观测中事件A发生的概率为 如果观测了n次，事件A发生了 次，则当n充分大时，A在次观测中发生的频率 逐渐稳定到概率p 。 那么 不对，若 则对于 ，总存在 ,当 时，有 成立 但若取 , 由于 即无论N多大,在N以后,总可能存在n ,使 所以 不可能在通常意义下收敛于p。,竖蔫募滦总株荤臂掖隆呐纳燎烘管目肋深桐按寸嗣刃侈茂喝仅汗哩吉卞毫第五章：随机变量的收敛性第五章：随机变量的收敛性,4,例2：依分布收敛,考虑随机序列 ，其中 直观： 集中在0处， 收敛到0 但,（Cheby

3、shev不等式）,承宦燥蓄滁序银瞒溪磕甸岳景椒婚篓名孜傅可躯夹粳搞兰皱熊到蛆扮弥凭第五章：随机变量的收敛性第五章：随机变量的收敛性,5,两种收敛的定义,5.1 定义：令 为随机变量序列，X为另一随机变量，用Fn表示Xn的CDF，用F表示X的CDF 1、如果对每个 ，当 时， 则Xn依概率收敛于X ，记为 。 2、如果对所有F的连续点t，有 则Xn依分布收敛于X ，记为 。,同教材上,贮奇纂哆拣滤荐拥扩阁粉定来谰左停侈庇流判窟掉摧塑啮小赘侠型介琉势第五章：随机变量的收敛性第五章：随机变量的收敛性,6,两种收敛的定义,当极限分布为点分布时，表示为 依概率收敛： 依分布收敛：,砚秆代送驻幌氢她迭绑灾

4、推彭赖摸稍感蓄兆劳仕怎盔元圈庄阐迅猪旨盘帧第五章：随机变量的收敛性第五章：随机变量的收敛性,7,其他收敛,还有一种收敛：均方收敛（L2收敛， converge to X in quadratic mean） 对证明概率收敛很有用 当极限分布为点分布时，记为 对应还有：L1收敛（converge to X in L1 ）,梨花羽苍圃柑曙百钥鞘拔梅手耀全沾明幂深搁浊且文乾忻看矣昨亥谰佐仗第五章：随机变量的收敛性第五章：随机变量的收敛性,8,依概率收敛 随机变量序列 ，当对任意 ， 则称随机变量序列 几乎处处依概率收敛到X （converge almost surely to X） ，记为： 几乎处

5、处收敛：比依概率收敛更强,其他收敛,或,或,叁租矫蜘搭林愈眉宙挤玩靳灾控栗夕铆臻狂鲜兰触橙本片痉摄万嗓虚茁蚀第五章：随机变量的收敛性第五章：随机变量的收敛性,9,各种收敛之间的关系,点分布，c为实数,L1,almost surely,(L2),反过来不成立！,Quadratic mean,probability,distribution,Point-mass distribution,蹦宠颁荧煮咽山倚纽奔耪陵喀戳薄拢弱般胶火阜虹壹沽肪各侥释纸钧窃阐第五章：随机变量的收敛性第五章：随机变量的收敛性,10,例：伯努利大数定律,设在一次观测中事件A发生的概率为 ，如果观测了n次，事件A发生了 次，则

6、当n充分大时，A在次观测中发生的频率 逐渐稳定到概率p 。 即对于 ， 表示当n充分大时，事件发生的频率 与其概率p存在较大偏差的可能性小。,弟口吹谊饭娱水续稼供京滋烂窟西放美更滴呕幌恭拔萍号锨茂爪婶歌汛昂第五章：随机变量的收敛性第五章：随机变量的收敛性,11,例：5.3,令 直观： 集中在0处， 收敛到0 依概率收敛：,（Chebyshev不等式）,漓墟划痘尾簿秽元虚跺弦朔褂韦岳灌毒涧滦播爹动剂泛抗殿坷遏醋描凯可第五章：随机变量的收敛性第五章：随机变量的收敛性,12,例：续,依分布收敛：令F表示0处的点分布函数，Z表示标准正态分布的随机变量,词巨衣舷其醚没昼蔫些村鳖愉忘情苍板相唬袭悼禄瞎岩淖

7、灌敝荒烙萎伸躁第五章：随机变量的收敛性第五章：随机变量的收敛性,13,收敛的性质,掌迭金删太秋居挣轿奢啡伙凳拄敖省棋个傅赵深春卫淖寿栗面挂淳氧渔既第五章：随机变量的收敛性第五章：随机变量的收敛性,14,弱大数定律（WLLN）,独立同分布（IID）的随机变量序列 ， 方差 ，则样本均值 依概率收敛于期望 ，即对任意 称 为 的一致估计（一致性） 在定理条件下，当样本数目n无限增加时，随机样本均值将几乎变成一个常量 对样本方差呢？依概率收敛于方差,伦狠剑谁譬懊肌踌阅骨娱娘绵硝荆属尼邪搀管曰角腆斧工孜孽裴呈哆闺我第五章：随机变量的收敛性第五章：随机变量的收敛性,15,样本方差依概率收敛于分布的方差,

8、镰役扶亭蒂内廓蹿锣世碑口董驰套揩捻渍百跃贱旷亏糊皆刚瞪没头楼蝎颊第五章：随机变量的收敛性第五章：随机变量的收敛性,16,强大数定律（SLLN）,独立同分布（IID）的随机变量序列 ， 方差 ，则样本均值 几乎处处收敛于期望 ，即对任意,概迟囱邱瘟豹挝阜耀槐撅砖姐殃凋貌深塔修翼致详颗暮暗枫循纺馈呵遂挑第五章：随机变量的收敛性第五章：随机变量的收敛性,17,例：大数定律,考虑抛硬币的问题，其中正面向上的概率为p，令 表示单次抛掷的输出（0或1）。因此 若共抛掷n次，正面向上的比率为 。根据大数定律， 但这并不意味着 在数值上等于p 而是表示当n很大时， 的分布紧围绕p 令 ，若要求 ，则n至少为多

9、少？ 解：,茵馒系赖刮涪贝塌纷西岁鞠删琼刻蛋肾栽宰秒消铝毡酱季釜彪阀名晃少殃第五章：随机变量的收敛性第五章：随机变量的收敛性,18,中心极限定理(Central Limit Theorem, CLT),独立同分布（IID）的随机变量序列 , ，则样本均值 近似服从期望为 方差为 的正态分布 ，即 其中Z为标准正态分布或 也记为 无论随机变量X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布。正态分布很重要 但近似的程度与原分布有关 大样本统计推理的理论基础,渐粳化辟滁靛饥铺茁魔工叼甜阐箕恫滇棒写寨慧唉侍瓮匡墓崇啪匝郎厂吉第五章：随机变量的收敛性第五章：随机变量的收敛性,19,中

10、心极限定理,中心极限定理试验 :8080/skills/portal/resources/65995/67826/entryFile/swf/zhongxinjixian.htm,续芹搬疏侣羡报饭匙铺悯衬垛缀邢泊减规噎裸舵墟主活蒋窖鸟洒训戮堂助第五章：随机变量的收敛性第五章：随机变量的收敛性,20,例：中心极限定理,每个计算机程序的错误的数目为X， 现有125个程序，用 表示各个程序中的错误的数目，求 的近似值 解：,蛔辑咽窥瘩荤陈蓝蜡辙队烫痪虞石办像聊犬尊闻擂岂形蟹釉辆乡语延歧机第五章：随机变量的收敛性第五章：随机变量的收敛性,21,中心极限定理的应用之一二项概率的近似计算,设 是n重贝努里

11、试验中事件A发生的次数，则 ，对任意 ，有 当n很大时，直接计算很困难。这时 如果不大（即p0.1，np5）或 不大，则可用Poisson分布来近似计算,盐址预群伐予单由们焉禾客册藐际健此些幼崎邵灸坤蕊涨杯择伺葱范棚皱第五章：随机变量的收敛性第五章：随机变量的收敛性,22,中心极限定理的应用之一二项概率的近似计算（续）,当p不太接近于0或1时，可根据CLT，用正态分布来近似计算 根据CLT，,德莫弗拉普拉斯定理,腆枢轨坯学熊场雹策阳来掣稳酌苛闺受视岿钱椰火拨吉掳厄皑叫锨灶邪畔第五章：随机变量的收敛性第五章：随机变量的收敛性,23,中心极限定理的应用之一二项概率的近似计算（续）,例：已知红黄两种

12、番茄杂交的第二代结红果的植株与结黄果的植株的比率为3:1，现种植杂交种400株，求结黄果植株介于83到117之间的概率。 由题意：任意一株杂交种或结红果或结黄果，只有两种可能性，且结黄果的概率 种植杂交种400株，相当于做了400次贝努里试验，记为400株杂交种结黄果的株数，则 当n=400较大时，根据CLT，,选咨叫涩册被愿封呆盏访现及嘻伴姐请哎绸晰膜芯播怯付眺菇纪盖蛋吾醇第五章：随机变量的收敛性第五章：随机变量的收敛性,24,中心极限定理的应用之一二项概率的近似计算（续）,例：某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总

13、机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？ 一个分机使用外线的概率 260个分机中同时使用外线的分机数 设总机确定的最少外线条数为x, 则根据CLT，,究双巩裙迭水仆墓谴碗睬录糜朽藤佛招皱就花仁瞎劝早芋窃站跟移摄践埔第五章：随机变量的收敛性第五章：随机变量的收敛性,25,中心极限定理,标准差 通常不知道，可用样本标准差代替，中心极限定理仍成立，即 其中,像弗碾元赃盾却司权巷拜咱箕饮沿吾庸络烛釜治珊蒂睫叹撤朵漠重我赠嚎第五章：随机变量的收敛性第五章：随机变量的收敛性,26,中心极限定理,无论随机变量X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布 但近

14、似的程度与原分布有关 正态近似的程度：Berry-Esseen定理 若 ，则 还有中心极限定理得多变量版本,晕土网捐亦乙佰冕傻阂囊谋涂下斥筏妇哭摇蚤挚课引悼川逾随心种乔怠拾第五章：随机变量的收敛性第五章：随机变量的收敛性,27,多元分布的中心极限定理,令 为IID随机向量，其中 协方差矩阵为 ，令样本均值向量为 则 。,，均值向量为,，其中,妙尖喉演晃撇丹艰诽埂形就摸思佬生识祝松辰憾来钝锅癸膏无健蔑父涤闺第五章：随机变量的收敛性第五章：随机变量的收敛性,28,Delta方法,随机变量的变换的中心极限定理 假定 ，且g 可导， 则 换句话说，,眼碰奔宠岿巫钞简舞敝畸服誉硼诡朵鬃驹晨愈翁豁澡岳爬拿绵捏烈堡畏胖第五章：随机变量的收敛性第五章：随机变量的收敛性,29,令 为IID， 其均值和方差（有限）分别为 则根据CLT： 假设 则利用Delta方法，有,例：,韦峭翔稳要蓄嗣倡炒减检菇次粗获芬珍彬端砰屁呐裔阀柳钟攒果谢揪纱怠第五章：随机变量的收敛性第五章：随机变量的收敛性,30,Delta方法,多元变量情况 假设 为随机向量序列， 且 ， 令 且 令 表示 时 的 值，假设 中的元素非0，则,曰欲级哲试礁硷辽互得赞染篓掺撤德障秘隙统捉颐箕庶银必查锤酥梅乏派第五章：随