极限定理与条件期望.pptx

1、第3章 极限定理与条件期望,3.1 极限定理 3.2 条件期望,3.1 极限定理,2个不等式 3个大数定律 3个极限定理,一、问题的引入,实例:,考察射击命中点与靶心距离的偏差.,这种偏差是大量微小的偶然因素造成的微小误差的总和, 这些因素包括: 瞄准误差、测量误差、子弹制造过程方面 (如外形、重量等) 的误差以及射击时武器的振动、气象因素(如风速、风向、能见度、温度等) 的作用, 所有这些不同因素所引起的微小误差是相互独立的, 并且它们中每一个对总和产生的影响不大.,问题:,某个随机变量是由大量相互独立且均匀小的随机变量相加而成的, 研究其概率分布情况.,本节要解决的问题,为何能以某事件发生

2、的频率 作为该事件的 概率的估计？,为何能以样本均值作为总体 期望的估计？,为何正态分布在概率论中占 有极其重要的地位？,大样本统计推断的理论基础 是什么？,ANSWER,大数 定律,中心极 限定理,大数定律和中心极限定理是概率论的重要基本理论，它们揭示了随机现象的重要统计规律，在概率论与数理统计的理论研究和实际应用中都具有重要的意义。 迄今为止,人们已发现很多大数定律(laws of large numbers) 所谓大数定律，简单地说，就是大量数目的随机变量所呈现出的规律，这种规律一般用随机变量序列的某种收敛性来刻画。 仅介绍几个最基本的大数定律。下面，先介绍二个重要的不等式。,设非负随机

3、变量 X 的期望 E( X )存在，则对于任意实数 a 0 ,1. 马尔可夫（Markov） 不等式,证明,（我们仅对连续性的随机变量进行证明）,设 f (x) 为 X 的密度函数，则,设随机变量 X 的均值 E(X) 及方差D(X)都存在，则对于任意实数 0，有,2 契比雪夫（ chebyshev ）不等式,或,示意图,Ex,Ex+e,Ex-e,j(x),x,Dx/e2,证明,（我们仅对连续性的随机变量进行证明）,设 f (x) 为 X 的密度函数，记,则,说明,从定理中看出，如果D(x) 越小，那么随机变量 X 取值于开区间 中的概率就越大，这就说明方差是一个反映随机变量的概率分布对其分布

4、中心 (E(X) 的离散程度的数量指标,例1 设有一大批种子，其中良种占1/6. 试估计 在任选的 6000 粒种子中, 良种所占比例与 1/6 比较上下小于1%的概率.,解 设 X 表示 6000 粒种子中的良种数 ,X B (6000,1/6 ) -注：二项分布,实际精确计算：,用Poisson 分布近似计算：,取 = 1000,契比雪夫不等式说明，随机变量X 取值基本上集中在 EX 附近，这进一步说明了方差的意义。 同时当EX 和DX 已知时，契比雪夫不等式给出了概率 的一个上界，该上界并不涉及随机变量 X 的具体概率分布，而只与其方差 DX 和 有关，因此，契比雪夫不等式在理论和实际中

5、都有相当广泛的应用。需要指出的是，虽然契比雪夫不等式应用广泛，但在一个具体问题中，由它给出的概率上界通常比较保守。,在叙述大数定律之前，首先介绍两个基本概念。 定义1 设 为一个随机变量序列，记为 ，若对任何 n2，随机变量 都相互独立，则称 是相互独立的随机变量序列。 定义2 设 为一随机变量序列，X 为一随机变量或常数，若对任意0，有 则称 依概率收敛于 X , 记为 或 ， .,设相互独立的随机变量序列 分别具有均值 及方差 且若存在常数C，使 则对于任意给定的 ，有,3 契比雪夫大数定律,大数定律,证明,由于 相互独立，那么对于任意的 相互独立. 于是,由契比雪夫不等式可得,即,推论1

6、,一般地，称概率接近于1 的事件为大概率事件，而称概率接近于0 的事件为小概率事件. 在一次试验中大概率事件几乎肯定要发生，而小概率事件几乎不可能发生，这一规律称之为实际推断原理,推论1意义：,当 n 足够大时，算术平均值几乎就是一个常数, 可以用算术平均值近似地代替数学期望.,具有相同数学期望和方差的独立随机变量序列的算术平均值依概率收敛于数学期望. 即,推论1使我们关于算术平均值的法则有了理论上的依据。如我们要测量某段距离，在相同条件下重复进行n次，得n个测量值 ，它们可以看成是n个相互独立的随机变量,具有相同的分布、相同的数学期望和方差 ，由推论1的大数定律知，只要n充分大，则以接近于1

7、的概率保证 这便是在n较大情况下反映出的客观规律,故称为“大数”定律。,比推论1条件更宽的一个大数定律是辛钦（Khinchin）大数定律,它不需要推论1条件中“方差 存在”的限制，而在其它条件不变的情况下，仍有契比雪夫式的结论。,4 辛钦大数定律,强大数定律,5 贝努利（Bernoulli）大数定律,设 nA 是 n 次独立重复试验中事件 A 发生的次数, p 是每次试验中事件 A 发生的概率，则,，有,或,辛钦定理的特殊情况,证明,引入随机变量,显然,根据推论1有,证毕.,该定理 称为贝努利大数定理.,这是历史上最早的大数定律，是贝努利在1713年建立的。概率论的研究到现在约有300多年的历

8、史，最终以事件的频率稳定值来定义其概率。作为概率这门学科的基础，其“定义”的合理性这一悬而未决的带根本性的问题,由贝努利于1713年发表的这个“大数定律”给予了解决，被称为概率论的第一篇论文,为概率论的公理化体系奠定了理论基础。 之所以被成为“定律”,是这一规律表述了一种全人类多年的集体经验。因此，对尔后的类似定理统称为大数“定律”。,贝努里（Bernoulli） 大数定律的意义：,在 Bernoulli 定理的证明过程中， Y n 是相互独立的服从 0-1分布的随机变量序列 Xk 的算术平均值, Y n 依概率收敛于其数学期望 p .,结果同样适用于服从其它分布的独立随机变量序列,中心极限定

9、理,人们已经知道，在自然界和生产实践中遇到的大量随机变量都服从或近似服从正态分布，正因如此，正态分布占有特别重要的地位。那么，如何判断一个随机变量服从正态分布显得尤为重要。如经过长期的观测，人们已经知道，很多工程测量中产生的误差X 都是服从正态分布的随机变量。分析起来，造成误差的原因有仪器偏差X1、大气折射偏差X2,温度变化偏差X3、估读误差造成的偏差X4等等，这些偏差Xi 对总误差 的影响都很微小，没有一个起到特别突出的影响，虽然每个Xi的分布并不知道，但 却服从正态分布。类似的例子不胜枚举。,设 为一随机变量序列，其标准化随机变量 在什么条件下， , 这是十八世纪以来概率论研究的中心课题，

10、因而，从二十世纪二十年代开始，习惯上把研究随机变量和的分布收敛到正态分布的这类定理称为中心极限定理（Central Limit Theorems）。 这里仅介绍独立同分布场合下的中心极限定理。,定理6 独立同分布的中心极限定理,定理表明:,的分布函数Fn(x)对于任意的x满足,当 n 足够大时，Y n 的分布函数近似于标准正态随机变量的分布函数,（，1）,（，1）,或,推论2,近似服从正态分布,设相互独立的随机变量,服从同一分布，已知均值为,，方差为,但分布函数未知，当n 充分大时，,推论3,近似服从正态分布,设相互独立的随机变量,服从同一分布，已知均值为,，方差为,但分布函数未知，当n 充分

11、大时，,1,n,k,k,=,定理7 李雅普诺夫(Liapunov)定理,独立，且有有限的期望和方差：,记,若,则随机变量之和的标准化变量,定理表明:,(如实例中射击偏差服从正态分布),下面介绍的定理8是定理6的特殊情况.,定理8 德莫佛拉普拉斯中心极限定理 （DeMoivre-Laplace ）,设 Y n B( n , p) , 0 p 1, n = 1,2,则对任一实数 x，有,即对任意的 a b,Y n N (np , np(1-p) (近似),定理表明:,正态分布是二项分布的极限分布. 一般来说，当 n 较大时二项分布的概率计算起来非常复杂，根据该定理就可以利用正态分布来近似地计算二项

12、分布,正态分布的概率密度的图形,二项分布的随机变量可看作许多相互独立的0-1分布的随机变量之和,下面是当x-B(20,0.5)时,x的概率分布图,泊松分布相当于二项分布中p很小n很大的分布,因此,参数l=np当很大时也相当于n特别大,这个时候泊松分布也近似服从正态分布,下面是l=30时的泊松概率分布图.,中心极限定理的意义,在实际问题中，若某随机变量可以看作是有相互独立的大量随机变量综合作用的结果，每一个因素在总的影响中的作用都很微小，则综合作用的结果服从正态分布.,例 设有一大批种子，其中良种占1/6. 试估计 在任选的6000粒种子中，良种所占比例与 1/6比较上下不超过1%的概率.,解 设 X 表示6000粒种子中的良种数 , 则,X B(6000,1/6),比较几个近似计算的结果