第14讲大数定律和中心极限定理

1、第14讲大数定律和中心极限定理,第五章 大数定律与中心极限定理,了解切比雪夫不等式。 了解切比雪夫大数定律和伯努利大数定律。 了解列维一林德伯格定理（独立同分布的中心极限定理）和棣莫佛-拉普拉斯定理（二项分布以正态分布为极限分布）。,第14讲大数定律和中心极限定理,一、切比雪夫不等式 二、大数定律 三、列维一林德伯格定理 四、棣莫佛-拉普拉斯定理,第五章 大数定律与中心极限定理,第14讲大数定律和中心极限定理,我们知道，概率论与数理统计是研究随机现象统计规律性的数学分支。但是，只有对大量随机现象进行观测时，随机现象的统计规律性才会呈现出来。为了考察“大量”的随机现象，就导致了极限定理的研究。概

2、率论中极限定理的内容是很广泛的，其中最主要的是大数定律和中心极限定理。,第14讲大数定律和中心极限定理,一、切贝谢夫不等式,定理1 设随机变量x有期望值Ex及方差Dx, 则任给e0, 有,第14讲大数定律和中心极限定理,示意图,E(X),E(X)+e,j(x),x,D(X)/e2,E(X)-e,第14讲大数定律和中心极限定理,证 如X是离散型随机变量, 那么,如果x是连续型随机变量, xj(x), 则,第14讲大数定律和中心极限定理,由于切贝雪夫不等式只利用随机变量的数学期望及方差就可对X的概率分布进行估计，因此它在理论研究及实际应用中有价值。从切贝雪夫不等式还可以看出，当方差越小时，事件发生

3、的概率也越小，从而可知，方差确实是一个描述随机变量与其期望值离散程度的一个量。,第14讲大数定律和中心极限定理,切比雪夫（Pafnutij Lwowitsch Tschebyscheff 1821-1894）俄国著名数学家，是享有世界声誉的学者，是大数定律的创建者之一。在数论中也有杰出的贡献，他对于素数的分布推出了新的不等式。业余时间研究机械，制作了许多精巧的机械作品，是莫斯科学派的主要建立者。他的学生马尔可夫导入了概率论中著名的“马尔可夫链”。,切比雪夫,第14讲大数定律和中心极限定理,设x是掷一颗骰子所出现的点数, 若给定e=1,2, 实际计算P(|x-Ex|e), 并验证切贝谢夫不等式成

4、立.解 因P(x=k)=1/6, (k=1,2,3,4,5,6),第14讲大数定律和中心极限定理,设电站供电所有10000盏电灯, 夜晚每一盏灯开灯的概率都是0.7, 而假定开关时间彼此独立, 估计夜晚同时开着的灯数在6800与7200之间的概率.,解 令x为同时开灯的数目, 则xB(10000, 0.7),可见只要有供应7200盏灯的电力就够用.,第14讲大数定律和中心极限定理,大数定律的概念,例1 掷一颗骰子, 出现1点的概率是1/6, 在掷的次数比较少时, 出现1点的频率可能与1/6相差很大, 但是在掷的次数很多时, 出现1点的频率接近1/6是必然的. 例2 测量一个长度a, 一次测量的

5、结果不见得就等于a, 量了若干次, 其算术平均值仍不见得等于a, 但当测量次数很多时, 算术平均值接近于a几乎是必然的.,二、大数定律,第14讲大数定律和中心极限定理,算术平均值在相同条件下对某一个随机变量进行反复地试验, 计划试验n次, 就试验方案而言, 这样的试验将产生出相互独立且同样分布的n个随机变量x1,x2,.,xn. 将这n个随机变量加起来除以n称做这n个随机变量的算术平均值,第14讲大数定律和中心极限定理,虽然n个随机变量的算术平均值仍然是随机变量, 人们相信当试验次数n无限增大的时候, 此随机变量将趋向于常数, 即数学期望, 这就是大数定律.,这就让人想到极限的概念. 但是,

6、传统的极限定义在这里遇到了麻烦. 传统的一个数列an的极限是定义为, 任给一个非常小的实数e, 存在着一个正数N, 当nN时, |an-a|e. 但概率不行. 比如说虽然掷硬币试验次数增加时频率将趋于0.5, 但无论试验多少回, 次次正面向上的机会都是存在的.,第14讲大数定律和中心极限定理,因此, 人们就尝试其它的定义有关随机变量的极限的办法. 比如说均方收敛. 大家知道当一个随机变量的方差为0时, 这个随机变量实际上就是一个常数. 那么, 可以知道,一组相互独立同分布的期望为m方差为s2随机变量, 它们的n个变量的算术平均值的期望和方差为,第14讲大数定律和中心极限定理,可见当随着试验次数

7、增加, n次试验的算术平均值的数学期望将保持不变, 而其方差则随着n的增加而减少, 趋向于0, 因此可以认为算术平均值将趋向于一个常数, 即随机变量的期望.由此定义出, 当一列随机变量的方差趋向于0的时候, 如果它们的数学期望不变为m, 则称为这组随机变量均方收敛于数学期望m, 记作,第14讲大数定律和中心极限定理,而切贝谢夫不等式又建立了方差与概率的关系, 将不等式中的X替换为Yn得,由此可见, 如果DYn趋向于0, 则Yn落在其期望m周围的任意一个小区间(m-e,m+e)内的概率就趋向于1, 因此人们就将这样的情况称做依概率收敛.,第14讲大数定律和中心极限定理,定义1 若存在常数X, 使

8、对于任何e0, 有,第14讲大数定律和中心极限定理,定理(契比雪夫定理的特殊情况) 设随机变量X1,X2,.,Xn,.相互独立, 且具有相同的数学期望和方差: E(Xk)=m, D(Xk)=s2(k=1,2,.), 作前n个随机变量的算术平均,则对于任意正数e, 有,第14讲大数定律和中心极限定理,证 由于,由契比雪夫不等式可得,第14讲大数定律和中心极限定理,在上式中令n, 并注意到概率不能大于1, 即得,E(X1)=E(X2)=.=E(Xn)=m. 这种接近是概率意义下的接近. 通俗地说, 在定理的条件下, n个随机变量的算术平均, 当n无限增加时将几乎变成一个常数.,第14讲大数定律和中

9、心极限定理,定理二(伯努利大数定律) 设X是n次独立重复试验中事件A发生的次数. P(00, 有,或,第14讲大数定律和中心极限定理,证 因为Xb(n,p), 由第四章, 有X=X1+X2+.+Xn,其中, X1,X2,.,Xn相互独立, 且都服从以p为参数的(0-1)分布. 因而E(Xk)=p, D(Xk)=p(1-p) (k=1,2,.,n), 由(1.1)式即得,第14讲大数定律和中心极限定理,率收敛于事件的概率p. 这个定理以严格的数学形式表达了频率的稳定性. 就是说n很大时, 事件发生的频率与概率有较大偏差的可能性很小. 由实际推断原理, 在实际应用中, 当试验次数很大时, 便可以用

10、事件发生的频率来代替事件的概率.,第14讲大数定律和中心极限定理,定理三 切比雪夫大数定律 设随机变量 相互独立,每一随机变量都有数学期望 和有限的方差 ， 并且它们有公共上界c,即 ，则对任意的e 0 ，皆有,在1866年由俄国数学家切贝雪夫证明的大数定律是关于大数定律大的一个相当普遍的结论。贝努里大数定律就是切贝雪夫大数定律的一个特例。,第14讲大数定律和中心极限定理,定理一中要求随机变量X1,X2,.的方差存在. 但这些随机变量服从相同分布的场合, 并不需要这一要求, 我们有以下的定理.定理四(辛钦大数定理) 设随机变量X1,X2,.,Xn,.相互独立, 服从同一分布, 且具有数学期望E

11、(Xk)=m(k=1,2,.), 则对于任意正数e, 有,这个定理说明我们应当相信只要反复试验, 则一个随机变量的算术平均值将趋向于常数, 通常就是数学期望.,第14讲大数定律和中心极限定理,1959年11月18日卒於莫斯科。1916年畢業於莫斯科大學，先後在莫斯科大學和蘇聯科學院斯捷克洛夫數學研究所等處工作。1927年成為教授。1935年獲得物理數學博士學位。1939年被選為蘇聯科學院通訊院士。 辛欽的早期研究成果屬於函數的度量理論，引進了漸近導數的概念，推廣了當儒瓦積分，研究了可測函數的結構。這些研究的思想(度量特徵)深刻地影響了他在數論和概率論上的研究。他在數論上的成就主要是丟番圖逼近論

12、和連分數的度量理論的出色成果，他的關於自然數列和的密率不等式也曾引起數學界的注意。,辛欽 (1894-1959),蘇聯數學家與數學教學家。現代概率論的奠基者之一。在分析學、數論及概率論對統計學力學的應用方面也有重要貢獻。1894年7月19日生於莫斯科康德羅沃。,第14讲大数定律和中心极限定理,獨立隨機變量序列是概率論的重要領域，他首先與A.H.柯爾莫哥洛夫討論了隨機變量級數的收斂性。他證明了:1)作為強大數律先聲的辛欽弱大數律；2)隨機變量的無窮小三角列的極限分布類與無窮可分分布類相同。還研究了分布律的算術問題和大偏差極限問題。 在極限定理方面他取得了重要的結果；發展了重對數規律，給出了平穩隨

13、機過程的定義並奠定了它的理論基礎。他還把概率論的方法廣泛地應用於統計物理學。並研究了質量管理中的數學方法。 他對高等和中等學校的教育改革作出了貢獻。主要著作有、等。,第14讲大数定律和中心极限定理,三、中心极限定理,中心极限定理是概率论的一个非常重要的定理, 它原来叫中心极限定律. 对中心极限定理, 只需要记住这样一个描述就行: 如果多个相互独立的随机变量相加, 不管它们是离散的还是连续的或者是任何类型的, 只要它们大小相差并不悬殊, 则加起来以后得到的随机变量, 就近似服从正态分布.,第14讲大数定律和中心极限定理,由前几章的讨论可知，正态分布在随机变量的一切可能分布中占有特殊的地位。在客观

14、世界中我们遇到的许多随机变量都是服从或近似服从正态分布的。为什么大量的随机变量都服从正态分布呢?李雅普诺夫证明了在某些一般的充分条件下，当随机变量的个数无限增加时，独立随机变量的和的分布是趋于正态分布的。在概率论中把研究大量独立随机变量和的分布以正态分布为极限的这一类定理统称为中心极限定理。在概率论发展史上，许多科学家建立了众多的中心极限定理。在本节中我们只给出两个常用的中心极限定理。因为定理的证明要用到较多的数学知识，所以下面我们只给出结论而不予证明。,第14讲大数定律和中心极限定理,正态分布的概率密度的图形,第14讲大数定律和中心极限定理,二项分布的随机变量可看作许多相互独立的0-1分布的

15、随机变量之和, 下面是当XB(20,0.5)时, x的概率分布图,第14讲大数定律和中心极限定理,泊松分布相当于二项分布中p很小n很大的分布, 因此, 参数l=np当很大时也相当于n特别大, 这个时候泊松分布也近似服从正态分布, 下面是l=30时的泊松概率分布图.,第14讲大数定律和中心极限定理,在c2(n)分布中, 如果自由度n很大, 也可以认为是多个自由度为1的相互独立的c2(1)分布的随机变量的和, 因此也近似服从正态分布. 下面是c2(60)的概率密度曲线.,x,0,60,120,第14讲大数定律和中心极限定理,定理五(独立同分布的中心极限定理) 设随机变量X1,X2,.,Xn,.相互

16、独立, 服从同一分布, 且具有数学期望和方差E(Xk)=m, D(Xk)=s2, (k=1,2,.). 则随机变量之和X1+X2+.+Xn的标准化变量设为Yn:(近似服从标准正态分布),第14讲大数定律和中心极限定理,Yn的分布函数Fn(x)对于任意x满足,证明略.,第14讲大数定律和中心极限定理,此定理说明, 均值为m, 方差为s2的独立同分布的n个随机变量(n超过10或者20以上) X1,X2,.,Xn之和X1+X2+.+Xn近似服从正态分布N(nm, ns2). 或者将其标准化有,这样就可以用正态分布对X1+X2+.+Xn作理论分析或作概率计算, 好处是明显的.,第14讲大数定律和中心极

17、限定理,将上式左端改写成,这是独立同分布中心极限定理结果的另一个形式.,第14讲大数定律和中心极限定理,这就是说, 均值为m, 方差为s20的独立同分布的随机变量X1,X2,.,Xn的算术平均,m, 方差为s2/n的正态分布. 这一结果是数理统计中大样本统计推断的基础.,第14讲大数定律和中心极限定理,定理六(棣莫弗-拉普拉斯定理) 设随机变量Xn(n=1,2,.)服从参数为n,p(0p1)的二项分布, 则对于任意x, 有,证 Xn可看作由n个服从同一(0-1)分布的随机变量X1,X2,.,Xn的和Xn=X1+X2+.+Xn, 其中E(Xk)=p, D(Xk)=p(1-p)(k=1,2,.,n

18、), 由定理四得,第14讲大数定律和中心极限定理,法国一英国数学家棣莫弗De Moivre, Abraham于1667年5月26日在法国维特里的勒弗朗索瓦出生。 早年为法国加尔文派教徒，于新旧教斗争中遭监禁。获释后，于1685年移居英国伦敦，并一直从事家 庭教师及保险业顾问等职。他与牛顿、天文学家哈雷为友，专心研究科学。1695年，写了有关牛顿流数术研究之论文。两年后当 选为英国皇家学会会员，及后获柏林科学院与巴黎科学院院士衔头。最后不幸于1754年11月27日在英 国伦敦逝世。在数学中尤其概率论方面，他的贡献重大。1711年，他写了抽签的计量，并在七年后修改扩 充为机遇论发表。这是早期概率论

19、的专着之一，当中首次定义了独立事件的乘法定理，给出二项 分布公式，更讨论了许多掷骰和其他赌博的问题。,第14讲大数定律和中心极限定理,另外，他于1730年出版的概率着作分析杂录中使用了概率积分 ，得出n阶乘的级数表达式，并指 出对于很大的n，n！ ，但现误称为斯特林公式。而且此书使其成为最早使用概率积分的人。三 年后，他又以阶乘的近似公式导出了正态分布的频率曲线，并作二项分布之近似。 他亦是最早给出棣莫弗公式：cos i sinn = cos ni sin n的学者之一。他虽于1722 年才正式发表此公式，但实际上，已于1707年在研究三角学时得到此式。而且，他还以复数证明了求解 方程Xn -

20、1=0等同于把圆周分为n等分。棣莫弗还于1725年出版专门论着，把概率论应用于保险事业上。,第14讲大数定律和中心极限定理,1767年由達朗貝爾介 紹獲得巴黎陸軍學校數學教授職位。1785年當選為法國科學院院士。1795年任綜合工科學校教授，後又在 高等師範學校任教授。1816年成為法蘭西學院院士，次年任該院院長。主要研究天體力學和物理學，認為 數學只是一種解決問題的工具，但在運用數學時創造和發展了許多新的數學方法。主要成就是：在天體 力學（5卷1799-1825）中匯聚了他在天文學中的幾乎全部發現，試圖給出由太陽系引起的力學問題的完 整分析解答，闡述了天體運行、地球形狀、行星攝動、月離理論和

21、三體問題等等，引入著名的拉普拉斯方 程 ；在概率的分析理論（1812）中總結了當時整個概率論的研究，論述了概 率在選舉、審判調查、氣象等方面的應用，導入拉普拉斯變換等。,拉普拉斯（Laplace, Pierre-Simon, 1749-1827）,法國數學家、天文學家。1749年3月23日生於諾曼底的博蒙昂諾日，1827年3月5日卒於巴黎。家境貧寒 ，靠鄰居資助上學，顯露數學才華，在博蒙軍事學校讀書不久就成為該校數學教員。,第14讲大数定律和中心极限定理,一加法器同时收到20个噪声电压Vk(k=1,2,.,20), 设它们是相互独立的随机变量, 且都在区间(0,10)上服从均匀分布, 记V=V1+V2+.+V20, 求P(V105)的近似值.,解 易知E(Vk)=5, D(Vk)=100/12(k=1,2,.,20). 则E(V)=E(V1+.+V20)=E(V1)+.+E(V20)=100, D(V)=D(V1+.+V20)=D(V1)+.+D(V20)=1000/6,根据中心极限定理, 近似有 VN(100, 1000/6).,第14讲大数定律和中心极限定理,VN(100, 1000/6). 于是,即有 PV1050.348.,第14讲大数定律和中心极限定理,一船舶在某海区航行, 已知每遭受一次波浪的冲击, 纵摇角大于3的概率为p=1/3,