大数定理与正态分布ppt课件

1、第十一讲第十一讲 大数定理与正态分布大数定理与正态分布 本次课讲授第四章第1-5节，正态分布，中心极限定理； 下次课讲授第四章第5节，第五章第1-4节;数理统计根底知识； 下次上课时交作业P41-42页； 重点：正态分布的概率、期望与方差； 难点：正态分布的概率、期望与方差；1. 协方差协方差:covariance )( )( YEYXEXE ),(YXc co ov v协方差协方差(相关矩相关矩):1均值性质定理：均值性质定理：)()()(),cov(YEXEXYEYX 2.协方差性质协方差性质一、回想：协方差与相关系数一、回想：协方差与相关系数第十一讲第十一讲 大数定理与正态分布大数定理与

2、正态分布2独立性质定理：独立性质定理：设随机变量设随机变量X与与Y 相互独立，那么：相互独立，那么：. 0),cov( YX(3)方差性质定理：方差性质定理： 设设X与与Y是恣意两个随机变量是恣意两个随机变量,那么：那么：),cov(2)()()(YXYDXDYXD 又又称称方方差差加加法法公公式式3. 相关系数相关系数1定义：定义：X与与 Y 的相关系数的相关系数: ),(cov),(),(),(cov* YXYXRYXRYXYXYXYX即即；的的相相关关系系数数，记记作作、为为则则称称是是其其标标准准化化随随机机变变量量、是是随随机机变变量量，、设设第十一讲第十一讲 大数定理与正态分布大数

3、定理与正态分布2相关系数的计算相关系数的计算: )()(),cov(),(YDXDYXYXR .1),()3( YXR性性质质定定理理：并且 . 0, 1;0, 1),(bbYXR(4)(4)强相关定理强相关定理,bXaY 1),( YXR不不相相关关。与与则则称称随随机机变变量量即即若若YXYEXEXYEYXR),()()(, 0),( (5)(5)不相关概念不相关概念由定义容易得到不相关的几个等价结论由定义容易得到不相关的几个等价结论; 0),()1( YXR式得到）式得到）（由相关系数的计算公（由相关系数的计算公; 0),cov()2( YX到）到）由协方差的均值定理得由协方差的均值定理

4、得)()()()3(YEXEXYE 公公式式推推出出。提提示示：该该式式方方差差的的加加法法)()()()4(YDXDYXD ),cov(2)()()(YXYDXDYXD 系系数数的的真真实实含含义义。来来确确定定。这这也也就就是是相相关关到到到到弱弱可可用用数数字字从从关关程程度度从从强强明明：两两个个随随机机变变量量的的相相强强相相关关和和不不相相关关结结论论说说01第十一讲第十一讲 大数定理与正态分布大数定理与正态分布11-1-1 将一枚硬币反复掷将一枚硬币反复掷n次，次，X 和和Y 分别表示正面向上和反分别表示正面向上和反面向上的次数，那么面向上的次数，那么X和和Y的相关系数等于的相关

5、系数等于解解,nYX 1),()1, YXRbnaXnY（1),(, 01 YXRb又又选选A.(A) -1 (B) 0 (C) 0.5 (D) 1. 2001年年例题例题11-1-22000，3分分2222222222)()()()()();()()()()()()()();()(),YEYEXEXEDYEXECYEYEXEXEBYEXEAYXYXYX （）不不相相关关的的充充要要条条件件为为（与与则则随随机机变变量量）的的方方差差期期望望都都存存在在，设设二二维维随随机机变变量量（ 0),cov(0),( R不相关不相关与与分析：分析：)()()(),cov(),cov(0YXEYXEYX

6、YXEYXYX )()()()()()()(22222222YEYEXEXEYEXEYXE B故选故选第十一讲第十一讲 大数定理与正态分布大数定理与正态分布二、切比雪夫定理二、切比雪夫定理 1.背景：假设一个随机变量分布的均值与方差，那么随机变量值的是以什么方式集中在均值附近？例如某年级1000名学生线性代数课程成果的均值为85分，我们关怀的是，有多少学生的成果集中在均值附近？2.2.切比雪夫定理不等式：切比雪夫定理不等式：。即：即：内的概率不小于内的概率不小于（取值在取值在则对于任一则对于任一设设22211)(.11), 0,)(,)(kkxPkkkxkXDXE 0 dxxfxxExD)()

7、()()(222 证证：为为密密度度函函数数，且且非非负负。其其中中)(xf第十一讲第十一讲 大数定理与正态分布大数定理与正态分布 非非负负且且由由于于域域分分成成三三部部分分证证：将将积积分分按按照照积积分分区区 kkkkkkdxxfxdxxfxdxxfxdxxfxdxxfxx)()()()()()()()()()()(,2222222222222)(,)(, kxkxkxkxkx 得出：得出：同理，第二个积分也可同理，第二个积分也可所以所以对第一个积分，由于对第一个积分，由于 kkdxxfkdxxfk)()(22222 即即： kkdxxfdxxfk)()(12 21)()(21xxdxx

8、fxXxP：由由区区间间概概率率和和密密度度关关系系第十一讲第十一讲 大数定理与正态分布大数定理与正态分布)()()()( xkPkxPdxxfdxxfkk 所所以以：)()()(12 kxPdxxfdxxfkkk 即即：211)(1)(kkxPkxP )()()( kxPkxPkxP )(1112 kxPk 即即：22)(1)(;)()(, xDXExPxDxExPk ：则则得得到到切切比比雪雪夫夫不不等等式式在在切切比比雪雪夫夫定定理理中中，令令第十一讲第十一讲 大数定理与正态分布大数定理与正态分布例题例题11-2-12001，数一，数一_)2)(2 xExPx估估计计，根根据据切切比比雪

9、雪夫夫不不等等式式的的方方差差为为设设变变量量2122)()2)(2)(222 xDxExPxD所所以以，由由已已知知中中，令令解解；在在切切比比雪雪夫夫不不等等式式设独立随机变量设独立随机变量 ,21nXXX并且方差是一致有上界的，即存在某并且方差是一致有上界的，即存在某, 2 , 1,)( niKXDi 那么对于任何正数那么对于任何正数 ，恒有，恒有 定理定理2切比雪夫大数定理切比雪夫大数定理分别有数学期望分别有数学期望 ),(,),(),(21nXEXEXE,),(,),(2 nXDXD及方差及方差 D(X1),一常数一常数K，使得，使得第十一讲第十一讲 大数定理与正态分布大数定理与正态

10、分布1)(11lim11 niiniinXEnXnP证证)(1)1()()()(1)1()()(,1121111 niiniiniiniiniiXDnXnDXDzDXEnXnEXEzEXnXz对对随随机机变变量量)(1 11 )(11 ,1,)(1)(1221112 niiniiniiniiXDnXEnXnPXnXzzDzEzP 即即：代代入入由由切切比比雪雪夫夫不不等等式式，第十一讲第十一讲 大数定理与正态分布大数定理与正态分布2211nnK .12 nK 所以上式：所以上式：因为因为,)(KXDi )(1 11 )(11 12211 niiniiniiXDnXEnXnP 1)1lim)(1

11、1lim211 nKXEnXnPnniiniin（1lim, 1 PPn即即又又由由概概率率性性质质1)(11lim11 niiniinXEnXnP推推论论视视为为切切比比雪雪夫夫不不等等式式的的该该不不等等式式可可)(1 11 )(11 12211 niiniiniiXDnXEnXnP 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布3.3.依概率收敛定义依概率收敛定义：时时趋趋于于的的概概率率当当事事件件若若对对任任何何正正数数1, naXn 1lim aXPnnanXn时依概率收敛于时依概率收敛于当当则称随机变量则称随机变量 推论：推论： 存在存在:;,2, 1,)(,)(2 ni

12、XDXEii 11lim1 niinXnP设独立随机变量设独立随机变量服从同一分布服从同一分布,期望及方差期望及方差nXXX,21 那么对于任何正数那么对于任何正数 ，有，有代代入入即即可可，在在切切比比雪雪夫夫大大数数定定理理中中 nnXEnniXDXEniiii1)(1;,2, 1,)(,)(12 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布在独立实验序列中在独立实验序列中,设事件设事件 A 的概率的概率P(A) = p， . 1)(lim pAfPnn定理定理3(3(伯努利定理伯努利定理按概率收敛于事件按概率收敛于事件 A 的概率的概率p.即对于任何正数即对于任何正数那么事件那

13、么事件 A在在 n 次独立实验中发生的频率次独立实验中发生的频率fn(A),当实验次当实验次数数时，时， n , 有有证证设随机变量设随机变量 Xi 表示事件表示事件A 在第在第 i 次实验中发生的次数次实验中发生的次数i=1,2, ,n, ,那么这些随机变量相互独立，服从一样的那么这些随机变量相互独立，服从一样的0-10-1分布，分布，且有数学期望与方差：且有数学期望与方差：, 2 , 1,)(,)(nipqXDpXEii 由切比雪夫定理的推论即得由切比雪夫定理的推论即得11lim1pXnPniin)(11AfnmXnnnii 而而 niiX1就是事件就是事件A在在n次实验中发生的次数次实验

14、中发生的次数m，由此可知，由此可知 . 1)(lim pAfPnn 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布三、正态分布的密度与分布三、正态分布的密度与分布1.1.背景：正态分布是现代统计学的根底。背景：正态分布是现代统计学的根底。1818世纪科学家发现丈世纪科学家发现丈量的误差具有惊人的规律性，这种规律性满足类似于某种特殊量的误差具有惊人的规律性，这种规律性满足类似于某种特殊的的“中间大，两头小的特征，现实中众多的问题都具有这种特中间大，两头小的特征，现实中众多的问题都具有这种特性，棣美佛、拉普拉斯、高斯是最初研讨类似景象并发现了其性，棣美佛、拉普拉斯、高斯是最初研讨类似景象并

15、发现了其密度和分布的数学家。他们将这种分布称为正态分布。密度和分布的数学家。他们将这种分布称为正态分布。2.2.正态分布的密度正态分布的密度 21)()()()()()()()()()(1221xxxdxxfxFxFxXxPxFxfdxxfxFxFxXPX，或或且且的的密密度度与与分分布布关关系系如如下下我我们们已已知知连连续续随随机机变变量量第十一讲第十一讲 大数定理与正态分布大数定理与正态分布.,2 N记作记作 1.1.定义定义其中其中 及及 0 0都为常数，这种分布叫做正态分布或高斯分布。都为常数，这种分布叫做正态分布或高斯分布。设延续型随机变量设延续型随机变量 X X 的概率密度为的概

16、率密度为 xexfx,21)(222)( dxxfdxex22221 xtdtet2221 1)21(1 02222dtet ）（21,21,02212dssdtst 则则令令dsesdtest 212212 dsesdtedxxfst 021022122222 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布奇偶伽马求奇偶伽马求正态积分三步走，标准正态积分三步走，标准特别地，当特别地，当 时，正态分布时，正态分布 叫做规范正态分布。叫做规范正态分布。 其概率密度为其概率密度为 xexx,2122 1,0N1, 0 2.2.正态分布正态分布 的密度曲线的密度曲线 2, NO 21 xfx

17、 22221 xexf假设固定假设固定=0 O xfx第十一讲第十一讲 大数定理与正态分布大数定理与正态分布第十一讲第十一讲 大数定理与正态分布大数定理与正态分布3.正态密度函数的性质正态密度函数的性质 积积分分的的特特殊殊性性函函数数，还还具具有有对对称称区区间间标标准准正正态态密密度度由由于于是是偶偶，数数的的非非负负规规范范性性，另另外外首首先先都都具具有有一一般般密密度度函函和和标标准准正正态态密密度度的的密密度度正正态态密密度度22222221)(21)(),(xxexexfN 121221221)(1)()(02022222 dxedxedxexdxxdxxfxxx 是是偶偶函函数

18、数且且212121020222 dxedxexx 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布O1 xFx0.5 的的表表达达式式为为：因因此此，正正态态分分布布2, N dtexFxt222 21 4.4.正态变量的分布函数正态变量的分布函数 xdxxfxFxFxf)()(),()(的的关关系系式式是是首首先先：分分布布函函数数与与密密度度的的关关系系式式为为：与与其其密密度度，则则为为量量的的分分布布函函数数特特殊殊地地，设设标标准准正正态态变变)()()(xxx dtedxxxxxtxx2221)()(),()( )(). 5xFx 求求（用用 xdttxx)()()(1 可以

19、查表求出，且可以查表求出，且）（ dxexFxFxXxPxxxx 21222122121)()()(2 求求区区间间概概率率和和分分布布函函数数）由由（第十一讲第十一讲 大数定理与正态分布大数定理与正态分布5 . 0)0(, 1)(, 0)( 由由标标准准正正态态密密度度的的性性质质 xt 212221xxtdte 1222 2 22121xtxtdtedte)()()()(1212ssdttdttss )()()()()()()(12121221 xxttxFxFxXxP)()(12 xx)()()()()(,222221 xxxXPxXPxx也也可可求求单单侧侧概概率率： xx 13）重重

20、要要结结论论：（)()(xXPxXPy 轴轴对对称称，即即标标准准正正态态分分布布密密度度关关于于)1)(1)()()xxXPxXPxXPx（即即 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布。标标准准积积分分时时，关关注注偶偶奇奇标标准准求求均均分分，口口诀诀：正正态态;P )(1)()()()(1211 xxXxPxXP11-3-1 ,2 , 12NX若若求求 .4 ;1 ;30XPXPXP解解 30 XP 210 213 5 . 0 1 15 . 0 1 16915. 08413. 0 .5328. 0 )1(1 XP 211 0 . 5 . 0 4 XP 2141 41XP

21、5 . 11 .0668. 0 , 3, 2, 1k 假设假设 , 求求X 落在区间落在区间 内的概率，内的概率， kk,其中其中例题例题11-3-2 2, NX第十一讲第十一讲 大数定理与正态分布大数定理与正态分布解解 kXkP kXP k 12k 查表得查表得 6826. 0112 XP 9544. 01222 XP 9973. 01323 XP 99994. 01424 XP kk k 9999994. 01)5(25 XP 9973. 01323 XP注注意意到到：003. 0002. 09973. 013 XP第十一讲第十一讲 大数定理与正态分布大数定理与正态分布O 21 xfx 2

22、 3 2 3 拐点拐点 拐点拐点 随机变量随机变量 X 落在落在 3,3之外的概率小于之外的概率小于3。 通常以为这一概率很小，根据小概率事件的实践不能够性通常以为这一概率很小，根据小概率事件的实践不能够性 原理，我们常把区间原理，我们常把区间 3,3看作是随机变量看作是随机变量 X 的的 实践能够的取值区间这一原理叫做三倍规范差原理或实践能够的取值区间这一原理叫做三倍规范差原理或3 法那么。法那么。第十一讲第十一讲 大数定理与正态分布大数定理与正态分布第十一讲第十一讲 大数定理与正态分布大数定理与正态分布例题例题11-3-32021，4分分. 2)(; 1)(;423)(;432)(, )0

23、, 0( ,0),(0),()(3, 1)()(2121 baDbaCbaBbaAbabaxxbfxxafxfxfxf）应应满满足足（则则若若均均匀匀分分布布的的概概率率密密度度，上上的的为为密密度度，为为标标准准正正态态分分布布的的概概率率设设1)()(, 031,41)(,21)()(, 0)(2212 dxxfxfxxfexxfxfx所所以以满满足足规规范范性性：是是密密度度函函数数，因因为为。其其它它由由题题设设：分分析析，显显然然 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布 0201)()()(1dxxbfdxxafdxxf即即：代代入入规规范范性性取取值值区区间间根根据

24、据由由已已知知xbaxxbfxxafxf, )0, 0( ,0),(0),()(21 , 1432143214202300222 babdxeadxbdxeaxx )(, 432Aba选答案选答案故：故： 四、正态分布的数字特征四、正态分布的数字特征1.1.数学期望数学期望 dxxxfXE)()(义义：根根据据数数学学期期望望即即均均值值定定代代入入公公式式的的密密度度函函数数将将正正态态分分布布021)(),(222)(2 xexfNxdxxeXEx222)(21)( xtdtett22)(21 dttedtett 2222221分分，后后者者为为奇奇函函数数对对称称积积）（前前者者为为区区

25、间间积积分分加加倍倍且且分分为为零零，而而偶偶函函数数对对称称注注意意奇奇函函数数对对称称区区间间积积 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布2.2.方差方差 将将正正态态分分布布密密度度代代入入由由方方差差定定义义 dxxfXExXD)()()(2 dxexXDx222)(2)(21)( xtdtett22222 ),(2 NX021)(222)( xexfx )(XE3.3.中心矩中心矩 dxxfXExXkk)()( 由由中中心心矩矩公公式式是偶函数是偶函数dtett 0222222 stesdtest 2,221222则则令令22202120212)21(212)23(2

26、22222)( dsesdsessXDss第十一讲第十一讲 大数定理与正态分布大数定理与正态分布dxexXxkk222)()(21)( xtdtettkk222 假设假设 k 为偶数，为偶数，2122kkk , 6, 4, 2!)!1( kkk 22tz dzzekkzk02122 假设假设 k 为奇数，奇函数对称积为奇数，奇函数对称积分分, 5, 3, 10 kk 那么：那么：dtettkkk02222 的的一一切切奇奇数数的的阶阶乘乘到到表表示示从从注注意意1!)!1( kk1第十一讲第十一讲 大数定理与正态分布大数定理与正态分布例题例题11-4-1(87,数学一数学一._)(_,)(,1

27、)(122 xDxEexfXxx则则的的概概率率密密度度为为已已知知 度度恒恒等等变变形形为为正正态态分分布布密密解解：将将X222)(21)( xexf222)212(121221211)(xxxxeexf 21)(, 1)(),21, 1(2 xDxENX其中：其中：则则22)212()1(2121 xe 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布第十一讲第十一讲 大数定理与正态分布大数定理与正态分布例题11-4-22021，4分._)()(),21(7 . 0)(3 . 0)( XExxxxFX函函数数，则则为为标标准准正正态态分分布布的的分分布布其其中中的的分分布布函函数数

28、为为设设随随机机变变量量2121)21(7 . 0)(3 . 0)()(),(的的复复合合函函数数是是注注意意由由密密度度与与分分布布的的关关系系：的的密密度度为为分分析析：设设xxxxxFxfxfX dxxxdxxxdxxxfEX)21(35. 0)(3 . 0)( 故只要积第二个即可故只要积第二个即可，为为为奇函数对称区间积分为奇函数对称区间积分是偶函数，是偶函数，注意到注意到0)()(xxx dttdtttdtttEX)(7 . 0)(4 . 12)()12(35. 0 7 . 0)(7 . 0)(700 dtt .二维随机变量二维随机变量 X,Y X,Y 的正态分布概率密度表示如下：的

29、正态分布概率密度表示如下： 22 22 22121 2121,yyyxyxxxyyxrxryxeryxf 其中，参数其中，参数 及及 分别是随机变量分别是随机变量 X X 及及 Y Y 的数学期望，的数学期望， x y 及及 分别是它们的规范差，分别是它们的规范差，x y 参数参数参数参数 r r 是它们的相关系数。是它们的相关系数。五、二维正态分布五、二维正态分布1.1.二维正态分布的密度二维正态分布的密度2.2.二维正态分布的边缘密度二维正态分布的边缘密度 根据二维分布密度函数定义根据二维分布密度函数定义 yxdudvvufyxFyx,),(),(第十一讲第十一讲 大数定理与正态分布大数定

30、理与正态分布 dxyxfyfdyyxfxxFxfYX),()(),(),()(，则则：（若若：),(),22yyxxNYNX dyerxfyxgyxX,2121)( 222)(21xxxxe .,2xxX 即即： 22222)()(2)()1 ( 21),(yyyxyxxxyyxrxryxg 其其中中：222)(21),()(yyxYYedxyxfyf 同同理理),(2YYNY ).,(),(),(2222YYXXYXYXNNrN ，分分别别为为分分布布都都是是一一维维正正态态分分布布的的两两个个边边际际因因此此，二二维维正正态态分分布布推导繁琐略）推导繁琐略）(第十一讲第十一讲 大数定理与正

31、态分布大数定理与正态分布3.3.二维正态分布的数字特征二维正态分布的数字特征.)(,)(,)(,)(),(2222YXYXYXYXYDXDYExErN 中中二二维维正正态态分分布布127.),(;),cov(),(),(),(22PrYXRrYXYXRYXCovrNYXYXYX可可参参考考相相关关教教材材证证明明繁繁琐琐略略，有有兴兴趣趣者者分分别别为为：与与相相关关系系数数的的协协方方差差布布可可以以证证明明：二二维维正正态态分分 假设随机变量假设随机变量X与与 Y 独立独立, 并且都服从正态分布并且都服从正态分布,那么那么 yfxfyxfYX,第十一讲第十一讲 大数定理与正态分布大数定理与

32、正态分布。独独立立且且都都服服从从正正态态分分布布与与充充要要条条件件是是）的的不不相相关关（、变变量量定定理理：二二维维正正态态分分布布的的YXrYXr00 22 22 22121 2121,yyyxyxxxyyxrxryxeryxf .21)()(222221 yyxxyxyxYXeyfxf 0, ryfxfyxfYX，得得：由由反之反之, 假设设假设设 r = 0, 那那么得么得 22222121,yyxxyxyxeyxf 222222 2121yyxxxyyxee yfxfYX 第十一讲第十一讲 大数定理与正态分布大数定理与正态分布，等效独立。，等效独立。口诀：二维正态不相关口诀：二维

33、正态不相关第十一讲第十一讲 大数定理与正态分布大数定理与正态分布例题例题11-5-12007，4分分.)()()();()()();()();()()()/()(),(/yfxfDyfxfCyfBxfAyxfXyYYXyfxfYXYXYXYXYXYXYX 密密度度的的条条件件概概率率的的条条件件下下，的的概概率率密密度度，则则在在、分分别别表表示示不不相相关关，与与服服从从二二维维正正态态分分布布，且且和和设设随随机机变变量量独立。独立。与与由已知，由已知，于独立，因此于独立，因此布情况下，不相关等效布情况下，不相关等效分析：因为二维正态分分析：因为二维正态分YX)()/()()/(),()/(/xfyxfBPABPAPBAPXYX 密度与分布同理：密度与分布同理：独立时的等价定义：独立时的等价定义：来来判判断断。并并求求出出及及等等效效独独立立性性代代入入注注：也也可可根根据据)(),()/()()(),(0/yfyxfyxfyfxfyxfrYYXYX 四、正态变量的线性函数的分布四、正态变量的线性函数的分布1.Y= a+bX 1.Y= a+bX 的分布的分