概率论与数理统计知识点总结(详细)

概率论与数理统计 第一章第一章 概率论的基本概念概率论的基本概念.2 2样本空间、随机事件.2 4 等可能概型（古典概型）.3 5条件概率.3 6独立性.3 第二章第二章 随机变量及其分布随机变量及其分布.3 1 随机变量.3 2 离散性随机变量及其分布律.3 3 随机变量的分布函数.3 4 连续性随机变量及其概率密度.3 5 随机变量的函数的分布.3 第三章第三章 多维随机变量多维随机变量.3 1 二维随机变量.3 2 边缘分布.3 3 条件分布.3 4 相互独立的随机变量.3 5 两个随机变量的函数的分布.3 第四章第四章 随机变量的数字特征随机变量的数字特征.3 1数学期望.3 2 方差.3 3 协方差及相关系数.3 第五章第五章 大数定律与中心极限定理大数定律与中心极限定理.3 1 大数定律.3 2 中心极限定理.3 第一章第一章 概率论的基本概念概率论的基本概念 2样本空间、随机事件样本空间、随机事件 1事件间的关系 则称事件 B 包含事件 A，指事件 A 发生必然导致事件 B 发生 BA 称为事件 A 与事件 B 的和事件，指当且仅Bxxx 或ABA 当 A，B 中至少有一个发生时，事件发生BA 称为事件 A 与事件 B 的积事件，指当Bxxx 且ABA A，B 同时发生时，事件发生BA 称为事件 A 与事件 B 的差事件，指当且仅Bxxx 且ABA 当 A 发生、B 不发生时，事件发生BA ，则称事件 A 与 B 是互不相容的，或互斥的，指事件 A 与事 BA 件 B 不能同时发生，基本事件是两两互不相容的 ，则称事件 A 与事件 B 互为逆事件，又称事件且S BA BA A 与事件 B 互为对立事件 2运算规则 交换律 ABBAABBA 结合律)()( )()(CBACBACBACBA 分配律 )()B(CAACBA）（ )()( CABACBA 徳摩根律BABAABA B 3频率与概率频率与概率 定义 在相同的条件下，进行了 n 次试验，在这 n 次试验中，事件 A 发生的次数称为 A n 事件 A 发生的频数频数，比值称为事件 A 发生的频率频率nnA 概率：概率：设 E 是随机试验，S 是它的样本空间，对于 E 的每一事件 A 赋予一个实数，记为 P（A） ，称为事件的概率 1概率满足下列条件：)(AP （1）非负性非负性：对于每一个事件 A 1)(0AP （2）规范性规范性：对于必然事件 S 1)S(P （3）可列可加性可列可加性：设是两两互不相容的事件，有 n AAA, 21 （可以取） n k k n k k APAP 11 )()(n 2概率的一些重要性质： （i） 0)(P （ii）若是两两互不相容的事件，则有（可以取） n AAA, 21 n k k n k k APAP 11 )()(n （iii）设 A，B 是两个事件若，则，BA )()()(APBPABP)A()B(PP （iv）对于任意事件 A，1)(AP （v） （逆事件的概率）)(1)(APAP （vi）对于任意事件 A，B 有)()()()(ABPBPAPBAP 4 等可能概型（古典概型）等可能概型（古典概型） 等可能概型：试验的样本空间只包含有限个元素，试验中每个事件发生的可能性相同 若事件 A 包含 k 个基本事件，即，里 21k iii eeeA 个不同的数，则有中某，是，k k n2 , 1iii , 21 中基本事件的总数 包含的基本事件数 S )( 1j A n k ePAP k ji 5条件概率条件概率 （1）定义：设 A,B 是两个事件，且，称为事件 A 发生的0)(AP )( )( )|( AP ABP ABP 条件下事件 B 发生的条件概率条件概率 （2）条件概率符合概率定义中的三个条件 1。非负性：对于某一事件 B，有0)|(ABP 2。规范性：对于必然事件 S， 1)|(ASP 3 可列可加性：设是两两互不相容的事件，则有, 21 BB 11 )()( i i i i ABPABP （3）乘法定理 设，则有称为乘法公式0)(AP)|()()(BAPBPABP （4）全概率公式： n i ii BAPBPAP 1 )|()()( 贝叶斯公式： n i ii kk k BAPBP BAPBP ABP 1 )|()( )|()( )|( 6独立性独立性 定义定义 设 A，B 是两事件，如果满足等式，则称事件 A,B 相互独)()()(BPAPABP 立 定理一 设 A，B 是两事件，且，若 A，B 相互独立，则0)(AP BPABP)|( 定理二 若事件 A 和 B 相互独立，则下列各对事件也相互独立：A 与 与，与，BABAB 第二章第二章 随机变量及其分布随机变量及其分布 1 随机变量随机变量 定义 设随机试验的样本空间为是定义在样本空间 S 上的实值单值函X(e)X e.S 数，称为随机变量X(e)X 2 离散性随机变量及其分布律离散性随机变量及其分布律 1 离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种 随机变量称为离散型随机变量 满足如下两个条件（1）， （2）=1 kk) (pxXP0 k p 1k k P 2 三种重要的离散型随机变量 （1）分布 设随机变量 X 只能取 0 与 1 两个值，它的分布律是 ，则称 X 服从以 p 为参数的分布或两点) 101 , 0kp-1p)k( k- 1k pXP（，）（ 分布。 （2）伯努利实验、二项分布 设实验 E 只有两个可能结果：A 与，则称 E 为伯努利实验.设 A ，此时.将 E 独立重复的进行 n 次，则称这一串重复的1)p0pP(A)（p-1)AP( 独立实验为 n 重伯努利实验。 满足条件（1）， （2）=1 注意n2 , 1 , 0kqp k n )kX( k-nk ， P0 k p 1k k P 到是二项式的展开式中出现的那一项，我们称随机变量 X 服从参数 k-nkq p k n n qp）（ k p 为 n，p 的二项分布。 （3）泊松分布 设随机变量 X 所有可能取的值为 0,1,2，而取各个值的概率为 其中是常数，则称 X 服从参数为的泊松分布记,2 , 1 , 0, k! e )kX( -k kP 0 为）（X 3 随机变量的分布函数随机变量的分布函数 定义 设 X 是一个随机变量，x 是任意实数，函数 x-x,PX)x(F 称为 X 的分布函数 分布函数，具有以下性质(1) 是一个不减函数 （2）)()(xXPxF)(xF （3）1)(, 0)(1)(0FFxF，且是右连续的即)(),()0(xFxFxF 4 连续性随机变量及其概率密度连续性随机变量及其概率密度 连续随机变量：如果对于随机变量 X 的分布函数 F（x） ，存在非负可积函数，使)(xf 对于任意函数 x 有则称 x 为连续性随机变量，其中函数 f(x)称为 X,dttf)x(F x - ）（ 的概率密度函数，简称概率密度 1 概率密度具有以下性质，满足（1）；)(xf1)( (2) , 0)( - dxxfxf （3）；（4）若在点 x 处连续，则有 2 1 )()( 21 x x dxxfxXxP)(xf)(F x ， )(xf 2,三种重要的连续型随机变量 (1)均匀分布 若连续性随机变量 X 具有概率密度，则成 X 在区间(a,b)上服 ，其他 ， 0 a a-b 1 )( bx xf 从均匀分布.记为），（baUX (2)指数分布 若连续性随机变量 X 的概率密度为 其中为常数，则称 ，其他 ， 0 0.e 1 )( x- x xf 0 X 服从参数为的指数分布。 （3）正态分布 若连续型随机变量 X 的概率密度为， ） xexf x - 2 1 )( 2 2 2 ( 的正态分布或高斯分布，记为，服从参数为为常数，则称（，其中X)0 ），（ 2 NX 特别，当时称随机变量 X 服从标准正态分布10， 5 随机变量的函数的分布随机变量的函数的分布 定理 设随机变量 X 具有概率密度又设函数处处可导且恒有,-)( x xxf，)(xg ，则 Y=是连续型随机变量，其概率密度为0)( , xg)(Xg 其他，0 , )()( )( , yyhyhf yf X Y 第三章第三章 多维随机变量多维随机变量 1 二维随机变量二维随机变量 定义 设 E 是一个随机试验，它的样本空间是和是定义在 SX(e)X e.SY(e)Y 上的随机变量，称为随机变量，由它们构成的一个向量（X，Y）叫做二维随机X(e)X 变量 设（X，Y）是二维随机变量，对于任意实数 x，y，二元函数 称为二维随机变量（X，Y）的yYxPXy)(Yx)P(XyxF，记成），（ 分布函数 如果二维随机变量（X，Y）全部可能取到的值是有限对或可列无限多对，则称 （X，Y）是离散型的随机变量。 我们称为二维离散型随机变量（X，Y）的，2 , 1ji)yY( ijji pxXP 分布律。 对于二维随机变量（X，Y）的分布函数，如果存在非负可积函数），（yxF f（x，y） ，使对于任意 x，y 有则称（X，Y）是连续性，），（），（ y - x - dudvvufyxF 的随机变量，函数 f（x，y）称为随机变量（X，Y）的概率密度，或称为随机变量 X 和 Y 的联合概率密度。联合概率密度。 2 边缘分布边缘分布 二维随机变量（X，Y）作为一个整体，具有分布函数.而 X 和 Y 都是随），（yxF 机变量，各自也有分布函数，将他们分别记为，依次称为二维随机变量）（y),xFX Y F （X，Y）关于 X 和关于 Y 的边缘分布函数。边缘分布函数。 ，2 , 1ixPXp 1j iiji p，2 , 1jyPYp 1i iij j p 分别称为（X，Y）关于 X 和关于 Y 的边缘分布律。边缘分布律。 i p j p 分别称， dyyxfxfX）,()( dxyxfyfY）,()()(xfX 为 X，Y 关于 X 和关于 Y 的边缘概率密度边缘概率密度。)(yfY 3 条件分布条件分布 定义 设（X，Y）是二维离散型随机变量，对于固定的 j，若, 0 j yYP 则称为在条件下随, 2 , 1, , i p p yYP yYxXP yYxXP j ij j ji jij yY 机变量 X 的条件分布律，同样 为在条件下随机变量 X, 2 , 1, , j p p xXP yYxXP XXyYP i ij i ji iji xX 的条件分布律。 设二维离散型随机变量（X，Y）的概率密度为， （X，Y）关于 Y 的边缘概),(yxf 率密度为，若对于固定的 y，0，则称为在 Y=y 的条件下 X 的条件)(yfY)(yfY )( ),( yf yxf Y 概率密度，记为=)( yxf YX )( ),( yf yxf Y 4 相互独立的随机变量相互独立的随机变量 定义 设及，分别是二维离散型随机变量（X，Y）的分布），（yxF)(Fx X )(Fy Y 函数及边缘分布函数.若对于所有 x,y 有，即yPY,xXPyYxXP ，则称随机变量 X 和 Y 是相互独立的。(y)F(F,F YX xyx 对于二维正态随机变量（X，Y） ，X 和 Y 相互独立的充要条件是参数0 5 两个随机变量的函数的分布两个随机变量的函数的分布 1，Z=X+Y 的分布 设(X,Y)是二维连续型随机变量，它具有概率密度.则 Z=X+Y 仍为连续性),(yxf 随机变量，其概率密度为或 dyyyzfzf YX ）,()( dxxzxfzf YX ）,()( 又若 X 和 Y 相互独立，设（X，Y）关于 X，Y 的边缘密度分别为则)(),(yfxf YX 和这两个公式称为 dyfyzfzf YXYX y)()(（） dxxzfxfzf YXYX )()(） 的卷积公式卷积公式 YX ff , 有限个相互独立的正态随机变量的线性组合仍然服从正态分布有限个相互独立的正态随机变量的线性组合仍然服从正态分布 2，的分布的分布、XYZ X Y Z 设(X,Y)是二维连续型随机变量，它具有概率密度，则),(yxfXYZ X Y Z， 仍为连续性随机变量其概率密度分别为dxxzxfxzf XY ),()( 又若 X 和 Y 相互独立，设（X，Y）关于 X，Y 的边缘密度分别dx x z xf x zfXY),( 1 )( 为则可化为 )(),(yfxf YX dxxzfxfzf YXXY )()()( dx x z fxf x zf YXY )()( 1 )( X 3的分布及，,minNYXmaxYXM 设 X，Y 是两个相互独立的随机变量，它们的分布函数分别为由于)(),(yFxF YX 不大于 z 等价于 X 和 Y 都不大于 z 故有YXmax，M 又由于 X 和 Y 相互独立，得到的分布函zYz,PXzPMYXmax，M 数为)()()( max zFzFzF YX 的分布函数为,minNYX)(1)(11)( min zFzFzF YX 第四章第四章 随机变量的数字特征随机变量的数字特征 1数学期望数学期望 定义 设离散型随机变量离散型随机变量 X 的分布律为，k=1,2，若级数绝 kk pxXP 1k kkp x 对收敛，则称级数的和为随机变量 X 的数学期望，记为，即 1k kkp x)(XE i kkp xXE)( 设连续型随机变量连续型随机变量 X 的概率密度为，若积分绝对收敛，则称积)(xf dxxxf)( 分的值为随机变量 X 的数学期望，记为，即 dxxxf)()(XE dxxxfXE)()( 定理 设 Y 是随机变量 X 的函数 Y=(g 是连续函数)(Xg （i）如果 X 是离散型随机变量离散型随机变量，它的分布律为，k=1,2，若 k pXPx k 绝对收敛则有 k k k pxg 1 (）)Y(E)(XgE k k k pxg 1 (） （ii）如果 X 是连续型随机变量连续型随机变量，它的分概率密度为，若绝对收敛则)(xf dxxfxg)()( 有)Y(E)(XgE dxxfxg)()( 数学期望的几个重要性质 1 设 C 是常数，则有CCE)( 2 设 X 是随机变量，C 是常数，则有)()(XCECXE 3 设 X,Y 是两个随机变量，则有；)()()(YEXEYXE 4 设 X，Y 是相互独立的随机变量，则有)()()(YEXEXYE 2 方差方差 定义 设 X 是一个随机变量，若存在，则称为 X 的方)( 2 XEXE)( 2 XEXE 差，记为 D（x）即 D（x）=，在应用上还引入量，记为，)( 2 XEXE)(xD)(x 称为标准差或均方差。 222 )()()()(EXXEXEXEXD 方差的几个重要性质 1 设 C 是常数，则有 , 0)(CD 2 设 X 是随机变量，C 是常数，则有，)(C)( 2 XDCXDD(X)(CXD 3 设 X,Y 是两个随机变量，则有特E(Y)-E(X)(Y-2E(XD(Y)D(X)(YXD 别，若 X,Y 相互独立，则有)()()(YDXDYXD 4的充要条件是 X 以概率 1 取常数，即0)(XDE(X)1)(XEXP 切比雪夫不等式切比雪夫不等式：设随机变量 X 具有数学期望，则对于任意正数，不等式 2 )(XE 成立 2 2 -XP 3 协方差及相关系数协方差及相关系数 定义 量称为随机变量 X 与 Y 的协方差为，即)()(YEYXEXE),(YXCov )()()()()(),(YEXEXYEYEYXEXEYXCov 而称为随机变量 X 和 Y 的相关系数 D(Y)D(X) YX( XY ），Cov 对于任意两个随机变量 X 和 Y，),(2)()() _ (YXCovYDXDYXD 协方差具有下述性质 1),(),( ),(),(YXabCovbYaXCovXYCovYXCov 2),(),(),( 2121 YXCovYXCovYXXCov 定理 1 1 XY 2 的充要条件是，存在常数 a,b 使1 XY 1bxaYP 当0 时，称 X 和 Y 不相关 XY 附：几种常用的概率分布表 分布参数分布律或概率密度 数学 期望 方差 两点 分布 10 p ， 1 , 0,)1 () 1 kppkXP kk p )1 (pp 二项 式分 布 1n10 p，nkppCkXP knkk n , 1 , 0,)1 ()( np )1 (pnp 泊松 分布 0, 2 , 1 , 0, ! )( k k e kXP k 几何 分布 10 p, 2 , 1 ,)1 ()( 1 kppkXP k p 1 2 1 p p 均匀 分布 ba ， ，其他0 , 1 )( bxa ab xf 2 ba 12 )( 2 ab 指数 分布 0 其他,0 0, 1 )( xe xf x 2 正态 分布 0 2 2 2 )( 2 1 )( x exf