概率论与数理统计知识点总结(超详细版

1、莁概率论与数理统计罿第一章概率论的基本概念虿 2 样本空间、随机事件蚃1 事件间的关系A B 则称事件B包含事件A，指事件A发生必然导致事件 B发生A B xxA或x B称为事件A与事件B的和事件，指当且仅当A , B中至少有一个发生时，事件A B发生A B xx A且x B称为事件A与事件B的积事件，指当A , B同时发生时，事件 A B发生A B xx A且x B称为事件A与事件B的差事件，指当且仅当A发生、B不发生时，事件 A B发生肄A B，则称事件 A与B是互不相容的，或互斥的，指事件 A与事件B不能同时发生，基本事件是两两互不相容的蒁AB S且 AB，则称事件A与事件B互为逆事件，

2、又称事件A与事件B互为对立事件螁2 .运算规则 交换律ABBAABBA衿结合律(A B)CA(BC) (AB)C A(B C)蒅分配律A ( BC)(AB)(A C)A (B C) (A B)(A C)蒀徳摩根律A B A B A B A B羈 3 .频率与概率祎定义 在相同的条件下，进行了 n次试验，在这n次试验中，事件A发生的次数nA称为事件A发生的频数，比值nAn称为事件A发生的频率蚁概率：设E是随机试验，S是它的样本空间，对于 E的每一事件 A赋予一个实数，记为(A),称为事件的概率艿1.概率P(A)满足下列条件:(1)非负性：对于每一个事件A 0 P(A) 1(2)规性：对于必然事件

3、SP(S) 1(3)可列可加性：设A1, A2,An是两两互不相容的事件，有nP(kAk)1nP(Ak)k 1可以取 )节2 .概率的一些重要性质:(i) P( )0(ii )若A1, A2, An是两两互不相容的事件，则有nP( Ak)k 1P(Ak)(n可以取P(B) P(A) , P(B) P(A)(iii )设A, B是两个事件若 A B，则P(B A)(iv)对于任意事件 A, P(A) 1(v) P(A) 1 P(A) (逆事件的概率)螅(vi)对于任意事件 A, B 有 P(A B) P(A) P(B) P(AB)薂 4等可能概型(古典概型)袀等可能概型：试验的样本空间只包含有限

4、个元素，试验中每个事件发生的可能性相同芈若事件 A包含 k个基本事件，即A % 勺久，里，ik是1,2，n中某k个不同的数，则有kP(A) Pgjj ik A包含的基本事件数 n s中基本事件的总数膅 5 .条件概率需为事件A发生的(1)(2)芄定义：设A,B是两个事件，且 P(A) 0,称P(B| A)条件下事件B发生的条件概率(3)(4) 薈条件概率符合概率定义中的三个条件莈1。非负性：对于某一事件 B，有P(B| A) 0薆2。规性：对于必然事件 S，P(S| A) 1螂3可列可加性：设B1, B2,是两两互不相容的事件，则有P( Bi A )P(Bi A )i 1i 1(5)(5) 蚁

5、乘法定理设P(A) 0,则有P(AB) P(B)P(A| B)称为乘法公式蒈(7)(8) 螃全概率公式： P(A)nP(Bi)P(A|Bi)蒄贝叶斯公式：P(Bk|A) nP(Bk)P(A|Bk)P(Bi)P(A|Bi)i 1莀 6 .独立性薈定义设A, B是两事件，如果满足等式 P(AB) P(A)P(B)，则称事件A,B相互独立膄定理一设A，B是两事件，且P(A) 0,若A，B相互独立，则P(B|A) P B袂定理二 若事件A和B相互独立，则下列各对事件也相互独立：A与B ,A与B ,A与B腿第二章随机变量及其分布薇 1随机变量薅定义设随机试验的样本空间为S e. X X(e)是定义在样本

6、空间S上的实值单值 函数，称X X(e)为随机变量蚄 2离散性随机变量及其分布律1.2.膂离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种 随机变量称为离散型随机变量蚇P(X Xk) Pk满足如下两个条件(1) Pk 0 , (2)Pk =1k 13.4. 羆三种重要的离散型随机变量螇设随机变量X只能取 0与1两个值，它的分布律是P(X k) pk(1-p)1-k, k 0,1 (0 p 1)，则称X服从以p为参数的 分布或两 点分布。莇( 2)伯努利实验、二项分布螄设实验E只有两个可能结果：A与A，则称E为伯努利实验.设P(A) p(0 p 1)，此时P(A) 1-

7、p.将E独立重复的进行n次，则称这一串重复的独立实验为n重伯努利实验。螀 P(X k) pkqn-k，k0,1,2,n 满足条件(1)pk0，(2)Pk =1 注意kk 1到“ pkqn-k是二项式(p q)n的展开式中出现pk的那一项，我们称随机变量X服从参数k为n，p的二项分布。袇(3 )泊松分布蒄设随机变量X所有可能取的值为0,1,2，而取各个值的概率为P(Xk -k)k!，0,1,2,其中0是常数，则称X服从参数为的泊松分布记为X()芁 3随机变量的分布函数蕿定义 设X是一个随机变量，x是任意实数，函数 F(x) PX x,羇称为X的分布函数袄分布函数F(x) P(X x)，具有以下性

8、质(1) F(x)是一个不减函数 (2)0 F(x) 1,且 F( )0,F( )1(3)F(x 0)F(x),即F(x)是右连续的羃 4连续性随机变量及其概率密度薁连续随机变量：如果对于随机变量X的分布函数F(x)，存在非负可积函数f(x)，使x对于任意函数x有F(x) f( t) dt,则称x为连续性随机变量，其中函数f(x)称为X的概率密度函数，简称概率密度肇1概率密度f (x)具有以下性质，满足(1) f(x) 0,(2) f(x)dx 1；芅(3)P(xiXX2)f(x)dx ；( 4 )若 f(x)在点 x 处连续，则有 F(x) f(x)x1蒁2,三种重要的连续型随机变量莀腿(1

9、)均匀分布蚆若连续性随机变量 X具有概率密度f (x)从均匀分布记为X U( a, b)，a x，其他b，则成X在区间(a,b)上服膃(2)指数分布丄-x.n聿若连续性随机变量X的概率密度为f (x)_e ，x. 0 其中0 ，其他0为常数，则称X服从参数为 的指数分布。膆(3 )正态分布的 概 率 密 度 为f(x)其中，(薁特别，当0,0)为常数，则称X服从参数为的正态分布或高斯分布，记为1时称随机变量X服从标准正态分布膂 5随机变量的函数的分布芆定理设随机变量X具有概率密度fx（x）,-x,又设函数g（x）处处可导且恒有g(x)0 ，则Y=g（X）是连续型随机变量，其概率密度为fy(y)

10、fx h(y)h(Y),y0其他芄第三章多维随机变量芃 1二维随机变量袁定义 设E是一个随机试验，它的样本空间是S e. X X(e)和 Y Y(e)是定义在 S上的随机变量，称 X X（e）为随机变量，由它们构成的一个向量（ X，Y ）叫做二维随机变量莆设（X ， Y）是二维随机变量，对于任意实数x， y，二元函数F（x，y）P（X x） （Y y）记成PX x，Y y称为二维随机变量（X，Y）的分布函数蚅如果二维随机变量（X，Y ）全部可能取到的值是有限对或可列无限多对，则称（Y ）是离散型的随机变量。肅我们称P（X Xi, Y yj） pj，i，j 1,2，为二维离散型随机变量（X，Y）

11、的分布律。蚀对于二维随机变量（X，Y）的分布函数F （x，y），如果存在非负可积函数 f （x，y），y x使对于任意x，y有F （x，y）f（ u，v） dudv,则称（X，Y）是连续性的随机变量，函数f （x，y）称为随机变量（X，Y）的概率密度，或称为随机变量X和Y的联合概率密度。蒆 2边缘分布肆二维随机变量(X , Y)作为一个整体，具有分布函数F (x, y).而X和Y都是随机Fx(x), FY(y)，依次称为二维随机变量(X，Y)变量，各自也有分布函数，将他们分别记为关于X和关于Y的边缘分布函数。蒃 Pi? Pj Px Xj, i 1,2,j iP?j Pij PYYi, j1,2

12、,i 1别称pi? P?j为(X , Y)关于X和关于Y的边缘分布律。葿 fX (x)f (x, y) dyfY(y) f (x, y) dx分别称 fX(x),fY(y)为X, Y关于X和关于Y的边缘概率密度。薆 3条件分布蒇定义 设(X, Y)是二维离散型随机变量，对于固定的j，若PY yj0,PX x, yjPj膄则称PX XiY yj,i 1,2,为在Yyj条件下随PY yjP?jPX x Y y-pi.机变量X的条件分布律，同样PY y. X Xi: 1,2, 为PXxPi? J在XXi条件下随机变量 X的条件分布律。蒂设二维离散型随机变量(X, Y)的概率密度为 f (x, y),

13、 (X , Y)关于Y的边缘概率密度为fY(y)，若对于固定的y, fY(y)o,则称f (x, y)为在Y=y的条件下X的条件概fy(y)率密度，记为 fx|Y(xy)= f(：,y)1fy(y)蚆 4相互独立的随机变量薃定义 设F (x, y)及FX(x) , &(y)分别是二维离散型随机变量( X , Y )的分布函数及边缘分布函数若对于所有x,y有PX x,Y y PX xPY y，即Fx, y Fx (x)Fy (y)，则称随机变量X和Y是相互独立的。蚂对于二维正态随机变量(X，Y)，X和Y相互独立的充要条件是参数0芀 5两个随机变量的函数的分布蚆1，Z=X+Y的分布羄 设(x,y)

14、是二维连续型随机变量，它具有概率密度f(x, y).则Z=X+Y仍为连续性随机变量，其概率密度为fXY(z)f (z y, y) dy 或 fXY(z) f(x,z x)dx莄又若X和y相互独立，设(X，y)关于X，Y的边缘密度分别为fX (x), fY(y)则fx y(z)fx (z y)fY(y)dy 和 fx y(z)fx(x)fY(z x)dx这两个公式称为xfx , fY的卷积公式罿有限个相互独立的正态随机变量的线性组合仍然服从正态分布肀2, Z Y的分布、Z XY的分布f (x, y)，则 ZX莅设(X,Y)是二维连续型随机变量，它具有概率密度fY X (z)xf (x, xz)d

15、x fxY (z)袂仍为连续性随机变量其概率密度分别为f (x,-)dx又若X和Y相互独立，设(X, Y ) x关于X , Y的边缘密度分别为fX(X), fY(y)则可化为fYx(z) fX(X)fY(XZ)dxfxY ( z)肂3M maxX , Y及Nmin X,Y的分布膀设 X，Y 是两个相互独立的随机变量，它们的分布函数分别为FX (x),FY(y) 由于M maxX , Y不大于z等价于X和Y都不大于z故有PM z PX 乙丫 z又由于 X 和 Y 相互独立，得到 M maxX ， Y 的分布函数为 Fmax ( z) FX(z)FY(z)螆 N minX,Y的分布函数为 Fmin

16、(z) 1 1 FX (z) 1 FY(z)薄第四章 随机变量的数字特征螁 1 数学期望艿定义 设离散型随机变量 X的分布律为PX xk Pk , k=1,2，若级数 xkPk绝 k1对收敛，则称级数 Xk Pk的和为随机变量 X的数学期望，记为E(X)，即E(X)Xk Pkk 1i膇设连续型随机变量 X 的概率密度为 f (x) ，若积分 xf(x)dx 绝对收敛，则称积分 xf (x)dx的值为随机变量X的数学期望，记为E(X)，即E(X) xf(x)dx羂定理 设Y是随机变量X的函数Y= g(X)(g是连续函数)薀(i)如果X是离散型随机变量，它的分布律为PX xk pk , k=1,2

17、 ,若 g(xk)pk k1绝对收敛则有 E(Y) E(g(X)g(xk)Pkk1荿(ii)如果X是连续型随机变量，它的分概率密度为f (x)，若 g(x) f (x)dx绝对收敛则有 E(Y) E(g(X) g(x)f(x)dx芄数学期望的几个重要性质蚄1设C是常数，则有E(C) C荿2设X是随机变量，C是常数，则有 E(CX) CE(X)荿3设X,Y是两个随机变量，则有 E(X Y) E(X) E(Y);蚅4设X，Y是相互独立的随机变量，则有 E(XY) E(X)E(Y)膂 2方差2 2莂定义设X是一个随机变量，若E X E(X) 存在，则称E X E(X) 为X的方n*差，记为D( x

18、)即D( x)= E X E(X) ，在应用上还引入量.D(x)，记为(X)，称为标准差或均方差。葿 D(X) E(X E(X)2 E(X2) (EX)2肆方差的几个重要性质袃1设C是常数，则有 D(C) 0,賺2设X是随机变量，C是常数，则有 D(CX) C2D(X)， D(X C) D(X)蕿 3 设 X,Y 是两个随机变量，则有 D(X Y) D(X) D(Y) 2E(X - E(X)(Y - E(Y)特别，若X,Y相互独立，则有 D(X Y) D(X) D(Y)蒆4D(X) 0的充要条件是 X以概率1取常数E(X)，即PX E(X)1莁切比雪夫不等式：设随机变量 X具有数学期望E(X)

19、2，则对于任意正数，不等式2PX- |成立罿 3协方差及相关系数虿定义量E X E(X)Y E(Y)称为随机变量 X与Y的协方差为Cov(X,Y)，即Cov(X,Y) E(X E(X)(YE(Y) E(XY) E(X)E(Y)=Cov(X，Y)蚃而 XY 称为随机变量 X和Y的相关系数pD(X)问7肃对于任意两个随机变量 X和Y, D(X Y) D(X) D(Y) 2Cov(X,Y)蚈协方差具有下述性质蝿 lCov(X,Y) Cov(Y,X), Cov(aX,bY) abCov(X,Y)肄 2Cov(Xi X2,Y) Cov(Xi,Y) Cov(X2,Y)蒁定理1XY1螁2XY1的充要条件是，

20、存在常数a,b使PY a bx 1衿当XY0时，称X和Y不相关蒅附：几种常用的概率分布表芃 分 布蒀参数羈分布律或概率密度祎数学 期望蚁方差艿 两 占 八、 分 布羈0p1芇 PX k) pk(1 p)1k,k 0,1 ,莃p节p(1 p)肇项 式 分 布莄n 10 p 1肅kkn kP(X k) Cn p (1 p) ,k 0,1, n,肁np膈np(1 p)螅 泊 松 分 布薂0ke袀 P(X k),k 0,1,2,k!芈膅芄几 何 分 布薈0p1k 1P(X k) (1 p) p,k 1,2,1 p1 p p2均 匀 分 布a b1一 、,a x bf(x) ba，0 ，其他a b2(b

21、 a)212指 数 分 布01xnf(x) _e,x 00,其他2正 态 分 布01(x2 2)f (x)-J2e 22第五章 大数定律与中心极限定理 1.大数定律弱大数定理（辛欣大数定理）设Xi, X2是相互独立，服从统一分布的随机变量序列，并具有数学期望 E（Xk） （k1,2,) 作前 n个变量的算术平均1 Xk，则对于任意n k 10，有 lim Pnn1 Xkn k 1定义设第,丫2, Yn 是个随机变量序列,a是一个常数，若对于任意正数，有lim P a1，则称序列Y, ,Y2, Yn依概率收敛于a，记为Ynp伯努利大数定理fA是n次独立重复试验中事件A发生的次数，p是事件A在每次

22、试验中发生的，则对于任意0 ,有 lim Pnfnnlim Pnfn p n 2中心极限定理定理一（独立同分布的中心极限定理）设随机变量X1 ,X2, ,Xn相互独立，服从同一分布，且具有数学期望和方差E(XJ,D(Xk)2（k=1,2，），则随机变量之和nXk标准化变量，Yni 1nXk E( Xk)k 1k 1D( Xk)k k 1nXk ni 1n定理二（雅普诺夫定理）设随机变量X, ,X2,Xn相互独立，它们具有数学期望和方差E(Xk)k, D(Xk)2k 0,k1,2 记Bn2n2kk 1定理三（棣莫弗-拉普拉斯定理）设随机变量 n（n1,2,）服从参数为n, p（0 p 1）的n np x二项分布，则对任意 x，有lim P nJn p（1 p）1 et2 2dt(