概率论与数理统计总结.docx

概率论与数理统计总结第一章：概率论的基本概念一、相关概念1、确定性现象：在一定条件下必然发生的一类现象。2、统计规律性：在大量重复实验或观察中所呈现出的固有规律性。3、随机现象：在个别实验中其结果呈现出不确定性，在大量重复实验中其结果又具有统计规律性的现象。4、随机试验：可以在相同条件下重复地进行，每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果，进行一次试验之前不能确定哪一个结果会出现。通常用E表示。5、样本空间：随机试验E的所有可能结果组成的集合称为E的样本空间，记为S。6、样本点：样本空间的元素，即E的每个结果，称为样本点，通常用e或w表示。7、随机事件：试验E的样本空间S的子集为E的随机事件，即一次试验中可能发生也可能不发生的事件，简称事件，通常用A B C 表示。当且仅当这一子集的一个样本点出现时，称这一事件发生。特别：由一个样本点组成的单点集，称为基本事件。8、必然事件：在试验中必然出现的事件，记为S或。 不可能事件：在试验中不可能出现的事件，记为。二、事件间的关系和运算1、若事件A发生必然导致事件B发生，则称B包含A，记为BA或AB。若AB且AB则称事件A与事件B相等，记为AB。 2、“事件A与事件B至少有一个发生”是一事件，称此事件为事件A与事件B的和事件。记为AB。用集合表示为: AB=e|eA，或eB推广：事件的和可推行至有任意有限和可列个事件的和的情况。3、称事件“事件A与事件B都发生”为A与B的积事件，记为AB或AB，用集合表示为AB=e|eA且eB。推广：事件的积可推行至任意有限积和可列个事件的积的情况。IIIILnnkkAAAA211=4、称“事件A发生而事件B不发生”,这一事件为事件A与事件B的差事件,记为AB,用集合表示为 A-B=e|eA，eB。当且仅当A发生但B不发生时事件A-B发生。显然有A-B=A-AB。5、如果A，B两事件不能同时发生，即AB ，则称事件A与事件B是互不相容事件或互斥事件。基本事件是两两不相容的。推广 对有限个事件或可列个事件A1，A2，An ，如果对任意ij, Ai Aj,则称A1，A2，An或A1，A2，An 两两互不相容。6、称事件“A不发生”为事件A的逆事件，记为 。A与满足：A= S,且A=。一般地，若A，B满足：AB= S，AB称为A与B互为对立事件，若A，B互为对立事件，那么在每次试验中，事件A，B必有一个发生且仅有一个发生。7、事件运算常用定律(4)反演律(德摩根律)： (5)吸收律： 三、频率和概率1、频率：在相同的条件下，进行了 n 次重复试验， 记 nA 是 A 发生的次数 (又称为频数) ； 则定义随机事件 A 发生的频率为fn (A) = na/n。频率具有随机波动性，即对于同一个随机事件来说，在相同的试验次数下，得到的频率也不一定会相同。频率还具有稳定性，它总是在某一个具体数值附近波动，而随着试验次数的不断增加，频率的波动会越来越小，逐渐稳定在这个数值。 频率的性质：(1)非负有界 0 fn (A) 1 ; (2)规范性 fn (S) = 1 ; (3) 有限可加 如果 A1，A2， ，Am 两两互不相容，则有：fn ( A1A2 Am ) = fn (A1)fn (A2) fn (Am) 2、概率：概率的频率定义：自然地，可以采用一个随机事件的频率的稳定值去描述它在一次试验中发生的可能性大小，即用频率的极限来作为概率的定义。概率的数学定义：S 是随机试验 E 的样本空间，如果对于每一个随机事件 A 定义一个实数 P (A) ，满足：(1) 非负性 对任意的随机事件 A，有 P (A) 0 ；(2) 规范性 对必然事件 S，有 P (S) = 1 ；(3) 可列可加 对于任意一列两两不相容的随机事件 A1，A2， ，则有 P ( A1A2 ) = P (A1)P (A2) 则这个集合函数 P (A) 就称为随机事件 A 的概率。概率的性质及公式：(1)不可能事件的概率为零：P (f ) = 0；(2)有限可加性：对于任意有限个两两不相容的随机事件 A1， ， Am，则有：P ( A1 Am) = P (A1) P (Am)； (3)概率具有单调性：如果 A B，则P (A ) P (B )； (4)随机事件的概率不超过 1：P (A ) 1。(5)对立事件的概率， (6)减法公式，P (B A ) = P (B ) P (AB ) 。 特别的当A B，则P (B A ) = P (B ) P (A ) (7)加法公式，P (AB ) = P (A ) + P (B ) P (AB ) 。 推论： P (AB ) P (A ) + P (B ) 加法公式推广：四、常见的两种概率类型古典概型1、定义：如果一个随机试验 E 满足：(1)试验的样本空间 S 只包含有限个样本点，(2)每一个样本点发生的可能性相同。这种随机试验就称为等可能概型，或古典概型。古典概型问题中，样本空间的构造必保证其中的每个样本点发生的可能性都相同。2、计算公式：3、性质：（1）对于每一个事件A，有P(A)0；（2）P(W)=1；（3）设A1，A2，. Am是两两互不相容的事件，即对于ij , AiAj=f , i, j=1,2,.m, 则有 几何概型1、定义：满足下列条件的试验，称为“几何概型”：(1)样本空间是直线或二维、三维空间中的度量有限的区间或区域；(2)样本点在其上是均匀分布的。 在几何概型中，若样本空间所对应区域的度量为L(),且事件A的度量为L(A) ，则A的概率为这里L（），可代表图形的长度，面积或体积等。2、性质（1）对于每一个事件A，有P(A)0；（2）P(W)=1；（3）设A1，A2，. Am .是两两互不相容的事件，即对于ij , AiAj=f , i, j=1,2,., 则有 五 、条件概率1、定义:设A，B是两事件，且P(B)0，称为在事件B发生的条件下事件A发生的条件概率。2、性质：（1）条件概率P（|B）满足概率定义的三条公理，即对于每一事件A，有P（A/B）0; （2） P（W|B）=1（3）设A1，A2两两不相容，则有3、相关公式（1）.乘法公式 由条件概率定义，若P(B)0，则P(AB)=P(A|B)P(B) 若P(A)0,则P(AB)=P(B|A)P(A) 推广：一般，设A1,A2,An为n个事件，n2,且P(A1A2An-1)0，则有: P(A1A2An )=P(A1)P(A2|A1) P(An-1|A1A2An-2)P(An|A1A2An-1)（2）全概率公式设S为试验E的样本空间，B1,B2,Bn为E的一组事件，若 a BiBj=,ij , i , j =1,2,n;b B1B2Bn=S，则称B1，B2，,Bn为样本空间S的一个划分。设试验E的样本空间为S，A为E的事件，B1，B2，Bn为S的一个划分，且P(Bi)0(i=1,2，n)则P(A)=P(A|B1)P(B1)+P(A|B2)P(B2)+P(A|Bn)P(Bn) 称为全概率公式。（3）贝叶斯公式 设试验E的样本空间为S,A为E的事件，B1，B2，Bn为S的一个划分，且P（A）0，P（Bi）0（i=1，2，n），则 i=1，2，n.七、独立性1、定义 （1）设A，B为两事件，如果具有等式 P（AB）=P（A）P（B）则称A,B为相互独立的事件,又称A,B相互独立。（2）设A，B，C是三事件，如果具有等式 P(AB)=P(A)P(B),P(BC)=P(B)P(C), P(AC)=P(A)P(C). 则称三事件A，B，C两两独立。一般，当事件A，B，C两两独立时，等式P（ABC）=P（A）P（B）P（C） 不一定成立，（3）设A，B，C是三事件，如果具有等式则称A，B，C为相互独立的事件。（4）一般地，设A1，A2，An是n个事件，如果对于任意k(1kn),任意1i1i20，P(B)0，则A，B相互独立，与A，B互不相容不能同时成立。（3）若A1,A2,An相互独立,则其中任意m个事件Ai1,Ai2,Aim相互独立（2mn）。若A1，A2，An相互独立，则把其中任意m个事件换成各自的对立事件后构成的n个事件也相互独立（1mn）。注：若事件是独立的，则许多概率的计算可以大为简化，例如若A1，An相互独立，则A1，A2，An同时发生的概率为 P(A1A2An)=P(A1)P(A2)P(An)。 3、定理 设A，B是两事件，且P(A)0(P(B)0)，则A，B相互独立的充要条件是P(B|A)=P(B)(P(A|B)=P(A)。 八、 贝努利概型1定义：一般地，试验E只有两种结果A和A,而P(A)=p（0p1）,则称E为贝努利试验或贝努利概型。把这n次独立重复贝努利试验总起来看成一个试验，称这种试验叫n重贝努利试验。2 定理：对于n重贝努利试验，事件A在n次试验中出现k次的概率为 也即二项概率公式。第二章：随机变量及其分布一、随机变量：1、定义：设X(w)是定义在样本空间W=w上的单值实函数, 如果对于每个wW,有一个实数X(w)与之对应, 且x(-,+) , w|X(w) x是一个事件,则称X(w)为随机变量。2、分类：离散型和连续型二、分布函数1.定义：设X为r随机变量，x(,+) ，称函数F(x)=PXx为X的分布函数。2、性质：（1） F (x)为不减函数：当x10 (或恒有g(x)0) ，则Y=g(X)的概率密度为其中x=h(y)为y=g(x)的反函数，第三章 多维随机变量及其分布函数一、多维随机变量：1、设X1(),Xn()为定义在样本空间上的随机变量,由它们构成的一个向量(X1, ,Xn)叫做n维随机变量或n维随机向量。2、若对任意xkR,k=1,2,n,称元函数 为随机向量(X1, ,Xn)的(联合)分布函数。 二、二维随机变量1、二维随机变量X和Y的联合分布函数2、二维离散型随机变量（1） PX=xi,Y=yj=pij, i, j=1,2,为随机向量(X,Y)的(联合)分布律.其中：（2） 若(X,Y)的分布律为PX=xi,Y=yj=pij, i,j=1,2,则(X,Y)的分布函数为3、 二维连续型随机变量（1）联合分布函数为函数 f(x,y)称为二维向量(X,Y)的(联合)概率密度. 其中： ，（2）基本二维连续型随机向量分布均匀分布：二维正态分布：三、边缘分布1、定义：设(X,Y)为二维随机向量其分布函数为F(x, y)，X和Y的分布函数分别记为Fx(x)和FY(y), 依次称Fx(x),FY(y)为(X,Y)关于X和关于Y的边缘分布函数.2、公式：Fx(x)=P(XxY+)=PXx,Y0,有 6、矩的概念：(1)设X和Y是随机变量，若存在，称为k阶原点矩，简称k阶矩。(2)若存在，称为k阶中心矩。(3)若存在，称为k+l阶混合矩。(4)若存在，称为k+l阶混合中心矩。7、标准化随机变量 设随机变量 X 的期望E(X )、方差D(X )都存在, 且D(X ) 0, 则称为 X 的标准化随机变量，显然，三、协方差和相关系数1、协方差(1)定义：EX-E(X)Y-E(Y)称为随机变量X与Y的协方差，记为Cov(X，Y)，即 Cov(X，Y)= EX-E(X)Y-E(Y)。离散型：连续型：(2)关系公式: i协方差与方差的关系：D(X+Y)=D(X)+D(Y)+2Cov(X，Y) ii协方差与数学期望的关系：Cov(X，Y)= E(XY)-E(X)E(Y) iii若X，Y独立，则Cov(X，Y)=0,但反之不成立。(3)协方差的性质 Cov(X，Y)= Cov(Y，X)；Cov(aX，bY)= abCov(X，Y)；Cov(X1+X2，Y)= Cov(X1，Y)+ Cov(X2，Y) 2、相关系数(1)定义：若Cov(X，Y)存在，并且D(X)、D(Y)存在且不为零，则称为随机变量X与Y的相关系数。(2)性质：i |XY|1 ii |XY|=1 存在常数a,b使PY=aX+b=1.3、利用相关系数计算协方差4、不相关：若X与Y的相关系数XY=0，则称X与Y不相关。假设随机变量X，Y的相关系数XY存在，当X与Y相互独立时,XY=0,即X与Y不相关，反之若X与Y不相关，X与Y却不一定相互独立。5、协方差矩阵i定义：对于n维随机向量(X1,X2,Xn),把向量(X1,X2,Xn)用列向量形式表示并记为X，即X=(X1,X2,Xn)设X=(X1,X2,Xn) 为n维随机向量,并记i=E(Xi) 则称=(1,2,n)为向量X的数学期望或均值，称矩阵 为向量X的协方差矩阵。 ii性质： (1)协方差矩阵对角线上的元素Cii为Xi的方差即Cii=D(Xi) i=1，2，n；(2)协方差矩阵C为对称矩阵,即Cij=Cji ,i，j=1，2，n；(3)C为非负定矩阵,即对于任意实向量t=(t1，t2，tn),有tCt0；6、多维正态分布及其性质(1)定义：若n维随机向量X=(X1，Xn)的概率密度为其中X=(X1，Xn),=(1，2，n)为n维实向量，C为n阶正定对称矩阵，则称向量X=(X1，Xn)服从n维正态分布，记为XN(,C) .对于n维正态分布XN(,C) ，X的期望为，X的协方差矩阵为C。 (2) 性质 n维正态分布具有下述性质：I n维随机向量(X1，Xn)服从n维正态分布的充要条件是X1，Xn的任意线性组合 l1X1+l2X2+lnXn (l1,l2,ln不全为0 )服从一维正态分布。Ii 若X=(X1,Xn)N(,C)，设Y=(Y1,Y2,Ym)=AX,即Yi为Xj(j=1，2，n)的线性函数,i=1，2，m，则YN(A，ACA)，其中A为m行n列且秩为m的矩阵。iii设(X1，Xn)服从n维正态分布，则“X1，Xn相互独立”与“X1，Xn两两不相关”是等价的。 第五章 大数定律与中心极限定理一、大数定律：1、定义1：设X1,X2,Xn,为一随机变量序列,如果对于任意正整数k(k2)及任意k个随机变量相互独立，则称随机变量序列X1,X2,Xn,相互独立。