概率统计与随机过程-知识点总结-最终版

概率统计与随机过程-知识点总结--最终版引言概率统计与随机过程是研究随机现象规律性的数学分支，广泛应用于自然科学、工程技术、社会科学等诸多领域。本总结旨在梳理其核心知识点，构建清晰的知识框架，为深入理解和应用奠定基础。内容力求精炼准确，突出重点与内在联系。一、概率论基础1.1随机事件与概率*随机试验与样本空间：具有不确定性、可重复性和明确结果的试验称为随机试验。试验所有可能结果组成的集合称为样本空间，记为Ω。样本空间中的元素称为样本点。*随机事件：样本空间的子集，简称事件，用大写字母A,B,C等表示。特别地，单个样本点构成的事件称为基本事件。*事件的关系与运算：*包含：若事件A发生必导致事件B发生，则称B包含A，记为A⊂B。*相等：若A⊂B且B⊂A，则A=B。*和事件：A∪B(或A+B)表示A与B至少有一个发生。*积事件：A∩B(或AB)表示A与B同时发生。*差事件：A-B表示A发生而B不发生。*互斥事件(互不相容)：若AB=∅，则A与B互斥，即不能同时发生。*对立事件(逆事件)：A的对立事件记为Ā，表示A不发生，满足A∪Ā=Ω且A∩Ā=∅。*频率与概率的统计定义：在n次重复试验中，事件A发生的次数n_A与n的比值为频率。当n增大时，频率稳定在某个常数p附近，此常数p为概率。*概率的公理化定义：设Ω为样本空间，对于每个事件A，赋予一个实数P(A)，满足：*非负性：P(A)≥0；*规范性：P(Ω)=1；*可列可加性：对两两互斥事件A₁,A₂,...，有P(∪A_i)=ΣP(A_i)。*概率的性质：*P(∅)=0。*有限可加性：若A₁,...,A_n互斥，则P(∪A_i)=ΣP(A_i)。*对立事件概率：P(Ā)=1-P(A)。*单调性：若A⊂B，则P(A)≤P(B)，且P(B-A)=P(B)-P(A)。*加法公式：P(A∪B)=P(A)+P(B)-P(AB)。可推广至多个事件。*古典概型：样本空间有限，每个基本事件等可能发生。P(A)=k/n，其中k为A包含的基本事件数，n为总基本事件数。*几何概型：样本空间为几何区域，事件A为子区域，概率与度量（长度、面积、体积）成正比。P(A)=m(A)/m(Ω)。*条件概率：P(B|A)=P(AB)/P(A)，其中P(A)>0，表示在A发生的条件下B发生的概率。*乘法公式：P(AB)=P(A)P(B|A)=P(B)P(A|B)(若P(A),P(B)>0)。*全概率公式：设A₁,...,A_n为样本空间Ω的一个划分(互斥且∪A_i=Ω)，且P(A_i)>0，则对任一事件B，有P(B)=ΣP(A_i)P(B|A_i)。*贝叶斯公式：在全概率公式条件下，P(A_j|B)=P(A_j)P(B|A_j)/ΣP(A_i)P(B|A_i)。用于“由果溯因”。1.2随机变量及其分布*随机变量的定义：设Ω为样本空间，X=X(ω)是定义在Ω上的实值函数，若对任意实数x，{ω:X(ω)≤x}是随机事件，则称X为随机变量。*分布函数：F(x)=P(X≤x)，-∞<x<+∞。*性质：单调不减；右连续；F(-∞)=0,F(+∞)=1。*离散型随机变量：取值为有限个或可列无限个。*分布律：P(X=x_k)=p_k,k=1,2,...，满足p_k≥0，Σp_k=1。*常用离散分布：*(0-1)分布(两点分布)：X~B(1,p)。*二项分布：X~B(n,p)，n重伯努利试验中成功次数的分布。P(X=k)=C(n,k)p^k(1-p)^(n-k)。*泊松分布：X~P(λ)，P(X=k)=e^(-λ)λ^k/k!。常用于描述稀有事件发生次数。二项分布当n大p小(np=λ适中)时可近似为泊松分布。*几何分布：首次成功所需试验次数，P(X=k)=p(1-p)^(k-1)。*超几何分布：不放回抽样中成功次数。*连续型随机变量：取值充满某个区间。*概率密度函数(pdf)：f(x)，满足F(x)=∫_{-∞}^xf(t)dt。*性质：f(x)≥0；∫_{-∞}^+∞f(x)dx=1；P(a<X≤b)=∫_a^bf(x)dx。*常用连续分布：*均匀分布：X~U(a,b)，f(x)=1/(b-a)fora<x<b。*指数分布：X~E(λ)，f(x)=λe^(-λx)forx>0。具有无记忆性：P(X>s+t|X>s)=P(X>t)。*正态分布(高斯分布)：X~N(μ,σ²)，f(x)=(1/(σ√(2π)))e^(-(x-μ)²/(2σ²))。μ为均值，σ²为方差。标准正态分布N(0,1)。*随机变量函数的分布：已知X的分布，求Y=g(X)的分布。离散型直接求；连续型可用分布函数法或公式法(当g单调可导时)。1.3多维随机变量及其分布*二维随机变量(X,Y)：联合分布函数F(x,y)=P(X≤x,Y≤y)。*二维离散型：联合分布律P(X=x_i,Y=y_j)=p_ij，满足p_ij≥0，ΣΣp_ij=1。*二维连续型：联合概率密度f(x,y)，满足F(x,y)=∫_{-∞}^x∫_{-∞}^yf(u,v)dudv，f(x,y)≥0，∫∫f(x,y)dxdy=1。*边缘分布：X的边缘分布函数F_X(x)=F(x,+∞)；Y的边缘分布函数F_Y(y)=F(+∞,y)。*离散型：P(X=x_i)=Σ_jp_ij=p_i·；P(Y=y_j)=Σ_ip_ij=p_.j。*连续型：f_X(x)=∫_{-∞}^+∞f(x,y)dy；f_Y(y)=∫_{-∞}^+∞f(x,y)dx。*条件分布：*离散型：P(X=x_i|Y=y_j)=p_ij/p_.j(p_.j>0)。*连续型：f_X|Y(x|y)=f(x,y)/f_Y(y)(f_Y(y)>0)。*随机变量的独立性：若F(x,y)=F_X(x)F_Y(y)，则X与Y独立。*离散型：p_ij=p_i·p_.j。*连续型：f(x,y)=f_X(x)f_Y(y)。*二维均匀分布、二维正态分布：了解其定义和性质。二维正态分布的边缘分布仍为正态，独立分量的线性组合仍为正态，不相关等价于独立。1.4随机变量的数字特征*数学期望(均值)：描述随机变量取值的平均水平。*离散型：E(X)=Σx_kp_k(绝对收敛)。*连续型：E(X)=∫_{-∞}^+∞xf(x)dx(绝对收敛)。*性质：E(C)=C；E(CX)=CE(X)；E(X+Y)=E(X)+E(Y)；若X,Y独立，则E(XY)=E(X)E(Y)。*随机变量函数的期望：E[g(X)]=Σg(x_k)p_k(离散)；E[g(X)]=∫g(x)f(x)dx(连续)。E[g(X,Y)]类似。*方差：D(X)=Var(X)=E[(X-E(X))²]=E(X²)-[E(X)]²。描述取值偏离均值的程度。*性质：D(C)=0；D(CX)=C²D(X)；若X,Y独立，则D(X±Y)=D(X)+D(Y)；D(X)=0⇨P(X=E(X))=1。*标准差(均方差)：σ(X)=√D(X)。*协方差：Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)。描述两变量线性相关程度。*性质：Cov(X,Y)=Cov(Y,X)；Cov(aX+b,cY+d)=acCov(X,Y)；Cov(X₁+X₂,Y)=Cov(X₁,Y)+Cov(X₂,Y)。*相关系数：ρ_XY=Cov(X,Y)/(σ(X)σ(Y))，|ρ_XY|≤1。*ρ=±1⇨X与Y以概率1线性相关；ρ=0⇨X与Y不相关。*独立一定不相关，反之不然(除非二维正态)。*矩：原点矩、中心矩、混合矩、混合中心矩。1.5大数定律与中心极限定理*大数定律：阐述大量随机现象平均结果的稳定性。*切比雪夫大数定律：若X₁,...X_n独立，期望方差存在且方差有界，则(1/n)ΣX_i依概率收敛于(1/n)ΣE(X_i)。*伯努利大数定律：频率依概率收敛于概率。*辛钦大数定律：独立同分布，期望存在，则样本均值依概率收敛于总体均值。*中心极限定理：阐述大量独立随机变量和的分布近似正态分布。*独立同分布中心极限定理(列维-林德伯格)：X₁,...X_n独立同分布，E(X_i)=μ，D(X_i)=σ²>0，则当n充分大时，ΣX_i~近似N(nμ,nσ²)，或(ΣX_i-nμ)/(σ√n)~近似N(0,1)。*棣莫弗-拉普拉斯定理：二项分布的正态近似，X~B(n,p)，则当n大时，X~近似N(np,np(1-p))。二、数理统计2.1数理统计的基本概念*总体与个体：研究对象的全体称为总体，每个研究对象称为个体。总体可视为一个随机变量X。*样本：从总体中抽取的部分个体，X₁,X₂,...,X_n。简单随机样本要求独立同分布(i.i.d.)，与总体同分布。*样本值：样本的观测值，x₁,x₂,...,x_n。*统计量：不含未知参数的样本的函数。*常用统计量：*样本均值：X̄=(1/n)ΣX_i*样本方差：S²=(1/(n-1))Σ(X_i-X̄)²(修正自由度，为无偏估计)*样本标准差：S=√S²*样本k阶原点矩：A_k=(1/n)ΣX_i^k*样本k阶中心矩：B_k=(1/n)Σ(X_i-X̄)^k*顺序统计量：X₍₁₎≤X₍₂₎≤...≤X₍ₙ₎*抽样分布：统计量的分布。*χ²分布：设Z₁,...Z_k~N(0,1)独立，则χ²=ΣZ_i²~χ²(k)，k为自由度。可加性；E(χ²)=k,D(χ²)=2k。*t分布：设Z~N(0,1)，Y~χ²(k)，Z与Y独立，则T=Z/√(Y/k)~t(k)。密度函数关于y轴对称，k→∞时逼近N(0,1)。*F分布：设U~χ²(k₁),V~χ²(k₂)，独立，则F=(U/k₁)/(V/k₂)~F(k₁,k₂)。1/F~F(k₂,k₁)。*正态总体的抽样分布：*X̄~N(μ,σ²/n)，(X̄-μ)/(σ/√n)~N(0,1)。*(n-1)S²/σ²~χ²(n-1)。*X̄与S²独立。*(X̄-μ)/(S/√n)~t(n-1)。*两正态总体下的F分布(S₁²/σ₁²)/(S₂²/σ₂²)~F(n₁-1,n₂-1)。2.2参数估计*点估计：用样本统计量估计未知参数的值。*矩估计法：用样本矩估计总体相应矩，建立方程求解未知参数。思想直观，方法简单。*最大似然估计法：选择使样本出现概率(似然函数L(θ))最大的θ̂作为估计。*构造似然函数L(θ)=Πf(x_i;θ)(连续)或ΠP(X=x_i;θ)(离散)。*取对数lnL(θ)，求导令其为0，解得θ̂。*具有不变性、相合性等优良性质。*估计量的评选标准：*无偏性：E(θ̂)=θ。样本均值是μ的无偏估计，样本方差是σ²的无偏估计。*有效性：对两个无偏估计θ̂₁,θ̂₂，若D(θ̂₁)<D(θ̂₂)，则θ̂₁更有效。*一致性(相合性)：θ̂依概率收敛于θ。*区间估计：给出未知参数的一个范围，并指出该范围