应用随机过程课件第01章概率论简介

应用随机过程·第01章概率论简介—课程预备知识与核心概念回顾COURSEOVERVIEW课程基本信息《应用随机过程》为60学时、3学分的专业课程，考核以期末一页纸开卷为主（85%），平时作业为辅（15%），要求学生具备扎实的概率论基础与自主学习能力。REFERENCES教材与参考资料01主教材李晓峰、唐斌等《应用随机过程》（电子工业出版社，2013年），系统覆盖马尔可夫链、泊松过程等核心内容，是国内工科院校广泛采用的经典教材，理论与实践结合紧密。02参考书徐全智《随机过程》（电子科大出版社）、陆大鑫《随机过程及应用》（清华大学出版社）、帕布里斯《概率、随机变量与随机过程》（科学出版社），多视角深化理解。SCHEDULE课程安排01学时与学分总学时60学时，计3学分，课程涵盖随机过程基础理论、典型过程模型及工程应用三大模块，循序渐进构建完整知识体系。02考核方式平时作业占15%，侧重课后习题与推导练习；期末考试占85%，采用一页纸开卷形式，考察综合运用能力，注重理论联系实际。Contents本章内容框架应用随机过程·第01章·概率论简介01随机试验与样本空间02概率空间与σ-代数03条件概率与三大公式04随机变量及其分布05数字特征与极限定理CHAPTER01随机试验与样本空间从随机现象出发，建立概率论的基本数学语言PROBABILITYTHEORY随机试验的定义与特征随机试验是概率论研究的起点，其本质在于结果的不确定性与试验的可重复性。理解三个核心特征，是建立概率空间模型的前提。可重复性试验可以在相同条件下重复进行，保证了大量重复试验下统计规律的显现结果多样性每次试验的可能结果不止一个，所有可能结果构成的样本空间是预先已知的不可预知性试验前无法确切预知将出现哪一个结果，这种不确定性是概率研究的根本动因经典随机试验——掷骰子PROBABILITYTHEORY·CHAPTER01样本空间与样本点样本空间Ω是随机试验所有可能结果的集合，样本点ω是其中的基本元素。样本空间可分为离散型（有限或可列）与连续型（不可列），这一分类直接决定了后续概率计算与分布描述的方法选择。样本空间Ω随机试验E的所有可能结果构成的集合。如掷骰子时Ω={1,2,3,4,5,6}，抛两枚硬币时Ω={(正,正),(正,反),(反,正),(反,反)}。Ω={ω₁,ω₂,…}样本点ω样本空间中的每一个元素，代表试验的一个基本结果。如掷骰子中"出现3点"即为一个样本点。基本结果离散样本空间由有限个或可列无穷个样本点构成。如某城市一天收到的电话呼叫次数Ω={0,1,2,…}，可用概率质量函数描述。PMF连续样本空间由不可列无穷个样本点构成。如测量某零件长度时的误差Ω=[−∞,+∞]，需用概率密度函数描述。PDFPROBABILITYTHEORY事件的定义与运算事件是样本空间的子集，必然事件对应Ω、不可能事件对应∅。事件运算（并、交、补）与集合运算完全对应，互不相容事件（A∩B=∅）是概率可加性成立的关键条件。定义事件定义样本空间Ω的子集称为随机事件，如掷骰子中A={2,4,6}表示"出现偶数点"，必然事件为Ω，不可能事件为∅。并集并事件A∪B事件A与B至少有一个发生。如A={1,2},B={2,3}，则A∪B={1,2,3}，对应概率的加法公式。交集交事件A∩B事件A与B同时发生。如A={1,2,3},B={2,3,4}，则A∩B={2,3}；当A∩B=∅时称A与B互不相容。补与差对立事件与差事件A的补事件Ā表示A不发生，P(A)+P(Ā)=1；差事件A−B表示A发生但B不发生。SAMPLESPACECONSTRUCTION样本空间的构造方法正确构造样本空间是概率计算的基础。对于复合试验（多次重复或多种操作组合），需要系统枚举所有可能的结果组合，并注意有放回与无放回取样对样本空间结构的影响。单次试验掷一枚骰子Ω={1,2,3,4,5,6}共6个样本点；抛一枚硬币Ω={正面,反面}共2个样本点，样本空间大小等于基本结果数6/2重复试验连续掷两枚硬币，样本空间为笛卡尔积Ω={正,反}×{正,反}，共4个样本点；掷n次则有2ⁿ个样本点2ⁿ有放回取样袋中取球后放回再取，每次取样结果独立，样本空间大小为基本结果数的乘积独立乘积无放回取样取出后不放回，后续取样的可能结果减少，样本空间结构与有放回不同，需逐一枚举逐一枚举CHAPTER02概率空间与σ-代数建立概率论的公理化体系，从样本空间到概率空间的严格构造Definition&Propertiesσ-代数的定义与性质σ-代数F是样本空间Ω的子集构成的集合族，对补运算、有限交运算和有限并运算封闭。它界定了哪些子集可以作为"事件"被赋予概率，是概率空间公理化构造的核心组件。补运算封闭若事件A∈F，则其补事件Aᶜ∈F，保证"A不发生"也是一个合法事件。这是概率论中事件否定运算的基础，确保样本空间的划分完整性。Aᶜ∈F交运算封闭若A,B∈F，则A∩B∈F，保证"A与B同时发生"仍为合法事件。该性质可推广至可列交集，支持复杂事件的联合概率计算。A∩B∈F并运算封闭若A,B∈F，则A∪B∈F，保证"A或B至少一个发生"仍为合法事件。可推广至可列并集，构成概率可加性的运算基础。A∪B∈F实例验证Ω={1,2,3}时，F包含所有2³=8个子集，构成最大σ-代数。幂集是σ-代数的典型实例，验证了三条封闭性性质的完备性。|F|=8KolmogorovAxiomSystem概率的公理化定义Kolmogorov公理体系通过三条公理——非负性、规范性和可列可加性——严格定义了概率测度。这一公理化框架是现代概率论的数学基础，统一了古典概型、几何概型和统计概率。01公理1（非负性）：对任意事件A∈F，P(A)≥0，概率值不能为负数，这与"可能性大小"的直觉一致P(A)≥002公理2（规范性/完备性）：P(Ω)=1，必然事件（样本空间本身）的概率为1，确立了概率的归一化基准P(Ω)=103公理3（可列可加性）：若A₁,A₂,...两两互不相容（Aᵢ∩Aⱼ=∅），则P(∪Aᵢ)=ΣP(Aᵢ)，有限个互斥事件的概率可逐项相加ΣP(Aᵢ)04概率空间三元组(Ω,F,P)：样本空间Ω确定所有可能结果，σ-代数F界定合法事件，概率测度P为每个事件赋值(Ω,F,P)CHAPTER01·概率论基础概率公理的实例验证通过构造性例子可以深入理解概率公理的含义：σ-代数的选取决定了概率的定义范围，而概率测度的合法性必须逐一验证三条公理，特别是可列可加性需要借助级数求和来证明。σ-代数的选取影响01掷骰子Ω={1,2,3,4,5,6}，取F=σ({偶数点})，F仅含4个元素，无法定义"掷出1点"的概率，说明σ-代数限制了可测事件的范围02若取F为Ω的全体子集构成的幂集（2⁶=64个元素），则每个子集都有确定的概率值，这是最"精细"的σ-代数幂集2⁶=64泊松概率测度验证01设股票日成交笔数m∈{0,1,2,...}，定义P(A)=Σe⁻λλᵏ/k!，验证P(Ω)=e⁻λ·Σλᵏ/k!=e⁻λ·e^λ=1，满足规范性02互不相容事件的并集概率等于各项概率之和（通过交换求和顺序证明），满足可列可加性，P是合法的概率测度可列可加性Kolmogorov公理推论概率的基本性质概率的五大基本性质——空集零概率、单调性、可减性、加法公式和次可加性——均可从Kolmogorov公理严格推导，是概率计算中最高频使用的工具。01空集零概率：P(∅)=0，不可能事件的概率为0；反之概率为0的事件不一定是不可能事件（连续分布中的单点概率）02单调性：若A⊂B，则P(A)≤P(B)，子事件的概率不超过包含它的事件的概率，反映了概率的序结构03加法公式：P(A∪B)=P(A)+P(B)−P(A∩B)，两个事件并集的概率需扣除交集的重复计算部分04可减性：若A⊂B，则P(B−A)=P(B)−P(A)，差事件的概率等于大事件概率减去小事件概率05次可加性：P(∪An)≤ΣP(An)，对任意事件均成立，是可列可加性在一般情形的推广CONTINUITYOFPROBABILITY概率的连续性概率测度的从下连续与从上连续性质，将有限可加性推广到可列情形，是连接离散与连续、有限与无限的数学桥梁。01从下连续若事件序列An单调递增（A₁⊂A₂⊂…），且A=∪An，则limP(An)=P(A)=P(limAn)，概率极限等于极限事件的概率limP(An)=P(A)02从上连续若事件序列An单调递减（A₁⊃A₂⊃…），且A=∩An，则limP(An)=P(A)=P(limAn)，递减序列同样满足连续性A₁⊃A₂⊃…03直观理解概率测度对单调事件序列是"连续"的，事件逐渐扩大（或缩小）时，概率值平滑地趋近于极限值平滑趋近04应用意义连续性保证了可列可加性等价于有限可加性加上连续性，为极限定理的证明提供了关键工具极限定理CHAPTER03条件概率与三大公式掌握条件概率、全概率公式和贝叶斯公式的核心思想与应用方法Chapter01·Probability条件概率的定义条件概率P(A|B)衡量在已知B发生的前提下A发生的可能性，其本质是将样本空间缩小为B后重新计算概率。Definition定义公式当P(B)>0时，P(A|B)=P(A∩B)/P(B)，即在B发生的条件下A发生的概率等于联合概率除以B的概率P(A|B)=P(A∩B)/P(B)Intuition直觉理解B发生相当于缩小了样本空间，在B这个"新样本空间"中，A∩B所占的比例就是条件概率缩小样本空间Example示例验证掷骰子已知偶数B={2,4,6}，求2点的条件概率：P(A|B)=(1/6)/(3/6)，与直觉一致P(A|B)=1/3Axioms条件概率仍是概率P(·|B)满足非负性、规范性和可列可加性三条公理，是Ω上的合法概率测度Kolmogorov公理MULTIPLICATIONRULE乘法公式乘法公式P(AB)=P(A|B)·P(B)是条件概率的直接推论，其链式推广形式可将多事件联合概率逐步分解为条件概率的乘积。这一分解思想是马尔可夫链等随机过程模型的理论基础。两事件形式P(A∩B)=P(A|B)·P(B)=P(B|A)·P(A)联合概率等于条件概率与边缘概率的乘积，两种条件化方式等价，可按计算便利性选取分解方向。该公式在贝叶斯推断中用于转换先验与后验概率。链式推广P(B₁∩B₂∩…∩Bₙ)=P(B₁)·P(B₂|B₁)·P(B₃|B₁B₂)·…·P(Bₙ|B₁…Bₙ₋₁)多事件联合概率可逐层条件化分解，每一步只需计算下一个事件在已有条件下的概率。链式法则使高维概率计算成为可能。条件形式P(B₁…Bₙ|A)=P(B₁|A)·P(B₂|B₁A)·…·P(Bₙ|B₁…Bₙ₋₁A)在已知事件A发生的条件下，链式分解同样成立，所有概率均以A为基础条件。这一形式在隐马尔可夫模型中广泛应用。应用意义联合概率→条件概率序列将复杂联合概率分解为简单条件概率序列，是随机过程状态转移分析的核心计算工具。该思想支撑了序列建模、时间序列预测等重要应用领域。ProbabilityTheory全概率公式全概率公式将复杂事件B的概率分解为在完备划分各分支下的条件概率加权和，是"由因推果"的计算工具。01完备划分条件A₁,A₂,…,Aₙ两两互不相容且∪Aᵢ=Ω，即它们穷尽了所有可能的"原因"或"情形"∪Aᵢ=Ω02公式表达P(B)=Σᵢ₌₁ⁿP(B|Aᵢ)·P(Aᵢ)，事件B的总概率等于各分支条件概率与先验概率乘积之和ΣP(B|Aᵢ)·P(Aᵢ)03直觉解读每个Aᵢ代表一种"原因"，P(Aᵢ)为先验概率，P(B|Aᵢ)为该原因下B发生的概率，加权求和得B的总概率加权求和04典型应用工厂三条生产线的不合格品率分析——总不合格率等于各产线不合格率按产量权重加权平均加权平均PROBABILITYTHEORY贝叶斯公式贝叶斯公式P(Aᵢ|B)=P(B|Aᵢ)·P(Aᵢ)/ΣP(B|Aⱼ)·P(Aⱼ)实现了"由果溯因"的概率推断，将先验概率更新为后验概率。它是贝叶斯统计、机器学习和信号处理的理论基石。01公式推导由条件概率P(Aᵢ|B)=P(AᵢB)/P(B)，分子用乘法公式展开为P(B|Aᵢ)·P(Aᵢ)，分母用全概率公式展开。P(Aᵢ|B)=P(B|Aᵢ)·P(Aᵢ)/P(B)02先验与后验P(Aᵢ)是先验概率（观测B之前对Aᵢ的估计），P(Aᵢ|B)是后验概率（观测到B之后对Aᵢ的更新估计）。Prior→Posterior03医学检测案例患病率1%，检测准确率99%，阳性结果的后验患病概率≈50%，揭示先验概率对后验判断的重大影响。≈50%后验患病概率04工程应用在通信系统中，贝叶斯公式用于最优信号检测——根据接收信号推断发送信号，最小化误判概率。信号检测·最小误判PROBABILITYTHEORY事件的独立性事件独立性（P(AB)=P(A)·P(B)）是概率论的核心概念，意味着一个事件的发生不影响另一个事件的概率。独立性严格区别于互不相容性，两者不可混淆——正概率下互不相容必然导致不独立。01独立定义：若P(A∩B)=P(A)·P(B)，则A与B独立；等价于P(B|A)=P(B)，即A的发生不改变B的概率P(B|A)=P(B)02独立与互不相容：互不相容(AB=∅)意味着不能同时发生，独立意味着互不影响；当P(A)>0且P(B)>0时，互不相容一定不独立AB=∅⇒不独立03多事件独立：A₁,…,Aₙ相互独立要求任意子集的联合概率等于各自概率的乘积，共需验证2ⁿ−n−1个等式2ⁿ−n−104应用意义：独立性假设极大简化概率计算，是独立增量过程（如布朗运动、泊松过程）的理论基础布朗运动Chapter04随机变量及其分布从样本空间到实数轴，建立随机变量的分布描述体系PROBABILITYTHEORY·CHAPTER01随机变量的定义随机变量X是定义在概率空间(Ω,F,P)上的可测函数，将每个样本点映射为一个实数值。可测性条件保证了对任意实数x，事件{X≤x}的概率都有意义，从而可以用分布函数完整描述随机变量的统计规律。01函数本质X:Ω→R，将样本空间中的每个样本点ω映射为一个实数X(ω)，如掷骰子时X(ω)=ω表示点数X:Ω→R02可测性条件对任意实数x，事件{ω:X(ω)≤x}必须属于σ-代数F，保证P(X≤x)有定义，这是随机变量与普通函数的本质区别∈σ-代数F03指示函数特殊随机变量IA(ω)，当事件A发生时取1、不发生时取0，是连接事件与随机变量的桥梁IA(ω)∈{0,1}04实际意义随机变量将抽象的随机结果转化为可计算的数值，使得微积分、线性代数等数学工具能够应用于概率分析Ω→ℝProbabilityTheory分布函数及其性质分布函数F(x)=P(X≤x)是描述随机变量统计规律的统一工具，其四大性质完整刻画了概率的累积规律。01定义F(x)=P(X≤x)表示随机变量X取值不超过x的概率，是概率在实数轴上的累积分布。02单调不减若x₁<x₂则F(x₁)≤F(x₂)；因{X≤x₁}⊂{X≤x₂}，概率随x增大单调不减。03右连续与边界条件F(x)右连续；F(−∞)=lim(x→−∞)F(x)=0，F(+∞)=lim(x→+∞)F(x)=1。04区间概率P(a<X≤b)=F(b)−F(a)，任意区间的概率可通过分布函数两端点值之差直接计算。CHAPTER01·概率论基础离散型随机变量与常见分布离散型随机变量通过概率质量函数p(xₖ)=P(X=xₖ)描述，满足非负性和归一性。伯努利分布、二项分布和泊松分布是三个最重要的离散分布，其中泊松分布是连接概率论与随机过程的关键纽带。伯努利分布X∈{0,1}，P(X=1)=p，P(X=0)=1-p，描述单次成功/失败试验的结果。B(1,p)二项分布n次独立伯努利试验中成功次数，P(X=k)=C(n,k)·pk·(1-p)n-k。B(n,p)μ=npσ²=np(1-p)泊松分布P(X=k)=e-λ·λk/k!，描述稀有事件在固定区间内的发生次数。P(λ)μ=λσ²=λ极限关系二项分布在n→∞、p→0、np=λ时收敛为泊松分布，是泊松过程的核心概率结构。B(n,p)→P(λ)ContinuousRandomVariables连续型随机变量与概率密度连续型随机变量通过概率密度函数f(x)描述，满足f(x)≥0且∫f(x)dx=1。密度函数与分布函数互为微积分关系：F(x)=∫f(t)dt。均匀分布、指数分布和正态分布是三个最重要的连续分布。01Definition密度函数定义f(x)≥0且∫₋∞⁺∞f(x)dx=1，分布函数F(x)=∫₋∞ˣf(t)dt；连续型随机变量单点概率恒为零P(X=x)=002Uniform均匀分布U(a,b)f(x)=1/(b−a)在[a,b]上为常数，每个等长子区间的概率相同，是最简单的连续分布f=1/(b−a)03Exponential指数分布Exp(λ)f(x)=λe⁻λˣ(x≥0)，均值1/λ，具有无记忆性，是泊松过程中事件间隔时间的分布E=1/λ04Normal正态分布N(μ,σ²)钟形对称曲线，中心极限定理保证其在统计推断中的核心地位N(μ,σ²)PROBABILITYTHEORY指数分布的无记忆性指数分布是唯一具有无记忆性P(X>s+t|X>s)=P(X>t)的连续分布。灯泡不会"记住"已发光时长——指数分布的直觉类比FORMULAP(X>s+t|X>s)=P(X>t)对所有s,t>0成立，已等待时间s不影响剩余等待时间的分布INTUITION灯泡已亮1000小时再亮500小时的概率，与新灯泡亮500小时的概率相同——"不会老化"UNIQUENESS满足无记忆性的连续分布只有指数分布，可通过对F(x)建立函数方程严格证明MARKOVCHAIN连续时间马尔可夫链的状态驻留时间必须服从指数分布，以保证过程的马尔可夫性Chapter05数字特征与极限定理从期望方差到矩母函数，从大数定律到中心极限定理应用随机过程·概率论简介数学期望数学期望E(X)是随机变量的加权平均值，离散时E(X)=Σxₖp(xₖ)，连续时E(X)=∫xf(x)dx。期望的线性性质E(aX+bY)=aE(X)+bE(Y)无需独立性假设，是概率计算中最高效的工具之一。01离散情形E(X)=Σxₖ·P(X=xₖ)，要求级数绝对收敛B(n,p)→np02连续情形E(X)=∫x·f(x)dx，要求积分绝对收敛Exp(λ)→1/λ03线性性质E(aX+bY+c)=aE(X)+bE(Y)+c，对任意随机变量均成立，不要求独立性无需独立性假设04独立性推论若X与Y独立，则E(XY)=E(X)·E(Y)；反之不成立——E(XY)=E(X)E(Y)只说明不相关不相关≠独立PROBABILITYTHEORY方差与标准差方差D(X)=E[(X-E(X))²]衡量随机变量围绕期望的离散程度。独立随机变量之和的方差等于方差之和，这一性质在大数定律的证明中起着关键作用。定义与计算D(X)=E[(X-EX)²]，等价公式D(X)=E(X²)-[E(X)]²更便于实际计算，量纲为X量纲的平方。D(X)基本性质D(X)≥0且D(X)=0⟺X=a.s.常数；D(aX+b)=a²D(X)，加常数不改变离散程度。≥0独立性性质若X,Y独立，则D(X±Y)=D(X)+D(Y)；若不独立则D(X+Y)=D(X)+D(Y)+2Cov(X,Y)。Cov(X,Y)标准差与变异系数σ=√D(X)恢复原始量纲；CV=σ/E(X)用于比较不同量级变量的相对离散程度。σ/CVChapter01·Probability协方差与相关系数协方差Cov(X,Y)=E(XY)-E(X)E(Y)衡量两个随机变量的线性关联方向与强度，相关系数ρ将其标准化到[-1,1]区间。独立性蕴含不相关性但反之不成立，这一区别在随机过程分析中至关重要。协方差定义Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-E(X)E(Y)，正值表示同向变动，负值表示反向变动Cov(X,Y)相关系数ρ=Cov(X,Y)/(σX·σY)∈[-1,1]，消除量纲影响，|ρ|=1表示完全线性相关，ρ=0表示线性不相关ρ∈[-1,1]独立与不相关X,Y独立⟹Cov(X,Y)=0（不相关），但反之不成立——不相关只说明无线性关系，可能存在非线性关系非线性关系协方差矩阵多维随机向量(X₁,...,Xₙ)的协方差矩阵Σ=(σᵢⱼ)ₙₓₙ是对称半正定矩阵，在随机过程中推广为协方差函数半正定矩阵IntegralTransforms矩母函数与特征函数矩母函数M(t)=E(eᵗˣ)和特征函数φ(t)=E(eⁱᵗˣ)是描述随机变量分布的积分变换工具，它们唯一确定分布且将卷积运算转化为乘法运算，在随机过程理论分析和极限定理证明中具有不可替代的作用。01矩母函数M(t)=E(etX)M⁽ᵏ⁾(0)=E(Xᵏ)给出k阶原点矩，M(t)在t=0附近的泰勒展开系数包含所有矩信息。矩母函数通过指数变换将概率分布的矩信息编码为生成函数形式，便于进行解析运算和渐近分析。02唯一性定理矩母函数（在存在的前提下）唯一确定概率分布，两个随机变量矩母函数相同则分布相同。这一性质使得矩母函数成为研究分布等价性的有力工具，在参数估计和假设检验中具有重要应用价值。03独立和的矩母函数若X,Y独立，则X+Y的矩母函数MX+Y(t)=MX(t)·MY(t)，卷积变为乘法，极大简化计算。这一性质是研究独立随机变量和分布的核心工具，广泛应用于中心极限定理的证明和复合分布的推导。04特征函数φ(t)=E(eitX)对任何随机变量都存在（因|eⁱᵗˣ|=1），同样唯一确定分布，是证明中心极限定理的核心工具。特征函数作为复值函数，具有优良的解析性质，在傅里叶分析框架下为概率论提供了强大的分析手段。PROBABILITYTHEORY·INEQUALITY切比雪夫不等式切比雪夫不等式仅依赖期望和方差即可给出随机变量偏离中心的概率上界，无需知道具体分布，是大数定律证明的核心工具。01不等式表述对任意ε>0，P(|X−E(X)|≥ε)≤D(X)/ε²，等价地P(|X−E(X)|<ε)≥1−D(X)/ε²02证明思路利用方差定义D(X)=E[(X−EX)²]，将积分域限制在|x−EX|≥ε上，得到D(X)≥ε²·P(|X−EX|≥ε)03普适性与局限性不依赖分布类型，只要方差存在即可使用；但给出的上界通常较宽松，不如精确分布计算的结果紧04理论意义为大数定律提供直接证明工具——当方差趋于0时，偏离概率也趋于0，样本均值收敛于期望LAWOFLARGENUMBERS大数定律大数定律表明，独立同分布随机变量的算术平均值X̄ₙ在n→∞时依概率收敛于期望μ。这一定律是概率论与统计推断的桥梁，保证了大