泊松过程、马尔科夫链

1、第七章 泊松过程、马尔科夫链按随机过程的不同性质进行分类，是一种更深刻、更能反映实际背景的分类方法。本章介绍几种常用的随机过程类型：独立增量过程、泊松过程、正态过程、维纳过程和马尔科夫链。7.1 独立增量过程与泊松过程一、独立增量过程1.独立增量过程随机变量则称 X(t),t0 是独立增量过程，又称可加过程. 是相互独立的，设X(t),t0是随机过程，如果对于任意的正整数n和平稳独立增量过程12.平稳独立增量过程(齐次增量过程)设X(t),t0是独立增量过程，若对任意0st,随机变量X(t)-X(s)的分布仅依赖于t-s,而与起点s和终点t本身无关，则称X(t),t0,+)是平稳(也称齐次)独

2、立增量过程.二、泊松过程1.计数过程 若N(t)表示到时刻t为止已发生的“事件A”的总数，且N(t)满足以下条件：则随机过程N(t),t0为计数过程。泊松过程22.泊松过程 (1)泊松过程的定义 设随机过程X(t),t0的状态空间为X=0,1,2,且满足下列三个条件： 则称X(t),t0为强度是的泊松过程。 复习：泊松分布泊松量过程的数字特征3(2)泊松过程的数字特征设t,s0,+),且st， 4(3)泊松过程的一个实例设N(t)表示某电话交换台在时间0,t)内接到的呼唤次数。可以证明，对固定的t，呼唤次数N(t)是服从某参数的泊松分布的随机变量。证明从略。(4)时间间隔与等待时间的分布X(t

3、),t0是泊松过程X(t)表示t时刻事件A发生(如:顾客出现)的次数，Wn,n=1,2,为泊松过程的等待时间序列Tn,n=1,2,为泊松过程的等待(或到达)时间序列间隔序列。泊松量过程的实例 5时间间隔的分布：定理7.1.2设X(t),t0是具有参数的泊松过程，Tn,n1是对应的时间间隔序列，则随机变量Tn(n=1,2,)独立同服从均值为1/ 的指数分布,其分布函数为证明(p233)等待时间的分布：定理7.1.3设Wn,n=1,2,是与泊松过程X(t),t0对应的一个等待时间序列，则Wn服从参数为n和的分布，其概率为 证明(p234)到达时刻的条件分布 6到达时刻的条件分布 设X(t),t0是

4、具有参数的泊松过程。在0,t内事件A已经发生n次，则第k(kn)次事件A发生的时刻Wk的条件概率密度函数为证明(p235)正态过程与维纳过程(略) 77.2 正态过程与维纳过程(自习内容)一、二阶矩过程若随机过程X(t),tT的二阶矩存在(有限),则称之为二阶矩过程。 二、正态过程设X(t),tT是随机过程，若对任意正整数n和则称X(t),tT是正态过程或高斯过程。从二阶矩过程的均值函数和相关函数出发来讨论随机过程的性质，而不涉及它的有限维分布，这种理论称为随机过程的相关理论。1.定义 8正态过程的一种特殊情形：维纳过程三、维纳过程定义：设W(t),t0为随机过程，如果满足：则称W(t),t0

5、为维纳过程。 2.正态过程的一个重要性质随机过程为正态过程的充分必要条件是其任意有限个状态的线性组合为一维正态随机变量。97.3 马尔科夫链 一、马尔科夫过程 马尔科夫过程是具有这样特性的过程：当已知随机过程现在时刻处于某状态时，此过程“将来”的情况便与“过去”的情况无关。这种特性通常称为无后效性。设X(t),tT为随机过程，若对任意正整数n及且其条件分布则称X(t),tT为马尔科夫过程. 例：直线上的随机游动 马尔科夫链 10二、马尔科夫链 ,有 设Xn,n0为随机变量序列，其状态空间为如果对任意的正整数n及任意n+1个状态则称此随机过程序列为马尔科夫链。 1.马尔科夫链的定义 例：在玻尔氢

6、原子模型中，电子可在允许的轨道上运动，假设以Xn-1=ai表示电子在第i条轨道上运动，并且电子轨道的跃迁只在t1,t2,t3,发生，显然，在时刻tn由第i轨道变到第j轨道的概率只与i,j有关，而与电子过去在什么轨道上无关,这个过程Xn,n0是个马尔科夫过程。一步转移概率 112.转移概率(一步转移概率) 设Xn,n0为马尔科夫链，其状态空间为 则称条件概率 为马尔科夫链Xn,n0在时刻n的一步转移概率，简称为转移概率，记作 . 一般地，转移概率不仅与状态有关，还与时刻有关。当转移概率与时刻无关时，表示马尔科夫链具有平稳转移概率，称这样的马尔科夫链是齐次的或时齐的，并记 pij(n)为pijP2

7、44例6(简讲) 一步转移概率的性质 12转移概率的性质： 转移概率可写成矩阵形式： 有限状态空无限状态空间 或 例7(p246)多步转移概率 13三、多步转移概率 2. 性质 1. 定义 设Xn,n0为马尔科夫链，则称条件概率 为马尔科夫链在m时刻从状态ai 经n步转到m+n时刻的状态aj的n步转移概率,记作 . 其状态空间为 多步转移概率的计算 143. n 步转移概率的计算上式称切普曼-柯尔莫哥洛夫方程，又称C-K方程。定理：设Xn , n0为马尔科夫过程，则对任意非负整数mm+r0 服从泊松分布的随机变量，其数期望和方差为 20求等待时间间隔Tn的分布函数：21求等待时间Wn的分布函数

8、及概率密度：事件关系：第n个事件在时刻t或之前发生,当且仅当时间t已发生的事件数目X(t)至少为n ，即于是 上式对t求导，得22证明：到达时刻的条件分布 (p234)在0,t内已发生n次条件上,第k次事件发生时刻Wk的概率密度为 23例7(p246):直线上带完全反射壁的随机游戏的一步转移概率。解：游走的状态空间为X=-2s,-s,0,s,2s, 对应X=a1,a2,a3,a4,a5由给出的游走规则，可知 得一步转移概率为24例10(p250):直线上带完全反射壁的随机游戏的二步转移概率。 解：25例14(p252):在“直线上带完全反射壁的随机游戏”中设随机质点开始处于线段的中点x=0处，求随机质点经两步到达反射壁的概率。分析：给定初始状态，也就是给出了初始的概率分布。依据马尔科夫链一维分布的计算公式经两步到达反射壁的概率为： 已知：根据：26例15(p254):齐次马