随机过程-第四章课件

1、3. 时间连续状态离散的马氏过程,一、定义,转移概率函数,1,PPT学习交流,2,PPT学习交流,pij (s) = pij (t，t+s)=PX(t+s)=j | X(t)=i t0，s0,我们只讨论时齐马氏过程，以后不再说“时齐”二字。,3,PPT学习交流,7 绝对概率被初始概率和转移概率所确定,4,PPT学习交流,定义：过程 X(t)，t(0，+) 状态有限E= 1，2，N ,5,PPT学习交流,9转移密度矩阵（速率（度）矩阵，也称Q矩阵）,称为马氏过程的速度函数或由状态i 转移到状态j的转移概率密度。,6,PPT学习交流,上面两个定义是一样的,qij表示在单位时间内，由状态i转移到状态

2、j的 平均概率。,7,PPT学习交流,说明：（qii是跳离i的转移密度）,8,PPT学习交流,注：qii表示在单位时间内跳离i的平均概率， 而不是在单位时间内停留在i的概率。,（3）速率函数的性质, qii0，i=1，2，N, qij0 ij i，j=1，2，N,下面介绍pij(t)满足的微分方程组及其求解。,9,PPT学习交流,注意：二个方程都是关于pij(t)的线性微分方 程组，各包含(N+1)2个方程，,10,PPT学习交流,可通过解方程组加初始条件求 也可通过拉氏变换求解。,11,PPT学习交流,介绍负指数分布的无记忆性。,12,PPT学习交流,应用举例：一般步骤：,1.写出状态转移矩

3、阵，并画出状态转移图,(1) 定义系统状态,要保证所定义的状态是能区分系统的的各种不同状态，,如：系统工作（1），系统故障（0）. E0，1。,（2）定义随机过程，,13,PPT学习交流,2 求转移速率矩阵,14,PPT学习交流,1. (1) 1表示系统在工作，0表示系统故障.E0,1, 分布特点，负指数分布无记忆性，知它是马氏过程。,15,PPT学习交流,(3) 马氏过程曲线图 状态转移图,系统工作1，系统故障0。,16,PPT学习交流,独立性 机器的各次运转期相互独立， 各次修复时间也相互独立，,17,PPT学习交流,故障工作,每一行之和等于1,18,PPT学习交流,2. 求速率函数。,速

4、率矩阵,每行之和0,19,PPT学习交流,四个方程组，可求出其中两个，问题可解,20,PPT学习交流,求解 柯尔莫哥洛夫向前方程,代入上面甲式,21,PPT学习交流,可以得到,22,PPT学习交流,可以用拉氏变换求解,23,PPT学习交流,将系数代入各项，且写成部分分式形式,24,PPT学习交流,4.求过程在时刻t的状态概率分布。,25,PPT学习交流,例3 目的：考察一个服务窗口前顾客排队的情况。,第一步：定义X(t)，写出P(t),26,PPT学习交流,负指数分布函数,27,PPT学习交流,第二步 求Q速率矩阵,注意：Q每行之和是0,28,PPT学习交流,速率矩阵为,3.柯尔英哥洛夫向前方

5、程 见书P212,4.求P（t）？,29,PPT学习交流,2. 当马氏过程有遍历性时,30,PPT学习交流,四. 独立增量过程 P215,是m1个相互独立的r.v.， 那么称X(t)是独立增量过程,31,PPT学习交流,注：此定义并不要求过程的状态是离散的。,如：关于电话交换站的例子。 X（t）是平稳独立的增量过程。,2 2. 定理：若 X(t)，t0，+) 是状态离散的平稳 独立增量过程，则它是时齐马氏过程。 证明：见P215。,32,PPT学习交流,4 泊松过程及其性质,一、 概念 P206 例1.是以电话呼叫过程为例建立Poisson 过程的数学模型。,（1）X(0)=0,(2) X(t

6、)是平稳独立增量过程；,33,PPT学习交流,2Poisson过程的数学模型,34,PPT学习交流, 普通性：在充分小的时间间隔内来到的呼叫数 最多只有一次。,3.推证方法： 推证法一： 书 P206 例1 推证法二： 介绍,35,PPT学习交流,以上两个公式刻划了泊松过程。,36,PPT学习交流,(1) 用Laplace 变换求解泊松方程。,37,PPT学习交流,38,PPT学习交流,3两个定义是等价的 P217 定理1 证明,以上两种定义中的条件是（1）是相同的， 只是条件（2）不同。,定义一是从宏观上给出增量的概率分布，,39,PPT学习交流,实用上，经验证满足上述模型的四个条件， 可用泊松过程来描述。,40,PPT学习交流,独立的泊松过程之和仍是泊松过程，此结论可以直接用。,41,PPT学习交流,四计数过程与泊松过程,1定义三,42,PPT学习交流,由定义出发，可知任一计数过程应满足下列条件：,(1) N(t)是一个非负整数，,43,PPT学习交流,P218直观看法,P219 定理证明,44,PPT学习交流,3. Poisson过程的到达时间与点间间隔分布,45,PPT学习交流,五泊松过程与均匀分布的关系,46,PPT学习交流,例4： 设