随机过程-第四章2

1、3. 时间连续状态离散的马氏过程,一、定义,转移概率函数,pij (s) = pij (t，t+s)=px(t+s)=j | x(t)=i t0，s0,我们只讨论时齐马氏过程，以后不再说“时齐”二字。,7 绝对概率被初始概率和转移概率所确定,定义：过程 x(t)，t(0，+) 状态有限e= 1，2，n ,9转移密度矩阵（速率（度）矩阵，也称q矩阵）,称为马氏过程的速度函数或由状态i 转移到状态j的转移概率密度。,上面两个定义是一样的,qij表示在单位时间内，由状态i转移到状态j的 平均概率。,说明：（qii是跳离i的转移密度）,注：qii表示在单位时间内跳离i的平均概率， 而不是在单位时间内停

2、留在i的概率。,（3）速率函数的性质, qii0，i=1，2，n, qij0 ij i，j=1，2，n,下面介绍pij(t)满足的微分方程组及其求解。,注意：二个方程都是关于pij(t)的线性微分方 程组，各包含(n+1)2个方程，,可通过解方程组加初始条件求 也可通过拉氏变换求解。,介绍负指数分布的无记忆性。,应用举例：一般步骤：,1.写出状态转移矩阵，并画出状态转移图,(1) 定义系统状态,要保证所定义的状态是能区分系统的的各种不同状态，,如：系统工作（1），系统故障（0）. e0，1。,（2）定义随机过程，,2 求转移速率矩阵,1. (1) 1表示系统在工作，0表示系统故障.e0,1,

3、分布特点，负指数分布无记忆性，知它是马氏过程。,(3) 马氏过程曲线图 状态转移图,系统工作1，系统故障0。,独立性 机器的各次运转期相互独立， 各次修复时间也相互独立，,故障工作,每一行之和等于1,2. 求速率函数。,速率矩阵,每行之和0,四个方程组，可求出其中两个，问题可解,求解 柯尔莫哥洛夫向前方程,代入上面甲式,可以得到,可以用拉氏变换求解,将系数代入各项，且写成部分分式形式,4.求过程在时刻t的状态概率分布。,例3 目的：考察一个服务窗口前顾客排队的情况。,第一步：定义x(t)，写出p(t),负指数分布函数,第二步 求q速率矩阵,注意：q每行之和是0,速率矩阵为,3.柯尔英哥洛夫向前

4、方程 见书p212,4.求p（t）？,2. 当马氏过程有遍历性时,四. 独立增量过程 p215,是m1个相互独立的r.v.， 那么称x(t)是独立增量过程,注：此定义并不要求过程的状态是离散的。,如：关于电话交换站的例子。 x（t）是平稳独立的增量过程。,2 2. 定理：若 x(t)，t0，+) 是状态离散的平稳 独立增量过程，则它是时齐马氏过程。 证明：见p215。,4 泊松过程及其性质,一、 概念 p206 例1.是以电话呼叫过程为例建立poisson 过程的数学模型。,（1）x(0)=0,(2) x(t)是平稳独立增量过程；,2poisson过程的数学模型, 普通性：在充分小的时间间隔内

5、来到的呼叫数 最多只有一次。,3.推证方法： 推证法一： 书 p206 例1 推证法二： 介绍,以上两个公式刻划了泊松过程。,(1) 用laplace 变换求解泊松方程。,3两个定义是等价的 p217 定理1 证明,以上两种定义中的条件是（1）是相同的， 只是条件（2）不同。,定义一是从宏观上给出增量的概率分布，,实用上，经验证满足上述模型的四个条件， 可用泊松过程来描述。,独立的泊松过程之和仍是泊松过程，此结论可以直接用。,四计数过程与泊松过程,1定义三,由定义出发，可知任一计数过程应满足下列条件：,(1) n(t)是一个非负整数，,p218直观看法,p219 定理证明,3. poisson过程的到达时间与点间间隔分布,五泊松过程与均匀分布的关