第七讲-马尔可夫链.ppt

1、2020/8/2,2,1 T连续，E连续连续马尔可夫过程 2 T连续，E离散离散马尔可夫过程 3 T离散，E连续马尔可夫序列 4 T离散，E离散马尔可夫链,马尔可夫过程的分类：,T表示时间空间 E表示状态空间,2020/8/2,3,2020/8/2,4,2020/8/2,5,(1) 一步转移概率,在齐次条件下，令,中 则,称为一步转移概率。,构成的矩阵,称为一步转移概率矩阵，简称转移概率矩阵。,由所有一步转移概率,2020/8/2,6,2020/8/2,7,2020/8/2,8,2020/8/2,9,2020/8/2,10,当 时，马氏链处于状态i的概率称为绝对概率或绝对分布。,则称 为该马氏

2、链的绝对分布，也称绝对概率。,设,为一马氏链，其状态空间,或为有限子集。,令,，且对任意的,均有,2020/8/2,11,2020/8/2,12,转移图（状态转移图与概率转移图）,状态转移图就是在一张图中，首先将马氏链所具有的各个状态一一标出，然后用标有箭头的连线将各个状态连接起来，箭头所指的状态，就是箭尾所连接的状态一步能够达到的状态，若在连线上再标出一步转移概率，就构成了概率转移图。 有了概率转移图，为状态的连通性、可达性、常返性以及马氏链的可约性提供方便。,2020/8/2,13,马氏链中状态分类,到达与相通,到达具有传递性，即若 , , 则,2020/8/2,14,如果马尔可夫链的所有

3、状态都是相通的，则这样的马尔可夫链为不可约的。,2020/8/2,15,2020/8/2,16,2状态的分类,如果 可能永不取值j，规定 。,是一随机变量。,为了对马氏链进行分类，需要明白马氏链存在哪些状态， 哪些是暂时出现（最多有限次到达），哪些永恒出现（无限 次到达）。,2020/8/2,17,2020/8/2,18,2020/8/2,19,定理 对任何状态,，有,说明：马氏链从状态i出发经过n步转移到状态j的概率： 从i出发经过l步首次到达状态j，在从状态j出发经过n-l 步转移又到了状态j（ ），这些事件的概率 之和。,如果 ，则称状态j是常返的。 如果 ，则称状态j是非常返的(或称为

4、瞬时的) 如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。,2020/8/2,20,2020/8/2,21,设i是常返态，如果 ，则称状态i是正常返态； 如果 ，则称状态i是零常返态。,2020/8/2,22,对于状态i，若正整数集合 非空，则称该集合的最大公约数L为状态i的周期。 若 ，则称状态i是周期的。 若 ，则称状态i是非周期的。 如果状态i是非周期且正常返的，则称状态i是 遍历的。,2020/8/2,23,定理 设i为常返状态，有周期 ,则,马氏状态分类图,状态空间,周期,常返,非周期,非常返,正常返,零常返,遍历,2020/8/2,24,状态分类判别法：,2020/8

5、/2,25,、,定理 若 ，则 （1）i与j同为常返或同为非常返； （2）若i与j常返，则i与j同为正常返或同为零常返； （3）i与j或同为非周期的，或同为周期的且有相同的周期。,上述讨论常返性，下面讨论相通性,2020/8/2,26,3遍历性与平稳分布,设齐次马氏链 的状态空间为E，若对一切 ，存在不依赖于i的极限,则称马尔可夫链具有遍历性。并称 为状态j的稳态概率。,说明：无论从那个状态i出发，当转移步数充分大时， 转移到状态j的概率接近 ，即当n足够大时， 可用 作为 的近似值。,2020/8/2,27,2020/8/2,28,马氏链的平稳性,物理意义：对于任意的时刻，系统处于同一状态的概率是 相同的。,定义：若齐次马氏链的概率分布不随时间n的变化