第七讲-马尔可夫链PPT课件

-,1,2020/5/7,-,2,1T连续，E连续连续马尔可夫过程2T连续，E离散离散马尔可夫过程3T离散，E连续马尔可夫序列4T离散，E离散马尔可夫链,马尔可夫过程的分类：,T表示时间空间E表示状态空间,2020/5/7,-,3,2020/5/7,-,4,2020/5/7,-,5,(1)一步转移概率,在齐次条件下，令,中则,称为一步转移概率。,构成的矩阵,称为一步转移概率矩阵，简称转移概率矩阵。,由所有一步转移概率,2020/5/7,-,6,2020/5/7,-,7,2020/5/7,-,8,2020/5/7,-,9,2020/5/7,-,10,当时，马氏链处于状态i的概率称为绝对概率或绝对分布。,则称为该马氏链的绝对分布，也称绝对概率。,设,为一马氏链，其状态空间,或为有限子集。,令,，且对任意的,均有,2020/5/7,-,11,2020/5/7,-,12,转移图（状态转移图与概率转移图）,状态转移图就是在一张图中，首先将马氏链所具有的各个状态一一标出，然后用标有箭头的连线将各个状态连接起来，箭头所指的状态，就是箭尾所连接的状态一步能够达到的状态，若在连线上再标出一步转移概率，就构成了概率转移图。有了概率转移图，为状态的连通性、可达性、常返性以及马氏链的可约性提供方便。,2020/5/7,-,13,马氏链中状态分类,到达与相通,到达具有传递性，即若,则,2020/5/7,-,14,如果马尔可夫链的所有状态都是相通的，则这样的马尔可夫链为不可约的。,2020/5/7,-,15,2020/5/7,-,16,2状态的分类,如果可能永不取值j，规定。,是一随机变量。,为了对马氏链进行分类，需要明白马氏链存在哪些状态，哪些是暂时出现（最多有限次到达），哪些永恒出现（无限次到达）。,2020/5/7,-,17,2020/5/7,-,18,2020/5/7,-,19,定理对任何状态,，有,说明：马氏链从状态i出发经过n步转移到状态j的概率：从i出发经过l步首次到达状态j，在从状态j出发经过n-l步转移又到了状态j（），这些事件的概率之和。,如果，则称状态j是常返的。如果，则称状态j是非常返的(或称为瞬时的)如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。,2020/5/7,-,20,2020/5/7,-,21,设i是常返态，如果，则称状态i是正常返态；如果，则称状态i是零常返态。,2020/5/7,-,22,对于状态i，若正整数集合非空，则称该集合的最大公约数L为状态i的周期。若，则称状态i是周期的。若，则称状态i是非周期的。如果状态i是非周期且正常返的，则称状态i是遍历的。,2020/5/7,-,23,定理设i为常返状态，有周期,则,马氏状态分类图,状态空间,周期,常返,非周期,非常返,正常返,零常返,遍历,2020/5/7,-,24,状态分类判别法：,2020/5/7,-,25,、,定理若，则（1）i与j同为常返或同为非常返；（2）若i与j常返，则i与j同为正常返或同为零常返；（3）i与j或同为非周期的，或同为周期的且有相同的周期。,上述讨论常返性，下面讨论相通性,2020/5/7,-,26,3遍历性与平稳分布,设齐次马氏链的状态空间为E，若对一切，存在不依赖于i的极限,则称马尔可夫链具有遍历性。并称为状态j的稳态概率。,说明：无论从那个状态i出发，当转移步数充分大时，转移到状态j的概率接近，即当n足够大时，可用作为的近似值。,2020/5/7,-,27,2020/5/7,-,28,马氏链的平稳性,物理意义：对于任意的时刻，系统处于同一状态的概率是相同的。,定义：若齐次马氏链的概率分布不随时间n的变化而变化。即满足,-,29,2020/5/7,29,