随机过程-7马尔科夫链的概念和转移概率1课件

马尔科夫链的概念和转移概率例1某地只有甲、乙、丙三家公司的产品在该地销售，据统计一个月后，使用甲产品的用户有10%转向乙，20%转向丙；使用乙产品的用户有10%转向甲，20%转向丙；使用丙产品的用户有8%转向甲，4%转向乙。已知甲、乙、丙现在的市场占有率是30%,20%,50%,问四个月后的各自市场占有率是多少？经过足够长的时间，市占率是否会稳定？稳定到多少？例2(蜘蛛和苍蝇)一只苍蝇在一条直线上移动，每次移动一个单位长度。每单位时间，它以0.3的概率向左移动一个单位，以0.3的概率向右移动一个单位，且以0.4的概率停留在原地，并且它们独立于过去的移动。两只蜘蛛等在位置1和位置m：如果苍蝇达到这个位置，它将被蜘蛛捕捉，于是过程结束。问：苍蝇平均能活多长时间？被某个蜘蛛吃掉的概率是多少？引例3(赌徒破产问题)一个赌徒每局以概率p赢一元，同时以概率1-p输掉一元。假设不同的赌局之间是相互独立的。赌徒会一直赌博直到资金到达某个目标总数m时，或者输掉全部的钱。请问最终资金到达目标m或者输掉他全部资金的概率是多少？到达目标m或者输掉他全部资金时，平均可以玩多少局？4.1马尔可夫链与转移概率定义设{X(t)，tT

}为随机过程，若对任意正整数n及t1<t2<<tn，P{X(t1)=x1,,X(tn-1)=xn-1}>0，且条件分布P{X(tn)xn|X(t1)=x1,,X(tn-1)=xn-1}=P{X(tn)xn|X(tn-1)=xn-1}，则称{X(t)，tT

}为马尔可夫过程。☆若t1,t2,,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。4.1马尔可夫链与转移概率常见马尔可夫过程通常有三类：(1)时间、状态都是离散的，称为马尔可夫链(2)时间连续、状态离散的，称为连续时间马尔可夫链(3)时间、状态都是连续的，称为马尔可夫过程（时间离散、状态连续的马尔可夫过程，通常用泛函中二元函数的范数进行研究）随机过程{Xn，nT

}，参数T={0,1,2,},状态空间I={i0,i1,i2,}

定义若随机过程{Xn，nT

}，对任意nT和i0,i1,,in+1I，条件概率P{Xn+1=in+1|X0=i0,X1=i1,,Xn=in}=P{Xn+1=in+1|Xn=in}，则称{Xn，nT

}为马尔可夫链，简称马氏链。4.1马尔可夫链与转移概率4.1马尔可夫链与转移概率马尔可夫链的性质

P{X0=i0,X1=i1,,Xn=in}=P{Xn=in|X0=i0,X1=i1,,Xn-1=in-1}

P{X0=i0,X1=i1,,Xn-1=in-1}=P{Xn=in|Xn-1=in-1}

P{Xn-1=in-1|X0=i0,X1=i1,,Xn-2=in-2}

P{X0=i0,X1=i1,,Xn-2=in-2}=P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}

P{X0=i0,X1=i1,,Xn-2=in-2}4.1马尔可夫链与转移概率==P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}

P{X1=i1|X0=i0}P{X0=i0}马尔可夫链的统计特性完全由条件概率P{Xn+1=in+1|Xn=in}确定。4.1马尔可夫链与转移概率定义称条件概率pij(n)=P{Xn+1=j|Xn=i}为马尔可夫链{Xn，nT

}在时刻n的一步转移概率，简称转移概率，其中i,jI。定义

若对任意的i,jI，马尔可夫链{Xn,nT

}的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。可以用状态转移图和转移概率矩阵表示齐次马尔科夫链：例1某地只有甲、乙、丙三家公司的产品在该地销售，据统计一个月后，使用甲产品的用户有10%转向乙，20%转向丙；使用乙产品的用户有10%转向甲，20%转向丙；使用丙产品的用户有8%转向甲，4%转向乙。已知甲、乙、丙现在的市场占有率是30%,20%,50%,问四个月后的各自市场占有率是多少？经过足够长的时间，市占率是否会稳定？稳定到多少？例1：甲、乙、丙三个状态用1,2,3表示状态转移图：231转移矩阵：0.10.20.70.10.20.70.080.040.88矩阵每一行的和都等于1求一个用户从甲—>甲—>乙—>丙的概率如果初始状态在2，即P(X0=2)=1,则2→2→2→3→4的概率为：

P(X0=2,X1=2,X2=2,X3=3,X4=4)=P(X0=2)×P(X1=2|X0=2)×P(X2=2|X1=2,X0=2)×P(X3=3|X2=2,X1=2,X0=2)×P(X4=4|X3=3,X2=2,X1=2,X0=2)=P(X0=2)P22P22P23P34=若P(X0=2)=P0,则2→2→2→3→4的概率为：转移矩阵：10000.30.40.3000.30.40.30001矩阵每一行的和都等于1例2(蜘蛛和苍蝇)一般情况，我们令1，2，...,m表示苍蝇对应的位置，于是非零转移概率为：P11=1，Pmm=1转移概率矩阵如下：引例3(赌徒破产问题)4.1马尔可夫链与转移概率转移概率性质(1)

(2)

P称为随机矩阵性质(2)是说每次试验必定会出现某个转移。

齐次马尔可夫链具有平稳转移概率，状态空间I={1,2,3,}，一步转移概率矩阵为：4.1马尔可夫链与转移概率例4.4

具有吸收壁和反射壁的随机游动状态空间{1,2,3,4}，1为吸收壁，4为反射壁状态转移图状态转移矩阵n步转移概率

n步转移概率矩阵4.1马尔可夫链与转移概率定义

称条件概率

=P{Xm+n=j|Xm=i}为马尔可夫链{Xn，nT

}的n步转移概率(i,jI,m0,n1)。求状态1经过两次转移仍然处于状态1的概率：123112312求状态i经过两次转移仍然处于状态j的概率：i231j231一般情况：如果有m个状态1,2,...,m,则12311例1：甲、乙、丙三个状态用1,2,3表示两步转移概率矩阵：求状态i经过三次转移处于状态j的概率：231i231ji231j例1：甲、乙、丙三个状态用1,2,3表示两步转移概率矩阵：三步转移概率矩阵：10步转移概率矩阵：查普曼—科尔莫戈洛夫方程，即C-K方程：定理4.1设{Xn，nT

}为马尔可夫链，则对任意整数n0,0l<n和i,jI，n步转移概率具有性质(1)

(2)(3)

P(n)=PP(n-1)(4)

P(n)=Pn4.1马尔可夫链与转移概率证(1)4.1马尔可夫链与转移概率(2)在(1)中令l=1,k=k1,得由此可递