《马尔可夫过程》PPT课件

应用随机过程,杜勇宏2005年5月25日联系方式：电话mail:yonghongdu,马尔可夫链,3,4.1马尔可夫链与转移概率4.2马尔可夫链的状态分类4.3状态空间的分解4.4渐近性质与平稳分布4.5连续时间马尔可夫链4.6柯尔莫哥洛夫微分方程,4,马尔可夫过程的定义,定义4.1设X(t)，tT为随机过程，若对任意正整数n及t10，且条件分布PX(tn)xn|X(t1)=x1,X(tn-1)=xn-1=PX(tn)xn|X(tn-1)=xn-1，则称X(t)，tT为马尔可夫过程。若t1,t2,tn-2表示过去，tn-1表示现在，tn表示将来，马尔可夫过程表明：在已知现在状态的条件下，将来所处的状态与过去状态无关。,5,马尔可夫过程的定义,马尔可夫过程通常分为三类：(1)时间、状态都是离散的，称为马尔可夫链(2)时间连续、状态离散的，称为连续时间马尔可夫链(3)时间、状态都是连续的，称为马尔可夫过程,6,马尔可夫链的一个应用含体制变化的时间序列建模,如果人们观察宏观经济或金融时间序列足够长时期,则可以看到类似的戏剧性中断。时间序列的这种明显变化可能源于战争、金融恐慌或政府政策的显著变化。一个有吸引力的例子是墨西哥银行美元帐户的比索值对墨西哥银行美元帐户的比索值之比率（Rogers,1992)。,7,墨西哥银行美元帐户的比索值对墨西哥银行美元帐户的比索值之比率，月度数据，19781985,78,79,82,81,80,84,85,83,8,马尔可夫链的一个应用含体制变化的时间序列建模,对于一个具体的时间序列过程，我们如何建模呢？一个简单的想法可能是1982年自回归的常数项发生了变化。对于1982年前的数据，我们可使用模型如yt-1=(yt-1-1)+t而1982年后的数据则可描述作yt-2=(yt-1-2)+t,9,马尔可夫链的一个应用含体制变化的时间序列建模,上面的模型看起来是对数据的一个可行描述，但作为一个时间序列模型并不令人满意。如果过去的过程发生了变化，显然它在将来也可能发生变化，所以在预测是应考虑到这一点。另外，体制的变化肯定不能视做完全可预见的、确定性事件。还有，体制变化本身是一个随机变量。因而一个完整的时间序列模型应该包括参数从1到2之变化的概率规律。,10,马尔可夫链的一个应用含体制变化的时间序列建模,上述观察表明，我们应该考虑未被观察到的随机变量s(t)的影响，s(t)表示过程在时刻t的状态或体制。如果s(t)=1，则过程处在体制1，而s(t)=2则意味着过程处于体制2。则上面的模型可等价写作yt-s(t)=(yt-1-s(t)+t其中描述这类离散性随机变量s(t)的最简单而有效的时间序列模型是马尔可夫链。（见hamilton，时间序列分析，1998）,11,4.1马尔可夫链与转移概率,随机过程Xn，nT，参数T=0,1,2,状态空间I=i0,i1,i2,定义4.2若随机过程Xn，nT，对任意nT和i0,i1,in+1I，条件概率PXn+1=in+1|X0=i0,X1=i1,Xn=in=PXn+1=in+1|Xn=in，则称Xn，nT为马尔可夫链，简称马氏链。,12,4.1马尔可夫链与转移概率,马尔可夫链的性质PX0=i0,X1=i1,Xn=in=PXn=in|X0=i0,X1=i1,Xn-1=in-1PX0=i0,X1=i1,Xn-1=in-1=PXn=in|Xn-1=in-1PXn-1=in-1|X0=i0,X1=i1,Xn-2=in-2PX0=i0,X1=i1,Xn-2=in-2=PXn=in|Xn-1=in-1PXn-1=in-1|Xn-2=in-2PX0=i0,X1=i1,Xn-2=in-2,13,4.1马尔可夫链与转移概率,=PXn=in|Xn-1=in-1PXn-1=in-1|Xn-2=in-2PX1=i1|X0=i0PX0=i0马尔可夫链的统计特性完全由条件概率PXn+1=in+1|Xn=in确定。,14,4.1马尔可夫链与转移概率,定义4.3称条件概率pij(n)=PXn+1=j|Xn=i为马尔可夫链Xn，nT在时刻n的一步转移概率，简称转移概率，其中i,jI。定义4.4若对任意的i,jI，马尔可夫链Xn,nT的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。齐次马尔可夫链具有平稳转移概率，状态空间I=1,2,3,，一步转移概率为,15,4.1马尔可夫链与转移概率,转移概率性质(1)(2)P称为随机矩阵,16,4.1马尔可夫链与转移概率,定义4.5称条件概率=PXm+n=j|Xm=i为马尔可夫链Xn，nT的n步转移概率(i,jI,m0,n1)。n步转移矩阵其中P(n)也为随机矩阵,17,4.1马尔可夫链与转移概率,定理4.1设Xn，nT为马尔可夫链，则对任意整数n0,0l0(最大公约数greatestcommondivisor)如果d1，就称i为周期的，如果d=1，就称i为非周期的,38,4.2马尔可夫链的状态分类,例4.5设马尔可夫链的状态空间I=1,2,9，转移概率如下图从状态1出发再返回状态1的可能步数为T=4,6,8,10,，T的最大公约数为2，从而状态1的周期为2,39,4.2马尔可夫链的状态分类,注(1)如果i有周期d，则对一切非零的n,n0modd，有（若，则n=0modd）(2)对充分大的n，（引理4.1）例题中当n=1时，当n0时，,40,4.2马尔可夫链的状态分类,例4.6状态空间I=1,2,3,4，转移概率如图，状态2和状态3有相同的周期d=2，但状态2和状态3有显著的区别。当状态2转移到状态3后，再不能返回到状态2，状态3总能返回到状态3。这就要引入常返性概念。,41,4.2马尔可夫链的状态分类,由i出发经n步首次到达j的概率(首达概率)规定由i出发经有限步终于到达j的概率,42,4.2马尔可夫链的状态分类,若fii=1，称状态i为常返的；若fii1，称状态i为非常返的i为非常返，则以概率1-fii不返回到ii为常返，则构成一概率分布，期望值表示由i出发再返回到i的平均返回时间,定义4.8,43,4.2马尔可夫链的状态分类,若i，则称常返态i为正常返的，若I=，则称常返态i为零常返的，非周期的正常返态称为遍历状态。首达概率与n步转移概率有如下关系式定理4.4对任意状态i,j及1n，有,定义4.9,44,4.2马尔可夫链的状态分类,证,45,4.2马尔可夫链的状态分类,引理4.2周期的等价定义G.C.D=G.C.D例4.7设马尔可夫链的状态空间I=1,2,3，转移概率矩阵为求从状态1出发经n步转移首次到达各状态的概率,46,4.2马尔可夫链的状态分类,解状态转移图如下，首达概率为,47,4.2马尔可夫链的状态分类,同理可得,48,4.2马尔可夫链的状态分类,以下讨论常返性的判别与性质数列的母函数与卷积an,n0为实数列，母函数bn,n0为实数列，母函数则an与bn的卷积的母函数,49,4.2马尔可夫链的状态分类,定理4.5状态i常返的充要条件为如i非常返，则证:规定，则由定理4.4,50,4.2马尔可夫链的状态分类,51,4.2马尔可夫链的状态分类,对0s0，使jk，存在m0，使由C-K方程所以ik(2)由(1)直接推出,58,4.2马尔可夫链的状态分类,定理4.8如ij，则(1)i与j同为常返或非常返，如为常返，则它们同为正常返或零常返(2)i与j有相同的周期,59,4.2马尔可夫链的状态分类,例4.8设马氏链Xn的状态空间为I=0,1,2,，转移概率为考察状态0的类型,60,4.2马尔可夫链的状态分类,可得出0为正常返的由于，所以0的周期为d=10为非周期的，从而为遍历状态对于其它状态i,由于i0,所以也是遍历的,61,4.2马尔可夫链的状态分类,例4.9对无限制随机游动由斯特林近似公式可推出(1)当且仅当p=q=1/2时，4pq=1,62,4.2马尔可夫链的状态分类,状态i是常返的状态i是零常返的,63,4.2马尔可夫链的状态分类,(2)当且仅当pq，4pq1状态i是非常返的,64,4.3状态空间的分解,定义4.10状态空间I的子集C称为闭集，如对任意iC及kC都有pik=0;闭集C称为不可约的，如C的状态互通；马氏链Xn称为不可约的，如其状态空间不可约引理4.3C是闭集的充要条件为对iC及kC都有,65,4.3状态空间的分解,证充分性显然成立必要性（数学归纳法）设C为闭集，由定义当n=1时结论成立设n=m时，iC及kC，则注：如pii=1，称状态i为吸收的，等价于单点集i为闭集。,66,4.3状态空间的分解,例4.10设马氏链Xn的状态空间为I=1,2,3,4,5，转移概率矩阵为状态3是吸收的，故3是闭集，1,4，1,3,4，1,2,3,4都是闭集，其中3，1,4是不可约的。I含有闭子集，故Xn不是不可约的链。,67,4.3状态空间的分解,例4.11无限制随机游动为不可约马氏链，各状态的周期为2，当p=q=1/2时，是零常返的，当pq时，是非常返的。,68,4.3状态空间的分解,定理4.9任一马氏链的状态空间I，可唯一地分解成有限个或可列个互不相交的子集D,C1,C2,之和，使得：(1)每一Cn是常返态组成的不可约闭集；(2)Cn中的状态同类型，或全是正常返，或全是零常返，它们有相同的周期，且fij=1，i,jCn；(3)D由全体非常返态组成，自Cn中状态不能到达D中的状态。,69,4.3状态空间的分解,例4.12马氏链的状态空间I=1,2,3,4,5,6,状态转移矩阵为分解此链并指出各状态的常返性及周期性。,70,4.3状态空间的分解,解由状态转移图知可见1为正常返状态且周期为3，含1的基本常返闭集为C1=k:1k=1,3,5，从而状态3及5也为正常返状态且周期为3。同理可知6为正常返状态，6=3/2，周期为1。含6的基本常返闭集为C2=k:6k=2,6，可见2，6为遍历状态。,71,4.3状态空间的分解,于是I可分解为I=DC1C2=41,3,52,6定义4.11称矩阵A=(aij)为随机矩阵，若显然k步转移矩阵为随机矩阵。,72,4.3状态空间的分解,引理4.4设C为闭集，G是C上所得的k步转移子矩阵，则G仍是随机矩阵。证任取iC，由引理4.3有从而且，故是随机矩阵。,73,4.3状态空间的分解,注：对I的一个闭子集，可考虑C上的原马氏链的子马氏链，其状态空间为C，转移矩阵为G=(pij)，i,jC是原马氏链的转移矩阵为P=(pij)，i,jI的子矩阵。,74,4.3状态空间的分解,定理4.10周期为d的不可约马氏链，其状态空间C可唯一地分解为d个互不相交的子集之和，即且使得自Gr中任一状态出发，经一步转移必进入Gr+1中(Gd=G0)。注：任取一状态i，对每一r=0,1,d-1定义集,75,4.3状态空间的分解,例4.13设不可约马氏链的状态空间为C=1,2,3,4,5,6，转移矩阵为,76,4.3状态空间的分解,由状态转移图可知各状态的周期d=3,固定状态i=1，令故C=G0G1G2=1,4,63,52此在C中的运动如下图所示。,77,4.3状态空间的分解,78,4.3状态空间的分解,定理4.11设Xn,n0是周期为d的不可约马氏链，则在定理4.10的结论下有(1)如只在0,d,2d,上考虑Xn，即得一新马氏链Xnd，其转移矩阵，对此新链，每一Gr是不可约闭集，且Gr中的状态是非周期的；(2)如原马氏链Xn常返，则新马氏链Xnd也常返。,79,4.3状态空间的分解,例4.14设Xn为例4.13中的马氏链，已知d=3，则Xnd,n0的转移矩阵为,80,4.3状态空间的分解,由子链X3n的状态转移图可知G0=1,4,6，G1=3,5，G2=2各形成不可约闭集，周期为1,81,4.4渐近性质与平稳分布,考虑渐近性质定理4.12如j非常返或零常返，则证若j非常返，则由定理4.5，从而若j零常返，则由定理4.6推论，,82,4.4渐近性质与平稳分布,由定理4.4，对N0,pi+ri+qi=1。此马尔可夫链为生灭链，它是不可约的。记a0=1，证此马尔可夫链存在平稳分布的充要条件为,98,4.4渐近性质与平稳分布,证设j,jI是平稳分布,99,4.4渐近性质与平稳分布,100,4.4渐近性质与平稳分布,例4.17设马尔可夫链转移概率矩阵为求每一个不可约闭集的平稳分布。,101,4.4渐近性质与平稳分布,解从状态转移图看出，状态空间可分解为两个不可约常返闭集C1=2,3,4和C2=5,6,7，一个非常返集N=1。在常返集上求平稳分布。,102,4.4渐近性质与平稳分布,在C1上，对应的转移概率矩阵为C1上的平稳分布为0,0.4,0.2,0.4,0,0,0同理可求得C2上的平稳分布为0,0,0,0,1/3,1/3,1/3,103,4.5连续时间马尔可夫链,定义4.13设随机过程X(t)，t0，状态空间I=0,1,2,，若对任意0t1t2tn+1及非负整数i1,i2,in+1，有PX(tn+1)=in+1|X(t1)=i1,X(t2)=i2,X(tn)=in=PX(tn+1)=in+1|X(tn)=in，则称X(t)，t0为连续时间马尔可夫链。,104,转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率pij(s,t)=PX(s+t)=j|X(s)=i定义4.14齐次转移概率(与起始时刻s无关，只与时间间隔t有关)pij(s,t)=pij(t)此时有转移概率矩阵P(t)=(pij(t)，i,jI，t0.,105,4.5连续时间马尔可夫链,记i为过程在状态转移之前停留在状态i的时间，则对s,t0有(1)(2)i服从指数分布证(1)事实上,106,4.5连续时间马尔可夫链,s,s+t,0,i,i,i,i,t,i,107,4.5连续时间马尔可夫链,108,4.5连续时间马尔可夫链,(2)设i的分布函数为F(x),(x0),则生存函数G(x)=1-F(x)由此可推出G(x)为指数函数，G(x)=e-x,则F(x)=1-G(x)=1-e-x为指数分布函数。,109,4.5连续时间马尔可夫链,过程在状态转移之前处于状态i的时间i服从指数分布(1)当i=时，状态i的停留时间i超过x的概率为0，则称状态i为瞬时状态；(2)当i=0时，状态i的停留时间i超过x的概率为1，则称状态i为吸收状态。,110,4.5连续时间马尔可夫链,定理4.16齐次马尔可夫过程的转移概率具有下列性质：(1)pij(t)0;(2)