随机过程第四章(2)

1、14.3 状态空间的分解状态空间的分解 前面给出了马氏链状态分类的一些基本概念以及如何判别状态分类的定理，但如果对状态空间中的每个状态都按照这些定理逐一检查分类，这不仅是很繁琐的甚至是不可能的，因此,如果能够借助状态之间的转移使得对状态分类不再是一个一个地进行，而是“群体”地进行，也就是说如果能从某个状态的分类来确定一类状态的分类，无疑这将给我们带来很大方便。从某种意义上看相当于对状态空间进行分解。2) 1(0iiikpiiCCpCkCiCI为吸收状态。为闭集，称若单点集状态空间不可约。为不可约的，如其的状态互通；称马氏链如称为不可约的，；闭集都有及称为闭集，如对任意的子集定义：状态空间中。中

2、，它将永远留在闭集这意味着一旦质点进入的外部，的内部不能到达闭集的直观含义是自CCCC3由归纳法引理得证。，则，时，时结论成立，现设由定义知当为闭集，归纳法，设证：只需证必要性，用cjcjjkijcjcjjkijjkijikikpmppmppmpmpCkCimpmnnC000)()()(10)(1。，都有及任意是闭集的充要条件为对引理：10)(nnpCkCiCik4000100000100100002102102100215 , 4 , 3 , 2 , 1PIXn转移矩阵为：的状态空间例：设马氏链5 不是不可约链。含有子闭集，故马氏链又本身是最大闭集，是不可约的，、其中都是闭集。，、，、，另外

3、最小闭集是闭集是吸收的，故由转移图可知，状态nXII41332413414133状态转移图为：2153421212121116中的状态。到达中的状态不能，自由全体非常返状态组成；，期且常返，它们有相同的周正常返，或全是零中的状态同类，或全是中的状态到达；状态不可能从的闭集且是常返态组成的不可约每一个DCDCkjfCnmCCCnnjknmnn)3(1)2() 1 (之和，使得互不相交的子集分解成有限个或可列个，可唯一地的状态空间分解定理：任一马氏链,21CCDI7为基本常返闭集。中状态，一般称中的状态不能到达显然，从nCDCn)3(；则按互通关系进行分解为非常返状态全体，将集合，为全体常返状态组

4、成的记证：21,) 1 (CCDICCIDC 是同一类型的；知状态互通的，又由互通关系而不可约闭集中状态是可约的闭集，是由常返状态组成的不其中每一个nC28)(是不可约的闭集中运动。远在，它将永，当然一旦进入某个基本常返闭集而进入某一时刻离开中进行，反之则可能在直在为闭集时，状态转移一一非常返态，则当链的初态为某不一定是闭集，如马氏定理中的nnnnCCCCDDDD进入常返闭集。自什么状态出发迟早要系统一定不是闭集，即不管为有限集时，则注：DI。，且也为常返状态，为常返状态，则，定理：如果jifjijiji19210002100000010031031310100001000000001006

5、, 21P，I转移矩阵为设例试分解此链并指出各状态的常返性及周期性10解：由转移矩阵可得转移图.13523121313121111146；也为正常返且周期为及从而状态的基本常返闭集为：含等于为正常返状态，且周期即，3535 , 3 , 11:1313)(130)(1)3(11111111111kkCnnffnnffn11是遍历状态。周期为为正常返状态，故，周期为，同理，6, 1,23610)(1212120)(21)2(21) 1 (66666666666npfnnfff是遍历状态。可见：的基本常返闭集为：含26 , 2662kkC为非常返。，故，由于410)(31) 1 (4444nnff

6、。，可分解为：于是62531421CCDII12仍是随机矩阵。步转移子矩阵，则上所得的是，为闭集，又引理：设GkCCjikpGCij)(也为随机矩阵。步转移矩阵，其，有每个负，且对为随机矩阵，如元素非称矩阵：定义)()(1kpkPkpIipijIjijij为随机矩阵。，故显然，则有证：任取GkpkpkpkpkpCiijcjijcjijcjijIjij0)()()()()(1中的运动情况。下面考虑在不可约闭集C13。个互不相交的子集之和可唯一地分解为态空间的不可约马氏链，其状定理：周期为dId的子矩阵。，是原马氏链转移矩阵，转移矩阵为：间为的子马氏链，其状态空上的原马氏链，可考虑的一个子集可见对

7、IjipPCjipGCCCIijij定理：的不可约马氏链的分解下面是周期为d141100, 0drrndpnjGiijr，）（：对某个任取状态G G2 2G G1 1G G0 0G G1 1d d0110)2(,) 1 (GGGGsrGGGIdrrdrsrr中，其中进入步转移必中某一状态出发，经一从任一即：150430410000001000010000001031031003102102100P24353141316113143212111，其转移图如下：转移矩阵为间设不可约马氏链状态空例PI：6 , 5 , 4 , 3 , 2 , 116易看出注：取。有对某个；有对某个；有对某个，并令：现

8、固定状态都为”，故各状态的周期首尾相连接的“三角形都有一个的任一个状态出发从图易见，从020)23(,5 , 30) 13(,6 , 4 , 10)3(,13,121110nnpnkGnpnkGnpnkGIkkk 中的运动如图此链在故I，GGGI253641210171iiGG经一步转移可从6 , 4 , 10G 22G5 , 31G18在实际应用中，人们常关心的问题有两个： 的渐近性质故可转化为研究由于列。尔可夫链是一个平稳序在什么条件下，一个马的极限是否存在？时，当)()()0()()2() 1 (npnppnpnpjXpnijIiijijjn。这两个问题有密切联系是否存在的问题。实际上是

9、一个平稳分布对于有关若存在，其极限是否与是否存在即)2(?)(liminpijn 的的渐渐近近性性质质与与平平稳稳分分布布4 4. .4 4nijp19Iinpijjnpijnij0)(lim. 1)(.，有对一切为非常返或零常返，则定理：设况是非常返或零常返的情的渐近性质一为遍历定理。这类问题的定理，统称在马氏链理论中，有关nNkijNkjjijnkjjijijkfknpkfknpkfnpnN111)()()()()()(1有证：由前面定理，对200)(lim)(0)(lim0npnpjnpjnNjjnnjjjjn为非常返，由若定理推论为零常返，则，若，先令固定。级数收敛，故，由于；再令右边

10、第一项0)(lim0)(, 1)(011npNkfkfNijnNkijkij21 推论：如马氏链的状态有限，则这些状态不可能全是非常返状态，也不可能含有零常返状态。从而不可约的有限马氏链必为正常返的。产生矛盾。，而对任意。由定理知则对返，如果所有状态全是非常证：nnpnnnpIjiNINjijij00)(10)(, , 2 , 1 , 0 。npCjijCiIcjij产生矛盾由上面定理知：状态均为零常返，于是中所有是有限集，故不可约闭集，又因为它是，则含有零常返态另外，如01:22 矛盾。不能为有限集，否则与其状态全为零常返，故为不可约闭集，为零常返，则证：设多个零常返状态。返态，则必有无限：

11、如马氏链有一个零常推论cjijnpjijCi01,223见移概率情况，由下图易状态的马氏链的状态转种一个有有关，例如下图描述了存在也可能与不一定存在，即使是正常返的，如果状态，况要复杂一此，事实上情形。这比前面两种情返常返情形，现讨论正常以上讨论了零常返与非6)(liminpjijn12354621213131311111是正常返情形. 224有关。但极限值与存在极限这说明对正常返状态，另外不存在；故，iinpnpnnpnpnpnnpnpinn5 , 3 , 2)(lim0)(121)(1)()(lim, 2 , 10) 12(1)2(3235333111111。；而只研究：，我们一般不讨论极

12、限对正常返状态nkijnijnijnkpnndpnpj1)(1lim)2()(lim) 1 ()(lim25为马氏链的周期。的概率，式中首次到达状态不计周期出发，在某时刻表示从，记djdrnidrrmdffndpmijrijijn)()mod(10)()(lim) 1 (0)(6039jjjj26) 12() 12()2() 1() 1()() 1() 1 ()0(ddfdfdfddfdfdfdfffijijijijijijijijij展开：ijmijdrmdrijrijfmfrmdff010010)()()(显然：jrijijndfrndpdridj)()(lim10有及，则对任意的为正常返

13、，周期为定理：如27)(mod(00)(dnnpdnjdjj整除时，不能被的周期，所以当为证：因为dmnprmdfvrndpvfrndpnmjjijrndvjjijij)()()()()(00所以100)()()()()()(1NmijNmjjijNmijjjijrmdfdmnprmdfrndpdmnprmdfnN有于是，对任意的28iiindndpNnN)(lim由前面定理得：，再令，然后令在上式中先固定 0)()(limmijrijjrijijnjrijrmdffdfrndpdfjrijijndfrndp)()(lim29，前面定理给出。其中否则，同属于子集与如，有，则对一切其状态空间为的

14、马氏链，返，周期推论：设不可约，正常100)(limdsssjijnGIGjidndpIjiId称为极限分布。有，则对一切特别当Ijnpjidjjijn,11)(lim130 000)()()(lim00000ijijssijsmijijjijijnfmdfGiGmdpGjimdffdfndpr中），从而经周期倍回到中的（对中，则不在同一个与如果，其中则得：证：在定理中取 0)(, 0)(mod0,nfnpdnGjiijijs从而时则当同属于与如果 1)()(000ijmijmijijfmfmdff所以否则同属于子集与如所以：，Gji，udndpsjijn0)(lim31的平均次数。表示单位时

15、间内再回到平均次数，步之内返回到的出发，在表示从jkpnjnjkpnkjjnkjj11)(1)(单位时间内返回二次。平均半小时返回一次，小时，表示平均返回时间，如215 . 0)(1jjnjjjnnf nkijnkpn1)(1lim232jnkjjjkpnjj1)(111所以应有的平均次数，出发，单位时间回到也表示从而理：的大小，于是有如下定情况，即要考虑的出发能否到达出发，则要考虑从如果质点由ijfjii为正常返如，为非常返或零常返如，有，定理：对任意状态jfjkpnjijijnkijn0)(1lim133nkknnkijijaanaankpnnpj1110)(10)(，则数学分析中结论：若

16、，定理知为非常返或零常返，由证：如论：，应用数分中的如下结为正常返，有周期如dj10111limlim2101210drrnkknrrndnrndbdanbarndrad，则必有，存在如对每一，个数列假设有34 jijdrjrijnkijnjrijrijrndfdfdkpndfbrndpa101)(1)(1lim)(于是有由上个定理知：令) 1(1)(1lim1ijjnkijnnfkpnjiX有，任意为不可约，常返，则对推论：如无关。不可约时，其极限与的极限存在，特别当链值不一定存在，但其平均定理说明：尽管inpijn)(lim35IiijijjjjIiijijnjpnnnpnnIjjXPn则

17、上式可写成记无关与若的极限考虑绝对概率,)(,)() 1()(,)(平稳分布。若它满足为马氏链的，称概率分布转移概率为，间为为齐次马氏链，状态空定义：设IjpInXjijn,0,二、平稳分布0, 1,21jIjjjIiijijPp或36 一致。与永远的绝对分布，则链在任一时刻作为链的初始分布，即，若用对于平稳分布的概率都相等。态过程在任何时刻处于状平稳分布的直观含义：)(0npnpj不变概率测度。平稳分布也称马氏链的或有注：平稳分布有：和事实上由nijIiijjnnpnpIjpPPPnPpnpPnPpnp)(,)0()()0()()()0()(137Ijuj，平稳分布就是极限分布是存在平稳分布

18、，且此件氏链是正常返的充要条定理：不可约非周期马1IiijijjnpIj)(是平稳分布，设证：先证充分性jIijiIiijniIiijinjIiiinpnp11)(lim)(lim01得顺序，故可交换极限与求和，由于380101kIikiu，即，故至少存在一个链是正常返的。为正常返态，故该马氏或零常返为非常返于是knpkkikn,0001)(lim 01limkijnunp返的，于是设马氏链是非周期正常再证必要性：39) 1 ()(1)(11)(11)()()()()(000IkkjkNkkjkjNkkjkjNkkjikIkkjikijnpnpNnpumnpmpnpmpmnpNkc取极限得：再

19、令取极限得：令，有，对任意正整数由方程40 产生矛盾。式为严格大于，求和，并假定对某个对于将式取极限得：，再令先令由下面来证明等号成立，11211)()(10jjuNnnpnpIkkNkikIkik41 是平稳分布。取极限得：令故有，产生矛盾 IjnpnnpnpnpjIkkIkkjIkkjnkjIkijkjIkkIkIjkjkIjIkkjkIjj,11111lim11,111)(1)(11142 。正常返态；不可约有限马氏链只有必有正常返状态；没有零常返状态；集合不可能是闭集；所有非常返状态组成的有限马尔可夫链性质：nCCCDI2154321是非常返态。不可约闭集，有限均是由正常返态组成的，每

20、个DnCn, 2 , 143 分布。可夫链存在唯一的平稳有限不可约非周期马尔平稳分布总存在；有限状态马尔可夫链的常返闭集；要条件为只有一个基本平稳分布唯一存在的充；条件为平稳分布不存在的充要的集合，则有：常返状态构成为马尔可夫链中全体正定理：设4321CC以下结论：若存在，是否唯一？有？，其平稳分布是否存在对于一般的马尔可夫链44 有则对则由平稳分布定义知有分布马氏链存在一个平稳充分性：反证，假设该证101nP，在平稳分布。矛盾，故该马氏链不存与时，非常返，而当马氏链中均为零常返或，故该时，因为，当00nnPnCnPP上的子转移矩阵，即：在是，其中使存在一个平稳分布上则该马氏链限制在只有一个正

21、常返闭集，不妨设假设必要性：仍用反证法CPPPCCCC11111,45。故分布不存在矛盾，故是平稳分布，与平稳则此时只需取C，PQRP，P，QRPPTT000000111111146 写成：可，则易知一步转移矩阵的并，即集可分解为两个正常返闭又不妨假设其常返态集，知故由稳分布必要性：它存在一个平证明：PCCCC211,)2(TQRRPPP2121000047。知它的平稳分布总存在，故由马氏链总有，即有限状态非常返不含零常返或不能全是存在正常返态；有限状态马尔可夫链总) 1 ()()3(C)0 , 0(0 , 00 , 0 ,0 , 0 ,0 , 00 , 0 ,2221112122211121

22、2121PPPPPPCCPPP则，若取，使，故存在上的转移子矩阵，在分别是其中常返闭集。马氏链只有一个基本正性矛盾，故该均是平稳分布，与唯一与故48。各状态的平均返回时间求马氏链的平稳分布及矩阵为：例设马氏链的转移概率9 . 005. 005. 01 . 08 . 01 . 02 . 01 . 07 . 0P 分布且等于极限分布。定理知存在唯一的平稳面链必为正常返态，由前有限不可约非周期马氏4方程组所以平稳分布存在，由约的非周期有限状态，解：因为马氏链是不可4919 . 01 . 02 . 005. 08 . 01 . 005. 01 . 07 . 03213213321232115882. 0 ,2358. 0 ,1765. 0,.5882. 0,2358. 0,1765. 0321321平稳分布为：解得：,70. 11,25. 41,67. 51332211分别为：各状态的平均返回时间50。分布