马尔可夫过程

1、第三章是马尔可夫过程，第一节是马尔可夫链定义及其性质，第二节是马尔可夫链状态分类，第三节是平稳分布和遍历性，第四节是具有连续时间的马尔可夫链，第一节是马尔可夫链定义及其性质，I，马尔可夫链定义，1马尔可夫链，注3360，但与前一状态，有限马尔可夫链，状态空间是有限集合I=0，1 2一步转移概率， 马尔可夫链从时间N到时间N 1转移到状态J的条件概率，称为时间N的一步转移概率，注： 由于概率是非负的，并且过程从一个状态开始，所以它必须在一步转移之后到达状态空间中的某个状态，并且一步转移概率是满足的。有限马氏链，状态空间I=0，1，2，k，4的齐次马氏链，即这个马氏链称为齐次马氏链(即相对于时间是

2、齐次的)，具有初始分布。注意，马氏链在初始时刻可能处于I中的任何状态，初始分布是马氏链在初始时刻的概率分布。6绝对分布，概率分布，称为马尔可夫链的绝对分布或绝对概率，稳态分布，即不能穿墙的随机行走。在例1中，让一个粒子在线段1和5上随机行走，状态空间I=1，2，3，4和5，随机行走每秒发生一次。移动的规则如下：(1)如果你在2，3移动，(2)如果在移动前它在1，移动到2，概率为1；(3)如果在移动前是在5点，移动到4点，概率为1。试着写一个单步转移矩阵。分析，因此，它的一步转移矩阵是，如果移动规则改变为，(1)如果它在2，3，4之前移动，它会以概率向左或向右移动一个单位；(2)如果它在移动前的

3、1或5点，它将以概率1停留在同一个地方。因为粒子在1点和5点被“吸收”，所以有两个吸收壁的随机行走。分析，例2:赌徒输光了所有的钱，赌徒甲有资本甲元，赌徒乙有资本乙元，两个人赌博。每场赌博游戏的输家给赢家1元。没有平局，他们赌博直到其中一人输掉所有的钱。在每个游戏中，A赢的概率是P，B赢的概率是，并且计算A输掉所有的概率。这个问题本质上是一个带有两个吸收壁的随机行走。从A的角度看，他在初始时刻处于A，向右移动(即赢1元)的概率为P，向左移动(即输1元)的概率为Q，如果达到0(即A失光)或B(即B失光)，游泳将停止。此时，状态空间是0，1，2，c，c=a，b。现在的问题是找到一个粒子在到达C态之

4、前从A到达0态的概率。考虑到粒子离开J一步后的情况，解是一样的。根据总概率公式，这个方程本质上是一个差分方程。它的边界条件是，如果设置的话，可以得到两个相邻差之间的递归关系。因此，如果你想问，首先，你需要讨论R，当，和，与这两个公式相比，所以，当，因此，所以，客户去服务台排队等待服务。在每个服务周期中，只要有顾客在服务台前等候，他们就应该为前台提供服务。如果服务台前面没有客户，服务将无法实施。然后，找到它的转移矩阵，客户在第n个周期中已经服务，并且服务已经在第n个周期中完成，并且转移概率首先被求解，所以转移矩阵的联合分布是，描述：2，基本属性，属性1，它可以由初始分布和转移概率来确定，也就是说

5、，如果存在，属性2表明如果马尔可夫链被安排在相反的方向，属性3表明如果现在是已知的，过去和未来是独立的。那么，属性4指示如果现在是已知的，那么过去在将来的每个时间对状态没有影响。特别地，属性5表明马尔可夫链的子链也是马尔可夫链。在马氏链的研究中，有必要研究“从已知的状态I开始，经过N次跃迁后，系统将处于状态J”的概率，第三，N步跃迁矩阵，1n步跃迁概率，以及系统在时间m从状态I经过N步跃迁后将处于状态J的概率，称为N步跃迁概率，因为2n步跃迁矩阵，称为N步跃迁矩阵，规定了，3个绝对概率公式，定理1， 绝对概率完全由初始分布和N维转移概率决定，即存在，证明，注，对于平稳分布，那么，4查普曼-安德

6、雷柯尔莫哥洛夫方程，定理2，那么，证明，注，(1)多步转移概率用一步转移概率表示，注，注如果链是齐次的，有，例如，4个A和B竞争，假设A赢的概率是P，B赢的概率是Q，和局的概率是()。 每场比赛后，获胜者将得到“1”，失败者将得到“1”，平局将不会得分。当其中一人得2分时，游戏结束。显示A从游戏到第n个游戏的得分。(1)写出状态空间；(3)如果A得1分，第二场比赛结束的概率是多少？解，(1)，记住A得到“负2点”作为状态1，“负1点”作为状态2，“0点”作为状态3，“正1点”作为状态4，“正2点”作为状态5，那么状态空间就是一步转移概率矩阵，(2)两步转移概率矩阵，(3)从而结束游戏的概率。因

7、此，问题中的概率是，返回，马尔可夫链的状态分类在第二节，1。如果连接与闭集和1相连，就说状态I可以达到状态J，那么状态I和状态J是连通的，表明如果状态I不能达到状态J，定理1，即满足(1)自反性，(2)对称性，证明和(3)传递性。根据查普曼-安德雷柯尔莫哥洛夫方程，同样的原因可以证明，这表明状态空间I可以分成几个不相交的集(或等价类)，并根据等价关系称为状态类。如果两个状态相连，它们属于同一个类。任何两个类要么不相交，要么相同。2，假设c是状态空间I的一个子集，那么c称为闭集，注1，如果c是闭集，这意味着从c中的任何状态I开始，它永远不能到达除c之外的任何状态j。显然，整个状态空间构成一个闭集

8、。吸收状态意味着一个闭集只包含一个状态。注2:如果状态空间包含吸收状态，则吸收状态构成最小闭集。3是不可约的。如果除了整个状态空间I之外没有其他闭集，那么这个马氏链是不可约的。如果闭集C的状态都是连通的，那么闭集C是不可约的。在示例1中，一步转换矩阵是，尝试研究状态之间的关系并绘制状态转换图。解，首先根据一步转移概率，画出各状态之间的转移图，表明状态0可以达到状态1，而在状态1之后，它可以达到状态2；相反，从状态2开始，也可以通过状态1到达状态0。因此，状态空间I的所有状态都是可互操作的。因为I的任何状态i (i=0，1，2)都不能达到除了I之外的任何状态，所以I是一个闭集，并且I中没有其他闭

9、集，所以这个马氏链是不可约的。例2，其一步转移矩阵是，试图讨论哪些状态是吸收状态，封闭集和不可约链。解，先把概率转移一步，画出转移图，封闭集，状态间。从图中可以看出，状态3是一个吸收态，而闭集，闭集，是不可约的。因为状态空间I有一个封闭子集，所以链是不可约的。首次到达时间和状态分类，首次到达时间，系统从状态I开始并首次到达状态j的时间称为系统从状态I首次进入状态j的时间，或从状态I到状态j的首次到达时间如果这样的n不存在，则规定并解释从状态I开始n步之后第一次到达状态j的概率，从状态I开始有限步之后最终到达状态j的概率，注1，对于第一次到达时间，它意味着从状态I第一次返回状态I所需的时间，并且

10、相应地，它是从状态I开始有限步之后最终返回状态I的概率，2第一次达到分解公式，定理2，让系统从状态I转换到状态J，通过条件概率和Mahalanobis，分解所有可能的任意值，并且，具有，解释，(m=1，2，n)，并且通过定理2获得定理3，证明和充分性，因此通过定理2获得必要性，因此推断有时称为“返回”，“驻留”或“持续”，“瞬时”也称为“滑动”或“非常返回”。定理4，证明，然后系统从状态1开始，经过有限次数的转换，它必须以概率1返回状态1。然后根据马尔可夫属性，系统将反复返回状态I，因此系统从状态I开始，再次返回，再次开始，再次返回，随着时间的无限流逝，它将无限期地访问状态I。“我不会被返回”

11、被称为成功，那么第一次成功出现的次数服从几何分布，也就是说，我将以1的概率被返回。定理5，证明，让，n=0，1，2，因此，从状态I开始，访问状态I的平均次数是，这由定理4证明。解释这个定理的等价形式是：I是一个瞬时状态，当且仅当定理6证明如果I是一个递归状态，那么J也是一个递归状态。因为，从查普曼-科尔莫戈罗夫方程来看，所有的S都加在上述公式的两边，而且因为I是一个循环状态，所以，因此，它被得到，因此，状态J也是一个循环状态，定理7，所有的循环状态形成一个闭集，这证明了I是一个循环状态，也就是说，I和J是相通的。那是因为，如果我不能从J到达，我就不能在我从J到达后返回，这与我是一个循环状态相矛

12、盾。从定理6来看，J也是一个递归状态，也就是说，从递归状态开始，它只能达到递归状态，而不能达到瞬时状态。因此，所有的循环状态形成一个封闭集，4状态空间的分解，如果在一个已知的类中有一个循环状态，那么这个类中的所有其他状态都是循环的；如果类中存在瞬态，则类中的所有其他状态都是瞬态。对于不可约马氏链，它们要么总是递归的，要么是瞬时的。定理8，任何马氏链的状态空间I必须分解成，其中n是瞬时状态集，并且，如果证明C是由所有循环状态组成的集，那么由定理7可知，C是闭集，并且C是根据相互联系的关系分类的：然后，从剩余状态中取出任何状态，这样继续，并且显然满足条件(1)和(2)。5正常返回状态和零正常返回状

13、态，平均返回时间，从状态I开始第一次返回状态I的平均时间，称为状态I的平均返回时间。根据有限或无穷大的值，正常返回状态可以分为两类：假设我是正常返回状态，那么我将被称为正常返回状态；那么我就说是零。定理9如果I是一个递归状态，那么(1)i是一个零递归状态当且仅当(2)i是一个正常递归状态当且仅当它被证明(省略)、推断和证明，因为如果J是一个零递归状态并且I是任何状态，那么通过从定理9的推断，证明上面公式的第一项具有它。解释通过极限来判断状态类型的标准是：(2)i是零递归状态，(2)i是正常递归状态，(1)i是瞬时状态，此外，定理10证明它是从查普曼-科尔莫戈罗夫方程得到的，由此我们可以从定理9

14、知道，对于有限状态马氏链，6个有限马氏链，(2)至少有一个递归状态；(3)不存在零循环状态；(4)如果链是不可约的，那么所有的状态都是正常的可逆。(5)它的状态空间可以分解成由正规可逆性组成的不相交的闭集。例3，转移矩阵，尝试对其状态进行分类。解，根据步转移概率，画出每个状态之间的转移图，从中我们可以看出，链的每个状态都可以到达另一个状态，也就是说，所有四个状态都是相通的。考虑到状态1是否频繁返回，可以类似地获得，因此状态1频繁返回。，因为，所以状态1是正常的。根据定理，这个链的所有状态都正常返回。假设状态空间I=0，1，2，它的一步转移概率是，证明了马氏链是不可约的循环链，证明了I是不可约的

15、，如果I和J是I中的任意两个状态，那么它可以被类似地证明，所以I中的任意两个状态是连通的。因此，I是一个不可约闭集，证明了I中的状态0是一个递归状态：从状态0的转移规则可知，状态0从定义上来说是一个递归状态。因此，从定理可知，I中的所有状态都是循环状态。因此，马氏链是不可约的递归链。3。周期和遍历状态，1。周期性状态。对于任何阶，其中GCD代表最大公约数，它被称为周期状态，它被称为非周期状态。定理12，证明了，所以有正整数m和n，所以，有，有，所以有，同样可以证明，所以，(2)，所以，I是非周期性的。因为马氏链是不可约的，j也是非周期的，所以马氏链是非周期的。2遍历状态，如果状态I是正常的和非

16、周期的，那么我称为遍历状态。假设状态空间I=0，1，2，转移概率为，试着讨论每个状态的遍历性。根据转移概率，绘制了状态转移图。从图中可以看出，对于任何状态，都有。因此，根据定理，I中的所有状态都是连通的，所以只需要考虑状态0是否正常返回。因此，0总是被还原。因为状态0是正常返回。因为状态0是非周期性的，所以状态0是遍历的。所以所有的状态都是遍历的。返回，练习，1带有两个反射壁的随机行走，如果状态空间I=0，1，2，m，移动的规则是：(1)如果在移动之前它是在0，下一步是以概率p向右移动一个单元，并以概率q (p q=1)停留在相同的地方；(2)如果在移动前在M，那么以概率Q向左移动一个单位，并

17、以概率P停留在同一位置；(3)如果它们在移动之前处于其他点，它们都以概率p向右移动一个单位，以概率q向左移动一个单位。假设粒子在时间n的位置是齐次马尔可夫链，并写出它的一步转移概率矩阵。2带反射墙的随机行走，让状态空间I=0，1，2，移动的规则是：(1)如果在移动前是0，下一步是以概率p向右移动一个单位，以概率q (p q=1)停留在同一个地方；(2)如果它们在移动前处于其他点，它们都以概率p向右移动一个单位，以概率q向左移动一个单位。假设粒子在时间n的位置是齐次马尔可夫链，并写出它的一步转移概率。一个圆上有n个格子(顺时针排列)，一个粒子在圆上随机移动。运动的规律是，粒子总是按概率p顺时针运动，按概率逆时针运动。试着找出转移概率矩阵。4粒子在一整行的整数点上随机行走。移动的规则是：以概率P从I移动到i-1，以概率Q从I移动到I-1，以概率R停留在I，并试图找到转移概率矩阵。假设袋子里有一个球，球是黑色或白色的。现在随机从包里拿出一个球，然后放回一个不同颜色的球。如果袋子里有k个白球，系统就被称为处于状态k，用马尔可夫链来描述这个模型(称为Allen Fister模型)，得到转移概率矩阵。这是一个齐次马氏链，它的状态空间是，I=1，1，0，1，2和a，它的一步转移矩阵是，让我们假设状态空间I=1，2，3和4，它的一步转移矩阵是，解，试着对它的状态进行分类。根据一步转移概率，画