【ch03】离散时间可数状态马氏过程-马氏链

第三章离散时间可数状态马氏过程——马氏链1.2.3.略4.5.求本章例3和例4中的非常返状态类与各互通常返类。略6.略7.略8.9.略10.11.12.略13.略14.某工厂实行质量控制的检查制度如下：一开工认为生产处于不稳定生产状态，则每5分钟抽样一次；若连续抽样5次全部合格，则改为初步稳定生产状态，每半小时抽样一次；若连续3次合格，则改为正常生产状态，每8小时抽样一次；如果在初步稳定生产状态又连续3次抽样不合格，则改为不稳定生产状态；如果正常生产抽样发现不合格，则退为初步稳定生产状态。把不稳定生产、初步稳定生产、正常生产视为工厂处于三个不同状态，请构造一个时齐马氏链来描述工厂生产所处状态并利用遍历性定理给出由一个月的生产检查报告来求出此马氏链转移概率阵的方法，再设法估计工厂在开工足够长时间后它处于正常生产状态与不稳定生产状态的概率。略15.略16.17.略18.19.20.略21.22.略23.略24.略25.略26.27.略28.略29.略30.略31.略32.略33.34.略35.36.37.略38.略39.略41.略42.43.略44.略45.46.这个结论是正确的。如果一个马氏链是不可约的且所有转移阵的列和都不超过1，那么这个马氏链必然是非正常返的。首先，让我们先定义一下什么是非正常返回状态。在马氏链中，一个状态j被称为正常返的，如果从该状态出发，存在正常有限时间t，使得在t步之后回到状态j的概率大于0。换句话说，正常返状态是那些可以回到自身的状态。相反，如果一个状态j无法回到自身，或者回到自身的概率为0，那么该状态被称为非正常返的。现在，我们来证明给定条件下的无穷态不可约马氏链是非正常返的。设马氏链的状态空间为S，对于每个状态j∈S，令qj表示从状态j出发进入所有状态的过渡概率之和：qj=ΣiPij其中，Pij表示从状态j过渡到状态i的概率。根据条件，所有转移阵的列和都不超过1，即对于每个状态j∈S，有：qj≤1假设这个马氏链是正常返的，即存在正常有限时间t，使得从状态j出发，在t步之后回到状态j的概率大于0。考虑从状态j出发，在t步之后达到状态i的概率，记作Pt(j,i)。根据马氏性质，这个概率可以通过乘积的方式计算：Pt(j,i)=Pij*Pt-1(i,i)其中Pt-1(i,i)表示从状态i出发，在t-1步之后回到状态i的概率。由于马氏链是不可约的，所有状态之间存在一条路径，因此对于任意的状态i，有Pt-1(i,i)>0。由以上定义可知，对于任意的状态i，Pt(j,i)>0成立。换句话说，无论从状态j出发经过多少步，都能够到达状态i。考虑状态j的过渡概率和qj：qj=ΣiPij由于所有转移阵的列和都不超过1，因此qj≤1。然而，根据以上分析，对于任意的状态i，Pt(j,i)>0。这意味着无论从状态j出发经过多少步，都有一定的概率到达状态i。由于马氏链是不可约的，所有状态之间存在一条路径，因此对于任意的状态i，存在一条路径可以从状态j到达状态i。综上所述，由于无穷态不可约马氏链满足所有转移阵的列和不超过1的条件，且不可能回到自身，因此无穷态不可约马氏链必然是非正常返的。47.48.49.略50.略51.略52.53.54.略55.略56.略57.58.59.略60.一个转移矩阵的列和全为1，我们称之为双随机转移矩阵。首先，我们证明有限双随机矩阵只有正常返态。假设有限转移矩阵的大小为nxn。由于转移矩阵的列和全为1，我们知道每个状态都有一个正常有限时间t，使得从该状态出发，在t步之后回到该状态的概率大于0。换句话说，每个状态都是正常返态。现在，我们来求解有限不可约双随机矩阵的平稳分布。一个转移矩阵的平稳分布是指在长时间内，随机过程的状态分布不再发生变化。设有限不可约双随机矩阵的大小为nxn，记为P。我们要找到一个概率分布向量π=(π1,π2,…,πn)，其中每个元素表示状态i的平稳分布概率。根据马氏链的平稳分布性质，我们需要解下面的方程组：π=π*P其中，π是一个概率分布向量，表示平稳分布概率，*表示向量的矩阵乘法。为了解上述方程组，我们可以转化为如下形式：(π1,π2,…,πn)*P=(π1,π2,…,πn)展开上面的等式，我们可以得到：(π1,π2,…,πn)*P-(π1,π2,…,πn)=(0,0,…,0)即(π1,π2,…,πn)*(P-I)=(0,0,…,0)其中，I是单位矩阵。上述方程表示平稳分布向量与转移矩阵减去单位矩阵的乘积为零向量。由于转移矩阵是不可约的，因此从任何状态i出发，经过有限步骤都可以到达任何其他状态j。因此，矩阵(P-I)是一个主对角线元素全为0，其余元素全部大于等于0的矩阵。由于(P-I)的每列元素之和等于0，因此(P-I)是一个奇异矩阵。根据线性代数的结论，奇异矩阵存在一个非零的解向量x，使得(P-I)*x=0。因此，我们可以得到一个非零向量x，使得x*(P-I)=0。结合前面的等式(π1,π2,…,πn)*(P-I)=(0,0,…,0)，我们可以得到：(π1,π2,…,πn)*x=0这意味着平稳分布