2025年大学《数理基础科学》专业题库-马尔可夫链的数学原理探索

2025年大学《数理基础科学》专业题库——马尔可夫链的数学原理探索考试时间：______分钟总分：______分姓名：______一、设{X_n,n≥0}为一个离散时间马尔可夫链，状态空间为S={1,2,3}。其转移概率矩阵为P=[[0.5,0.2,0.3],[0.4,0.3,0.3],[0.2,0.5,0.3]]判断此马尔可夫链是否为不可约马尔可夫链？并说明理由。二、已知马尔可夫链的状态空间S={1,2,3,4}，转移概率矩阵为P=[[0,1,0,0],[1/2,0,1/2,0],[0,1/2,0,1/2],[0,0,1,0]]对于状态i∈S，定义T_i为从状态i出发首次返回状态i的时刻，即T_i=min{n>0:X_n=i|X_0=i}。问：1.状态1和状态2是否互通？请说明理由。2.状态1是否常返？请说明理由。3.如果状态2是常返的，状态3是否一定是常返的？请说明理由。三、设{X_n,n≥0}为一个齐次马尔可夫链，状态空间为S={...,-1,0,1,2,...}。对于任意i,j∈S，转移概率p_ij满足：|i-j|≤1时，p_ij>0；|i-j|>1时，p_ij=0。并且，对于任意i,j，都有p_ij=p_ji。求该马尔可夫链的平稳分布π=(π_h)_{h∈S}。四、设{X_n,n≥0}为一个不可约、正则的马尔可夫链，其状态空间为S，转移概率矩阵为P。证明：对于任意i,j∈S，存在一个正整数n_ij使得p_n_ij→π_j，其中π是该马尔可夫链的平稳分布，且π_j是平稳分布π在状态j处的值。五、考虑一个简单的随机游走模型，状态空间为S={...,-1,0,1,2,...}。在状态0，以概率1/2转移到状态-1，以概率1/2转移到状态1；在状态1，以概率1/4转移到状态0，以概率1/4转移到状态2，以概率1/2转移到状态0。这个随机游走是否是马尔可夫链？请说明理由。如果它是马尔可夫链，求其平稳分布π=(π_h)_{h∈S}。六、设{X_n,n≥0}为一个马尔可夫链，其状态空间为S={1,2,3}，转移概率矩阵为P=[[1,0,0],[0,1,0],[p,0,1-p]]其中p∈(0,1)。1.求该马尔可夫链的平稳分布π=(π_1,π_2,π_3)。2.讨论该马尔可夫链的遍历性（是否具有唯一极限分布）。七、设{X_n,n≥0}为一个马尔可夫链，其状态空间为S={1,2,3}。已知状态1是常返的，状态2与状态3互通，并且状态2与状态3的互通类是常返的。证明：马尔可夫链{X_n,n≥0}是不可约且常返的。试卷答案一、不可约。理由：状态1可以直接转移到状态2(p_{12}=0.2>0)，状态2可以直接转移到状态3(p_{23}=0.3>0)，状态3可以直接转移到状态1(p_{31}=0.2>0)。由于状态之间两两可达，故马尔可夫链是不可约的。二、1.状态1和状态2互通。理由：存在从状态1到状态2的路径（1→2），也存在从状态2到状态1的路径（2→1→2），故状态1与状态2互通。2.状态1不是常返的。理由：从状态1出发，只能转移到状态2。之后，虽然可以从状态2转移回状态1(p_{21}=1/2)，但从未定义从状态2直接或间接返回状态1的概率（因为状态2无法再转移到其他状态）。根据常返的定义，若状态i常返，则存在正概率的路径从状态i首次返回状态i。此处不存在这样的路径，故状态1是暂返的。3.如果状态2是常返的，状态3一定是常返的。理由：状态2与状态3互通。若状态2是常返的，根据互通状态的性质，从状态2首次返回状态2的期望时间E(T_2^+)<∞。由于互通，从状态3首次返回状态3的期望时间E(T_3^+)也必须<∞，即状态3也是常返的。三、π=(π_h)_{h∈S}满足π_h=Σ_{k∈S}π_k*p_kh。由于p_ij=p_ji，故Σ_{j∈S}p_ji=1。考虑πP=π，即Σ_{j∈S}π_j*p_ji=Σ_{j∈S}π_k*p_kh。由于p_kh≠0当且仅当|k-h|=1，故上式变为π_h=π_{h-1}*p_{h-1,h}+π_{h+1}*p_{h+1,h}。对于h=0，有π_0=π_1*p_{10}+π_{-1}*p_{-1,0}=π_1*0+π_{-1}*1=π_{-1}。对于h=2，有π_2=π_1*p_{12}+π_3*p_{3,2}=π_1*1/2+π_3*0=π_1/2。对于h>2或h<0，由于p_kh=0，有π_h=0。将π_0=π_{-1}代入π_0=π_1/2，得π_{-1}=π_1/2。由于π_h=0对于h<-1或h>2，可以递推得到π_{-2}=π_1/4,π_{-3}=π_1/8,...,π_{-n}=π_1/2^n,...。同样，π_3=π_2/2=π_1/4,π_4=π_3/2=π_1/8,...，π_{n+1}=π_n/2=π_1/2^n,...。由于Σ_{h∈S}π_h=1，即Σ_{n=0}^∞π_{-n}+π_1+Σ_{n=1}^∞π_{n+1}=1，代入上述表达式得Σ_{n=0}^∞(π_1/2^n)+π_1+Σ_{n=1}^∞(π_1/2^n)=1。即π_1*(1+1/2+1/4+...+...)+π_1=1。由于1+1/2+1/4+...+...=2，故2π_1+π_1=3π_1=1，解得π_1=1/3。因此，π_h=1/3*(1/2)^{|h|}对于所有h∈S。即π_h=(1/3)*(1/2)^{|h|}。四、证明：由于马尔可夫链是不可约且正则的，存在一个正整数N（称为遍历时间），使得对于任意i,j∈S，都有p_{i,N}>0。对于任意i,j∈S，考虑概率p_{i,n_ij}。根据马尔可夫性质，p_{i,n_ij}=Σ_{k_0,...,k_{n_ij-1}}p_{i,k_0}p_{k_0,k_1}...p_{k_{n_ij-1},j}。由于p_{i,N}>0，存在一条从i出发经过N步到达j的路径，设这条路径为i→k_0→...→k_{N-1}→j。则p_{i,N}是该路径概率的一个正数。对于n_ij<N，由于p_{i,n_ij}=0，说明从i出发经过n_ij步不可能到达j。因此，n_ij必须大于或等于N。现在证明p_{i,n_ij}→π_j。由于马尔可夫链是正则的，对于任意i,j∈S，当n→∞时，p_{i,n}→π_j。特别地，对于从i出发首次到达j的步数n_ij（n_ij≥N），有p_{i,n_ij}→π_j。形式上，可以写出p_{i,n_ij}=Σ_{k_0,...,k_{n_ij-1}}p_{i,k_0}p_{k_0,k_1}...p_{k_{n_ij-1},j}。固定一条从i出发经过N步到达j的路径，设该路径对应的概率为p_{i,N}^+。当n_ij→∞时，随着n_ij的增大，路径的步数增加，但根据正则性，路径中从i到达j的概率p_{i,n_ij}会趋近于所有可能路径的概率加权平均，而这个加权平均正是平稳分布π_j的值。五、是马尔可夫链。理由：状态空间S是离散的，转移是基于当前状态决定的。在状态0，转移仅到状态-1和1；在状态1，转移仅到状态0和2。满足马尔可夫链的无后效性要求。求平稳分布π=(π_h)_{h∈S}。平稳方程为π_h=Σ_{k∈S}π_k*p_kh。对于h=0，π_0=π_{-1}*p_{-1,0}+π_0*p_{0,0}+π_1*p_{1,0}=π_{-1}*0+π_0*1/4+π_1*1/2=π_0/4+π_1/2。对于h=1，π_1=π_{-1}*p_{-1,1}+π_0*p_{0,1}+π_1*p_{1,1}=π_{-1}*0+π_0*0+π_1*1/4=π_1/4。对于h=2，π_2=π_{-1}*p_{-1,2}+π_0*p_{0,2}+π_1*p_{1,2}=π_{-1}*0+π_0*0+π_1*1/4=π_1/4。对于h<-1或h>2，π_h=0。由π_1=π_1/4可得π_1=0。将π_1=0代入π_0=π_0/4+π_1/2，得π_0=π_0/4+0，解得π_0=0。由于Σ_{h∈S}π_h=1，即π_0+π_1+π_2=1，代入π_0=0,π_1=0得π_2=1。因此，平稳分布为π=(0,0,1)。这意味着随机游走最终以概率1落在状态2并停留在状态2。六、1.平稳方程为πP=π，即*π_1=π_1*1+π_2*0+π_3*p*π_2=π_1*0+π_2*1+π_3*0*π_3=π_1*0+π_2*0+π_3*(1-p)*Σπ_i=1从第二个方程π_2=π_2得π_2=0。将π_2=0代入第一个方程π_1=π_1+π_3*p，得π_1-π_1=π_3*p，即0=π_3*p。由于p∈(0,1)，p≠0，故π_3=0。将π_2=0,π_3=0代入第三个方程π_3=π_3*(1-p)，得0=0*(1-p)，此方程自动满足。利用Σπ_i=1，即π_1+π_2+π_3=1，得π_1+0+0=1，解得π_1=1。因此，平稳分布为π=(1,0,0)。2.马尔可夫链具有唯一极限分布。理由：该马尔可夫链是不可约且常返的。状态空间S={1,2,3}是有限的。根据马尔可夫链理论，有限状态空间上的不可约马尔可夫链一定是常返的。既然是不可约且常返的，它必然是遍历的，并且具有唯一的极限分布π=(π_1,π_2,π_3)，其中π_i=1/3对于所有i∈S。在本题中，虽然通过求解平稳分布得到了π=(1,0,0)，这与遍历链的平稳分布(1/3,1/3,1/3)不同。这表明该马尔可夫链的平稳分布与初始分布有关，并且由于初始状态为1(π_0=(1,0,0))，最终停留在状态1的概率最大。因此，该链不具有平稳分布(1/3,1/3,1/3)作为其极限分布。然而，题目问的是“唯一极限分布”，这意味着考察的是极限分布的存在性和唯一性。由于该链是不可约且常返的，其极限分布π=(π_1,π_2,π_3)必然存在且唯一。π_i的具体值取决于初始分布和转移概率，但在本例中，由于初始分布恰好使π_1=1，最终停留在状态1。因此，可以认为其唯一极限分布是使得状态1的极限概率为1的分布，即(1,0,0)。或者更严谨地说，其唯一极限分布是遍历链的平稳分布(1/3,1/3,1/3)，但由于初始分布导致最终结果偏向状态1。更准确的理解是，该不可约常返链的极限分布唯一，其平稳分布为(1/3,1/3,1/3)，但给定初始分布(1,0,0)，最终结果的极限概率是(1,0,0)。此处答案倾向于后者，即给定初始分布下的极限行为。如果题目意图是考察遍历链平稳分布的存在唯一性，则答案应为(1/3,1/3,1/3)。考虑到“唯一极限分布”的表述，更可能是前者，即最终结果的极限分布。因此，更合适的表述是：该马尔可夫链的极限分布是唯一的，且由于初始分布为(1,0,0)，最终停留在状态1的概率趋近于1。即极限分布为(1,0,0)。但需要注意，如果初始分布不同，极限分布会是(1/3,1/3,1/3)。七、证明：首先，由于状态1是常返的，存在从状态1首次返回状态1的正概率路径，即存在一条从1出发经过有限步回到1的路径，其概率大于0。记这条路径的最短返回时间为T_1^+。由于p_{i,N}>0对于某个N，存在从状态1出发经过N步到达状态2的路径（设为1→k_0→...→k_{N-1}→2），其概率p(1,k_0,...,k_{N-1},2)>0。同样，由于互通，存在从状态2出发经过有限步回到状态1的路径（设为2→l_0→...→l_{M-1}→1），其概率p(2,l_0,...,l_{M-1},1)>0。结合这两段路径，可以构造出一条从状态1出发，经过状态2，再返回状态1的路径：1→k_0→...→k_{N-1}→2→l_0→...→l_{M-1}→1。这条路径的总概率为p(1,k_0,...,k_{N-1},2)*p(2,l_0,...,l_{M-1},1)>0。因此，从状态1出发，存在正概率的路径首次返回状态1。这表明状态1是常返的。其次，证明状态1是遍历的。由于状态1是常返的，且已经