上海大学随机过程第六章习题及答案

第三章 习 题1甲乙两人进行某种比赛，设每局比赛中甲胜的概率为，乙胜的概率为，平局的概率为，其中，设每局比赛后，胜者得1分，负者得分，平局不记分，当两个人中有一个人得到2分时比赛结束，以表示比赛至第局时甲获得的分数，则是一齐冯马尔可夫链.（1）写出状态空间；（2）求一步转移概率矩阵；（3）求在甲获得1分的情况下，再赛2局甲胜的概率.解（1）的状态空间为（2）的一步转移概率矩阵为（3）因为两步转移概率矩阵为所以在甲获得1分的情况下，再赛2局甲胜的概率为2设为相互独立的随机变量序列，则（1）是否为Markov链？（2）令，问是否为Markov链？解（1）由于因此，是马尔可夫链.（2）取，当时，是的函数，记为依次类推，为的函数，记为为的函数，记为由于相互独立，则其相应的函数也相互独立，从而因此是马尔可夫链.3 设是相互独立的随机变量，且使得，如果，其中，就称在时刻产生了一个记录.若在时刻产生了一个记录，就称为记录值，以表示第个记录值.（1）证明，是Markov链，并求其转移概率；（2）以表示第个与第记录之间的时间，问是否是Markov链，若是，则计算其转移概率.证明：（a）根据题意有：，满足 且故 故是一个马尔可夫链且（由于的独立性）（b）记为第个记录与第个记录之间的时间，是相互独立的随机变量，因为=（由于的独立性）故，是一个马尔可夫链令则故是一个马尔可夫链。4考虑一个具有状态的Markov链，其转移概率满足，其中，请找出为了使该Markov链正常返，所有的所应该满足的充要条件，并计算其在这种情况下的转移概率.解：根据题意知，要满足马尔可夫链为正常返约，当且仅当 =0，1，2.有一组解0, 根据 ，方程可重写为则因此从而，随机游动为正常返约的充要条件是5 捕捉苍蝇的一只蜘蛛依循一个Markov链在位置1，2之间移动，其初始位置是1，转移矩阵为，未觉察到蜘蛛的苍蝇的初始位置是2，并依照转移矩阵为的Markov链移动，只要它们在同一个位置相遇，蜘蛛就会捉住苍蝇而结束捕捉.（1）证明：在捕捉的过程中，除非知道它结束的位置，否则都必须用三个状态的Markov链来描述，其中一个是吸收状态，表示结束捕捉，另外两个代表蜘蛛与苍蝇处在不同位置，对此求转移矩阵；（2）求在时刻蜘蛛与苍蝇都处在各自初始位置的概率；（3）求捕捉过程的平均持续时间.证明：捕捉过程中，除非知道它结束时的位置，可用三个状态的马尔可夫链来描述，其中一个是吸收状态代表捕捉结束，而另外的两个代表植蜘蛛与苍蝇处在不同的位置，对此链求转移概率矩阵。求在时刻n蜘蛛与苍蝇都处于各自的出事位置的概率，捕捉过程的平均持续时间是多少？解：（1）根据题意可知，在捕捉过程中共有三个状态，我们分别令为1，2，3则1=蜘蛛为1，苍蝇在2 2=蜘蛛为2，苍蝇在1 3=蜘蛛，苍蝇在同一位置其中状态3也代表着捕捉结束，则转移概率矩阵为（2）分别设，代表时刻n蜘蛛和苍蝇的位置。令 则有=+=0.28+0.18同理=0.28+0.18 且=0.28,=0.18(3)苍蝇被吃掉的概率为=蜘蛛不动，苍蝇动苍蝇不动，蜘蛛动故0.7*0.6+0.4*0.3=0.54故捕捉过程的平均时间为1.856 在一个分枝过程中，每个个体的后代个数服从参数为（2，）的二项分布，从一个个体开始，计算：（1）灭绝概率；（2）到第三代群体灭绝的概率；（3）若开始时不是一个个体，初始的群体总数是一个随机变量，服从均值为的泊松分布，证明：此时对于，灭绝概率为.解 （a）设=灭绝的概率= 故有解得因为，根据定理4.5.1可知，若0.5 时 ，=1 0.5 时 ，= 即 （b）=第三代群体首次灭绝=第三代群体首次灭绝| =j 故=2+2 （c）*=群体灭绝=群体灭绝| =群体灭绝| =7 一辆出租车流动在三个位置之间，当它到达位置1时，然后等可能的去位置2或3.当它到达位置2时，将以概率1/3到位置1，以概率2/3到位置3.但由位置3总是开往位置1.在位置和位置之间的平均时间是，且.求（1）此出租车最近停的位置是的（极限）概率是多少？；（2）此出租车朝位置2开的（极限）概率是多少？（3）有多少比例的时间此出租车从位置2开到位置3?注意，以上均假定出租车到达一个位置后立即开出.解：根据题意有=1/2，=1/2，=1/3，=2/3，=0 =20，=30，=30(a) 根据解得(b) 此出租汽车朝位置2开的极限概率是，为3/14(c)8 转移矩阵称为双随机的，若对于一切，设一个具有双随机转移矩阵的Markov链，有个状态，且是遍历的，求它的极限概率.解：由于Markov链是状态有限的遍历链，极限分布是唯一的平稳分布，满足解得。故极限分布为。9 设齐次Markov链的状态空间为，一步转移概率矩阵为其中，问该齐次Markov链是否是遍历的，若是，则求其极限分布.解：解 记 ，因为并且的元素都大于零，所以该齐次马尔可夫链是遍历链. 由于齐次马尔可夫链是遍历链，因而其极限分布就是平稳分布. 设平稳分布为，求解方程组即得所以极限分布为10 设一个单细胞生物处于两个状态之一，处于状态A的一个个体以指数率变到状态B；处于状态B的一个个体以指数率分裂成两个新的A型个体.请为这样的生物群体定义一个合适的连续时间Markov链，并且确定这个模型的适当的参数.解：我们以，分别记时刻群体中细胞和细胞的个数，则链是连续时间马尔可夫链。且根据题意：处于A的一个个体以指数率变到状态B；处于状态B的一个个体以指数率分裂成两个新的A型个体，则转移率为：11 设系统的“状态”可建模为两状态的连续时间Markov链，其转移率为.当系统状态是时，“事件”按照速率为的泊松过程发生，.记为中事件的个数，求（1）；（2）如果初始状态是状态0，求.解：假设初始状态处于1并保持时间，然后转到状态0并保持时间；然后再转到状态1并保持时间，然后再转到状态0并保持时间；这样循环往复下去，则过程构成一交替更新过程。如果初始状态处于0，那么过程构成了一延迟交替更新过程。设处于状态1时在时间内得到累积报酬为 处于状态0时，在时间内得到累积报酬为 设=到时刻为止更新的总个数，则有 由交替更新报酬定理知： = = 故有 若系统的初始状态为0，类似的构造知，过程仍然成为一交替更新过程。 由知 = 则=12 设有一质点在1，2，3上作随机跳跃，在时刻t它位于三点之一，且在内依概率分别可以跳到其它两个状态，求转移概率所满足的Kolmogorov方程.解：若则。类似可得，（1）式成立。其中当时，当时，Kolmogorov向前方程为又，故，解得。利用初始条件，解得。13 设为状态离散连续参数的齐次Markov链，其状态空间为，且 ，求.解：解 由题设设知矩阵为由向前方程得由，得代入上面的方程，得解之得由初始条件，所以：当时，；当时，；于是14 已知齐次马尔可夫链的转移概率矩阵 问此马尔可夫链有几个状态？求二步转移概率矩阵.解 因为转移概率矩阵是三阶的,故此马尔可夫链的状态有三个;二步转移概率矩阵 .15. 在一串贝努利试验中,事件在每次试验中发生的概率为,令 ,(1) 是否齐次马尔可夫链？(2) 写出状态空间和转移概率矩阵;(3) 求步转移概率矩阵.解 (1) 根据题设条件 知道是相互独立的, 所以 是马尔可夫链,又转移概率与无关,故是齐次马尔可夫链;(2) 状态空间,一步转移概率矩阵, .(3) 步移概率矩阵 .16. 从次品率的一批产品中,每次随机抽查一个产品,以表示前次抽查出的次品数,(1) 是否齐次马尔可夫链？(2) 写出状态空间和转移概率矩阵;(3)如果这批产品共有100个,其中混杂了3个次品,作有放回抽样,求在抽查出2个次品的条件下,再抽查2次,共查出3个次品的概率. 解 (1)根据题意知, 是齐次马尔可夫链;(2) 状态空间,是次品率,是正品率,根据题意知 , ; (3)次品率, 所求概率为 .17. 独立重复地掷一颗匀称的骰子, 以表示前次掷出的最小点数,(1) 是否齐次马尔可夫链？(2) 写出状态空间和转移概率矩阵;(3)求; (4)求 .解 (1) 根据题意知, 是齐次马尔可夫链;(2)状态空间, , , , , ;(3) ;(4) .18. 设齐次马尔可夫链的转移概率矩阵为 ,且初始概率分布为,(1) 求;(2) 求;(3) 求平稳分布.解 (1) ;(2) ;(3)平稳分布满足方程组 , , , 解之得 .19. 具有三状态:0,1,2的一维随机游动,以表示时刻粒子处在状态过程的一步转移概率矩阵 ,(1) 求粒子从状态1经二步、经三步转移回到状态1的转移概率;(2) 求过程的平稳分布.解 (1) , , 于是,(2) 平稳分布满足方程组 , , ,解之得 , , .20. 设同型产品装在两个盒内,盒1内有8个一等品和2个二等品,盒2内有6个一等品和4个二等品.作有放回地随机抽查,每次抽查一个,第一次在盒1内取.取到一等品,继续在盒式内取;取到二等品,继续在2盒内取.以表示第次取到产品的等级数,则是齐次马尔可夫链.(1) 写出状态空间和转移概率矩阵;(2) 恰第3、5、8次取到一等品的概率为多少？(3) 求过程的平稳分布解(1)根据题意,状态空间 ,转移概率矩阵 ;(2) , , , , ,;(3) 平稳分布满足方程组 , ,解之得 , .21. 的双极性二进制传输信号的码元符号概率为。将送入码元幅度取样累加器，累加器输出为，简记为。试求：（1）画出的状态图；（2）的状态概率和，假定初始分布为等概的；（3）状态转移概率和。解（1）将U(t)送入码元幅度取样累加器，则相当于（2）（3）22. 设是相互独立随机变量序列，令：，是任意的整数，试证明：随机序列是马氏链。解令则与7.1一样，所以是马氏链23. 微小粒子在相距的反射板之间做随机游动。粒子的初始位置在中线0位置上，每隔T时间粒子游动一步，每步跨距为。随机游动在第n步后的质点位置记为，状态为，设的状态转移概率矩阵为：试求：（1）随机游动的状态图；（2）最可能的样本波形（设）；（3）求的极限分布和平稳分布。解（1） 自己画（2）最可能的波形，即是说按转移概率最大的状态进行转移。设，则（3）24. 在差分编码系统中，将输入的二进制数据序列进行差分编码，输出为序列，讨论输出的状态分类。其中编码规则为与。解则不难画出状态转移图25. 若明日是否降雨仅与今日是否有雨有关，而与以往的天气无关，并设今有雨而明日有雨的概率为0.7；今日无雨明日有雨的概率为0.2，设表示今日的天气状态，表示第日的天气状态。“”表示第日有雨；“” 表示第日无雨。是一个齐次马氏链。（1） 写出的状态转移概率矩阵（2） 求今日有雨而后第2日仍有雨的概率（3） 求有雨的平稳概率解（1）（2）（3）26. 独立增量随机信号的增量信号为，对于时刻编序，若增量信号的一阶特征函数为。试求：（1）与；（2）与。解（1）(2) 求与。27. 某电话交换台在时间（单位：min）内转接的电话