《随机过程》第二章习题.pdf

中国科学院大学 2014 2015 第一学期 随机过程讲稿 孙应飞 第二章第二章 Markov 过程习题过程习题 1 设设 1 n n 为相互独立同分布的随机变量序列 其分布为 为相互独立同分布的随机变量序列 其分布为 01 0 0 1 pqPpP nn 定义随机序列定义随机序列 2 nXn和和 2 nYn如下 如下 1 1 3 0 1 2 1 0 1 0 0 0 1 1 1 1 nn nn nn nn n X 1 0 0 0 1 其它 nn n Y 试问随机序列试问随机序列 2 nXn和和 2 nYn是否为马氏链 如果是的话 请写是否为马氏链 如果是的话 请写出其一步转出其一步转 移概率矩阵并研究各个状态的性质 不是的话 请说明理由 移概率矩阵并研究各个状态的性质 不是的话 请说明理由 2 天气预拨模型如下 今日是否下雨依赖于前三天是否有雨 即一连三天有雨 前两天有天气预拨模型如下 今日是否下雨依赖于前三天是否有雨 即一连三天有雨 前两天有 雨 第三天是晴天 雨 第三天是晴天 试将此问题归纳为马尔可夫链 并确定其状态空间 如果过 试将此问题归纳为马尔可夫链 并确定其状态空间 如果过 去一连三天有雨 今天有雨的概率是去一连三天有雨 今天有雨的概率是 0 80 8 过去三天连续为晴天 而今天有雨的概率为 过去三天连续为晴天 而今天有雨的概率为 0 20 2 在其它天气情况时 今日的天气和昨日相同的概率为 在其它天气情况时 今日的天气和昨日相同的概率为 0 60 6 试求此马氏链的转移 试求此马氏链的转移 概率矩阵 概率矩阵 3 设设 0 nX n 是一齐次马氏链 状态空间为是一齐次马氏链 状态空间为 2 1 0 S 它 它的初始状态的概率分布的初始状态的概率分布 为 为 4 1 0 0 XP 2 1 1 0 XP 4 1 2 0 XP 它的一步转移转移概 它的一步转移转移概 率矩阵为 率矩阵为 4 3 4 1 0 3 1 3 1 3 1 0 4 3 4 1 P 1 计算概率 计算概率 1 1 0 210 XXXP 2 计算计算 3 12 2 01 pp 4 独立地连续抛掷一颗质地均匀的骰子 以独立地连续抛掷一颗质地均匀的骰子 以 n 表示前表示前n次抛掷出的最大点数次抛掷出的最大点数 试证明 试证明 1 n n 是一马氏链 并求其是一马氏链 并求其n步转移概率矩阵 步转移概率矩阵 5 设有一个三个状态设有一个三个状态 2 1 0 S的齐次马氏链 它的一步转移概率矩阵为 的齐次马氏链 它的一步转移概率矩阵为 33 22 11 0 0 0 pq qp qp P 中国科学院大学 2014 2015 第一学期 随机过程讲稿 孙应飞 试求 试求 1 3 01 2 01 1 01 3 00 2 00 1 00 ffffff 2 确定状态分类 哪些属于常返的 哪些属于非常返的 确定状态分类 哪些属于常返的 哪些属于非常返的 6 试确定下列齐次马氏链的状态分类 哪些属于常返的 哪些属于非常返的 已知该链的试确定下列齐次马氏链的状态分类 哪些属于常返的 哪些属于非常返的 已知该链的 一步转移矩阵为 一步转移矩阵为 1 02 12 1 2 102 1 2 12 10 222120 121110 020100 ppp ppp ppp P 2 2 12 1000 2 12 1000 002 102 1 004 12 14 1 002 102 1 4443424140 3433323130 2423222120 1413121110 0403020100 ppppp ppppp ppppp ppppp ppppp P 3 00001 03 23 100 00100 0002 12 1 0004 34 1 4443424140 3433323130 2423222120 1413121110 0403020100 ppppp ppppp ppppp ppppp ppppp P 7 设具有三个状态的齐次马氏链的一步转移概率矩阵为 设具有三个状态的齐次马氏链的一步转移概率矩阵为 4 304 1 3 203 1 2 102 1 222120 121110 020100 ppp ppp ppp P a a 求求 3 3 步首达概率步首达概率 3 02 f b 写出三个状态的常返性 周期性 此链是否遍历 说明理由 写出三个状态的常返性 周期性 此链是否遍历 说明理由 8 设设 2 1 0 nXn是一齐次马氏链 其初始分布为是一齐次马氏链 其初始分布为 30201000 3 2 1 0 pXPpXPpXPpXP 一步转移概率矩阵为 一步转移概率矩阵为 2 1002 1 1000 0100 2 102 10 33323130 23222120 13121110 03020100 pppp pppp pppp pppp P 1 试求概率试求概率 1 1 0 210 XXXP 2 计算计算 2 01 p 中国科学院大学 2014 2015 第一学期 随机过程讲稿 孙应飞 3 试求首达概率试求首达概率 3 2 1 00 nf n 4 写出四个状态的常返性 周期性 此链是否遍历 说明理由 写出四个状态的常返性 周期性 此链是否遍历 说明理由 9 考虑三个状态的齐次马氏链 其转移概率矩阵为考虑三个状态的齐次马氏链 其转移概率矩阵为 100 001 222120 121110 020100 rqp ppp ppp ppp P 其中 其中 1 0 rqprqp a 假定过程从状态假定过程从状态 1 出发 试求过程被状态出发 试求过程被状态 0 或 或 2 吸收的概率 吸收的概率 b 试求过程进入吸收态而永远停留在那里所需的平均时试求过程进入吸收态而永远停留在那里所需的平均时间 间 10 设齐次马氏链设齐次马氏链 4 3 2 1 0 SnXn一步转移概率矩阵如下 一步转移概率矩阵如下 002 12 1 002 12 1 2 12 100 2 12 100 P 1 写出切普曼 柯尔莫哥洛夫方程 写出切普曼 柯尔莫哥洛夫方程 C K 方程 方程 2 求求n步转移概率矩阵 步转移概率矩阵 3 试问此马氏链是平稳序列吗 试问此马氏链是平稳序列吗 为什么 为什么 11 某车间有两台独立工作的机器 每台机器有两种状态 正常工作和故障修理 已某车间有两台独立工作的机器 每台机器有两种状态 正常工作和故障修理 已 知正常工作的机器在某天出故障的概率为知正常工作的机器在某天出故障的概率为a 机器处于故障修理状态在某天恢复正常工 机器处于故障修理状态在某天恢复正常工 作的概率为作的概率为b 其中 其中1 0 ba 令 令 n X表示第表示第n天车间正常工作的机器数 试求 天车间正常工作的机器数 试求 1 证明证明 2 1 nXn是一齐次马氏链 并写出其一步转移概率矩阵 是一齐次马氏链 并写出其一步转移概率矩阵 2 此马氏链是否存在极限分布 存在的话 计算其平稳分布 此马氏链是否存在极限分布 存在的话 计算其平稳分布 3 若车间里有若车间里有m台独立工作的机器 假设条件不变 问其平稳分布是什么 台独立工作的机器 假设条件不变 问其平稳分布是什么 12 设设 0 nX n 是一齐次马氏链 状态空间为是一齐次马氏链 状态空间为SSS 0 其中 其中 2 1 mS 为瞬时态集 为瞬时态集 0 0 S为吸收态集 且转移矩阵为为吸收态集 且转移矩阵为 10 0 PP P 其中 其中ePIP 0 1 1 1 e 定义从瞬时态集到吸收态集的首达时间为 定义从瞬时态集到吸收态集的首达时间为 0 inf 0 SXnn n 令 令 0 10m 为马氏链的初始分为马氏链的初始分布 记 布 记 1m 且满足 且满足 1 0 0mk k 1 0 m k k 中国科学院大学 2014 2015 第一学期 随机过程讲稿 孙应飞 令 令 kPgk 称为 称为 Phase Type 分布 分布 0 k k k gEG 试证明 试证明 a 对于任意对于任意Nk 有 有 00 g ePIPPPg kk k 1 0 1 b 对于任意对于任意10 有 有 ePIPIG 1 0 13 设有一生灭过程设有一生灭过程 0 tt 其中参数 其中参数 n nn 和和 均为大于零的均为大于零的 常数 其起始状态为常数 其起始状态为0 0 试求 试求 a 该过程的该过程的Q矩阵 矩阵 b 列出福克 普朗克微分方程 列出福克 普朗克微分方程 c 其均值函数其均值函数 tEtM d 证明证明 exp lim 0 tp t 14 有一个细菌群体 在一段时间内假定可以通过分裂等方式产生新的细菌 并不会有一个细菌群体 在一段时间内假定可以通过分裂等方式产生新的细菌 并不会 死去 假设在长为死去 假设在长为t 的一段时间内 一个细菌分裂为两个 即产生新细菌的概率为的一段时间内 一个细菌分裂为两个 即产生新细菌的概率为 tot 令 令 tX表示时刻表示时刻t的细菌群体的大小 的细菌群体的大小 a 试说明试说明 0 ttX是生灭过程 是生灭过程 b 试证试证 i i 0 i 并列出其前进方程和后退方程 并列出其前进方程和后退方程 c 验证验证 kjtktkj jjk eeCtp 1 1 1 kj是上述方程的解 并计算是上述方程的解 并计算 msXsXtsXE 15 在一个线性生灭过程中 假定人口中每个人在间隔在一个线性生灭过程中 假定人口中每个人在间隔 ttt 内以概率内以概率 tot 生一个儿女 假定这些人是统计独立的 则如果在时刻生一个儿女 假定这些人是统计独立的 则如果在时刻t人口中有人口中有n个人 个人 在在 ttt 中出生的概率是中出生的概率是 totn 同样地 如果在 同样地 如果在 ttt 内一个人死亡的内一个人死亡的 概率是概率是 tot 则如果在 则如果在t时刻有时刻有n个人活着 在个人活着 在 ttt 内死亡的概率是内死亡的概率是 totn tX表示表示t时刻人口的数目 且已知时刻人口的数目 且已知 0 0 nX 则 则 tX是一马氏过是一马氏过 程 程 a a 试写出过程的状态空间及试写出过程的状态空间及Q矩阵 求矩阵 求 ntXPtpn 满足的微分方程 满足的微分方程 b 试导出试导出 tXEtmX 满足的微分方程 满足的微分方程 c 求解求解 tmX 16 一条电路供给一条电路供给m个焊工用电 每个焊工均是间断地用电 现假设 个焊工用电 每个焊工均是间断地用电 现假设 1 1 若一焊工在 若一焊工在 t时刻用电 而在时刻用电 而在 ttt 内停止用电的概率为内停止用电的概率为 tot 2 2 若一焊工在 若一焊工在t时