CH441-42上课

1、2022-5-61 马尔可夫过程习题习题l4.2 4.8 4.11 4.14 4.16 4.19 22022-5-62022-5-63CH4 CH4 马尔可夫过程马尔可夫过程 l 马尔可夫过程是一类重要的随机过程，广泛应用在近代物理、生物（生灭过程）、公用事业、信号处理、自动控制等方面。 2022-5-644.1 基本概念与举例过去与将来将来独立，过去对于将来无直接影响，称为“无后效性无后效性”。2022-5-654.1 基本概念与举例按照参数集按照参数集T 与状态空间与状态空间E 的不同，马尔可夫过程可分为：的不同，马尔可夫过程可分为：2022-5-66上式表明：“将来完全由现在现在 决定，

2、与过去过去无关”。4.1 基本概念与举例考虑离散参数集为非负整数考虑离散参数集为非负整数，记为，记为取值状态空间为有限或无限可数集，记为取值状态空间为有限或无限可数集，记为2022-5-67马尔可夫链的统计特性：马尔可夫链的统计特性：初始分布),0(),0(,)0(),(),(,)(2121nnn2 2、概率分布向量：、概率分布向量：1 1、状态概率：、状态概率：)(iXPnni1( )1iin 3 3、状态转移概率：状态转移概率：)(,),(nmiXjXPmnPnmij4.1 基本概念与举例2022-5-684.1 基本概念与举例每一行之和为每一行之和为1 14 4、状态转移概率矩阵：、状态

3、转移概率矩阵：11( ,)1ijmnjjP n mP Xj Xi-随机矩阵),()()(mnnmP状态概率与状态转移概率之间的关系：状态概率与状态转移概率之间的关系：4.1 基本概念与举例( , )ijP n mji)(ni( )jm 111),()(,)(iijiinmninmmjmnPniXjXPiXPiXjXPjXPm2022-5-6104.1 基本概念与举例2022-5-6114.1 基本概念与举例1111,( ,)|,( , )( ,)mnijmnnmrnknmrnrnknrnmrnrnkrnnikkjkP xj xiP n mP xj xiP xiP xj xk xiP xiP x

4、j xk xiP xk xiP xiP xk xiP xj xk xiP xk xiP xk xiP xiP n r P r m证明：2022-5-6124.1 基本概念与举例 查普曼-柯尔莫哥洛夫 (Chapman-Kolmogorov)方程，简称C-KC-K 方程，其直观含义下图所示：( , )ikP n r( , )kjP r m2022-5-6134.1 基本概念与举例)(),(nmmn PP此时，此时，2022-5-6144.1 基本概念与举例2022-5-6154.1 基本概念与举例2022-5-6164.1 基本概念与举例2022-5-6174.1 基本概念与举例非齐次马尔科夫链

5、。非齐次马尔科夫链。2022-5-6184.1 基本概念与举例2022-5-6194.1 基本概念与举例(2)2022-5-6204.1 基本概念与举例2022-5-6214.1 基本概念与举例 随机游走是一种简单而用途广泛的数学模型。当Zn 只取+1,-1 时，称Xn 为简单随机 游动。这时，r=PZn = 0=0 。进而，当p=q=1/2时，称Xn 为对称的随机游动随机游动。2022-5-6224.1 基本概念与举例随机游走几种常见形式：随机游走几种常见形式：状态转移图（以5个状态为例）2022-5-6234.1 基本概念与举例随机游走几种常见形式：随机游走几种常见形式：01102022-

6、5-6244.1 基本概念与举例随机游走几种常见形式：随机游走几种常见形式：qpqp2022-5-6254.1 基本概念与举例随机游走几种常见形式：随机游走几种常见形式：0pqp0q2022-5-6264.1 基本概念与举例它是一个齐次马尔可夫链。讨论该过程。讨论该过程。解：qqq2022-5-6274.1 基本概念与举例它是一个非齐次马尔可夫链。更一般的情况，每个位置上的“逃离”与“捕回”概率不同，则0q0p1p2p3p1q2q3q0p1p2p0q1q2qipiq2022-5-6284.1 基本概念与举例讨论该过程。讨论该过程。2022-5-6294.1 基本概念与举例一般而言， ，这时，它

7、可被看作只有两个弹性壁的随机游走。1,02022-5-6304.1 基本概念与举例2022-5-6314.1 基本概念与举例2022-5-6324.1 基本概念与举例 这是一个两端为反射壁的非均匀随机游动，其概率配置左右对称，这是一个两端为反射壁的非均匀随机游动，其概率配置左右对称，并构成一种向中心游动的趋势。艾伦菲斯特模型可作为许多物理现象并构成一种向中心游动的趋势。艾伦菲斯特模型可作为许多物理现象的数学模型，例如：的数学模型，例如： （1 1） 容器中有容器中有 2 2a a 个粒子，中央安置薄膜（或界面）将其分为个粒子，中央安置薄膜（或界面）将其分为 A A 与与 B B 两部分。每次只

8、有两部分。每次只有 一个粒子越过界面进入另一部分空间。令一个粒子越过界面进入另一部分空间。令 X X n n 为为 n n 时刻时刻 A A 与与 B B 两部分中粒子数目之两部分中粒子数目之 差值，则常认为差值，则常认为 X n X n 是具是具有上面转移概率的马尔可夫链，这种概率特性保证了容器有上面转移概率的马尔可夫链，这种概率特性保证了容器 中的粒子维中的粒子维持动态平衡。持动态平衡。 （2 2）两同等规模的城市两同等规模的城市 A A 与与 B B 之间的人口迁移问题，之间的人口迁移问题，迁移活动迁移活动类似于容器中粒子越过中央界面的情况。用类似于容器中粒子越过中央界面的情况。用 X

9、n X n 表两城市间人口的差表两城市间人口的差异。异。 （3 3）直线上随机游动的质点，受指向中心的）直线上随机游动的质点，受指向中心的“弹簧力弹簧力”的作用，的作用，弹力的大小与偏离中心的距离成正比，用弹力的大小与偏离中心的距离成正比，用 X n X n 表示表示 n n 时刻质点的位时刻质点的位置。置。 （4 4）口袋中有总共）口袋中有总共 2 2a a 个红球或黑球，每次随机摸出一个，若摸个红球或黑球，每次随机摸出一个，若摸到红球则返还一个黑球；摸到黑球则返一个红球。用到红球则返还一个黑球；摸到黑球则返一个红球。用Xn Xn 表示表示 n n 时刻时刻红球与黑球数量的差值。红球与黑球数

10、量的差值。2022-5-6334.1 基本概念与举例2022-5-6344.1 基本概念与举例2022-5-6354.1 基本概念与举例2022-5-6364.1 基本概念与举例!)0()(kpkkjYYYi212022-5-6374.2 状态分类马尔可夫链的状态可划分为以下几种重要类别： 2022-5-6384.2 状态分类0)(kijp2022-5-6394.2 状态分类，表示：表示：。ijT表明状态 永不出现，不存在 。jnijT是随机的，因到达的路线不同而不同。如ijT取值于 , 2 , 1N2022-5-6404.2 状态分类考察例 4.4 中两端具有吸收壁的随机游走112T112T

11、114T11T116T118T2022-5-6414.2 状态分类。( )1nijijnff 显然，ijijPiXjXPf01)1(从 出发永远不能到达 的概率。ij2022-5-6424.2 状态分类2022-5-6434.2 状态分类:iif自状态 出发，经有限步迟早返回状态 的概率。ii:iiT自状态 出发，首次返回状态 所需的时间。iiji 2022-5-6444.2 状态分类2022-5-6454.2 状态分类( )0( )kkijijkP zpz( )0( )kkijijkF zfzZ变换变换2022-5-6464.2 状态分类( )11( )00111lim( )lim1( )11njjjjzzknjjjjjjkpPzFzff( )0( )kkijijkP zpz( )0( )kkijijkF zfz4.2 状态分类( )( )( )( )( )()( )()( )()( )()( )(nnnkn kjjjjjjjjjjjjnnnkkn kkn kjjjjjjjjkn kkn kkmnjjjjjjjjkmnnjjppppfpfpfpfpfpp 000111111001111)njjf011另证：4.2 状态分类ji 0)(nnjjjjpEN2022-5-6494.2 状态分类2022-5-6504.2 状态分