随机过程习题

1、WORD格式整理版2.1设(t)是一马尔可夫过程，又设t1 : t2 ：:tn : tn 7 tn k。试证明：ftn /tn 1，,tn k (xn / xn 1/ , xn 亠k) = ftn/tn，1 (xn ! xn 1)即一个马尔可夫过程的反向也具有马尔可夫性。证明：首先，由条件概率的定义式得ftn,tn .1,tn k (xn，xn 1，xn k)ftn/tn 1,tn k(xn/Xn 1， ，xn k H f(X_ftn申广,tn4k (Xn+1，xn伙丿根据马尔可夫性将上式中的分子和分母展开，并化简得ftn/tn 1,tn k(Xn / xn 1'，xn k)ftn k

2、 /tn -k j (xnk /xn k -1)ftn -2/tn .1 (xn 2/xn 1 ) ftn 1 /tn(xn 1 / xn ) ftn (xn丿ftn k/tnk J (xn k / xnk -1) ftn 2/tn1 (xn 2 / xn 1 )ftn 1 (xn 1)ftn 1 /tn (xn 1 / xn ) ftn (xn 丿ftn 1 (xn 1 丿于是，ftn,tn+i (xn , xn卅)ftn/tn 1,tn：k(xn/xn1， ，xn k 'ftn/tn 1 (xn /xn 1 )ftn 41(x1)2.2试证明对于任何一个马尔可夫过程，如“现在”的(

3、t)值为已知，则该过程的“过去”和“将来”是相互统计独立的，即如果有t1 : t2讥3，其中t2代表“现在”，対代表“过去”，t3代表“将来”，若 化2)=X2为已知值。试证明：ft1,t3/t2(x1，x3/x2 ft1/t2(x1/x2)ft3/t2 (X3/X2)证明：首先，由条件概率的定义式得r,、ft1,t2,t3(X1，X2，X3)fti ,t3/t2 (X1 , x3 / x2 )'ft2(x2)然后，根据马尔可夫性将上式中的分子展开，并化简得1ft3/t2(X3/x2)ft2/t1(X2/x1)ft1(X1) t1,t3/t2(X1,X3/x2)= ft2(X2)ft1

4、,t2(X1, X2)-ft3 /t2 (x3 / X2)t3/t23ft2(X2)二 ft3/t2(X3/X2)fti/t2(Xl /x2)2.3 若(t)是一马尔可夫过程，h ：: t?：:tm : tm J ：: tm .2。试证明：ftm 1,tm2/tl,t2/',tm (Xm1, Xm2 /x1,X2,Xm)=ftm1 ,tm 2/tm (Xm1 ,Xm2 /xm)证明：首先，利用性质：PAB|C二PA|BCPB|C得ftm 1 ,tm -2/t1,t2/ ',tm (Xm 1 , Xm 2 /X1, X2 , , Xm)-ftm 2/t1,t2/ 'tm,

5、tm 1 (Xm 2 / X1 , X2 , , Xm ,Xm 1 ) ftm 1 /t1 ,t2,tm (Xm 1 / X1 , X2 , , Xm )于是，由马尔可夫性得ftm 1,tm -2/t1,t2/ ',tm (Xm 1 , Xm 2 / X1 ,X2 , Xm )二 ftm 2/tm 1,tm (xm 2 /xm 1 ,Xm) ftm 1 /tm (xm 1 /xm)再利用性质 PA|BCPB|C二 PAB|C得ftm ,tm 2/t1 ,t2, ",tm(xm 1, xm 2 /x1 ,x2, , xm ) = ftm .1,tm .2/tm (xm 1, x

6、m 2 /xm)2.4若有随机变量序列1, 2，n,，且1, 2, , n，之间相互统计独立，n的概率密度函数为f n(xn)二fn(xn)，En=O( n=1,2,)。定义另一随机变量序列 n如下:优质.参考.资料WORD格式整理版1=1223=123n2 n试证明：（1）序列1，2，n，具有马尔可夫性；（2） E n/ 1 =y1，2= y2，nd= yn_l=E n /n_1=yn_l= yn_1 证明：由于12,n，相互统计独立，其n维联合概率密度函数为f 12卜12， ，yn）二 f 1（y1）f 2（y2） f n（yn）由随机变量序列 n与 n的关系可得如下的雅可比行列式0=10

7、11011匕J =33+1 1所以，2,，n,的n维联合概率密度函数为f 1 2区，X2 , ,Xn) = f Jxjf 2区-冷)f n(Xn -Xn_1)于是，f n/ nd/', 2, 1(Xn/xn_1， x2，x1)=f 1(XJf 2(X2 -X1)f n(Xn_1 -Xn_2)f n dn 一 乂心)f&(X1)f$(X2 -Xjf£(Xz - Xz)=f n(Xn -Xn-1)由于f n 4 n(Xn 斗，xn)Ho二 L 2n(X1，X2， ,Xn)dXdX2dXn_2-Ho二 f n (Xn Xn-)._： f(X1)f 2(X2 - “) f “

8、(Xn -Xn_2)dX1dX2dXn_2且f n J （Xn）ho二 1 2n（XX2， ,Xn）dXidX2 dXn_2-feo=,_.f 1（Xi）f 2（X2 -Xi）f n（Xn/ -Xn/）dXi dX2 dXn/所以，f n/n（Xn/XnG =f n（Xn-XnG因此f n/ 2,，2, 1（Xn/Xn X2"） = f n/ nJ（Xn/Xn）所以，序列1, 2，n具有马尔可夫性。（2）证明：根据条件均值的定义得E n / 1 = y1, 2 - y2, n_1=yn/-Ho=_:.ynf n/ n& 2,1（yn/yn_1y2,y1）dynHo二 _：yn

9、f n/ 2（yn/yn_1）dyn=E n/ n-1 二 yn-1于是，由给定的关系和 E n =0=12E n/ 1 T1, 2 二2,nJ = ynJ = E nyn_1 = yn_12.5设有随机过程（n） （n=1, 2, 3,），它的状态空间I : x: 0<X<1是连续的,它的参数T为离散的，T=n （n=1，2，3，）。设 （1）为（0，1）间均匀分布的随 机变量，即 （1）的概率密度为1f1（X1）= 5）（X1）=、0（0 ： X : 1）（其它值），(2),(m)的联合概率密度为f1,2,m (xl, x2 ,，xm) = f01),"2),E(m)

10、 (xl, x2 , xm)1=(OXm vxm*“ <xi <1)1X1X2 Xmf1,2："；m(xl，x2， ,xm)=° , 其 它xj值(1) 求 的边际概率密度f2(X2)；(2) 试问该过程是否为马尔可夫过程；(3) 求转移概率密度 f 2|1(X2| X 1)， fmm(X片 X m 1)。3 1求 P (1) ： , (3) 一。4 3(1) 解：由给出的 (1),(2),(m)的联合概率密度函数可知11,2(x1,x2):(0 ： x2 ： x1 : 1)X1优质参考.资料(0 v x2 <1)X2X1 =X2其它Xi值1X1f1,2,

11、m(x1,x2, xm)1(2)证明：因为其分布区域如右图加黑部分所示。因此，(2)的边际概率密度函数为1 1Jxdx11 nx2f2(X2)才 Yi 0,fm|1,2； ,m4(xm 1 x1,x2,xm_1)=f1,2；八,mV(x1,X2 ,xm7)xm(0<X m <x m : < VX1 <1)显然，怙|12m只与Xm】有关，所以该过程是马尔可夫过程。解：由得WORD格式整理版 1f m|m -1 (xm |xm/) = f m|1,2,mdm_1其中，0<x mvxm <1( m=1, 2, 3,)。解：由给出的,(2)，,(m)的联合概率密度函

12、数可知f1,2,3(xl ,x2 ,X3)二1X1X2,(0 ：: X3 ： X2 : Xi ：:1),其它值于是,X1«3(为比)=d f (X1,X2,X3)dX2dX2X3 X1 X2nx2 ©X3ln 竺,(0 ： x3 ： x1 ： 1),其它值所以,1/3 3/4 1X10飞*心3X1X31/310尹dX33_2=2 ln(3)2ln(X3 -X3) 13232.6设有一参数离散、状态连续的随机过程(n), n =1,2,，它的状态空间为优质参考资料WORD格式整理版优质参考.资料I :x;x_0?,又(1)的概率密度函数为(x0) f百(x1) = f1 (X

13、i) = * 0(其它知值)(1)(2),(m)的m维联合概率密度为丫1,2,m(Xi,X2，Xm) 7X2 Xm_j exp (XmXmd + Xm j Xm/ + + X2X1 +)(X1 K 0, X2 3 0，Xm K 0)f1,2,m (x1 , x2 , xm) = 0 其匕 Xj值(1) 求边际概率密度 «2：二2(勺冬广彳2)(2) 求(2)的概率密度；(3) 说明该过程是马尔可夫过程，并求其转移概率密度ftm/tm (xm /xm/)(1)解：由m维联合概率密度可得 m1维联合概率密度f1,2,m <(x1 ,x2 , xm-Ho=0 X1X2Xmexp-(X

14、mXm_1xm_1xmjX2X1x1)dxmHo= X1X2 Xmj exp-(XmXm_2+X2X1 +X1)J0 exp(XmXmJdXm= X1X2 Xm£exp-(XmjXm_2X2X1 Xj解：同(1)理可求得:f1,2/ ',m -2(x1 , x2 ,xm-2)=X1X2Xm£eX3【(Xm2Xm3X2X1x1)f1,2(x1,x2x1 exo (x2X +XJ所以,x2 _0其它X2值二 xm_1exP(-xmxm_1)_1 f2(x2) = J0 x1 exp(x2X +x1)dx1 =】(x2 +1)0(3) 解：由条件概率的定义可得fm/1,2

15、,m V(xm / xix2 ,xm/)二f1,2,m (xl, x2 ,，xm)f1,2,m_1(x1, x2 ；,xm_1)由此可见，当m1时刻的状态确定时，m时刻的状态与以前时刻的状态无关。所以, 该过程为马尔可夫过程。其转移概率密度为xmJ exp( -Xmxm_1), xm_1 丄 0, xm 丄 0fm/m4(xm/xmM )'.0,其它xi值2.7有三个黑球和三个白球。把六个球任意等分给甲乙两个袋中，并把甲袋中的白 球数定义为该过程的状态，则有四种状态：0，1, 2, 3。现每次从甲、乙两袋中各取一球，然后互相交换，即把从甲袋取出的球放入乙袋，把从乙袋取出的球放入甲 袋，

16、经过n次交换，过程的状态为n)(n=1，2，3，4，)。(1) 试问此过程是否为马尔可夫链；(2) 计算它的一步转移概率矩阵。(1)证明：显然，该过程由当前状态转移到另一个状态的转移概率只与当前状态和转移到的状态有关，与其它时刻的状态无关。因此，该过程是为马尔可夫链。 解：以甲袋中的白球数i作为该过程的状态。当 "0和3时，过程状态由i转移到j概率为P"n +1) = j | E(n) =i = «-ifI< 3丿(Hi 1)2 丄 3-i3,(j =i)(j =i -1)其它当 i=0 时，P°1 =1 , P°j=0(j")

17、；当 i=3 时,P32 =1,P3j= 0('j -2)。于是,步转移概率矩阵为:0012.8设 (n)是一马尔可夫链，它的状态转移空间为I : 0，1, 2，它的初始状态111的概率分布为P(0) =0, P(0) =1, P(0) =2;它的一步转移概率424矩阵为01334(1)计算概率 P (0) =0, (1) =1, (2) =1；计算p0? 0(1)解：由马尔可夫性可得WORD格式整理版P (0) =0, (1) =1, (2) =1 = P (2) =1| (1) =1P (1) =1| (0) =0P (0) = 0其中,P (2) =1(1)=1十1(：)P (1

18、)=1|(0)=0 =p01于是16P (0H 0, (1) =1, (2) =1(2)解：二步转移概率矩阵为141341313(571041616411716133336363611133144丿<1248480Y1413订p0p丿优质参考资料所以,(2)p0116另一种解法是根据切普曼-柯尔莫哥洛夫方程得i =0 J 3 3 1 0 1-'4 44 34pOi pi1162.9设有马尔可夫链，它的状态转移空间为I : 0，1，2，它的一步转移概率矩阵为1010P = 1 - p 0 p(1)试求护)，并证明P(2)二P4 ；(2)求 P(n) ,n _1。(1)证明：F(2)

19、和F(4)分别为r 010 '/010、*1 - p0pP(2)=1 - p0p1-p0p=010< 01°01°I1 p0pj1 - p 0 p "1 - p 0 p "- p 0 p 'p(4)=阳护=0 1 00 1 0=0 1 00 - p 0 PJ -p 0 p>订P 0 P所以，口2) =口4)(2)解：实际上，一步转移概率矩阵P可以经过行列变换为0010011 pp0由此可见，这是一个周期为2的马尔可夫链。所以，当n为奇数时01 0P(n)= 1 _p 0 p<010n为偶数时q- p0pP(n) =010

20、WORD格式整理版2.10设有马尔可夫链，它的状态转移空间为I : 0，1，它的一步转移概率矩阵为P 1 - PP=(Ocpcl)J-p p >试用数学归纳法证明f 11Z+g(2p1)nP(n) _ 22P _ 1 1-1(21)n<2 2冷2"证明：当n=1时，显然是成立的。假设n =k-1成立，即1亠1八kJ二+二门卩-1) p(kd) = 22)2p1严<2 2_2(21)k_11 i(2p-1)k_1p(k)二 p(k-1) p 二1+ 1 /c八 kJ-+：(2p _1)2 21 1 k 1 -(21)12 2-2-2-丄(2卩-1严21 k 1 (2p

21、 -1)2”2(2p-1)kri(21)k2(2p1)k2(21)k2所以结论成立。2.11设有马尔可夫链，它的状态空间为I :0,1，它的一步转移概率矩阵为1 - a a 'P=(Oca <1,0 vb")lb 1b丿试求P(n)(利用矩阵的特征值、特征矢量方法计算)解：解算此题有以下三种方法：方法一:利用矩阵的相似变换：首先，容易解得矩阵P的两个特征值和对应的特征向量分别为lb丿由这些特征向量做为列向量构成的矩阵Q和其逆阵Q1为Q-1 二b-ba +b1.a +ba 1a + b-1a + b _px = X= ppx = PX = 2X 二 p(n)x = nx优

22、质参考.资料与矩阵P存在如下关系q'pq 二10 1_10 1QQ =卫 1ab一1I01 _ a _ b _并且(QjpQ)n rQ.pQQXpQ Q.pQrQjpnQ于是得P(n) =Q1 0 1n=L0 1 - a - b-a bb - b(1 -a - b)na _ a(1 - a - b)n Ia + b(1_a_b)nJ方法二:利用矩阵的特征值、特征矢量：首先，由下面的等价关系WORD 格式 .整理版可知'n是P(n)的特征值，P的特征向量是P(n)的特征向量。因此，可由P的所有特 征值和特征向量，利用P(n)X二这个等式解p(n)。设_P1P2 1P(n)=BP4

23、 一对于本题，可得方程组如下"PlP21JBp1丄PiP2a _ a 1=(1 -a-b)njd3 P4 b 一b 一解得Pi, P2, P3, P4的值与方法一的结果相同。方法三:利用母函数：首先，转移概率矩阵对应的母函数为QO1 (1 a)s-as 1S P(n)sn =(l_ Ps)-=n =1bs1-(1-b)s 一1刁一(1 b)sas-a b)s? (2 a b)s +1-bs1 (1 a)sG(s)=(1将矩阵G(s)的第一行第一列元素展开成s的级数为b QO(1 - ab)n s-sn nZ b.a b _ a1 - ( - b)s 1 - sn=0其中，sn项的系数

24、就是P(n)的第一行第一列元素,同理可得P2, P3, P4。 有雨；前面两天有雨，第三天是晴天；），问能否把这个问题归结为马尔可夫链。 如果可以，问该过程的状态有几个？如果过去一连三天有雨， 今天有雨的概率为 0.8 ； 过去三天连续为晴天， 而今天有雨的概率为 0.2 ；在其它天气情况时， 今日的天气与 昨日相同的概率为 0.6 。求这个马尔可夫链的转移矩阵。解：此问题本来不是马尔可夫链，但是通过将连续三天的天气情况定义为一个状态， 则可以认为是一个马尔可夫链。 每天的天气状况分为有雨 （用“1”表示）和无雨（用 “0”表示）两种情况，所以该马尔可夫链有 23=8中状态。将连续四天的天气情

25、况用 丫和N表示。例如，前三天有雨，第四天无雨，则表示为YYYN根据题意可知，如果过去一连三天有雨，今天有雨的概率为 0.8 ；过去三天连续 为晴天，而今天有雨的概率为 0.2 ；即P1111=0.8 ， P0001=0.2 ，在其它天气情况时，今日的天气与昨日相同的概率为 0.6 ，即P0011= P0111=P1011=0.6P1100=P0000= P0100=P1000=0.6于是可得其它的概率值为P0000=1-P0001=0.8 ， P0010=1-P0000=0.2 ， P0101=1-P0100=0.4P0110=1-P0111=0.4 ， P1001=1-P1000=0.4 ， P1010=1-P1011=0.4 因此，概率转移矩阵为优质 .参考 . 资料WORD格式整理版0.8 0.2 000.4 0.6 0 00000000000000000.40.600.40.6000000.40.610 0 0 0 0 0 0 00 0 0 0.2 0.8.0 0 0 0 0 0 0.2 0.8 _ 0 02.13设有马尔可夫链，它的状态空间为I : 0,1，它的一步转移概率矩阵为P =123优质.参考.资料01)= p0i)01f1 010001(1) (1)p01 P10(1) (1)p00 p01= p010p00)p011)(1) (1) (1)=p