随机过程-习题-第2章

./2.1设是一马尔可夫过程,又设。试证明：即一个马尔可夫过程的反向也具有马尔可夫性。证明：首先,由条件概率的定义式得根据马尔可夫性将上式中的分子和分母展开,并化简得于是,2.2试证明对于任何一个马尔可夫过程,如"现在"的值为已知,则该过程的"过去"和"将来"是相互统计独立的,即如果有,其中代表"现在",代表"过去",代表"将来",若为已知值。试证明：证明：首先,由条件概率的定义式得然后,根据马尔可夫性将上式中的分子展开,并化简得2.3若是一马尔可夫过程,。试证明：证明：首先,利用性质：得于是,由马尔可夫性得再利用性质得=2.4若有随机变量序列,且之间相互统计独立,的概率密度函数为,。定义另一随机变量序列如下：试证明：〔1序列具有马尔可夫性；〔2<1>证明：由于相互统计独立,其n维联合概率密度函数为由随机变量序列与的关系可得如下的雅可比行列式所以,的n维联合概率密度函数为于是,由于且所以,因此所以,序列具有马尔可夫性。<2>证明：根据条件均值的定义得于是,由给定的关系和2.5设有随机过程<n><n=1,2,3,…>,它的状态空间I：{x：0<x<1}是连续的,它的参数T为离散的,T=n<n=1,2,3,…>。设<1>为〔0,1间均匀分布的随机变量,即<1>的概率密度为<1>,<2>,…,<m>的联合概率密度为<1>求<2>的边际概率密度f2<x2>；<2>试问该过程是否为马尔可夫过程；<3>求转移概率密度f2|1<x2|x1>,……,fm|m1<xm|xm1>。<4>求。<1>解：由给出的<1>,<2>,…,<m>的联合概率密度函数可知其分布区域如右图加黑部分所示。因此,的边际概率密度函数为11<2>证明：因为<0<xm<xm1<…<x1<1>显然,只与xm1有关,所以该过程是马尔可夫过程。<3>解：由<2>得其中,0<xm<xm1<1<m=1,2,3,…>。<4>解：由给出的<1>,<2>,…,<m>的联合概率密度函数可知于是,所以,2.6设有一参数离散、状态连续的随机过程,它的状态空间为,又的概率密度函数为的m维联合概率密度为求边际概率密度求的概率密度；说明该过程是马尔可夫过程,并求其转移概率密度<1>解：由m维联合概率密度可得m-1维联合概率密度<2>解：同<1>理可求得：所以,<3>解：由条件概率的定义可得由此可见,当m-1时刻的状态确定时,m时刻的状态与以前时刻的状态无关。所以,该过程为马尔可夫过程。其转移概率密度为2.7有三个黑球和三个白球。把六个球任意等分给甲乙两个袋中,并把甲袋中的白球数定义为该过程的状态,则有四种状态：0,1,2,3。现每次从甲、乙两袋中各取一球,然后互相交换,即把从甲袋取出的球放入乙袋,把从乙袋取出的球放入甲袋,经过n次交换,过程的状态为<n=1,2,3,4,…>。<1>试问此过程是否为马尔可夫链；<2>计算它的一步转移概率矩阵。<1>证明：显然,该过程由当前状态转移到另一个状态的转移概率只与当前状态和转移到的状态有关,与其它时刻的状态无关。因此,该过程是为马尔可夫链。<2>解：以甲袋中的白球数i作为该过程的状态。当和3时,过程状态由i转移到j概率为当i=0时,,；当i=3时,,。于是,一步转移概率矩阵为：2.8设是一马尔可夫链,它的状态转移空间为I：{0,1,2},它的初始状态的概率分布为,,；它的一步转移概率矩阵为计算概率；计算。<1>解：由马尔可夫性可得其中,于是<2>解：二步转移概率矩阵为所以,另一种解法是根据切普曼-柯尔莫哥洛夫方程得2.9设有马尔可夫链,它的状态转移空间为I：{0,1,2},它的一步转移概率矩阵为试求,并证明；求。<1>证明：和分别为所以,<2>解：实际上,一步转移概率矩阵可以经过行列变换为由此可见,这是一个周期为2的马尔可夫链。所以,当n为奇数时n为偶数时2.10设有马尔可夫链,它的状态转移空间为I：{0,1},它的一步转移概率矩阵为试用数学归纳法证明证明：当n=1时,显然是成立的。假设成立,即则当时所以结论成立。2.11设有马尔可夫链,它的状态空间为,它的一步转移概率矩阵为试求〔利用矩阵的特征值、特征矢量方法计算解：解算此题有以下三种方法：[方法一]：利用矩阵的相似变换：首先,容易解得矩阵的两个特征值和对应的特征向量分别为由这些特征向量做为列向量构成的矩阵Q和其逆阵Q-1为与矩阵存在如下关系并且于是得[方法二]：利用矩阵的特征值、特征矢量：首先,由下面的等价关系可知是的特征值,的特征向量是的特征向量。因此,可由的所有特征值和特征向量,利用这个等式解。设对于本题,可得方程组如下解得的值与方法一的结果相同。[方法三]：利用母函数：首先,转移概率矩阵对应的母函数为将矩阵的第一行第一列元素展开成s的级数为其中,sn项的系数就是的第一行第一列元素,即同理可得。2.12天气预报问题。其模型是：今日是否下雨依赖于前三天是否有雨<即一连三天有雨；前面两天有雨,第三天是晴天；…>,问能否把这个问题归结为马尔可夫链。如果可以,问该过程的状态有几个？如果过去一连三天有雨,今天有雨的概率为0.8；过去三天连续为晴天,而今天有雨的概率为0.2；在其它天气情况时,今日的天气与昨日相同的概率为0.6。求这个马尔可夫链的转移矩阵。解：此问题本来不是马尔可夫链,但是通过将连续三天的天气情况定义为一个状态,则可以认为是一个马尔可夫链。每天的天气状况分为有雨〔用"1"表示和无雨〔用"0"表示两种情况,所以该马尔可夫链有23=8中状态。将连续四天的天气情况用Y和N表示。例如,前三天有雨,第四天无雨,则表示为YYYN。根据题意可知,如果过去一连三天有雨,今天有雨的概率为0.8；过去三天连续为晴天,而今天有雨的概率为0.2；即P{1111}=0.8,P{0001}=0.2,在其它天气情况时,今日的天气与昨日相同的概率为0.6,即P{0011}=P{0111}=P{1011}=0.6P{1100}=P{0000}=P{0100}=P{1000}=0.6于是可得其它的概率值为P{0000}=1-P{0001}=0.8,P{0010}=1-P{0000}=0.2,P{0101}=1-P{0100}=0.4P{0110}=1-P{0111}=0.4,P{1001}=1-P{1000}=0.4,P{1010}=1-P{1011}=0.4因此,概率转移矩阵为2.13设有马尔可夫链,它的状态空间为I：{0,1},它的一步转移概率矩阵为试求,,,,,。解：,另一种方法是利用母函数由下面