随机信号分析：20马尔可夫过程

1、马尔可夫过程定义转移概率齐次性平稳性遍历性其它性质马尔可夫性（无后效性）实际中有一类很广泛的随机过程，其特点体现在过程中各个时刻的随机变量有一定的相依（非独立）关系。具体地说就是：过去只影响现在，而不影响将来。这种随机过程叫做马尔可夫过程。或者说：当随机过程在时刻 ti 所处的状态已知时，过程在时刻 t (t ti) 所处的状态仅与过程在时刻 ti 的状态有关，而与过程在时刻 ti 以前所处的状态无关。此特性称为随机过程的无后效性或马尔可夫性。马尔可夫过程分类按其状态空间I 和时间t 参数集是连续还是离散可分成四类。讨论内容：定义；转移概率及转移概率矩阵；齐次性；平稳分布；遍历性；其它性质。马

2、尔可夫序列的定义将现过将现推广：多重马尔可夫序列。二重马尔可夫序列满足将现过将现将现过将现k重马尔可夫序列马尔可夫序列的性质1、子序列仍为马尔可夫序列 。2、逆序列仍为马尔可夫序列 。3、若现在已知，则未来与过去独立。将现过4、条件数学期望齐次性和平稳性马尔可夫链马尔可夫链就是状态和时间参数皆离散的马尔可夫过程。 转移概率及转移概率矩阵齐次马氏链：条件概率和m无关。举例（随机游动）举例（随机游动）举例（随机游动）转移概率和n无关，上述马氏链是齐次的。举例（Polya罐子模型）罐子中有黑球a个和红球b个，每次随机取出一只后放回，并加入与抽出球同色的球c个，如此继续。以罐子中黑球的数目为状态，”X

3、(m)=i”表示在第m次摸球放回后在罐子中有i个黑球的事件。可知上述过程也是马尔可夫过程，为什么？试着写出此过程的一步转移概率，并判断此过程是否具有齐次性。举例（天气预报问题）若明天是否降雨只与今日的天气（是否有雨）有关，而与以往的天气无关。并设今日有雨而明日也有雨的概率为0.6，今日无雨而明日有雨的概率为0.3。另外，假定将“有雨”称作“1”状态天气，而把“无雨”称为“2”状态天气。则本例属一个两状态的马氏链。试求其一步至四步转移概率矩阵；解：由题可知，一步转移概率为 举例（天气预报问题）今日有雨而后日（第三日）仍有雨的概率为多少？今日有雨而第四日无雨的概率为多少？今日无雨而第五日有雨的概率

4、为多少？ 马氏链的有限维分布初始分布一维分布马氏链的有限维分布一维分布第n步时的一维分布(n-s)步转移概率矩阵第s步时的一维分布n维分布马氏链的任意有限维分布完全可以由初始分布和一步转移概率矩阵所确定。因此，初始分布和一步转移概率矩阵是描述马氏链的统计特性的两个重要的分布特征。举例（马氏链的有限维分布）天气预报问题中，假定将“有雨”称作“1”状态天气，而把“无雨”称为“2”状态天气。今日(t=0)有雨。初始分布一维分布马氏链的平稳性定义：若齐次马氏链的概率分布不随时间的变化而改变。举例（天气预报问题）不满足平稳性条件马氏链的遍历性举例（天气预报问题）定义：如果一个齐次马氏链对于一切状态i和j，存在不依赖于i的极限 则称此马氏链具有遍历性。 马氏链的遍历性定理（有限马氏链具有遍历性的充分条件）：对于一有限状态的马氏链，若存在一正整数m，使所有的状态满足则此链是遍历的。举例（天气预报问题）马尔可夫过程马尔可夫过程：状态和时间皆连续。定义转移概率性质P249-252