信息论基础课件2.2.4.ppt

1、1,上 节 内 容 回 顾,1、离散无记忆信源X的N次扩展信源的熵,2离散平稳信源的数学模型,3 离散平稳信源的信源熵和极限熵,2,2.2.4、马尔可夫信源的极限熵,在许多信源的输出序列中，符号之间的依赖关系是有限的。也就是说任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。,与前面所讲的多符号平稳信源不同，这种信源发出符号时不仅与符号集有关，还与信源的状态有关。,所谓状态，指与当前输出符号有关的前m个随机变量序列的某一具体消息，用si 或者ei 表示。把这个具体消息看作某个状态：,3,当信源在m+1时刻发出符号akm+1 时，我们可把sj看成另一种状态：,

2、所有的状态构成状态空间，其数学模型为,4,1.马尔可夫信源 设一般信源所处的状态 ，在每一状态 下可能输出的符号 。,5,（2）信源某 时刻所处的状态由当前的输出符号和前一时刻 信源的状态唯一决定，即,则此信源称为马尔可夫信源。,当具有齐次性时，有,定义：若信源输出的符号序列和信源所处的状态满足以下两个条件,（1）某一时刻信源符号的输出只与此时刻信源所处的状态有关，而与以前的状态及以前的输出符号都无关，即,6,例2.2.3 设信源符号X=x1，x2 ，x3，信源所处的状态S=e1 ，e 2 ，e3 ，e4 ，e5。各状态之间的转移情况如下图，,将图中信源在ei状态下发符号xk的条件概率p（xk

3、/ei）用矩阵表示为，,7,由矩阵可以看出来，,8,另外，从图中可得，,状态的一步转移概率为，,很显然，该信源为时齐的马尔可夫信源。,9,上述定义和描述的是一阶的马尔可夫信源。但常见的是 m阶马尔可夫信源，它在任何时刻 ，符号发生的概率 只与前面m个符号有关，我们可以把这前面m个符号序 列看作信源在此 时刻所处的状态。因为信源符号集共 有q个符号，则信源可以有 个不同的状态，他们对应 于 个长度为m的不同的符号序列。,因此，m阶马尔可夫离散信源的数学模型可由一组信源符号集和一组条件概率确定：,并满足,10,由m阶马尔可夫信源的定义，并考虑其平稳性，可得,11,条件概率 表示任何 l 时刻信源处

4、在ei 状态时， 发出符号 的概率。而 可任取 之一，所以可以简化成 表示。,12,而在 时刻，信源发出符号 后，由符号 组成了新的信源状态 ，即信源所处 的状态也由 转移到 ，它们之间的转移概率叫做一步 转移概率 ，简记为 ，它可由条件概率 来确定，表示在 的情况下，经一步转移到状态 的概率。对于齐次马尔可夫链，其转移概率具有推移不 变性，因此， 可简写为 。,13,记k步转移概率为 由于有 个状态，所以状态转移概率是一个矩阵， 记为：,推广可得 ，它表示系统在时刻m 处于状态 ，经(n-m)步转移后在时刻n处于状态 的概 率。它具有以下性质：,14,3. 各态历经（遍历）定理,15,（1）

5、各态历经的马氏链不论起始状态是什么，此马氏链可以最后达到稳定，,注：,（2）各态历经的马氏链具有不可约性,所谓不可约性，就是对任意一对i和j，都存在至少一个k，使pij(k)0 这就是说从i开始，总有可能到达j；反之若对所有k，pij(k)=0 就意味着一旦出现i以后不可能到达j，也就是不能各态遍历， 或者状态中应把i取消，这样就成为可约的了,16,例2.2.4：2-M信源,01,00,10,11,(1)0.2,(0)1/2,(1)0.5,(0)1/5,(0)0.5,(1)0.5,(0)0.8,(1)0.8,17,01,00,10,11,(1)0.2,(0)1/2,(1)0.5,(0)1/5,(0)0.5,(1)0.5,(0)0.8,(1)0.8,18,19,20,21,例,22,一步转移矩阵为,23,从状态转移图可知，这时齐马尔可夫链的状态有限，并且是不可约闭集和非周期态，所以这马尔可夫链具有各态历经性，则状态的极限分布存在。,24,得此一