信息论基础课件2.2.5.ppt

1、1,前几节我们讨论了各类离散信源及其信息熵。实际的离散信源可能是非平稳的，对于非平稳信源来说，其 不一定存在，但可以假定它是平稳的，用平稳信源的,2.2.5信源冗余度及信息变差,最后，可以假定是等概分布的无记忆离散信源，用最大熵 来近似。,来近似。然而，对于一般平稳的离散信源,求 值也是极其困难的。那么，进一步可以假设它是m阶,马尔可夫信源，用m阶马尔可夫信源的平均信息熵Hm+1来近似。如再进一步简化信源，即可假设信源是无记忆信源，而信源符号有一定的概率分布。这时，可用信源的平均自信息量H1=H(X) 来近似。,2,由此可见，由于信源符号间的依赖关系使信源的熵减 小。它们的前后依赖关系越长，信

2、源的熵越小。当信 源符号间彼此无依赖、等概率分布时，信源的熵才达 到最大。也就是说，信源符号之间依赖关系越强，每 个符号提供的信息量就越小。每个符号提供的平均自 信息量随着符号间的依赖关系长度的增加而减少。为 此，我们引进信源的冗余度（也叫剩余度或多余度） 来衡量信源的相关性程度。,对于一般平稳信源来说，极限熵为 ，这就是说，如果我们要传送这一信源的信息，理论上来说只需要有传送 的手段即可。但实际上我们对它的概率分布不能完全掌握，,3,如果把它近似成m阶马尔可夫信源，则可以用能传送 的手段去传送具有 的信源，当然这里面就不太经济。我们定义信源熵的相对率为信源实际的信息熵与同样符号数的最大熵之比

3、：,定义 为信源的冗余度。,由冗余度的定义可见，信源的冗余度能够很好地反映信源输出的符号序列中符号之间依赖关系的强弱。冗余度 越大，表示信源的实际熵 越小，表明信源符号之间的依赖关系越强，即符号之间的记忆长度越长；反之，冗余度越小，表明信源符号之间的依赖关系越弱，即符号之间的记忆长度越短。,4,当冗余度等于零时，信源的熵就等于极大熵 ，表明信源符号之间不但统计独立无记忆，而且各符号还是等概分布。因此，冗余度可以用来衡量信源输出的符号序列中各符号之间的依赖程度。,5,例1：以符号是英文字母的信源为例，英文字母加上空格共有27个，则最大熵为,但实际上，用英文字母组成单词，再由单词组成句子时，英文字

4、母并不是等概率出现，比如我们知道在英语中E出现的概率大于Q出现的概率。对在英文书中各符号的概率加以统计，可以得出各个字母出现的概率，,6,27个英文符号出现的概率,由此得出第一级近似为无记忆信源的熵：,7,再考察英语的结构得知，要组成有意义的单词，英文 字母的前后出现是有依赖关系的，当前面某个字母出 现后，后面将出现什么字母，并不是完全不确定的， 而是有一定的概率分布。例如字母T后面出现H、R的 可能性较大，出现J、K、L、M、N的可能性极小，而 根本不会出现Q、F、X。也就是说英语字母之间有强 烈的依赖性，而上述序列仅考虑了字母出现的概率， 完全忽略了这种依赖关系。,8,因此可知，在信源所输

5、出的序列中依赖关系越复杂，信息熵就越小。实际上，英文信源的信息熵还要小 得多，一般认为， 。因此，信息效率和冗余度为,9,这说明用英文字母写成文章时，有71%是由语言结构、实际意义等确定，而剩下只有29%是写文字的人可以自由选择的。这也就意味着在传递或存储英语信息时，只需要传送或存储那些必要的信息，而有关联的则可以大幅度地压缩。例如100页的英文书，大约只要存储29页就可以了，其中的71页可以压缩掉，这压缩掉的文字完全可以根据英文的统计特性来恢复。信源的冗余度正是表示这种信源可压缩的程度的。,从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。如发中文电报时，为了经济和节省时间，总希望在原

6、意不变的情况下，尽可能地把电文写得简洁些。也就是说，实际的通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，这就是所谓的信源编码,10,但是，冗余度也有它的用处，因为冗余度大的消息 具有强的抗干扰能力。当干扰使消息在传输过程中 出现错误时，我们能从上下关联中纠正错误。例如 我们收到“中X人民X和国”时，我们很容易把它纠正 为“中华人民共和国”。但若我们收到的是压缩后的 “中国”，而出现了错误变成了“X国”，就很难肯定,发出的是“中国”、“美国”，由此将会造成很大的 错误。所以，从提高抗干扰能力的角度来看，总是 希望增加或者保留信源的冗余度，或者是传输之前,在信源编码后去除冗余的符号序列里加入某些特殊 的冗余度，以达到通信系统理想的传输有效性和可 靠性，这就是所谓的信道编码,11,例2：有一个一阶平稳马尔可夫链,求（1）X1X2X3的联合熵和平均符号熵 （2）求这个链的极限平均符号熵,（3）求H0,H1,H2和它们所对应的冗余度。,解：,12,又已知转移概率分布，所以,所以，,同理可求得其它21个联合概率值,13,所以,平均符号熵,（2）因为这信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布。所以可根据其转移概率计算出平稳后的符号概率分布。