2.5信源冗余度

1、2.5源冗余如果源不是平稳的，极限熵不一定存在，所以我们必须首先容忍误差，假设它是平稳的，并在它足够大时计算条件概率：然后计算近似代替极限熵。如果信息源满足马尔可夫信息源的条件，则可以进一步用小得多的有序马尔可夫信息源的熵来代替。显然，记忆长度决定了相对误差。最简单的情况是m=1，即发送一个符号的概率只与前一个符号有关。这是一个一阶马尔可夫源，熵为：当m=0时，由于源的符号之间的零相关性，源成为离散的无记忆源。如果进一步假设源具有等概率的符号分布，则源成为理想的离散无记忆可能源。然而，一般信息源既不是无记忆的，也不是等概率的，因此信息源熵没有达到最大可能值，即信息源具有冗余性。示例2.5.1以

2、二进制源代码为例。信号源有两个符号0，1。如果源符号具有相等的概率分布，并且符号之间没有相关性，则其源熵达到最大值，即：Hmax(X)=1位/符号。最初，只有12个符号就足以发送12位信息，其中3个符号是多用途的，这是冗余或多余的，在某种意义上是浪费。2.5.1冗余定义从上面的分析，我们可以看到信息源的实际熵和理论上可以达到的最大熵之间有一个差距，山农把这个定义为冗余。1.相对熵2.裁员3.信息恶化显然，这三个定义都代表了信息源的冗余。示例2.5.2计算示例2.5.1的相对熵、冗余度和信息变化。让我们看看英语中的例子(独立和等概率分布)源熵：Hmax=4.75位/符号表2.5.1英文字母出现概

3、率统计表英文字母出现概率英文字母出现概率英文字母出现概率A 0.064 J 0.001 S 0.051B 0.013 K 0.005 T 0.08C 0.022升0.032升0.023D 0.032 M 0.020 V 0.008东0.103北0.057西0.018F 0.021 O 0.063 X 0.001G 0.015 P 0.015 Y 0.016H 0.047 Q 0.001 Z 0.001I 0.058 R 0.048空白0.189根据该表计算的源熵为：H1(X)=4.03位/符号如果把英语字母信息源看作一阶、二阶和无限阶马尔可夫信息源，就可以得到相应的信息源熵。2.5.2冗余利用

4、消息的冗余，尤其是大量的冗余，为我们提高通信效率和压缩信号容量提供了基础。冗余是一种浪费，但凡事都有两面性。适当的冗余是必要的，否则系统不会出错。它表示一个源的信息率的冗余度，是描述该源的客观统计特征的物理量。由广义香农不等式得到的有：可以看出，单个消息的最小熵应该是对于具有内存的源，即理论上，对于具有内存的源，只需要传输。然而，有必要掌握所有的概率和统计特征的来源。这显然是不现实的。事实上，只能掌握有限的维数，此时只需要传输，因此与理论值相比，需要更多的传输。为了定量描述信息源的有效性，可以定义如下：源效率：源熵的相对比率源冗余：(相对盈余)正是由于信源的冗余，即没有不必要的信息要传输，信源

5、才有可能进一步压缩信息速率。冗余越大，压缩潜力越大。由此可见，它是信源编码和数据压缩的前提和理论基础。接下来，以英语为例计算文本源的冗余度：首先，英文字母(包括空格)的概率给出如下：信信信中立的ETOANir0.20.1050.0720.06540.0630.0590.0550.054SHDLCF.UMP0.05020.0470.0350.0290.0230.02250.0210.0175Y.WGBVKXJ.QZ0.0120.0110.01050.0080.0030.0020.0010.001接下来，我们将首先获得独立的等概率情况，即,其次，计算独立不相等概率最后，使用统计推断方法来发现由于近似方法和采样之间的差异，估计值是不同的。这里使用香农的推断值。这样，就可以计算出来。这一结论表明71%的英语来源在理论上是多余的。凭直觉来说，100页的英语书理论上只有29页有效，而剩下的71