信息论与编码概念总结

1、第一章 1. 通信系统的基本模型 2信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编 码，密码体制的安全性测度等等 第二章 1 自信息量：一个随机事件发生某一结果所带的信息量 2 .平均互信息量：两个离散随机事件集合 X和丫，若其任意两件的互信息量为 I（ Xi;Yj），贝U其联合概率加权的统计平均值，称为两集合的平均互信息量， 用I （X;Y ）表示 3 .熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率 如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率 相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信 源的剩余度。信

2、源熵的相对率（信源效率）：实际熵与最大熵的比值 信源冗余度: 意义：针对最大熵而言，无用信息在其中所占的比例。 3 .极限熵: 定义：N维离散有记忆信源的极限爛为: 平均符号熵的N取极限值，即原始信源不断发符号，符号间的统计关系延伸到 无穷。 4 .平均符号熵：表示多符号消息平均每符号对外提供的信息量 )有记忆 N ) Lj NH (X N )无记忆 X ) 定义: L称为平均符号熵。 5 .离散信源和连续信源的最大熵定理 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 6 限平均功率的连续信

3、源的最大熵功率： 若一个连续信源输出信号的平均功率被限定为p，则其输出信号幅度的概率密度 1 分布是高斯分布时，信源有最大的熵，其值为-log2 ep.对于N维连续平稳信源来说, 2 若其输出的N维随机序列的协方差矩阵 C被限定，则N维随机矢量为正态分布时信源 1 N 的熵最大，也就是 N维咼斯信源的熵最大，其值为 log | C | log 2 e 2 2 7. 离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 浮彳編码器 详 图5.1离散信源无失真定扶编码庾理图 原理图 说明： (1) 信源发出的消息：是多符号离散信源消息，长度为L,可以用L次扩展信 源表示为： XL=(Xi%

4、Xl) 其中，每一位X都取自同一个原始信源符号集合(n种符号)：X=x 1, X2, * 则最多可以对应nL条消息。 (2) 信源编码后，编成的码序列长度为 k,可以用k次扩展信宿符号表示为： Yk=(Y 1Y2Yk)称为码字/码组 其中，每一位Y都取自同一个原始信宿符号集合: Y=yi, y2,ym又叫信道基本符号集合（称为码元，且是m进制的） 则最多可编成mk个码序列，对应 mk条消息 定长编码：信源消息编成的码字长度k是固定的。对应的编码定理称为定长信源编码 定理。 变长编码：信源消息编成的码字长度k是可变的。 8. 离散信源的最佳变长编码定理 最佳变长编码定理：若信源有 n条消息，第i

5、条消息出现的概率为pi，且 pi=p 2=p n，且第i条消息对应的码长为 ki,并有klV=k2=V=k n 即：把经常出现的消息编成短码，不经常出现的消息编成长码。这样可使平均码长最 短，从而提高通信效率，代价是增加了编译码设备的复杂度。 n kpi ki最小 i 1 在不等长码字组成的序列中，要正确识别每个长度不同的码字的起点就比等长编码复 杂得多。 第三章 1. 信道容量的概念及用途： 最大的信息传输速率为信息容量 信道的功能：以信号形式传输和存储信息 2. 信道编码定理： 若有一个离散无记忆平稳信源，其容量为C,输入序列长度为L,则只要传输的信息 速度RC时， 则无论采用何种编码，必

6、然会有译码差错 第四章 1. 保真度准则下的信源编码定理：设有某一信源的信息率失真函数为R(D) ，选择有限 的失真函数d,对于任意允许的平均失真度D,当压缩后的信息率 RR(D)则一定存在 某种信源编码方法，使译码后的平均失真度 =D 反之，若压缩后的信息率 R=D 2. 信息率失真函数的概念及应用：给定信源和失真函数,要使信源的平均失真(D 为给定的失真上限 ),则需找到某个信道(满足一定的信道转移概率分布或转移概率密 度函数),使在该信道(称为试验信道)上传输的信息速率达到最小,这个最小的信 息速率称为信息率失真函数,记作R(D)。 信息率失真理论是量化、数模转换、频带压缩和数据压缩的理

7、论基础。 3. 信道容量和信息率失真函数的比较： 相同点：二者都是求平均互信息的极值 不同点： 1、C和R(D)的不同： (1 )信道容量：选择某一信源分布的情况下,求平均互信息的极大值。依据：平均互 信息I是信源概率分布p(xi)的严格上凸函数。(2)信息率失真函数：求选择某一压缩 试验信道(转移概率分布)的情况下,依据保真度准则,求平均互信息的极小值。 依据：平均互信息I是信道转移概率分布p(yj/Xi)的严格下凸函数。 2、C和R(D)的不同: （1 ）信道容量C一旦求出来，则与信源分布无关（只是证明存在这样的满足信道容量 的信源分布），它只和信道转移概率分布 p（yj/xi）有关。即信

8、道容量和信源特性无关， 反映信道特性。2）信息率失真函数 R（D） 一旦求出来，则与信道转移概率分布无关 （只是证明存在达到最小信息率的压缩试验信道），它只和信源概率分布p（xi）有关。 即信息率失真函数和信道特性无关，反映信源特性。 3、C和R（D）的不同： （1）信道容量是通过信道编码增加信息冗余度来提高通信的可靠性，是信息传输的理 论基础。（2）信息率失真函数是通过信源编码减少信息冗余度来提高通信有效性，是 信源压缩的理论基础。 第五章 最佳变长信源编码定理：最佳变长编码定理：若信源有n条消息，第i条消息出现的概 率为pi,且pi=p 2=p n,且第i条消息对应的码长为 ki,并有klV=k 2=V=k n 即：把经常出现的消息编成短码，不经常出现的消息编成长码。这样可使平均码长最 短，从而提高通信效率，代价是增加了编译码设备的复杂度。 n kp K最小 i 1 在不等长码字组成的序列中，要正确识别每个长度不同的码字的起点就比等长编码复 杂得多 1. 信道编码的作用：一类信道编码的是对传输信号的码型进行变换，使之跟适合与信 道特性或满足接收端对恢复信号的要求，从而减少信息损失；一类信道编码是在信息 序列中人为的增加冗余位，使之具有相关特性，在接收端利用相关特性进行检错或纠 错。 2. 信道编码器的性能指