信息论与编码概念总结

1、第一章1.通信系统的基本模型2信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编 码，密码体制的安全性测度等等 第二章1 自信息量：一个随机事件发生某一结果所带的信息量。2 .平均互信息量：两个离散随机事件集合 X和丫，若其任意两件的互信息量为I (Xi;Yj)，贝U其联合概率加权的统计平均值，称为两集合的平均互信息量， 用I (X;Y )表示3 .熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率 如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率 相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信 源的剩余度。信源熵的相对率

2、(信源效率)：实际熵与最大熵的比值信源冗余度:H :意义：针对最大熵而言，无用信息在其中所占的比例3 .极限熵:定义：N维离散有记忆信源的极限燔为:亿（綸-1卫扌（卅）平均符号熵的N取极限值，即原始信源不断发符号，符号间的统计关系延伸到 无穷。4 .平均符号熵：表示多符号消息平均每符号对外提供的信息量H( XN)有记忆即H(XN )H(XN )N=p 2=p n，且第i条消息对应的码长为 ki，并有k1=k 2= =k n 即：把经常出现的消息编成短码，不经常出现的消息编成长码。这样可使平均码长最 短，从而提高通信效率，代价是增加了编译码设备的复杂度。nk=7 piki最小i丄在不等长码字组成

3、的序列中，要正确识别每个长度不同的码字的起点就比等长编码复 杂得多。第三章1. 信道容量的概念及用途：最大的信息传输速率为信息容量信道的功能：以信号形式传输和存储信息2. 信道编码定理：若有一个离散无记忆平稳信源，其容量为C,输入序列长度为L,则只要传输的信息速度RC时，则无论采用何种编码，必然会有译码差错第四章1. 保真度准则下的信源编码定理：设有某一信源的信息率失真函数为R(D) ，选择有限的失真函数d,对于任意允许的平均失真度D,当压缩后的信息率 RR(D)则一定存在某种信源编码方法，使译码后的平均失真度 =D 反之，若压缩后的信息率 R=D2. 信息率失真函数的概念及应用：给定信源和失

4、真函数,要使信源的平均失真(D为给定的失真上限 ),则需找到某个信道(满足一定的信道转移概率分布或转移概率密 度函数),使在该信道(称为试验信道)上传输的信息速率达到最小,这个最小的信 息速率称为信息率失真函数,记作 R(D)。信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。3. 信道容量和信息率失真函数的比较：相同点：二者都是求平均互信息的极值不同点：1、C和R(D)的不同：(1 )信道容量：选择某一信源分布的情况下,求平均互信息的极大值。依据：平均互信息I是信源概率分布p(xi)的严格上凸函数。(2)信息率失真函数：求选择某一压缩 试验信道(转移概率分布)的情况下,依据保真度

5、准则,求平均互信息的极小值。依据：平均互信息I是信道转移概率分布p(yj/Xi)的严格下凸函数。2、C和R(D)的不同：(1 )信道容量C一旦求出来，则与信源分布无关(只是证明存在这样的满足信道容量 的信源分布)，它只和信道转移概率分布 p(yj/xi)有关。即信道容量和信源特性无关， 反映信道特性。2)信息率失真函数 R(D) 一旦求出来，则与信道转移概率分布无关(只是证明存在达到最小信息率的压缩试验信道)，它只和信源概率分布p(Xi)有关。即信息率失真函数和信道特性无关,反映信源特性。3、C 和 R(D) 的不同：(1 )信道容量是通过信道编码增加信息冗余度来提高通信的可靠性,是信息传输的

6、理 论基础。( 2)信息率失真函数是通过信源编码减少信息冗余度来提高通信有效性,是 信源压缩的理论基础。第五章最佳变长信源编码定理：最佳变长编码定理：若信源有n条消息，第i条消息出现的概率为pi,且pi=p 2=p n,且第i条消息对应的码长为 ki,并有klV=k 2=V=k n即：把经常出现的消息编成短码，不经常出现的消息编成长码。这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。nk _ 7 p k最小i 4在不等长码字组成的序列中，要正确识别每个长度不同的码字的起点就比等长编码复 杂得多。第六章1. 信道编码的作用：一类信道编码的是对传输信号的码型进行变换，使之跟适合与信 道特性或满足接收端对恢复信号的要求，从而减少信息损失；一类信道编码是在信息 序列中人为的增加冗余位，使之具有相关特性，在接收端利用相关特性进行检错或纠 错。2. 信道编码器的性能指标及其与码长之间的关系：信道编码的性能指标：A编码效率设某种编码的码字