信息论 锟杰革拷习w

第一专题本章是信息论的基本概念，介绍的主要内容有：从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。信息的特点：无确切定义，人人皆知的抽象概念信息的特征：抽象性和广泛性信息与消息、信号的关系香农信息论给出的信息的定义：1.信息的概念*****信息是事物运动状态或存在方式的不确定性的描述*****。2.什么是信息论（1）信息论的发展简史

1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。（2）信息论研究的对象

干扰源

信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道图1-1信息传输系统模型

**************记住这个模型包括以下五个部分：3.信道信道是信息传输和存储的媒介。4.译码器译码是编码的逆变换，分为信道译码和信源译码。5.信宿信宿是消息的接收者。2.编码器编码器是将消息变成适合于信道传送的信号的设备。1.信源信源是产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性第二专题1.信源的分类离散信源和连续信源；平稳信源和非平稳信源；有记忆信源和无记忆信源2.离散信源的信息熵(********)（1）自信息有两个含义：1、当事件发生前，表示该事件发生的不确定性；2、当事件发生后，表示该事件所提供的信息量．（2）信息熵(平均自信息***）（3）信息熵的物理含义*信息熵表示信源输出后，每个消息（或符号）所提供的平均信息量信息熵表示信源输出前，信源的平均不确定性。用信息熵来表征变量X的随机性3.信息熵的基本性质(*********包含性质的具体内容)

非负性对称性确定性扩展性极值性可加性强可加性递增性上凸性唯一性H(X)≥0

H（XY）=H（X）+H（Y）*******H(XY)=H(X)+H(Y/X)*******熵函数H(P)是概率矢量P=（p1,p2,…,pn)的严格n型凸函数。***********4.离散无记忆扩展信源的信息熵（********）（1）离散无记忆扩展信源的数学模型（2）离散无记忆扩展信源的信息熵*******

掌握扩展的方法5.离散平稳信源的信息熵（*********）（1）离散平稳信源的定义（*****）数学模型（2）离散平稳信源的信息测度联合熵条件熵注意符号的前后依赖关系平均符号熵离散平稳信源信息熵的性质(***********重点)（1）条件熵随N的增加是非递增的

（2）N给定时，平均符号熵大于等于条件熵（3）平均符号熵随N的增加是非递增的（4）称为极限熵。

各种信息熵之间的关系只有信源统计独立时等号成立。6.马尔可夫信源及其信息熵（*****）（1）马尔可夫信源的定义******（特别是M阶马尔可夫信源若一个信源满足下面两个条件，则称为马尔可夫信源：某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关；信源的下一个状态由当前状态和下一刻的输出唯一确定。（2）时齐遍历马尔可夫信源的信息熵（***********）课后习题2.6，2.17,2.197.信源剩余度（*）熵的相对率信源剩余度第三专题一.信道的分类单用户信道和多用户信道；有反馈信道和无反馈信道；时变参数信道和固定参数信道；离散信道、连续信道、半连续半离散信道和波形信道；有记忆信道和无记忆信道；有噪信道和无噪信道。二.离散信道的数学模型(**)

1.一般离散信道（多维离散信道）P(Y/X)XY2.基本离散信道（单符号离散信道）XY根据信道矩阵的特点，信道可分为：（1）对称离散信道（2）准对称离散信道（3）强对称离散信道3.无噪信道（无干扰信道）无噪信道（1）无噪无损信道:

一一对应关系（2）无噪有损信道：多对一关系有噪信道：信道转移概率不是0，1分布有噪无损信道：一对多关系，其后向概率为0，1分布；充要条件是信道矩阵中每一列有一个也仅有一个非零元素；4.离散无记忆信道（DMC）否则为有记忆信道；5.离散无记忆信道的N次扩展信道（信道编码时使用）XNYN（三）离散信道的平均互信息及其特性1.信道疑义度2.互信息（）3.平均互信息（************)4.平均互信息的物理含义及与各类熵的关系（********

）（1）平均互信息与各类熵的关系H(X)H(Y)I(X;Y)H(X|Y)H(Y|X)I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)（2）平均互信息的物理含义(****)平均互信息表示接收到输出信号的前、后关于输入信号的平均不确定性的消除平均互信息表示输入信号发出的前、后，关于输出信号的平均不确定性的消除平均互信息表示信道的输出信号和输入信号之间相互提供平均信息量平均互信息是输入信号和输出信号之间的统计依赖关系的信息量度平均互信息表示信道中平均每个符号所能传达的信息量，就是信道的信息传输率R5.平均互信息的特性（********）（1）平均互信息的非负性I(X;Y)>=0（2）平均互信息的极值性I(X;Y)<=H(X)I(Y;X)≤H(Y)（3）平均互信息量的交互性I(X；Y)=I(Y；X)（4）平均互信息的凸状性

1平均互信息I(X;Y)是信源概率分布P(X)的型凸函数2平均互信息I(X;Y)信道传递概率分布P(Y/X)的U型凸函数6.I(XN;YN)与I（X；Y）的关系（了解）如果信道是无记忆的，即则：如果信源是无记忆的当离散信源和离散信道都是无记忆时，等号成立（五）离散信道的信道容量1.离散信道的信道容量（*********

）信道容量：最大信息传输率2.计算信道容量的方法（了解）（1）运用信道容量解得充要性（2）运用特殊信道的容量公式求解（3）运用r个方程求解（六）常见信道的平均互信息和信道容量（*********）1.无噪一一对应信道（无噪无损信道）I(X;Y)=H(X)=H(Y)C=logr=logs2.有噪无损信道此时信道疑义度为0，而信道噪声熵不为0，从而

C=max{I(X;Y)}=max{H(X)-H(X/Y)}=max{H(X)}=logr3.无噪有损信道此时信道疑义度不为0，而信道噪声熵为0，从而

C=max{I(X;Y)}=max{H(Y)-H(Y/X)}=max{H(Y)}=logs4.离散对称信道5.强对称信道6.二元对称信道7.准对称信道特殊信道信道容量的计算（七）无记忆N次扩展信道的I（X；Y）和容量（八）信道剩余度（了解）定义：信道剩余度＝C-I(X;Y)

信道的相对剩余度＝（了解）课后习题：3.3,3.8第四专题（一）信源编码和码的类型（**）1.信源编码(**********目的是提高传输效率）信源符号与码字之间的一一对应变换称为信源编码。2.码的类型二元码，三元码，r元码，等长码，变长码，非奇异码，奇异码,同价码，非同价码，惟一可译码，非惟一可译码即时码（非延长码），延长码（二）即时码及其树图构造法(**)

（三）唯一可译码存在的充要条件（******）（1）唯一可译码存在的充要条件是，满足Kraft不等式（2）若存在一组码长为的唯一可译码，则一定存在具有相同码长的即时码。所以，Kraft不等式也是即时码存在的充要条件。（（四）唯一可译码的判断法（*******）唯一可译码的判断步骤：（1）观察是否是非奇异码。若是奇异码则一定不是唯一可译码。（2）计算是否满足Kraft不等式。若不满足一定不是唯一可译码。（3）将码画成一棵树图，观察是否满足即时码的树图构造，若满足则是唯一可译码。或：计算出分组码中所有可能的尾随后缀集合F，观察F中有没有包含任一码字，若无则为唯一可译码；若有则一定不是惟一可译码。（课后5.2）（五）无失真等长信源编码定理（六）无失真变长信源编码定理香农第一定理（**************记住）当则得：(2)：若就存在唯一可译变长码，若则不存在唯一可译变长码。(3)无噪信道编码定理(R不大于信道容量C,R大于C)信源编码的实质（****）(4)（七）无失真信源编码定理和数据压缩1.无失真数据压缩的极限值无失真信源编码定理（无论等长还是变长）在理论上指出离散信源的信息熵是信源无失真数据压缩的极限值。2.编码后信源信息率、码率和编码效率（1）编码后信源信息率（2）码率（3）编码效率（4）码的剩余度（八）最佳二元码(了解）平均码长为最短的即时码称为最佳码（又称紧致码）（九）霍夫曼码和其他编码方法********1.香农码（1）香农码（只是确定了码长，可用树图法构造出即时码，但是这种方法编的码不是最佳码，有系统的唯一的编码方法，但是一般情况下，编码效率不是很高）2.费诺码(*****

）（适用于对分组概率相等或接近的信源编码**********）3.霍夫曼码（**********

）（哈夫曼码对信源的统计特性没有特殊要求，编码效率比较高，对编码设备的要求也比较简单需要注意的是：1.在缩减信源的过程中，应把所得的新符号尽可能排列在靠前位置上，所得码的方差最小；2.信源符号的个数q必须满足q=(r-1)k+r。不满足时，设一些概率为零的虚假符号，使其满足。）（十）信息率失真函数1.失真度和平均失真度2.保真度准则3.信息率失真函数（定义及物理含义************）物理含义：在保真度准则下，信源必须传输的最小平均信息量率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失真率函数，表示一定信息速率下所可能达到的最小的平均失真。定理7.1保真度准则下的信源编码定理设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的，以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为而编码后的平均失真度如果用二元编码，则：4.保真度准则下的信源编码定理（香农第三定理**************）课后习题：5.2，5.5,7.3,8.4第五专题1.译码准则(*****作业6.1，例题6.2)在有噪信道中传输消息是会发生错误的，而接收端引起错误的大小与选择译码准则有关，也与信道编码所选码字有关。(1)最小错误概率译码准则(2)最大似然译码准则(3)最小距离译码准则（*********）汉明距离最小距离译码准则D(*,

j)

D(i

,j)，

i

C，i

*即：D(*,

j)＝minD(i

,j)，

i

C，i

*2.平均错误概率（*****）平均错误概率二元对称信道单符号信道3.信道编码的编、译基本原则（**）（1）编码原则（2）译码原则4.有噪信道编码定理及其逆定理（************记住）有噪信道的信道容量C，若信息传输率R<C，只要码长n足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率PE为任意小。反之，若R>C则不存在以R传输信息而PE为任意小的码