信息论 - 复习教材

本课程主要内容信息论编码理论信源自信息、信息熵信道互信息、信道容量信源编码信道编码什么是信息？信息是事物运动状态或存在方式的不确定性的描述不仅仅是形式上的消息或情报，而且包括消息或情报所含的对事物状态或不确定性的描述第二章离散信源及其信息测度信源的数学模型及分类自信息与信息熵几种信源的信息熵的计算信源的剩余度1.信源可以按照什么特点来分类？按照信源输出符号的符号集的取值是有限的还是连续的可分为离散信源与连续信源；按照信源在任意两个不同时刻输出的随机矢量X的各维概率分布是相同还是不相同可分为平稳信源与非平稳信源；按照信源发出的符号之间有没有相互依赖关系可分为有记忆信源与无记忆信源；N维随机矢量：由N个符号组成的符号序列N次扩展信源：信源输出的消息是按一定概率选取的由N个符号组成的序列，即输出的是随机矢量离散信源连续信源平稳信源非平稳信源有记忆信源无记忆信源几种信源分类之间的关系获得的信息量等于自信息量的减少

2.什么是自信息？它的计算公式是什么？自信息量与获得的信息量之间是什么关系？如果事件发生的概率为,事件发生所含有的信息量，就称为自信息量，表示为3.自信息量有什么的特点？1.如果，则2.当，则3.当，则4.两个独立事件联合信息量等于他们分别的信息量之和自信息量的四个特点：4.什么是信息熵？其计算公式是什么？信息熵定义为信源的平均信息量计算公式为5.信息熵的九个基本性质是什么？基本性质：对称性、确定性、非负性、扩展性、可加性、强可加性、递增性、极值性、上凸性1)

信息熵的对称性当变量的顺序任意互换时，熵函数的值不变，即2)

信息熵的确定性3)

信息熵的非负性4)

信息熵的扩展性5）可加性如果有两个随机变量X和Y，他们彼此是统计独立的，概率分布分别为与则有H(XY)=H(X)+H(Y)即其中6）信息熵的强可加性

两个相互关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵7）信息熵的递增性其中

熵函数是概率矢量的严格型凸函数。即对任意概率矢量和及任意则有8）信息熵的极值性（最大离散熵定理）9）信息熵的上凸性例题2.1

如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”，答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？设事件A为第一个事件事件B为第二个事件事件A的概率事件B的概率则从事件A中获得的信息量则从事件B中获得的信息量

某地的天气预报为：晴（占4/8）、阴（占2/8）、大雨（占1/8）、小雨（占1/8）。求此地天气预报每种天气状况各自的自信息量与此地天气预报提供的平均自信息量。例题2.2晴（占4/8）：（比特）阴（占2/8）：（比特）大雨（占1/8）：（比特）小雨（占1/8）：（比特）甲地天气预报提供的平均自信息量（信息熵）

（比特/符号）

6.什么是离散无记忆信源的N次扩展信源的数学模型？它的熵如何计算？离散无记忆信源的N次扩展信源的数学模型为其中离散无记忆信源的N次扩展信源的信息熵的计算公式

有一离散无记忆信源例题求此信源的信息熵与二次扩展信源的信息熵，并指出二者的关系。离散无记忆信源的信息熵为二次扩展信源的信息熵(比特/符号）(比特/符号）二者的关系是二次扩展信源的信息熵是离散无记忆信源的信息熵的二倍。7.请给出离散平稳信源的完整定义。

在任意两个不同时刻发出符号序列的各维联合概率分布都相同的离散信源其中与为两个不同时刻8.请给出条件概率、N维联合概率以及条件概率与联合概率关系的数学表达式。条件概率：N维联合概率：条件概率与联合概率的关系：9.请给出二维离散平稳信源的联合熵，条件熵以及平均符号熵的数学表达式。条件熵联合熵平均符号熵例题某一离散信源

且其二维平稳信源发出的符号只与前一个符号有关，联合概率为求信源符号之间无依赖关系时信源X的信息熵，有依赖关系时二维信源的条件熵与联合熵。01201/41/18011/181/31/18201/187/36条件概率为01209/111/8012/113/42/9201/87/9信源符号之间无依赖性时，信源X的信息熵为（比特/符号）考虑符号之间有依赖性时，条件熵为（比特/符号）联合熵为（比特/二个符号）9.什么是马尔科夫信源？什么是时齐的马尔科夫信源？什么是m阶马尔科夫信源？(1)某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号无关（2）信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一决定满足下面两个条件的信源，被称为马尔科夫信源当状态转移概率和已知状态下发出符号的概率与时间无关时，这样的马尔科夫信源称为时齐的马尔科夫信源任何时刻信源发出符号的概率只与前面m个符号有关的马尔科夫信源称为m阶马尔科夫信源时齐、遍历的马尔科夫信源的信息熵其中为状态出现的概率10.马尔科夫信源的信息熵如何计算？二元二阶马尔科夫信源的符号集为[0,1]，条件概率为求各状态之间的转移概率与马尔科夫信源的信息熵。例题信源有qm=22=4种可能状态，E1=00,E2=01,E3=10,E4=11状态转移图为000111100:0.80:0.51:0.20:0.51:0.51:0.50:0.21:0.8其他状态转移概率为0解方程组，可得信源的熵（比特/符号）

11.什么是信源的熵的相对率？什么是信源剩余度？熵的相对率：信源实际的信息熵与具有同样符号集的最大熵的比值信源剩余度：1减去熵的相对率

有一离散无记忆信源例题求此信源的熵的相对率与信源剩余度。信源的熵为(比特/符号）信源的熵的最大值为(比特/符号）熵的相对率=信源剩余度=第三章离散信道及其信道容量互信息信道容量及其计算信道剩余度1.信道传递矩阵的一般形式2.有关信道的几个常用的概率关系信道疑义度：在收到输出变量的符号后，对于输入端变量尚存在的平均不确定性。它也表示信源符号通过有噪信道传输后引起的信息量的损失，也可称为损失熵。3.什么是信道疑义度？其计算公式是什么？平均互信息：收到输出符号后平均每个符号获得的关于输入变量的信息量对于单个事件4.什么是平均互信息？其计算公式是什么？5.用维拉图表示信道各类熵之间的关系设信源通过一干扰信道，接收符号为信道传递概率如图所示，求1）收到消息后，获得的关于的信息量。2）收到信息后获得的平均互信息。例题1)单个符号的互信息所以可得则比特比特比特比特信源的信息熵比特/符号信道疑义度而2）平均互信息可得比特/符号收到信息后获得的平均互信息比特/符号1平均互信息的非负性2平均互信息的极值性3平均互信息的交互性（对称性）4平均互信息的凸状性a.平均互信息是输入信源的概率分布的型凸函数b.平均互信息是信道传递概率分布的型凸函数6.平均互信息的几个特性信道容量就是信道的最大信息传输率物理意义：信道传输的最大信息量，只与信道的统计特性有关。对应的输入概率分布称为最佳输入分布。7.什么是信道容量？并给出其计算公式及物理意义。对于无噪无损信道互信息信道容量对于有噪无损信道信道容量对于无噪有损信道信道容量互信息互信息8.如何计算离散无噪无损信道、有噪无损信道、无噪有损信道的的信道容量？对称离散信道：信道矩阵中每一行都是由同一集的诸元素的不同排列组成，并且每一列也都是由集的诸元素不同排列组成，即信道矩阵中每一行是另一行的置换，以及每一列是另一列的置换。信道容量对于对称离散信道，当输入符号达到等概率分布时，则输出符号也一定是等概率分布，所以8.如何计算对称离散信道的信道容量？某对称离散信道的信道矩阵为其信道容量为比特/符号例题信道剩余度信道相对剩余度9.什么是信道剩余度？第四章无失真信源编码编码器等长码变长码变长信源编码定律（香农第一定理）霍夫曼码和其他编码方法几种无失真编码方法唯一可译码：任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列非奇异码：若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列1.什么是唯一可译码与非奇异码？若对信源进行等长编码，则必须满足其中是等长码的码长，是码符号集中的码元数，是信源符号集中符号的个数。对于信源的N次扩展信源，有2.对信源进行等长编码要满足什么条件？编码信息率：编码后平均每个信源符号能载荷的最大信息量编码效率3.什么是编码信息率与编码效率？定义一：在唯一可译变长码中，有一类码，它在译码时无需参考后续的码符号就能立即做出判断，译成对应的信源符号。定义二：码符号中没有任何完整的码字是其他码字的前缀，则此码为即时码，也称非延长码或前缀条件码。平均码长4.什么是即时码？其平均码长如何计算？根一阶节点二阶节点三阶节点树根码字的起点树枝数码的进制数节点码字或一部分终端节点码字节数变长码码长整树等长码5.什么是即时码的树图构造法?用树图构造法构造下面离散信源的二次扩展信源的一个即时码（0,10,110,111),画出其构造过程并计算此即时码的平均码长。例题平均码长二元码符号/信源符号9/163/163/161/16离散无记忆信源的次扩展信源，其熵为，并有码符号。对信源进行编码，总可以找到一种编码方法，构成唯一可译码，使信源中每个信源符号所需的平均码长满足或者当时，则得式中其中是所对应的码字长度。6.无失真变长信源编码定理（香农第一定理）1.将个信源符号按概率分布的大小，以递减次序排列起来，设2.用0和1码符号分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个符号，从而得到只包含个符号的新信源，称为信源缩减信源把缩减信源的符号仍按概率大小以递减次序排列，再将其最后二个概率最小的符号合并成一个符号，并分别用0和1码符号表示，这样又形成了个符号的缩减信源依此继续下去，直至信源最后只剩两个符号为止。将这最后两个信源符号分别用0和1码符号表示，然后从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，记得对应的码字。7.二元霍夫曼码的编码方法首先将信源符号以概率递减的次序排列起来，将排列好的信源符号划分成两大组，使每组的概率和近于相同，并各赋予一个二元码符号0和1。然后将每一大组的信源符号再分成两组，是同一组的两个小组的概率和近于相同，并又分别赋予一个二元码符号，依次下去，直至每个小组只剩一个信源符号为止。这样，信源符号所对应的符号序列则为变得的码字。8.费诺码信源符号概率函数累计分布函数

的二进制数码长码字0.250.250.1250.00130010.50.750.50.102100.1250.8750.81250.1101411010.1251.00.93750.1111411119.香农-费诺-埃利斯码有一个离散信源X如下（1）用霍夫曼码编成二元变长唯一可译码。（2）用香农-费诺-埃利斯码编成二元变长唯一可译码（选取是大于或等于的整数)。（3）用费诺码编成二元变长唯一可译码。例题(1)信源X的二元霍夫曼编码为10，11，000，001，