信息论期末复习

1、第2章 信源熵1、 自信息量 1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定 义为其发生概率对数的负值。若随机事件发生的概率为，那么它的自信 息量为： （bit） 2. 性质：在事件发生前，表示该事件发生的不确定性。 在事件发生后，表示事件发生所提供的信息量。2、 信源熵 1. 定义： 已知单符号离散无记忆信源的数学模型 我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的平均信息量： 2. 信源熵与平均自信息量之间的区别 两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。信

2、源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。 3. 最大离散熵定理：信源X中包含n个不同离散消息时，信源熵H(X)有： 当且仅当X中各个消息出现的概率全相等时，上式取等号。 4. 扩展信源的信源熵：N次扩展信源的信源熵：3、 平均互信息量 1. 定义：互信息 在联合概率空间中的统计平均值。 平均互信息 2. 三种不同的表达方式： 物理意义：（1）Y对X的平均互信息是对Y一无所知的情

3、况下，X的先验不定度与收到 Y后关于X的后验不定度之差，即收到Y前、后关于X的不确定度减少 的量，也就是从Y获得的关于X的平均信息量。 3. 性质由定义式我们可以知道（1） 平均互信息量是输入信源概率分布的上凸函数（2） 平均互信息量是信道转移概率分布的下凸函数4、 最大连续熵定理 1. 限峰值功率的最大熵定理 若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内， 均匀分布的连续信源具有最大熵。 2. 限平均功率的最大熵定理 若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为 高斯分布时，信源具有最大熵。 3. 均值受限条件下的最大连续熵定理 若连

4、续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源 X具有最大熵。 5、 编码的基本概念 1. 及时码：若码中任一码子都不是另一码子的字头，称该码为及时码。 2. 唯一可译码 3. 编码速率：设离散信源输出的消息为L重符号序列消息，信源编码器采用m进制信 道符号对离散消息进行编码，生成的m进制代码组的长度为K,则信源编 码速率为： 编码效率： 香农第一定理离散无失真信源编码定理1. 定长编码定理 由L个符号组成的，每个符号的熵为H(X) 的平稳无记忆符号序列，可用K个符号（每个符号有m种可能取值）进行定长编码，对任意>0, >0,只要 则当L足够大时，必可使译码

5、差错小于，反之，当 译码必定出错。2. 变长编码定理 若一离散无记忆信源的符号熵为H(X)，对信源符号进行m元变长编码，已定存在一种失真编码方法，其码字平均长度满足不等式： 其平均信息率满足不等式：第3章 信道容量1、 信道容量（C） 1. 定义： 在信道中最大的信息传输速率 单位时间的信道容量： 2. 几种特殊信道的信道容量 （1）具有一一对应关系的无噪信道 （2）具有扩展性能的无噪信道 （3）具有归并性能的无噪信道 二、香农公式 1. 比值称为信道的信噪功率比 2. 香农公式说明：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求； 反之，当信道频带较窄时，可以通过提高信噪功率比

6、来补偿。香农第二定理信道编码定理 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 R<C，总可以找到一种编码，当 L 足够长时，译码差错概率Pe<，为任意大于零的正数。反之，当 R>C时，任何编码的 Pe 必大于零，当 L，Pe1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 信道编码的目的就是为了提高信息的可靠性。第4章 信息率失真函数1、 失真度定义 1. 设离散无记忆信

7、源为 对每一对 ，指定一个非负函数 0 i=1,2,n j=1,2,m 称 为单个符号的失真度/失真函数。表示信源发出一个符号 ，在接收端再现 所引起的误差或失真。2. 常用的失真矩阵（1） 汉明失真函数：（2） 平方误差失真函数： 二、信息率失真函数R(D) 已知信源概率分布为 失真函数为1. 求， （1） （2），其中，2. 求， 对于n元等概率分布信源， 香浓第三定理信源编码定理限失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为 X=(X1,X2,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。对于任意允许平均失真度 D0，和任意小的>0，当信息率

8、R>R(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 ；反之，若 R<R(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。信源编码的目的是提高通信的有效性。第5章 信源编码1. 元长度为的异前置码存在的充要条件是： 称为克拉夫特不等式。2. 香农编码3. 费诺编码4. 赫夫曼编码5. L-D编码中的每个码字传送两个数：Q和T。Q是本帧内信息位的数目，而T则含有各信息位的位置信息。

9、第六章 信道编码1. 差错图案2. 最小码距的相关概念 （1）最小码距是码的一个重要参数， 它是衡量码检错、纠错能力的依据。 线性分组码的最小距离等于它的最小重量。最小距离决定了检纠错能力,因为它体现了码字之间的差别. （2）对一个最小距离为dmin纠错码，如下结论成立: · 可以检测出任意小于等于l个差错,其中: · 可以纠正任意小于等于t个差错,其中: · 可以检测出任意小于等于l同时纠正小于等于t个差错，其中l和t满足: 3. 线性分组码 （1）分组码一般可用(n,k)表示。其中，k是每组二进制信息码元的数目，n是编码码组的码元总位数，又称为码组长度，简称码

10、长。n-k=r为每个码组中的冗余位数目。 （2）C=MG，其中C为码字，M为信息序列，G为生成矩阵 （3），H为一致校验矩阵1. 设输入符号与输出符号为XY0,1,2，且输入符号等概率分布。设失真函数为汉明失真。求和及和。2. 设二元码的生成矩阵(1) 求信息序列m=(110)对应的码字；(2) 求该码字的一致效验矩阵H；(3) 以线性分组码的一致效验矩阵为生成矩阵产生的线性分组码称为原线性分组码的对偶码，求该二元码相应的所有对偶码码字。3. 设有信源(1) 求信源熵；(2) 编二进制香农码，计算其平均码长及编码效率；(3) 编二进制费诺码，计算其平均码长及编码效率；(4) 编二进制赫夫曼码，计算其平均码长及编码效率。(提示：，)4.（6分）有一信源它有四种可能的输出，其概率分布如下图所示，表中给出了对应的码A、B、C、D和E 。1）求这些码中哪些是唯一可译码。2）求哪些是非延长码（即时码）3）对所有唯一