信息论《无失真信源编码》

第5章 无失真信源编码,无失真信源编码：解码之后可以得到原始信息，例如霍夫曼编码。它相对简单，是本章的重点。 有失真信源编码：解码之后的信息与原始信息有一定的差别，例如JPEG、MPEG,5.1 编码器,信源编码器表示为：例如：其中X称为码符号集，X中的元素xi称为码元或者码符号。输出符号Wi称为码字，码字的集合C称为代码组或者码。码字Wi的长度li称为码字长度，简称码长。要实现无失真编码，编码器的映射必须是一一对应、可逆的。,码的分类,根据码长固定长度码（定长码）：所有码字的长度相同。可变长度码（变长码）：码字长短不一。码字是否相同非奇异码：所有码字都不相同。奇异码：存在相同的码字。,5.2 分组码,定义5.2.1 将信源符号集中的每个信源符号si映射成一个固定的码字Wi，这样的码称为分组码。通常在接收端收到的码字之间并没有明显的间隔，表现为W1W2Wq的形式，把这种形式称为q阶扩展码。例如前面的两个例子，ACD编码成为001011/0001111的形式，均为3阶扩展码。码字之间缺少间隔，给译码造成了一定的困难定长码：不存在困难，001011必定译码成为ACD变长码：存在困难，0001111可以译码成为ACD(0 001 111)，也可以译码成为AABD(0 0 01 111)。,唯一可译性,定义5.2.4 一个分组码若对于任意有限的整数N，其N阶扩展码均为非奇异的，则称之为唯一可译码。含义：无论码由多少个码字组成，总是能够正确译码，不存在二义性。,即时码,无需知道下一个码字的码符号，即可译码，这样的唯一可译码成为即时码。命题5.2.1 一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其他码字的前缀。,1,0,1,1,0,0,1,0,BACB,1,0,1,1,0,0,0,1,ABAD,5.3 定长码,编码速率： ，其中l是码字长度，r是码符号的个数，N代表N次扩展信源。编码效率：=H(S)/R，其中H(S)是扩展之前信源的熵。例如：S=A,B,C, 等概率出现，N=2, SN=AA,CC，对SN进行二元编码，则r=2，编码方式如下，则l=4。那么，SN的编码速率为R=(4log2)/2=2，SN的编码效率为=H(S)/R=log3/2=0.7925,5.4 变长码,匹配编码：根据概率进行编码，概率大的所给的代码短，概率小的所给的代码长。例如哈夫曼编码。变换编码：将信号从一个空间变换到另一个空间，在新的空间里对信号进行编码。例如JPEG。识别编码：主要用于印刷或者打字机等有标准形状的符号的编码。,5.4.2 两个不等式,定理5.4.1 即时码存在的充要条件是克拉夫特（Kraft）不等式。定理5.4.2 唯一可译码存在的充要条件是麦克米伦（McMillan）不等式。,5.4.3 唯一可译码判别准则,命题5.4.1 一种码是唯一可译码的充要条件是S1, S2,中没有一个含有S0中的码字。,5.4.4 码平均长度,定义5.4.1 设信源 编码后的码字分别为W1W2Wq，各码字相应的码长分别为l1l2lq。对唯一可译码，则这个码的平均长度为定义5.4.2 对应一给定的信源和一给定的码符号集，若有一种唯一可译码，其平均长度小于所有