信源编码-熵编码

现代电视技术

湖南大众传媒职业技术学院新闻与传播学院李焕英熵编码原理熵编码（EntropyCoding）是一类无损编码，编码后的平均码长接近信源的熵。

霍夫曼(Huffman)编码：变长编码，对出现概率大的信源符号分配较短的码字，对出现概率小的信源符号分配较长的码字，以获得较短的平均码长。信息及其度量

(1)

离散消息的信息量

某离散消息x发生的概率为P(x)，则它所携带的信息量为

当a=e时，信息量的单位为奈特(nit)；当a=2时，信息量的单位为比特(bit)。目前广泛使用的单位为bit。(2)

离散信源的平均信息量

设信源输出M个统计独立的符号x1,x2,…,xM，它们出现的概率分别为P(x1),P(x2),…，P(xM)，则每个符号所含信息量的统计平均值即离散信源的平均信息量为

H(x)=-(bit/符号)信源的平均信息量又称“信源熵”。可以证明:最大信源熵发生在信源的每个符号等概独立出现时，最大信源熵为

Hmax(x)=log2M(bit/符号)例一个由字母A,B,C,D组成的字，对于传输的每一个字母用二进制脉冲编码，00代表A，01代表B，10代表C，11代表D，每个脉冲宽度为5ms。（1）不同的字母是等可能出现时，试计算传输的平均信息速率；（2）若每个字母的出现可能性分别为

试计算传输的平均信息速率。解（1）每个字母的持续时间为2×5ms，所以字母传输速率为不同的字母等可能出现时，每个字母的平均信息量为

平均信息速率为（2）每个字母的平均信息量为

所以，平均信息速率为

熵编码之霍夫曼编码DCT+RLC+VLC编码输出例：把DCT变换后的系数按一定方式读出。

Z形扫描游程编码：（0，79），（1，－2），（0，－1），（0，－1），（0，－1），（2，－1），EOBZ形读出：

游程编码(RLC，RunLengthCoding)游程编码的方法是将一维序列转化为一个由二元数组(run,level)组成的数组序列，其中run表示连零的长度，level表示紧接在这串连零之后出现的非零值。当剩下的所有系数都为零时，用符号EOB(EndofBlock)来代表。

游程编码(RLC，RunLengthCoding)注：游程编码一般不直接使用，为了达到较好的压缩效果，通常与其他编码方法一起使用，如和正交变换一起使用。为解决连0的表达方式采用游程编码。在量化的DCT交流（AC）系数中，将每一串连0系数与其后面的一个非0系数组成一个数组，并用一对符号表示：

符号1符号2

（游程长度Run,位长）（幅值）游程长度：非零系数前连0的个数；位长为后续非“0”系数的编码位长。

幅值：非零系数值。

DC和AC系数的统计量不一样，它们采用不同的Huffman表。

符号对由符号1和符号2组成。对于直流差分系数，符号1中只有位长。符号2表示幅值，即不为0的AC系数值。其游程长度编码结果：

(25),（0,4)(10),（0,2)(3）,(2,2)(-2),(0,2)(2),(7,1)(-1),(0,0)

第一个数是直流（DC）系数。游程编码使64个系数只需7对符号，用7个码字表示即可。游程编码后的熵编码多用霍夫曼编码（VLC)。编码标准提供霍夫曼码表，根据游程编码得到的符号直接查表，得到相应的码字。码表是根据概率分布并对大量典型图像素材进行统计制成的位长DC差分值位长AC系数001-1,11-1,12-3,-2,2,32-3,-2,2,33-7,…,-4,4…,73-7,…,-4,4…,74-15,…,-8,8,…,154-15,…,-8,8,…,155-31,…,-16,16,…,315-31,…,-16,16,…,316-63,…,-32,32,…,636-63,…,-32,32,…,637-127,…,-64,64,…,1277-127,…,-64,64,…,1278-255,…,-128,128,…,2558-255,…,-128,128,…,2559-511,…,-256,256,…,5119-511,…,-256,256,…,51110-1023,…,-512,512,…,102310-1023,…,-512,512,…,102311-2047,…,-1024,1024,…,2047位长与DC差分值和AC系数对应表亮度和色度直流系数的Huffman码表亮度交流系数的Huffman码表色度交流系数的Huffman码表幅度值的可变长二进制编码表游程编码后的熵编码输出对符号1中的数据，从亮度和色度的系数码表查出霍夫曼编码；符号2中的数据仍用自然二进数编码，也称可变长整数（VLI）编码，码字长度也是可变的；直流系数DC采用与相邻像块DC的差值编码；对前面图中的游程编码结果进行熵编码，结果是：11011001101110100111111110010101101111101001010压缩比计算

以上由64