通信原理教材配套课件－第10章.ppt

第10章信源编码,1、主要内容:分析信源编码的基本理论和方法；介绍无记忆信源等长编码、不等长编码的方法；阐述无失真信源编码定理（即香农(Shannon)第一定理）；给出最佳无失真信源编码的具体方法。2、基本要求:了解信源编码的基本理论和方法，掌握无记忆信源等长编码、不等长编码的方法。理解无失真信源编码定理（即香农(Shannon)第一定理）。掌握最佳无失真信源编码原理和实现方法。,(参考学时为6学时),信源无失真编码的基本原理无记忆信源的等长编码无记忆信源的不等长编码香农第一定理香农(Shannon)最佳编码方法哈夫曼(Huffman)最佳编码方法,10.1引言,所谓编码，就是将每个高低不等的电平信号编成一个对应的二进制（或多进制）代码；或是将一种二进制（或多进制）代码按一定的规律和要求变换成另一种二进制（或多进制）代码的过程。,信源编码有三种方法,时域波形编码频域波形编码基于模型的编码,离散消息的等长编码:不管信源输出的每一条消息的具体特征，编码时均用相同长度的代码组来表示.离散消息的不等长编码针对信源输出的每一条消息，较重要的消息用较长的代码组来表示，而不太重要的消息则用较短的代码组来表示，这样对于离散信源所生成的代码组集合则是不等长的。,10.2信源的无失真编码原理,10.2.1信源无失真编码的基本原理,10.2.2信源编码的速率设离散信源输出的消息为K重符号序列消息，信源编码器采用D进制信道基本符号对离散消息进行编码，生成的D进制代码组的长度为N，则信源编码速率定义为：bit/符号,对于离散消息的不等长编码式中其中：M为K重符号序列消息的总数，pi为第i条K重符号序列消息出现的概率，Ni为第i条消息被编成D进制代码组后的长度，即码元个数。,当时它表示当用二进制码对K重符号序列消息编码时，K重符号序列中每一个符号所对应的二进制码元个数，即bit数。,bit/符号,10.2.3信源编码的效率信源编码效率定义为,对于离散消息的不等长编码,当K1，D=2时，即信源发单符号消息，且用二进制对其进行编码时:,10.2.4无记忆信源的等长编码设离散无记忆信源含有M个符号，且每次发K重符号序列来代表一条消息，而且是D进制的，信源编码器的输出的代码组长度为N等长编码，则需满足：,当D=2,K=1时:即离散无记忆单符号信源输出的消息,被编成二进制代码组后，代码组的长度（二进制比特数）必须不小于单符号信源的最大熵。,码元/符号,10.2.5无记忆信源的不等长编码不等长代码组平均长度的取值范围:,10.3最佳无失真信源编码方法,10.3.1香农第一定理设离散无记忆信源共有M个符号，信源发K重符号序列消息，则K重符号序列消息的总数为MK。又设信源发出的第i条K重符号序列消息的概率为pi，经过信源编码器后所生成的代码组的长度为Ni，则所有K重符号序列消息对应的代码组的平均长度为,码元,当符号序列消息中的符号个数不断增加时，有下式成立：,10.3.2香农(Shannon)最佳编码方法香农最佳编码方法步骤：1.把信源发出的M个消息按其出现概率pi从大到小进行排列。2.对每一条消息，用下式求其对应的二进制代码组长度。即：3.求每一条消息对应的累加概率，即:4.将累加概率值pi转换成相应的二进制小数值，并取小数点后Ni位做为第i条消息对应的二进制代码组。,10.3.3哈夫曼(Huffman)最佳编码方法哈夫曼最佳编码方法五个步骤:1.把信源发出的M个消息按其出现概率从大到小排列。2.把概率最小的两个消息分别编成“1”和“0”码元，并求其概率和。,4.把上述的概率和做为一个新消息的概率，再与剩余的其它消息按概率递减顺序排列