离散信源编码PPT课件

1、无失真信源编码 无失真信源编码 信源编码的定义 指定能够满足信道特性（适合于信道传输）的符号序列（码序列），指定能够满足信道特性（适合于信道传输）的符号序列（码序列），来代表信源输出的消息。来代表信源输出的消息。 完成编码功能的器件成为编码器。完成编码功能的器件成为编码器。,X)(2121niLiLxxxXXXXX信源编码器信源编码器)(21kjkYYYYY)/(ijxyp码元（信道基本符号集合）码元（信道基本符号集合）码长码长,21mjyyyY码组码组第1页/共26页信源编码器的性能指标 信源编码速率R的定义：平均传输一个信源符号所需要的码字的最大信息量。 信源编码效率：RXH)(LmKR2

2、log1log)(loglog)(log)(22221mxpkmxpikkxpkiiiiniii条消息编成的码长。表示第其中：第2页/共26页信源编码器的性能指标 要使信源编码器的效率高，需减小编码速率，即减少平均码长。 信息率越小越好，最小能小到多少才能做到无失真译码呢？ 这些问题就是最佳变长信源编码定理的研究范畴。第3页/共26页信源编码 5.1 离散信源编码 5.2 连续信源编码 5.3 相关信源编码 5.4 变换编码第4页/共26页5.15.1 信源最佳变长编码一、最佳变长编码定理：若信源有n条消息，第i条消息出现的概率为pi，且p1=p2=pn，且第i条消息对应的码长为ki，并有k1

3、=k2=k进制编码） （1）将pi从大至小排列（2）将概率分为2组（k组），使每组概 率尽可能相等或接近（3）给每组分配一位码元（4）将各分组按照相同原则继续划分，重复（2） （3），直到概率不可分为止。（5）从左至右依次读出码元形成码字。第14页/共26页例：对上例的信源进行二进制费诺编码，并求编码速率和效率。第15页/共26页费诺编码的性能指标的计算： 平均码长： 编码速率： 编码效率： 比较：费诺码有较高的编码效率，适合每次分组概率都很接近的信源 61/45. 2iiikpk符号码元45. 26112loglog22ikpLmKRii%91.9845. 242. 2)(RXH第16页/共

4、26页Huffman哈夫曼编码方法（二进制 ） 1、将pi从大至小排列 2、将概率最小的两个消息编成0和1，并求其概率和 3、将新求得的概率和与其他剩余消息，重新降序排列 4、重复2和3，直到和为1 5、从右至左依次读出码元形成码字。 第17页/共26页例题 要求：对该信源进行二进制哈夫曼编码，求每条消息对应的二进制码组，并计算平均码长和编码效率。05.01.015.02.025.025.0)(654321xxxxxxXPX第18页/共26页10.5510.150.30解：消息编码编码码长码长112002012100310104101146x2x3x4x5x0.250.250.20.150.1

5、00.05010010.45101结束1x第19页/共26页Huffman编码的性能指标的计算：u平均码长：u编码速率：u编码效率： 61/45. 2iiikpk消息码元符号/45. 212loglog22bitKLmKR%91.9845. 242. 2)(RXH第20页/共26页思考：1、三进制Huffman编码如何编？2、K进制呢？第21页/共26页离散无记忆信源变长编码小结定长变长定长变长，kku提高编码效率u哈夫曼编码集合不唯一，但平均码长和编码效率不变哈夫曼编码集合不唯一，但平均码长和编码效率不变 第22页/共26页 变长编码的缺点： 需要大量缓冲设备来存储这些变长码，再以恒定的速率

6、进行传送。需要大量缓冲设备来存储这些变长码，再以恒定的速率进行传送。 容易引起误码扩散容易引起误码扩散第23页/共26页离散有记忆信源的变长编码离散有记忆信源的变长编码 二元平稳相关信源：采用游程编码。 适用于连适用于连0 0或连或连1 1较多的序列。较多的序列。 游程：数字序列中连续出现相同符号的一段。游程：数字序列中连续出现相同符号的一段。 例：000101110010001。求其游程编码。 设二元游程总是从设二元游程总是从0 0开始，则游程编码序列为开始，则游程编码序列为3113213131132131 且由游程序列很容易恢复原始二元信源序列。且由游程序列很容易恢复原始二元信源序列。 可见游程变换是一一对应的可逆变换。可见游程变换是一一对应的可逆变换。 游程变换减弱了原序列符号之间的相关性，并把二元序列变成多元序列，提高了通信效率和