04-信源编码概述

1、2020/7/3,1/30,信源编码概述,2020/7/3,2/30,为什么要进行信源编码,信源的两个重要问题 信源输出的信息量计算问题； 如何更有效地表示信源输出的问题。 为什么要进行信源编码 理论上只要有传送H的手段，就能把信源包含的信息全部发送出去。但实际上确定H非常困难，只好用实际信源熵Hm来近似。而HmH，所以在传输手段上必然存在冗余，即造成一定的浪费，这种浪费是由信源符号的相关性引起的。 信源编码正是通过减少或消除信源的冗余度来提高通信效率。,2020/7/3,3/30,信源编码的原则,编码后能更加有效地传输、存储信息。 编码后尽可能减少信息的损失，提高编码后携带信息的效率,202

2、0/7/3,4/30,信源编码的分类,无失真数据压缩编码：冗余度压缩编码（统计编码）（熵编码） （Lossless Coding, Noiseless Coding, Data Compaction, Redundancy Reduction, Entropy Coding） 限失真数据压缩编码：熵压缩编码 （Lossy Coding, Entropy Compression）,2020/7/3,5/30,冗余度压缩编码,冗余度压缩编码，可逆压缩，经编译码后可以无失真地恢复。 信源 = 信息 + 冗余 实际信源产生信号所携带信息的效率非常低，只有20 50%，这就涉及数据的有效表示冗余度压缩。

3、 有冗余就可压缩 压缩在一定限度内可逆 采用的技术： 时域样点之间相关（ PCM、ADPCM、M ） 频域谱的非平坦性（频域相关：子带编码SBC、自适应变换编码ATC） 统计特性，Huffman 编码，算术编码Arithmetic Coding 通用编码，Lempel-Ziv（LZ） 编码,2020/7/3,6/30,熵压缩编码,熵压缩编码，不可逆压缩 压缩超过一定限度，必然带来失真 允许的失真越大，压缩的比例越大 译码时能按一定的失真容许度恢复，保留尽可能多的信息 采用的技术： 量化： 标量量化SQ (Scalar Quantization)， 矢量量化VQ (Vector Quantiza

4、tion) 变换编码（DCT， DFT， Wavelet等 ） 预测编码（线性预测码LPC-10， ADPCM ） 人的感知特性（如：对人耳听不到或感知极不灵敏的声音分量都不妨视为冗余 ） 其它,2020/7/3,7/30,2020/7/3,8/30,信源压缩编码算法缩写,KLT：Karhunen-Loeve Transform DCT：Discrete Cosine Transform DST：Discrete Sinusoid Transform DFT：Discrete Fourier Transform WHT：Walsh-Hadamard Transform SLT：Slant Tr

5、ansform HAAR：Haar Transform LPC-10：Government Standard Linear Predictive Coding Algorithm: LPC-10 MELP：Mixed Excited Linear Predictive Coding CELP：Codebook Excited Linear Predictive Coding ACELP：Algebraic Codebook Excitation LPC QCELP：Qualcom Codebook Excitation LPC EVRC：Enhanced Variable Rate Codec

6、 LD-CELP：Low Delay-CELP CS-ACELP：Conjugate-Structure Algebraic CELP VSELP：Vector Sum Excitation LPC RPE-LT：Long Time Predictive Regular-Pulse Excitation LPC MPLPC：Multi-Pulse Excitation LPC MP-MLQ：Multipulse Maximum Likelihood Quantization MBE：Multi-Band Excitation Speech Coder STC：Sinusoid Transfor

7、m Coding CVSD：Continuously Variable Slope Delta Modulator SB-ADPCM：Sub-Band Adaptive Differential Pulse Code Modulation PTC：PictureTel Transform Coder AC-2；AC-3：Digital Audio Compression Standard，美国 Dolby公司 AAC：Advanced Audio Coding, 日本138187, MPEG-2 MUSICAM：Masking Pattern Adapted Universal Subband

8、 Integrated Coding and Multiplexing ATRAC：Adaptive Transform Acoustic Coder,2020/7/3,9/30,信源压缩编码算法,2020/7/3,10/30,信源压缩编码算法 AUDIO,2020/7/3,11/30,信源压缩编码算法 VIDEO,2020/7/3,12/30,信源压缩编码算法 DATA,2020/7/3,13/30,衡量编码好坏的原则,在编码中用熵值衡量是否为最佳编码。若以K表示编码器输出码字的平均码长，则当 KH(X)：有冗余，不是最佳编码； K0，0只要满足 (K/L)log2mH(X)+ 则当L足够大

9、时，必可使译码差错小于，即译码错误概率能为任意小。反之，若 (K/L)log2mH(X)-2 则不可能实现无失真编码，而当L足够大时，译码错误概率近似等于1。 因为(K/L)log2m=R就是信息率，因此可以理解为只要RH(X)则可以实现无失真编码。反之亦然。,2020/7/3,23/30,定理中的公式改写成 Klog2mLH(X) 不等式左边表示长为K的码符号序列能载荷的最大信息量，右边代表长为L的信源序列携带的信息量。所以定长编码定理告诉我们：只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。 信源熵H(X)是一个界限/临界值。当编码器输出的信息率R超过这个临界值时，就能无

10、失真译码，否则就不行。 信源编码定理从理论上说明了编码效率接近于1，即 的理想编码器的存在性，代价是在实际编 码时取无限长的信源符号(L)进行统一编码。,2020/7/3,24/30,变长编码,在变长编码中，对于概率大的信息符号编以短字长的码；对于概率小的信息符号编以长字长的码。 如果码字长度严格按照符号概率的大小的相反顺序排列，则平均码字长度一定小于按任何其他符号顺序排列方式得到的码字长度。 译码延时：接收到一个不等长码序列后，有时不能马上断定码字是否真正结束，因而不能立即译出该码，要等到后面的符号收到后才能正确译出。,2020/7/3,25/30,变长编码定理,平均码长： 变长编码定理：若单符号离散无记忆信源的平均符号熵为H(X)，对信源符号进行m元变长编码，一定存在一种无失真编码方法，其码字平均长度 满足下列不等式,2020/7/3,26/30,多符号情况 对于平稳无记忆信源来说，当信源输出的是长度为L的消息序列时，定理中式子可改进为 这时的 代表平均码序列长度。 信息率R定义：编码后平均每个信源符号能载荷的最大信息量 在相同编码效率的情况下，对信源进行变长编码一般所要求的信源符号