《信息论与编码基础》课件 6-信源的相关性与剩余度

§2离散信源§2.1离散信源的信息熵§2.2熵的基本性质§2.3信源的相关性与剩余度扩展信源：

平稳信源：§2.3信源的相关性和剩余度§2.3信源的相关性和剩余度定义：

设某q元信源的极限熵（实际熵），则定义：为信源剩余度。H∞≤…≤

H(XN|X1,…XN-1)≤…≤H(X2|X1)≤H(X1)≤H0=logq信源实际熵H∞与理想熵H0相差越大，信源的剩余度就越大，信源的效率也越低。例1英文源：H0=log27=4.76(bit/sig)INNOTHHEERANREEDONESSTENATTONTHANDOUEANGAS…THEINGANDHERERETHANTHFORDTHHATSHEIONINTHISSTHERSVERENTH3=3.1(bit/sig)…H∞=1.4(bit/sig)§2.3信源的相关性和剩余度VYDYRCHOZEZNVDLYVZRAWZSUUKRETAHBCWSIZALKUVFNMRTUHSREDNZJPGUGNSYZODEGWGVGZJTEBSETBTLKTNEIEAAETUIIETEREAEUVLAESNPNFKDPOENRTRIFFDIIAFDTETWFAEMBMOADDEI例2中文源：H0=log10000=13.288比特/汉字

假设常用汉字约10000个，若它们等概出现，则信源熵为这10000个汉字中，前140个最常用汉字出现概率占50%，前625个汉字占85%，前2400个汉字占99.7%，其余7600个汉字占0.3%。据此将汉字分为四类，假设每类汉字等概出现，则汉语的信息熵为比特/汉字汉字的实际剩余度更大！§2.3信源的相关性和剩余度类别汉字个数所占概率11400.524850.35317750.147476000.0031.为提高信息传输效率，总希望减少剩余度。2.为提高信息传输可靠性，需要一定的剩余度。提高信源输出信息的效率：信源压缩提高信息传输可靠性：信道编码例：中华人民共和国——压缩成“中国”例：发送“中国”错成“X国”

关于信源剩余度的思考：

发送“中华人民共和国”错成“中X人民X和国”§2.3信源的相关性和剩余度

数据压缩的基本途径结论1：

有记忆信源的冗余度寓于信源符号间的相关性中。去除它们之间的相关性，使之成为或几乎成为不相关的信源，其熵将增大。典型应用:预测编码§2.3信源的相关性和剩余度H∞≤…≤

H(XN|X1,…XN-1)≤…≤H(X2|X1)≤H(X1)≤H0=logq信源有记忆信源无记忆相关性减弱均匀性增强

数据压缩的基本途径§2.3信源的相关性和剩余度预测编码简介初始值

数据压缩的基本途径§2.3信源的相关性和剩余度预测编码简/p>

…原始数据200201203202204

…预测数据12-120

…预测误差12-120

…200201203202204

…预测误差恢复数据……………204

数据压缩的基本途径§2.3信源的相关性和剩余度预测编码简介

根据某种模型，利用以前的（已收到）一个或几个样值，对当前的样本值进行预测，将样本实际值和预测值之差进行编码。建立一个数学模型利用以往样本数据，对当前样本值预测实际值和预测值相减对差值进行编码预测重构差值编码

数据压缩的基本途径结论1：有记忆信源的冗余度寓于信源符号间的相关性中。去除它们之间的相关性，使之成为或几乎成为不相关的信源，其熵将增大。典型应用:预测编码变换编码§2.3信源的相关性和剩余度例：nfN变换编码简介§2.3信源的相关性和剩余度先对信源输出进行某种变换，将其从一种信号表示空间变换为另一种信号表示空间，使新的信号空间中各信号分量相关性很小或互不相关，然后再对变换后的分量进行编码，以达到压缩数据的目的。基本思想：变换域目的变换编码简介§2.3信源的相关性和剩余度yi的方差及比特数分配y0y1y2y3y4y5y6y7相对方差值10.1650.0700.0330.0250.0290.0110.012相对方差值（dB）0-15.7-23.1-29.7-32.0-30.8-39.2-38.5分配比特数74322211累计比特数711141618202122变换编码简介§2.3信源的相关性和剩余度结论2：

离散无记忆信源的冗余度寓于符号概率的非均匀分布中。改变原来信源的概率分布，使之成为或接近