第二章离散信源.pptx

1、离散信源及其信息测度,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,离散信源及其信息测度,概念：信源是一个随机出现的消息集合，因此用消息的概率空间来描述信源,概率空间,一个样本空间和它的概率测度。,信源的数学模型及分类,样本空间,概率函数,例1：扔骰子,信源的数学模型及分类,例2：音频信源,信源的数学模型及分类,若信源输出的消息数是有限的或可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单的离散信

2、源。,信源空间,信源的数学模型及分类,样本,概率,信源的数学模型及分类,若信源输出的是单个符号的消息，但是其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，这样的信源称为简单的连续信源。,或,或,例如：语音信号；遥控系统中测得的电压、温度、压力等连续数据。,信源的数学模型及分类,信源的分类,离散信源：电报、文字、代码,07314575707,连续信源：模拟语音、模拟视频,信源的数学模型及分类,信源的数学模型及分类,信源,离散信源,连续信源,离散无记忆信源 (DMS),离散有记忆信源,简单DMS:,且：,复杂信源：,且：,时间离散的连续源,随机波形源,1)离散无记忆信源,2)离散有记

3、忆信源,信源的数学模型及分类,平稳信源： 随机矢量的各维概率密度都与时间起点无关,信源的数学模型及分类,非平稳信源： 输出的随机序列X中各随机变量之间有依赖关系,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,离散信源的信息熵,设离散信源X，其概率空间为：,则其中事件ai的自信息为：,例：,离散信源的信息熵,定义：信源输出个消息的自信息量I(ai)的数学期望为信源的平均自信息量，即,又称为信源X的信息熵或熵。,说明：,平均自信息,对象,对某给定信源，信息熵H(X)的取值是固定的，而不是随机变量。,

4、离散信源的信息熵,例:,三个信源,离散信源的信息熵,例: 从另一角度领会信息熵的含义 若布袋内放100个球。其中70个是红色（a1）30个是白色（a2）。现随机摸出一个球，求猜对颜色的难易程度或求每次实验结果所能提供的平均信息量,bit/sign,离散信源的信息熵,离散信源的信息熵,说明：,含义,辨析,单位,（A）描述信源X的平均不确定性 （B) 平均每个信源符号所携带的信息量,I(ai)与H(X),相同点：（本质）描述不确定性大小 不同点：（对象）个别事件与整个集合,bit/sig , nat/sig ,hart/sig,信息熵的物理含义,练习：,离散信源的信息熵,离散信源的信息熵 联合熵和

5、条件熵,定义：联合集XY上，联合自信息的平均值定义为联合熵，即：,离散信源的信息熵 联合熵和条件熵,例：已知DMS：,二次扩展 信源,离散信源的信息熵 联合熵和条件熵,N次扩展信源的数学模型：,N次扩展 信源,含义：扩展信源XN中平均每个消息序列提供的信息量 （bit/N-sigs),离散信源的信息熵 联合熵和条件熵,定义：联合集XY上，条件自信息的平均值定义为条件熵，即：,离散信源的信息熵 联合熵和条件熵,例：设箱中有100个球，其中40个黑球，60个白球。做从箱中取球且不放回试验，连续进行两次，试求猜中第二个球颜色的难度。,解：设用X表示取出第一个球的颜色，Y表示取出第二个球的颜色,离散信

6、源的信息熵 联合熵和条件熵,例：设二维离散平稳信源X,且,问：X平均每符号输出的信息量？,解：辨析为何不能用,离散信源的信息熵 联合熵和条件熵,例题,板书,平均符号熵,熵的小结,自信息,熵,条件自信息,联合自信息,条件熵,联合熵,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,信息论与编码基础,离散信源,1、信源的信息熵,3、熵的基本性质,2、联合熵和条件熵,熵的基本性质,概率矢量,熵函数,H(0.3, 0.4, 0.3),H(0.3),非负性,熵的基本性质,确定性,熵的基本性质,例设X,Y,Z三

7、个信源,节日上空彩球,学术会议参与者肤色,天气情况,熵的基本性质,扩展性,熵的基本性质,可加性,信源X,Y统计独立,熵的基本性质,熵的基本性质,强可加性,进一步推广之，N维联合信源熵的链式法则为,极值性,信息论与编码基础,离散信源,极值性,最大离散熵定理,信息论与编码基础,离散信源,例，二元信源（1，0）的信息熵,H(0,1),确定性,H(0.5,0.5),极值性,思考题3,信息论与编码基础,离散信源,思考题,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,信息论与编码基础,离散信源,简单的离散信

8、源,N次扩展信源,信息论与编码基础,离散信源,信息论与编码基础,离散信源,X的二次扩展,X的三次扩展,例：设X为二元离散无记忆信源，其概率空间为,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,信息论与编码基础,离散信源,1、概念,2、二维平稳信源,3、一般离散平稳信源,信息论与编码基础,离散信源,1、概念,1)一维平稳信源,2)二维平稳信源,3)N维平稳信源,信息论与编码基础,离散信源,1、概念,2、二维平稳信源,3、一般离散平稳信源,信息论与编码基础,离散信源,2、二维平稳信源,信息论与编码基

9、础,离散信源,1）联合熵,bit/2-sign,联合自信息,2）平均符号熵,信息论与编码基础,离散信源,3）条件熵,条件自信息,各熵的关系,+,信息论与编码基础,离散信源,熵的强可加性,信息论与编码基础,离散信源,当且仅当X、Y相互独立时等号成立,对于平稳序列，条件熵,说明：条件作用使熵减小,设X1,X2,XN服从P(x1,x2,xN)，则N维联合熵,（1）,（2）,当且仅当X1XN相互独立时等号成立,熵的独立界,信息论与编码基础,离散信源,例题,0,X,Y,0,2,1,1,3/4,1/4,1/2,1/2,求H(X),H(X|Y=0),H(X|Y=1),H(X|Y=2),H(X|Y),H(Y)

10、,信息论与编码基础,离散信源,1、概念,2、二维平稳信源,3、一般离散平稳信源,信息论与编码基础,离散信源,若设信源X的符号间依赖长度为N，则联合概率为：,信息论与编码基础,离散信源,联合熵,bit/N-sign,平均符号熵,bit/sign,条件熵,bit/sign,信息论与编码基础,离散信源,对于一般离散平稳信源， 有如下性质：,证明,H(XN|X1X2XN-1)H(XN|X2XN-1),= H(XN-1|X1XN-2),平稳性,H(XN-1|X2XN-2),= H(XN-2|X1XN-3),H(X2|X1),H(X1),信息论与编码基础,离散信源,2）N给定时，平均符号熵大于等于条件熵，

11、即：,证明,由于,HN(X) = H(X1X2XN)/N,= H(X1) + H(X2|X1) + + H(XN|X1X2XN-1)/N,熵的强可加性, NH(XN|X1X2XN-1)/N,= H(XN|X1X2XN-1),3）平均符号熵随N的增加而非递增，即：,信息论与编码基础,离散信源,证明,由于,HN(X) = H(X1X2XN)/N,= H(X1X2XN-1) + (XN|X1X2XN-1)/N,= (N-1)HN-1(X) + (XN|X1X2XN-1)/N,可得,HN(X) ,(N-1)HN-1(X) + N(X)/N,HN(X) HN-1(X),考虑的相关性越多，平均不确定性越小

12、,信息论与编码基础,离散信源,一、信源的数学模型及分类,二、离散信源的信息熵及其性质,三、离散无记忆的扩展信源,四、离散平稳信源,五、信源的剩余度,定义,为它的信源剩余度。,信息论与编码基础,离散信源,信源剩余度,例1,英文源,信息论与编码基础,离散信源,H0=log27=4.76 bit/sig,IN NO TH HE ER AN RE ED ON ES ST EN AT TO NT HA ND OU EA NG AS,THE ING AND HER ERE THA NTH FOR DTH HAT SHE ION INT HIS STH ERS VER ENT,例2,中文源,例2,中文源,信

13、息论与编码基础,离散信源,假设常用汉字约为10000个，若它们等概率出现，则信源熵为H0=log10000=13.288bit/汉字,这10000个汉字中，前140个最常用汉字出现概率占50%，前625个汉字占85%，前2400个汉字占99.7%，其余7600个汉字占0.3%。据此将汉字分为四类，假设每个汉字等概率出现。考虑这样的汉字源的信源熵是多少,H=9.773bit 剩余度=26.4%,*,关于剩余度的思考,信息论与编码基础,离散信源,1. 为了提高信息传输效率，总希望减少剩余度 例：中华人民共和国压缩成“中国” 提高信源输出信息的效率：信源压缩编码,2. 为提高信息传输的可靠性，需要一定的剩余度 例：发送“中国”错成“x国” 发送“中华人民共和国”错成“中x人民x和国” 提高信道传输的可靠性：信道编码,二、数据压缩的基本途径结论1,信息论与编码基础,离散信源,数据压缩的基本途径,结论1： 有记忆信源的冗余度寓于信源符号间的相关性中。去除它们之间的相关性，使之成