信息论与编码信源与信息熵的课件

1、1信源与信息熵第二章22.1 信源的描述和分类2.2 离散信源熵和互信息2.3 离散序列信源的熵2.4 连续信源的熵和互信2.5 冗余度内容32.2 离散信源熵和互信息4离散信源熵和互信息问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？5离散信源熵和互信息问题：什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？6自信息量设离散信源X，其概率空间为I (xi) 含义:当事件xi发生以前,表示事件

2、xi 发生的不确定性当事件xi发生以后,表示事件xi所含有的信息量7自信息量自信息量条件自信息量联合自信息量8离散信源熵离散信源熵H(X)信源熵具有以下三种物理含意：信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信息熵H(X)表示信源输出前,信源的平均不确定性。信息熵H(X)反映了变量X的随机性 。9信源熵无条件熵条件熵10信源熵联合熵H(X,Y)H(X)H(Y|X)H(X,Y)H(Y)H(X|Y)无条件熵、条件熵、联合熵之间的关系112.2.3 互信息设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合有扰信道干扰源信源X信宿Y12互信息

3、如果信道是无噪的,当信源发出消息xi后,信宿必能准确无误地收到该消息,彻底消除对xi的不确定度,所获得的信息量就是xi的不确定度I(xi),即xi本身含有的全部信息。一般而言,信道中总是存在着噪声和干扰,信源发出消息xi,通过信道后信宿只可能收到由于干扰作用引起的某种变型yj 。信宿收到yj 后推测信源发出xi的概率p(xi|yj)称为后验概率。信源发出消息xi的概率p(xi) 称为先验概率。13互信息对于单个符号情况下定义为 符号xi的后验概率与先验概率比值的对数互信息量I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。唯一地确定接收符号yj 所需要的信息量信源发出符号为已知

4、时需要确定接收符号yj 所需信息量14例某地二月份天气 构成的信源为：若得知“今天不是晴天”,把这句话作为收到的消息y1当收到y1后,各种天气发生的概率变成后验概率了p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4 , p(x4|y1) = 1/4 求得自信息量分别为 15表明从y1分别得到了x2 x3 x4各 1比特的信息量。消息y1使x2 x3 x4的不确定度分别减少1bit 、 2bit 、 2bit 。16例2-8:一个二进信源X发出符号集0,1,经过离散无记忆信道传输,信道输出用Y表示,由于信道中存在噪声,接收端除收到0和1的符号外,还有不确

5、定符号“2”已知X的先验概率: p(x0)=2/3, p(x1)= 1/3,符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵17得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1)

6、= 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6条件熵由18联合熵 H(X,Y)H(X)H(Y|X)=1.8bit/符号得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由19由得同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/220H(

7、X)：表示接收到输出符号Y前关于输入变量X的平均不确定度。H(X|Y)： 表示接收到输出符号Y 后关于输入变量X的平均不确定度。这个对X尚存在的平均不确定度是由于干扰(噪声)引起的 21互信息 在例2-8中，H(X)大于H(X|Y)，说明当已知Y后，X的不确定度减小了。即对于接收者，在未收到任何消息时，对信源X的不确定度H(X)是0.92bit/符号。而当收到消息Y后，不确定度降低到了H(X|Y)=0.33bit/符号。不确定度的减少量(0.92-0.33)bit/符号=0.59bit/符号就是接收者通过信道传输收到的信源X 的信息量，称为X和Y的互信息H(X;Y)，即H(X;Y)= H(X)

8、- H(X|Y)。22平均互信息平均互信息定义 信息= 先验不确定性后验不确定性 = 不确定性减少的量Y未知,X 的不确定度为H(X)Y已知,X 的不确定度变为H(X |Y)23平均互信息有扰信道干扰源信源X信宿Y通信系统中,若发端的符号为X ,收端的符号为Y如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X|Y) = 0一般情况： H(X |Y) H(X),即接收Y后对X的不确定度将减少，但没有完全消除。通过信道传输消除了一些不确定性,获得了一定的信息。24平均互信息平均互信息的另一种定义方法： 25例假设一条电线上串联了8个灯泡x1, x2，x8如图，这8个灯泡损坏的概率相等

9、p(xi) = 1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。未测量前,8个灯泡都有可能损坏,它们损坏的先验概率: p(xi)=1/8这时存在的不确定性：26第1次测量后,可知4个灯泡是好的,另4个灯泡中有一个是坏的,这时后验概率p(xi|y) =1/4尚存在的不确定性所获得的信息量就是测量前后不确定性减少的量,第1次测量获得的信息量：27第2次测量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为： p(xi|yz) = 1/2尚存在的不确定性：第2次测量获得的信息量：第3次测量完全消除了不确定性，能获知哪个灯泡是坏了的。尚存在的不确定性等于零。第3次测量获得的信息量：28信源消

10、息 x1 x2x3x4x5x6x7x8先验概率 1/81/81/81/81/81/81/81/8后验概率第1次测量y1/41/41/41/4第2次测量z1/21/2第3次测量w1要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的,至少要获得3个bit的信息量 29互信息量在有3个变量的情况下,符号xi与符号yj , zk之间的互信息量定义为同理联合事件(yj,zk)出现后所提供的有关xi的信息量zk事件出现后提供的有关xi的信息量给定zk条件下再出现yj事件后所提供的有关xi的信息量30条件互信息我们定义在已知事件zk的条件下,接收到yj后获得关于某事件xi的条件互信息31互信息量三维联合集(X

11、,Y,Z)上的平均互信息有32平均互信息与各类熵的关系 熵只是平均不确定性的描述;不确定性的消除(两熵之差)才等于接收端所获得的信息量。 获得的信息量不应该和不确定性混为一谈 33维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)交集并集交集并集34平均互信息的物理意义（1）式，H(X)是符号X的熵或不确定度，而H(X|Y)是当Y已知时X的不确定度，那么可见“Y已知”这件事使X得不确定度减少了I(X;Y)，这意味着Y“已知后”所获得的关于X的信息是I(X;Y)。也可将平均互信息量I(X;Y)看成有扰离散信道上传输的平均互信息量。信宿收到的平均互信息量等于信宿对信源符号不确定

12、度的平均减少量。具体地，（1）式表明在有扰离散信道上，各个接收符号y所提供的有关信源发出的各个符号x的平均信息量I(X;Y)等于唯一地确定信源符号x所需要的平均信息量H(X)，减去收到符号Y后要确定X所需要的平均信息量H(X|Y)。35条件熵H(X|Y)：信道疑义度，损失熵信源符号通过有噪信道传输后所引起的信息量的损失。由于信道上存在干扰和噪声而损失掉的平均信息量。故称作损失熵。又可以看作是由于信道上的干扰和噪声的缘故，接收端获得Y后还剩余的对信源符号X的平均不确定度。故称作疑义度。信源X的熵等于接收到的信息量H(X;Y)加上损失掉的信息量H(X|Y)。 36条件熵（2）式表明：平均互信息量可

13、看作在有干扰离散信道上传递消息时，唯一地确定接收符号y所需要的平均信息量H(Y)，减去当信源符号发出符号为已知时需要确定接收符号y所需的平均信息量H(Y|X)。H(Y|X)它反映了信道中噪声源的不确定性。唯一地确定信道噪声所需要的平均信息量。故称作噪声熵或散布度。输出端信源Y 的熵H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y|X),这完全是由于信道中噪声引起的。37收发两端的熵关系I(X;Y) H(X) H(Y)H(X/Y)疑义度或损失熵 H(Y/X)噪声熵或散布度38若信道是无噪一一对应信道,信道传递概率： 计算得:39若信道输入端X与输出端Y完全统计独立 则:没有交集40重要结论

14、在一般情况下，X与Y既非相互独立，也不是一一对应，那么从Y获得X的信息必在零和H(X)之间，即常小于X的熵。从互信息的定义41重要结论可以看出：互信息I(X;Y)只是输入信源X的概率分布p(xi)和信道转移概率p(yi|xi)的函数，即Ip(xi), p(yi|xi)。可以证明：当p(xi)一定时，I是关于p(yi|xi)的型凸函数，存在极小值；当p(yi|xi)一定时， I是关于p(xi)的型函数，存在极大值。42第一级处理器第二级处理器XYZ输入 级联处理器2.2.4 数据处理中信息的变化数据处理定理 :当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小

15、假设Y条件下X和Z相互独立 43数据处理定理 数据处理定理说明：当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。 44三维联合集XYZ上的平均互信息量 45例2-11 有一信源输出X 0,1,2,其概率为p(0)=1/4,p(1)=1/4,p(2)=1/2.设计两个独立实验去观察它，其结果分别为Y1 0,1和Y2 0,1.已知条件概率为表2-5所列，求表2-5 实验得到的条件概率p(y1|x)01p(y2|x)0101001010111021/21/2201(1)I

16、(X;Y1)和I(X;Y2),并判断哪一个实验好些。(2)I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关于X的信息。(3)I(X;Y1|Y2)和I(X;Y2|Y1).46解: (1)由题意得y101y201p(y1)1/21/2p(y2)1/21/2 I(X;Y1)=H(Y1)-H(Y1|X)其中 H(Y1)=H(1/2,1/2)=1bit/符号所以 I(X;Y1)=H(Y1)-H(Y1|X)=1-0.5=0.5bit/符号同理 I(X;Y2)=1-0=1bit/符号 因此第二个实验好些。47(2) H(X)=H(1/4,1/4,1/2)=1.5bit

17、/符号 I(X;Y1,Y2)=H(X)-H(X|Y1,Y2)=H(Y1,Y2)-H(Y1,Y2|X)由以下概率分布可得因此，H(Y1,Y2)=H(1/4,1/4,1/4,1/4)=2bit/符号y101y201p(y1)1/21/2p(y2)1/21/2y1, y2(0,0)(0,1)(1,0)(1,1)p(y1 ,y2)1/41/41/41/448p(y1,y2|x)(0,0)(0,1)(1,0)(1,1)0100010010201/201/2p(y1|x)01p(y2|x)0101001010111021/21/2201由可得49所以 I(X;Y1,Y2)=H(Y1,Y2)-H(Y1,Y2|X) =2-0.5=1.5bit/符号做两个实验比单做Y1多得信息量I(X;Y1,Y2)-I(X;Y1)=1.5-0.5=1bit/符号；比单做Y2多得信息量I(X;Y1,Y2)-I(X;Y2)=1.5-1=0.5bit/符号。(3) I(X;Y1|Y2)= I(X;Y1,Y2)- I(X;Y2) =1.5-1=0.5bit/符号；I(X;Y2|Y1)= I(X;Y1,Y2)- I(X;Y1)=1.5-0.5=1bit/符号.502.2.5 熵的性质1.非负性 H(X)H(p1，p2，pn)0式中等号只有在pi =1时成立。2.对称性 H(p1，p2，pn) = H(