第4讲——互信息

互信息,第四讲,熵的性质,多符号离散信源的信息测度,非负性、对称性、确定性、扩展性、可加性、极值性、上凸性、唯一性、递增性,离散无记忆信源,离散有记忆信源,非负性、对称性、确定性、扩展性、可加性、极值性、上凸性、唯一性、递增性,极限熵,（1）条件熵H(XL|X1X2XL-1)随L的增加非递增,离散有记忆信源特点,（3）平均符号熵HL(X)随L的增加非递增,H1(X)H2(X)H(X),（2）L给定时,HL(X)H(XL|X1X2XL-1),（4）,冗余度,表明信源的记忆长度越长，熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。,为了定量地描述信源的有效性，定义:,相对率,冗余度,互信息,第四讲,设有两个随机事件X和Y,X取值于信源发出的离散消息集合,Y取值于信宿收到的离散符号集合,信道,干扰源,信源X,信宿Y,互信息定义,互信息表示接收到消息yj后获得关于事件xi的信息量。,互信息定义,对称性当X和Y相互独立时，互信息为0互信息量可为正值或负值I(xi;yj)I(xi),I(xi;yj)I(yj),互信息性质,某地二月份天气构成的信源为现有人告诉你:“今天不是晴天”，把这句话作为收到的消息。当收到消息后，各种天气发生的概率变成后验概率，其中,计算与各种天气之间的互信息量。,互信息实例,从y1分别得到了x2,x3,x4各1比特的信息量，即收到消息y1使得x2,x3,x4的不确定性减少了1比特。,收到消息y1使得x2,x3,x4的不确定性减少了（或者说出现的可能性增加了）因而为正；而收到消息y1使得x1出现的可能性减少了，因而为负。,互信息实例,条件互信息与联合互信息,条件互信息,联合互信息,互信息量是定量地描述输入随机变量发出某个具体消息,输出变量出现某一具体消息时，流经信道的信息量；是随和变化的随机变量。作为信道中信息流通的测度应该是整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。,平均互信息定义,平均互信息定义,定义互信息量在联合概率空间中的统计平均值为Y对X的平均互信息量，简称平均互信息。,对称性：非负性：与熵的关系：极值性：,平均互信息性质,非负性：,平均互信息与熵之间的关系,平均条件互信息和平均联合互信息,基本关系式,维拉图,H(X|Y),H(X),H(Y),H(XY),H(Y|X),I(X;Y),用维拉图理解,H(X),H(Y),H(Z),A,B,C,D,E,F,G,A+B+C,C,A+B,系统1,系统2,X,Y,Z,两级串联信道的情况,当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。说明数据处理过程中只会失掉信息，绝不会创造出新的信息，正所谓信息不增性。,信息处理定理,基本关系式,证明：,由联合互信息定理，可得,对此系统而言，有,因而,再由条件互信息的非负性，可得,又,因而可得,系统1,系统2,X,Y,Z,作业,2.112.122.18（后5个证明）,本节小结,平均互信息,定义及含义,内容见课本10-18页,28-31页,与熵的关系,性质：对称性、非负性、极值性,信息处理定理,24个硬币中有