新编第3讲-互信息课件

1、互信息第三讲信源的数学模型信源熵（信息熵） 随机变量、随机序列 随机过程 定义：自信息的数学期望 含义：两种解释 与联合熵、条件熵之间的关系Review熵的性质 非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性 非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性Review互信息第四讲设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合信 道干扰源信源X信宿Y互信息定义定义：X和Y之间的平均互信息量定义为由定义，可得互信息定义 仿照自信息量，我们也可以定义非平均互信息量 表示接收到消息yj后获得关于事件xi的信息量。互信息定义

2、平均互信息 对称性当X和Y相互独立时，互信息为0互信息量可为正值或负值I(xi;yj)I(xi) , I(xi;yj)I(yj) 互信息性质 某地二月份天气构成的信源为 现有人告诉你:“今天不是晴天”，把这句话作为收到的消息 。当收到消息 后，各种天气发生的概率变成后验概率，其中计算 与各种天气之间的互信息量。互信息实例从y1分别得到了x2,x3,x4各1比特的信息量，即收到消息y1使得x2,x3,x4的不确定性减少了1比特。收到消息y1使得x2,x3,x4的不确定性减少了（或者说出现的可能性增加了）因而为正；而收到消息y1使得x1出现的可能性减少了，因而为负。互信息实例条件互信息与联合互信息

3、条件互信息联合互信息对称性：非负性：与熵的关系：极值性： 平均互信息性质非负性： 名称符号 图 示 无条件熵条件熵联合熵 平均互信息平均互信息与熵之间的关系平均条件互信息和平均联合互信息基本关系式维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)用维拉图理解 H(X)H(Y)H(Z)ABCDEFGA+B+CCA+B系统1系统2XYZ当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。说明数据处理过程中只会失掉信息，绝不会创造出新的信息，正所谓信息不增性。信息处理定理两级串联信道的情况X-Y-Z构成Markov链基本关系式证明：由联合互信

4、息定理，可得对此系统而言，有因而再由条件互信息的非负性，可得又因而可得系统1系统2XYZ平均互信息 定义及含义 与熵的关系 性质：对称性、非负性、极值性 信息处理定理 凸性在a,b上定义的上凸函数在a,b上定义的下凸函数凸集若集合（n维欧氏空间），有 且对任意实数有显然，n维欧氏空间 为一凸集合。01则称为C为凸集合。概率矢量构成集合为凸集定义 若一个K维矢量 =(1, 2, , K)的所有分量为非负的，且和为1，即就称为概率矢量。引理 概率矢量全体所构成的区域R是凸的。证：若,R，对01构造矢量=(1-)因此是概率矢量，仍属于R，所以R是凸的。凸函数定义定义在凸集R上的一个实函数f，若它对所

5、有,R和01满足 f()+(1 ) f ()f ( (1 ) 就称函数f为R上的凸函数，若式中不等号的方向相反，就称f为凸函数，若等号仅当=0或1时成立，就称f为严格凸或严格凸的。凸函数性质1) 若f()是凸的，则-f()是凸的，反过来也成立。 2) 若f1(), f2(), fL()是R上的凸函数，c1,c2,cL是正数，则 为R上的凸函数，若其中任一个是严格凸的，则和式也是严格凸的。 3) (Jensen不等式) 若f()是R上的凸函数，则Ef()f (E ()令是定义在R上的凸函数，其中=(1, 2, , K)存在且在R域上连续，在R上为极大的充分必要条件是凸函数性质4) Kuhn-Tu

6、cker条件为一概率矢量。假定偏导数 对所有 对所有熵的凸性证明：令则由于当且仅当 时等号成立平均互信息量为先验概率p(i)和信道转移概率p(j/i)的函数，可以记为： I(X;Y)=fP(X);P(Y/X) 平均互信息的凸性 输入分布给定， I(X;Y)随转移概率变化 转移概率给定， I(X;Y)随输入分布变化 当信道一定时，平均互信息是信源先验概率的上凸函数对于一定的信道转移概率分布，总可以找到一个先验概率分布为P的信源X，使平均互信息达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。不同的信道转移概率对应不同的Imax，或者说Imax是P(Y/X)的函数。 平均互信息的凸性令q

7、1和q2是输入集X上的任意两个概率矢量，相应的互信息为I1和I2，令01，q=q1(1-)q2 求证 当信道一定时，平均互信息是信源先验概率的上凸函数令则有根据平均互信息的定义，可得 因为 log x 是严格凸函数， 利用Jensen不等式， 可得 当信源一定，平均互信息是信道转移概率的下凸函数对于一个已知先验概率为P的离散信源，总可以找到一个转移概率分布为P(Y/X)的信道，使平均互信息达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin，或者说Imin是P(X)的函数。即平均互信息的最小值是由体现了信源本身的特性。 平均互信息的凸性令 和 是两个任意条件概率分布，相应的互信息为I1和I2，令01，求证当信源一定，平均互信息是信道转移概率的下凸函数令根据平均互信息的定义，可得 因为 log x 是严格凸函数， 利用Jensen不等式， 可得 本节小结(内容见课本10-18页, 28-31页, 39-