信息论第二章信息的度量.ppt

,第2章信息的度量,内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。,第2章信息的度量,2.1自信息量和互信息量,一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。,对于随机事件集X=x1，x2，xi，xI中的随机事件xi，其出现概率记为q(xi)，将两个事件xi,yj同时出现的概率记为p(xiyj)，则q(xi)，p(xiyj)应满足：,相应的条件概率为,信息量直观的定义为：收到某消息获得的信息量=不确定性减少的量,将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=fq(x),211自信息量和条件自信息量,1自信息量直观地看，自信息量的定义应满足以下四点：,a.I(x)应该是q(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；,b.信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；,c.当q(x)=1时，I(x)=0：表示确定事件发生得不到任何信息；,d.当q(x)=0时，I(x)：表示不可能事件一旦发生，信息量将无穷大。,综合上述条件，将自信息量定义为:(2-1),自信息量的单位与log函数所选用的对数底数有关，如底数分别取2、e、10，则自信息量单位分别为：比特、奈特、哈特,一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。,【例2.3】若盒中有6个电阻，阻值为1、2、3的分别为2个、1个、3个，将从盒子中取出阻值为i的电阻记为事件（i=1，2，3），则事件集X=x1,x2,x3，其概率分布计算出各事件的自信息量列表2-1如下：,自信息量具有下列性质:,图2.1对数曲线,1,是非负值。,自信息量,自信息量I(xi)代表两种含义：,1.事件xi发生以前，表示事件发生的先验不确定性,2.当事件xi发生以后，表示事件xi所能提供的最大信息量（在无噪情况下）,二维联合集XY上元素xiyj的联合自信息量I(xiyj)定义为：(2-3),2.联合自信息量,3.条件自信息量在已知事件yj条件下,随机事件xi发生的概率为条件概率(xiyj),条件自信息量定义为：,(2-5),代入式自信息量的公式就有,联合自信息量和条件自信息也满足非负和单调递减性，同时，它们也都是随机变量。自信息量、条件自信息量和联合自信息量之间有如下关系式：,4.联合自信息量和条件自信息量间的关系,【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若：1.甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？2.甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？,用xi代表单元数，yj代表户号：,（1）甲找到乙这一事件是二维联合集XY上的等概分布，这一事件提供给甲的信息量为I(xiyj)=-logp(xiyj)=log60=5.907（比特）,（2）在二维联合集XY上的条件分布概率为，这一事件提供给甲的信息量为条件自信息量I(yjxi)=-logp(yjxi)=log12=3.585（比特）,1.互信息量信源符号X=x1，x2，xI，xia1,a2,ak，i=1,.,I。信宿方接收到符号Y=y1，y2，yJ，yjb1,b2,bD，j=1,2,J。,图21简单的通信模型,x1，x2，xI,y1，y2，yJ,212互信息量和条件互信息量,事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xiyj)度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi;yj)表示：。,注：式（2-6）的I(xi；yj)和式（2-3）的I(xiyj)的区别在于：前者是事件xiX和事件yjY之间的互信息量，后者是二维空间XY上元素xiyj的自信息量。,称(2-6)式为事件xi和事件yj之间的互信息量。,（2-6）,根据概率互换公式p(xiyj)=p(yjxi)q(xi)=(xiyj)(yj)互信息量I(xi;yj)有多种表达形式:(2-7)(2-8),先验不定度（联合自信息量）,物理解释：,通信前,后验不定度,通信后,这样，通信后流经信道的信息量，等于通信前后不定度的差,将事件互信息量的概念推广至多维空间：在三维XYZ联合集中，有：I(xi;yjzk)=I(xi;yj)+I(xi;zkyj)（2-9）,类似，在N维U1U2UN联合空间,有：I(u1;u2u3uN)=I(u1;u2)+I(u1;u3u2)+I(u1;uiu2ui-1)+I(u1;uNu2uN-1)（2-10）,三维XYZ联合集中，在给定条件zk的情况下,xi,yj的互信息量I(xi;yjzk)定义为：（2-11）,2条件互信息量,3互信息量的性质,（1）互易性对称性I(xi;yj)=I(yj;xi)(2-12),（2）可加性：,（4）互信息量I(xi;yj)可以是正数，也可以是负数。,（3）当xi,yj统计独立时，互信息量I(xi;yj)=0及条件互信息量,（5）两个事件的互信息量不大于单个事件的自信息量，即有：（2-13）,【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6信源编码器将其对应编成7个三位二进制数000，001,110。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，计算信息量I(x4;100)。,表2-4为7个三位二进制数对应的各种概率。,根据给定的先验概率，可算出：,P(x4100)=1,将各种后验概率的计算结果列于表2-3中，再根据式（2-10）计算出互信息量：I(x4;100)=I(x4;1)+I(x4;01)+I(x4;010)(比特)也可直接计算出：(比特),22离散集的平均自信息量,22离散集的平均自信息量,1平均自信息量(熵)无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量H(X)定义为：（2-15）,【例2.9】计算下列信源的熵（1）信源一：熵H(X1)=-0.99log0.990.01log0.01=0.08比特/符号（2）信源二：等概信源熵H(X2)=-0.5log0.5-0.5log0.5=1比特/符号（3）信源三:等概信源熵H(X3)=-40.25log0.25=log4=2比特/符号,(5)信源五：一般情况下，二元信源的概率分布为熵H(X)=log-（1-）log（1-）记H2()=log-（1-）log（1-）H2()与的关系如图2-2所示。,（4）信源四：信源为确定事件熵H(X4)=-0log01log1=0计算结果说明确定事件的熵为零,信源熵与信息量的比较,熵信息量,信源熵和平均自信息量两者在数值上是相等的，但含义并不相同,总括起来，信源熵有三种物理含义：,信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。,信源熵H(X)表示信源输出前，信源的平均不确定度。,信源熵H(X)反映了变量X的随机性。,1,2,3,2平均条件自信息量(条件熵),（2-16）,若事件xiyj的联合分布概率为p(xiyj)，给定yj条件下事件xi的条件自信息量为I(xiyj)，则H(XY)定义为：,当X,Y统计独立时，有p(xiyj)=q(xi)(yj)，(xiyj)=q(xi)，则（2-17）,从通信角度来看：若将X=x1，x2，xi，视为信源输出符号；Y=y1，y2，yj，视为信宿接收符号；I(xiyj)可看作信宿收到yj后，关于发送的是否为xi仍然存在的疑义度（不确定性），则,反映了经过通信后，信宿符号yj（j=1,2,）关于信源符号xi（i=1,2,）的平均不确定性。,类似，若给定xi条件下事件yj的条件自信息量为I(yjxi)，则H(YX)定义为（2-18）当X,Y统计独立时，有p(xiyj)=q(xi)(yj)，则（2-19）,存在以下两种极端情况：,（1）对于无噪信道H(XY)=0,（2）在强噪声情况下，收到的Y与X毫不相干，可视为统计独立，H(XY)=H(X),（2）对于强噪信道，有H(YX)=H(Y)。,（1）对于无扰信道，有H(YX)=0。,从通信角度来看，H(YX)是发出确定消息xi后，由于信道干扰而使yj存在的平均不确定性，称H(YX)为噪声熵（散布度）。存在以下两种极端情况：,由熵、条件熵、联合熵的定义式可导出三者的关系式,H(XY)=H(X)+H(YX)=H(Y)+H(XY)（221）,H(XY)=H(X)+H(Y)(2-22),上式反映了信息的可加性。当X,Y统计独立时，有,3联合熵联合熵H(XY)是定义在二维空间XY上，对元素xiyj的自信息量的统计平均值，若记事件xiyj出现的概率为p(xiyj)，其自信息量为I(xiyj)，则联合熵H(XY)定义为（2-20）,1凸集合与凸函数简单介绍凸集和凸函数的概念。定义2.1是n维实矢量空间集合R中任意两个n维矢量，对实数，01，有+（1-）R则称R为凸集合。,222熵函数的性质,从几何上来看，若，是集合R中的任意两点，+（1-）表示这两点间的连线，若该连线也在集合R中，则称为R凸集。下面给出了几个凸集和非凸集合的例子。,定义2.2设f(x)=f(x1,x2,xn)为一个n元函数，若对任意f(x1),f(x2)f(x)，任意正数，01，有f(x1)+（1-）f(x2)fx1+（1-）x2(2-23),x,则称f(x)为定义域上的型凸函数。一元型凸函数可用图2-4所示的几何图形表示。,定义2.3设f(x)=f(x1,x2,xn)为一个n元函数，若对任意f(x1),f(x2)f(x)，任意正数，01，有fx1+（1-）x2f(x1)+（1-）f(x2)(2-24),图2-5一元型凸函数,则称f(x)为定义域上的型凸函数，一元型凸函数可用图2-5所示的几何图形表示。,2极大离散熵定理设信源的消息个数为M，则H(X)logM，等号当且仅当信源X中各消息等概时成立，即各消息等概分布时，信源熵最大。,证明方法一：利用不等式logxx-1等号在x=1时成立（见图2-6）,图2-6logxx1关系曲线,上面两种证明方法是信息论中经常用到的证明方法,证明方法二：利用logx的型凸函数性质,3熵函数的性质,（1）对称性集合X=x1，x2，xN中的各元素x1，x2，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。,例如和的熵是相等的。,（4）扩展性：离散事件集，增加一个不可能事件xN+1后，得到集合，0，则两个集合的熵相等,（2）非负性：H(X)0,（3）确定性：在集合X=(x1，x2，xN)中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为,（5）可加性：集合X=x1，x2，xi，xi+1，xN的概率分布为：则下式成立：H(X)=H(x1，x2，xi，xi+1，xN)（2-25）,（6）条件熵小于等于无条件熵即：H(XY)H(X)X,Y统计独立时等号成立。,（7）联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即：（2-26）H(XY)H(X)+H(Y)（2-27）,23离散集的平均互信息量,1平均互信息量定义xiX和yjY之间的互信息量为I(xi;yj)，在集合X上对I(xi;yj)进行概率加权统计平均，可得I(X;yj)为：,231平均互信息量,（2-28）,再将式（2-28）对集合Y进行统计平均，就可以得到平均互信息量（2-30）,当X,Y统计独立时，I(xi;yj)=0，从而I(X;Y)=0,【例2.14】二元等概信源，通过信道转移概率为的信道传输，信宿接收符号Y=y0,y1，计算信源与信宿间的平均互信息量I（X；Y）。,（1）先根据计算出,（2）由计算后验概率,（3）计算各消息之间的互信息量I(xi;yj)（比特）（比特）（比特）（比特）,（4）计算平均互信息量（比特）,对上式在三维空间XYZ上求概率加权平均值，就得到平均条件互信息量（2-31）式中p(xiyjzk)满足,2平均条件互信息量平均条件互信息量I(X;YZ)是在联合概率空间XYZ，p(xyz)上定义的物理量。由式（2-11）知道,1平均互信息量的性质,232平均互信息量的性质,(1)非负性：（2-32）,(2)互易性：I(X;Y)=I(Y;X)（2-33）由的对称性可得到。,(3),I(X;Y)=H（X）-H（XY）(2-35)I(X;Y)=H（Y）-H（YX）(2-36)I(X;Y)=H(X)+H(Y)-H(XY)(2-37),2平均互信息量与信源熵、条件熵的关系,2-7维拉图,它们之间的关系可以用维拉图表示,设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性,H（XY）是观察到Y后，集X还保留的不确定性，二者之差I(X;Y)就是在接收过程中得到的关于X,Y的平均互信息量。,对于无扰信道，I(X;Y)=H(X)。,对于强噪信道，I(X;Y)=0。,从通信的角度来讨论平均互信息量I(X;Y)的物理意义,由第一等式I(X;Y)=H（X）-H（XY）看I(X;Y)的物理意义,对于无扰信道，有I(X;Y)=H(X)=H(Y)。,对于强噪信道，有H（YX）=H（Y），则I(X;Y)=0。,H(Y)是观察到Y所获得的信息量，H（YX）是发出确定消息X后，由于干扰而使Y存在的平均不确定性，二者之差I(X;Y)就是一次通信所获得的信息量。,由第二等式I(X;Y)=H（Y)-H（YX）看I(X;Y)的物理意义,通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)+H(Y)-H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X;Y)。,由第三等式I(X;Y)=H(X)+H(Y)-H(X,Y)看I(X;Y)的物理意义,【例2.15】已知信源消息集为X=0,1,接收符号集为Y=0,1，通过有扰信道传输，其传输特性如图2-8所示，这是一个二进制对称信道BSC。已知先验概率,计算平均互信息量I(X;Y)及各种熵。,01-011-1图2-8二进制对称信道,记q(x)为信源输入概率；(y)为信宿输出概率；p(yx)为信道转移概率；(xy)为后验概率。,（1）由图2-8得，先算出p(xiyj)=q(xi)p(yjxi),（2）计算得：,（3）计算后验概率，得：,（4）计算各种熵及平均互信息量：信源熵信宿熵联合熵=-20.5(1-)log0.5(1-)-20.5log0.5=log2-(1-)log(1-)-log=log2+H2()式中：,散布度=-p(00)logp(00)-p(01)logp(10)-p(10)logp(01)-p(11)logp(11)=-20.5(1-)log(1-)-20.5log=H2(),可疑度=-p(00)log(00)-p(01)log(01)-p(10)log(10)-p(11)log(11)=-20.5(1-)log(1-)-20.5log=H2(),平均互信息量I(X;Y)=H(X)+H(Y)-H(XY)=log2+H2(),研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率q(x)及信道转移概率p(yx)来描述，而平均互信息量I(X;Y)是经过一次通信后信宿所获得的信息。由式（2-30）知道，平均互信息量定义为：（2-38）,233有关平均互信息量的两条定理,上式说明I(X;Y)是信源分布概率q(x)和信道转移概率p(yx)的函数，下面两条定理阐明了I(X;Y)与q(x)和p(yx)之间的关系。,定理2.1当信道给定，即信道转移概率p(yx)固定，平均互信息量I(X;Y)是信源概率分布q(x)的型凸函数。,两个信源分布q1(x)和q2(x)，分别对应平均互信息量I1(X;Y)和I2(X;Y)，记概率分布q(x)=q1(x)+(1-)q2(x)（式中01），对应平均互信息量I(X;Y)，若I(X;Y)是型凸函数，则应满足：I1(X;Y)+(1-)I2(X;Y)I(X;Y)（2-39）,式(2-39)表示：函数的均值小于等于均值的函数，见图2-9,图2-9函数的均值均值的函数,定理2.1说明，信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。,先由算出：(0)=q(0)p(00)+q(1)p(01)=(1-)+(1-)(1)=1-(0),再计算熵和条件熵=H2(1-)+(1-)=-(1-)log(1-)-log=H2(),则平均互信息量I(X;Y)=H（Y)-H（YX）=H2(1-)+(1-)-H2()当信道固定，即为恒值，则I(X;Y)是的函数，其曲线如下图2-11所示。,当=0.5时,I(X;Y)取得极大值，其值为log2-H2(),这种情况对应等概分布,信源的平均不确定性最大.当=0或1时，这是确定信源的情况，通信得不到任何信息，即I(X;Y)=0。,定理2.2当信源给定，即信源分布概率q(x)固定，平均互信息量I(X;Y)是信道转移概率p(yx)的型凸函数。,在信源固定的情况下，如果给定两个信道转移概率p1(yx)和p2(yx)，它们分别对应平均互信息量I1(X;Y)和I2(X;Y)，记信道转移概率p(yx)=p1(yx)+(1-)p2(yx)(式中（01），对应平均互信息量I(X;Y)，若I(X;Y)是p(yx)的型凸函数，则应满足：I(X;Y)I1(X;Y)+(1-)I2(X;Y)（2-40）,定理2.2说明，信源固定以后，用不同的信道来传输同一信源符号时，在信道输出端获得的信息量是不同的。可见，对每一种信源一定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。,各种熵之间的关系,24N维扩展信源的熵和平均互信息量,信源输出序列为x=x1xixN，xia0,a1,ak-1，记x=x1x2xN的概率分布为q(x)，则信源熵为(2-41),241N维扩展信源的熵,下面分两种情况来考虑：1信源离散无记忆按式(2-41)可计算出该信源的熵：（242）,根据熵的性质:条件熵小于等于无条件熵，即有（2-45）,将式(2-45)代入式(2-44)得：（2-46）等号在信源无记忆（统计独立）时成立。,先看二维情况：I(X;Y1Y2)=I(X;Y1)+I(X;Y2Y1)（2-50）,2.4.2N维扩展信源的平均互信息量,类似推广到三维，则有：I(X;Y1Y2Y3)=I(X;Y1)+I(X;Y2Y1)+I(X;Y3Y1Y2)推广到N维矢量的情况，则有I