信息论与编码第二章.ppt

第二章信息的度量,2.1信息量,2.2信息熵,2.3离散集的平均互信息量,Log(xy)=logx+logyLog(x/y)=logx-logy,中学数学知识,2.1.1自信息和条件自信息量,1、自信息量,2.1信息量,设甲袋中有100个球，其中50个是红球，50个是白球，现有人从袋子中随机抽出一个球是红色的，对于这次抽取的事件所携带的信息量是多少？又如乙袋中也有100个球，其中有25个红球，25个白球，25个蓝球，25个黑球。现又有人随机抽取一个球，发现时红球，针对这次抽取的事件当中有具有多少信息呢？,定义2.1任意随机事件的自信息量定义为该事件发生概率的对数的负值。,通过上面两个实例可以得知，在甲袋抽出红色球的不确定性要比乙袋抽红色球的不确定性小。不确定性越大，就越难猜到，对于狭义信息论而言，此事件的信息量就越大。,设事件,的概率为,那么，它的自信息量定义为,1、自信息量的单位自信息量的单位取决于对数的底；底为2，单位为“比特（bit）”；底为e，单位为“奈特（nat）”;底为10，单位为“哈特（hat）”；,说明：,2、三个自信息量单位之间的转换,I(ai)是非负值；当P(ai)=1时，I(ai)=0；当P(ai)=0时，I(ai)=；I(ai)是P(ai)的单调递减函数,3、自信息量的性质,注：I自信息,解释：小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。,【例2.1】某地二月份天气的概率分布统计如下：,问发生晴天的自信息量是多少？,解：发生晴天的概率为,，则晴天的自信息量为,【例2.2】设在甲袋中放入n个不同阻值的电阻，如果随机地取出一个，并对取出的电阻值进行事先猜测，其猜测的困难程度相当于概率空间的不确定性，概率空间为,式中,表示取出电阻值为i的电阻的概率，那么被,告知“取出的阻值为i的电阻”所获得的信息量为多少？,解：,由于甲袋里的各阻值的电阻为等概分布，则,【例2.3】若盒中有6个电阻，阻值为1、2、3的分别为2个、1个、3个，将从盒子中取出阻值为i的,电阻记为事件,组成事件集,，其概率分布,计算出各种事件的自信息量。,计算如下：,解：自信息量,自信息量I(xi)的含义,2、联合自信息量,某住宅区的某栋商品房，有5个单元，每个单元住有12户，甲要到该住宅区找他的宅区找他的朋友乙，因为每一住户的地址需要单元号和住户号，因此，每一住户的地址同时由单元号和住户号唯一确定，甲找到乙这一事件是二维联合集,上的等概分布,，他找到乙得到的信息可以用联合自信息量表示。,定义2.2在二维联合集,上元素,的联合自信息量,定义为联合概率,的对数的负数，即,当X和Y相互独立时，联合信息量应等于它们各自信息量之和。,二维联合集,，,当,和,相互独立时，有,则联合自信息量为,3、条件自信息量,乙住的楼房有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若甲知道乙住在第5单元，,即看做为已知条件，他要找到乙，记为事件那,么甲找到乙得到多少信息可以用条件自信息量度量。,定义2.3联合集XY中，在事件yj出现的条件下，随机事件事件xi发生的条件下概率为,则它的条件自信息量定义为条件概率对数的负值：,，,例:设在一正方形棋盘上共有64个方格，行、列各8个。如甲将一粒棋子随意放在棋盘某个方格内让乙猜测棋子所在的位置，则（1）在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？,解：由于甲是将一粒棋子随意地放在棋盘中某一方格内，因此棋子在棋盘中所处位置为二维等概率分布，二维概率分布函数为,（1）在二维联合集,上的元素为,的自信息为：,（2）在二维联合集,上，元素相对的条件自信息为：,容易证明，自信息量、条件自信息量和联合自信息量之间的关系如下：,或,2.1.2互信息量和条件互信息量,1、互信息量,众所周知，在教学过程中，老师在上课前准备教授的知识为一个集合,，课后学生,掌握,老师所教的内容为一个集合,老师在课堂中采用不同的教学方法，会使学生掌握的内容不同。这一过程可以从一次通信过程模型表示。如下图所示，,定义2.4对两个离散随机事件集X和Y，事件yj的出现能提供出关于事件xi的信息量，定义为互信息量，即,互信息有多重表达式,【例2.5】某地二月份天气的概率分布统计如下：,某一天有人告诉你：“今天不是晴天。”把这句话作为收到的消息,。当收到,后，各种天气发生的概,率变成后验概率了。其中,试计算,与各种天气之间的互信息量。,解：,互信息量与条件自信息区别：,=,将事件互信息的概念推广至多维空间。在三维,2、互信息量的性质（1）互信息量的互易性，即I(xi;yj)=I(yj;xi)（2）当X和Y相互独立时，互信息为0,（3）互信息量可为正值或负值,（4）任何两个事件之间的互信息量不可能大于之中任一事件的自信息量,自信息、条件自信息和互信息,3、条件互信息量,定义2.5三维XYZ联合集中，在给定条件zk的情况下，xi与yj之间的互信息量的定义为,另外，联合集合XYZ中还存在xi与yjzk之间的互信息量，其定义式,或将上式进一步表示为,思考下式的证明,上式表明一对事件yjzk出现后提供有关xi的信息量I（xi;yjzk),等于事件yj出现后所提供的有关xi的信息量I（xi;yj)加上在给定时间yj的条件下再出现事件zk所提供的有关xi的信息量。,学校统计某个年级某个班级的数学期末成绩，那这个班级可以作为整体信源，而班级里的每个学生的数学成绩就是一个随机事件，学生个人的成绩好坏只代表自己，不能说明他的班级数学成绩。,2.2信息熵,2.2.1离散集的平均自信息量（熵）,信息函数,只能表示信源发某一特定的具体符号,所提供的信息量，不同的符号，有不同的自信息量，所以它不足以作为整个信源的总体信息测度。,定义2.6在,集上，随机变量,的数学期望定义,为平均自信息量,集,的平均自信息又称为集,的信息熵，简称为熵。,的平均自信息量表示集,即为了在观测之前，确定集,件平均所需的信息量；或者说，在观测之后，集,中每出现一个事件平均给出的信息量。,集,中事件出现的平均不,确定性，,中出现一个事,平均自信息量的单位：对数底是2，信息量的单位为比特（bit）；,若取自然对数底，则信息量的单位为奈特（nat）；,若以10为对数底，则信息量的单位为哈特（hat）。,【例2.6】一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。,分析：这一随机事件的概率空间为,式中，,表示摸出的球为红球事件，,表示摸出的球是白球事件。,这是一个随机事件试验。试验结果是，当被告知摸出的是红球，则获得的信息量是,当被告知摸出的是白球，则获得的信息量是,如果每次摸出一个球后又放回袋中，再进行下一次摸取，那么如此摸取次，,红球出现的次数为次，,白球出现的次数为次。,随机摸取,次,后总共所获得的信息量为,而平均随机摸取一次所获得的信息量则为,熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。熵表示事件集合中事件发生后，每个事件提供的平均信息量；熵表示事件发生前，集合的平均不确定性；,【例2.7】（1）信源一：,H(X1)=-0.99log0.990.01log0.01=0.08（比特/符号）,（2）信源二：,H(X2)=-0.5log0.5-0.5log0.5=1（比特/符号）,（3）信源三:,H(X3)=-40.25log0.25=log4=2（比特/符号）,（4）信源四：,H(X4)=-0log01log1=0,计算结果说明确定事件的熵为零,以上四个信源熵的大小关系正好是：,总括起来，信源熵有三种物理意义：,信息熵的性质：,1、非负性:,信息熵的非负性即为,2、对称性:,当信源含有,个离散消息时，信源熵,，其中,，,熵的对称性是指,的顺序任意互换时，只是求和顺序不同，熵的值不变。,例如，有三个不同信源的信源空间分别为：,由于这三个信源的概率空间的总体结构相同，他们的信息熵相等，即有,=,=,比特/信源符号,3、确定性,若信源,的概率空间中只要有一个,等于1时，,其它所有概率分量均等于零，则信源,的信息熵一,定等于0。,即,4、扩展性：,若信源,中有,个事件，而另一个信源,中有,个事件，信源和,的差别知识多了一个概率接近,于零的事件，其他的概率分布相同，则这两个信源,的熵值相同。即,，它对其他概率分布,6、极值性：,5、可加性：设有两个信源X和Y,它们不是相互独立的，则二维随机变量（X,Y)的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵统计平均值，即,对任意两个消息数相同的信源X、Y，有,其中,。任一概率分布,的自信息,取数学期望时，必大于,本身的熵。,7、最大熵定理：,8、上凸性：,在离散的情况下，集合X中的各事件等概率发生时，熵达到最大值，即,是概率分布,的严格上凸函数，即,条件熵,2.2.2,从通信角度来看，若将,视为信源,视为信宿接收符号，,可看作信宿收到,后，关于发送的符号是否为,仍然存在的疑义度（不确定性），那信宿收到Y后,，信源X仍然存在不确定度，就用条件熵度量。,输出符号，,定义2.7联合集XY上，条件自信息量I(y|x)的概率加权平均值定义为条件熵。即,说明：,1、当X,Y统计独立时，有,则,2、当,，信源事件,和信宿,是一一对应的关系，,中的某个元素,后，关于发送的符,中的某个元素,不再存在疑义度（不,信宿收到Y,号是否为X,确定性）。,3、当,，信源事件,和信宿,是一一对应的关系，,中的某个元素,后，关于发送的符,中的某个元素,不再存在疑义度（不,信宿收到X,号是否为Y,确定性）。,4、,下面的推导可以说明条件熵时要用联合概率加权的理由。,条件概率,并且,当已知特定事件yj出现时，下一个出现的是xi的不确定性为：,对集合X中所有元素统计平均，其熵为：,上述熵值再对集合Y中的元素做统计平均，得条件熵：,同理可得：,5、条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。,定义2.8在二维空间XY上，对元素xiyj的自信息量进行统计平均所得的值称为联合熵。,2.2.3联合熵,联合熵也叫共熵。,2.2.4加权熵,1、加权熵的定义,香浓定义信息量和熵并没有考虑人的主观因素，只是信息系统概率的函数，是“客观信息”。在实际中，各种事件虽然已一定的概率发生，但各种事件的发生对不同的人有不同的意义。其重要性也因人而异。在许多场合，通常很难忽略与个人目的有关的主观因素。例如，在两个人博弈的场合，双方不仅要考虑各种不同博弈方案出现的概率，更要注意这些方案给自己带来的厉害得失。在信息论发展到基本成熟的今天，出于实际的需要，与信源符号的概率因素统筹考虑，构建一个兼顾主观和客观两大因素的综合度量函数，“加权熵”就是在这种背景下的一种探索。,设信源X的信源空间为,式中,对于每一个信源符号,根据,对收信者的重要性程度，,有收信者确定一个非负,作为符号,的权重系数。,数,定义2.9离散无记忆信源,的加权熵定义为,2、加权熵的基本性质,（1）非负性：,因为,0,所以,则有,（2）对称性：,有加法交换律率,=,=,=,则有,而,即有,（3）均匀性,=,=,=,（4）等重性：,若信源中每个符号的权重系数相等，,即,则,（5）确定性,=,=0,加权熵的确定性表明，不论信源符号对收信者有多么重要，只要是确定信源，不含任何不确定性，他就不可能给收信者提供任何信息量。,（6）非容性,=,=,=,=0,这一性质说明可能的事件是无意义或者是无效用的，而有意义或者有效用的时间是不可能的，这时的香浓熵为0，但其提供的加权熵等于0。,2.2.5各种熵之间的关系,1、由熵、条件熵、联合熵的定义式可导出三者的关系式,当,，,统计独立时，有,还可以推出,2、共熵与信息熵的关系,3、条件熵与信息熵之间的关系,或,2.3离散集的平均互信息量,在前面的章节中，主要讨论的是单符号信源的情况，这是最简单的离散信源。实际信源输出的消息往往是时间或空间上的一系列符号，如电报系统发出的是一串有无脉冲的信号，可分别用“0”和“1”两个数字来表示。,通常，在信源输出的序列中，每一位到底出现“0”还是“1”是随机的，而且一般情况下，前后符号之间都有统计依赖关系。,以下将研究多个符号情况下的平均符号熵的问题。,2.3.1平均互信息量,前面我们给出了互信息的定义，并已清楚互信息量,是定量地研究信息流通问题的重要基础。,是随,和,的变化而变化的随机量，可见，,互信息量还不能从整体上作为信道中信息流通的测度。,这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。同时，作为一个测度，他不能是随机量，而是一个确定的量。为了客观的测量信道中的流通的信息，我们定义互信息量在联合概率空间,中的统计平均值。,1、平均互信息量定义,定义2.10,称,是对的平均互信息量，简称平均互信，也,称交互熵。,统计独立时,，从而,说明：,（1）在通信系统中，若发端的符号是,，而收端的符,就是在接收端收到,后所能获得的,关于的信息。,号是，,（2）若干扰很大，,Y基本上与X无关，或说X与Y相互独立，,那时就收不到任何关于X的信息。,（3）若没有干扰，Y是X的确知一一对应函数，那就,能完全收到X的信息H(X)。,2、平均互信息量的物理意义,从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。下面从三种不同角度具体阐述平均互信息量的含义。,（1）,说明：信道上的干扰和噪声所造成的情况为收到随机变量Y后，对随机变量X仍然存在