信息论信息的量PPT学习教案

1、会计学1信息论信息的量信息论信息的量内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第第2章章 信息的度量信息的度量第1页/共88页2.1 自信息量和互信息量自信息量和互信息量 一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。 对于随机事件集对于随机事件集X = x1，x2，

2、xi，xI中的随机事中的随机事件件xi，其出现概率记为其出现概率记为q( (xi) )，将两个事件将两个事件xi , ,yj同时出现的概同时出现的概率记为率记为p( (xi yj) )，则则q( (xi) ) ，p( (xi yj) )应满足应满足：IiiixqIixq11)(, 2 , 10)( 相应的条件概率为相应的条件概率为 IiJjjijiyxpyxp111)(0)()()()()()()(ijiijjjijixqyxpxypyyxpyx第2页/共88页信息量直观的定义为：收到某消息获得的信息量收到某消息获得的信息量 = 不确定性减少的量不确定性减少的量 将某事件发生所得到的信息量记为

3、将某事件发生所得到的信息量记为I( (x) )，I( (x) )应该是该应该是该事件发生的概率的函数，即事件发生的概率的函数，即I( (x)=)=f q( (x) ) 211 自信息量和条件自信息量第3页/共88页自信息量自信息量 联合联合 自信息量自信息量条件条件 自信息量自信息量信息量信息量第4页/共88页1自信息量自信息量 直观地看，自信息量的定义应满足以下四点：直观地看，自信息量的定义应满足以下四点： a. I( (x) )应该是应该是q( (x) )的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；的单调递减函数：概率小的事件一旦发生赋予的信息

4、量大，概率大的事件如果发生则赋予的信息量小；b.b.信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；c.c.当当q( (x) )=1时，时，I( (x) )= 0：表示确定事件发生得不到任何信息；：表示确定事件发生得不到任何信息； d. d.当当q( (x) )=0时，时，I( (x)：表示不可能事件一旦发生，信息量将无穷大。表示不可能事件一旦发生，信息量将无穷大。 第5页/共88页综合上述条件，将综合上述条件，将自信息量定义自信息量定义为为: : (2-1) (2-1) )(log)(xqxI自信

5、息量的单位与自信息量的单位与log函数函数所选用的对数底数有关，所选用的对数底数有关， 如底数分别取如底数分别取 2 2、 e e、 10 10，则自信息量单位分别为：比特、奈特、哈特则自信息量单位分别为：比特、奈特、哈特bitenat433. 1log12natbit693.01Hartbit301.01bitHart322.310log12第6页/共88页一个以等概率出现的二进制码元一个以等概率出现的二进制码元(0,1)(0,1)所包含的自信息量为所包含的自信息量为1bit1bit。时，当21) 1 ()0( pp221: (0)(1)loglog 212IIbit 有时，当41)3()2

6、() 1 ()0(pppp2bit4log(3)(2)(1)(0)2IIII有：第7页/共88页【例【例2.3】若盒中有若盒中有6 6个电阻，阻值为个电阻，阻值为1、2、3的分别为的分别为2个、个、1个、个、3个，将从盒子中取出阻值为个，将从盒子中取出阻值为i的电阻记为事件的电阻记为事件 （i = 1，2，3），），则事件集则事件集X = x1, , x2, , x3，其概率分布其概率分布 计算出各事件的自信息量列表计算出各事件的自信息量列表2-12-1如下：如下：ix216131)(321xxxXqX消息消息xi x1 x2 x3 概率分概率分布布q (xi) 1/3 1/6 1/2 自信息

7、自信息量量I (xi) log 3 log 6 log 2 第8页/共88页自信息自信息量具有下列性质量具有下列性质: :图图2.1 对数曲线对数曲线1是非负值是非负值。)(iaI第9页/共88页0)(1)(iiaIap时，当2)(0)(iiaIap时，当3)()(iiapaI是的的单调递减单调递减函数函数。4自信息量自信息量第10页/共88页自信息量自信息量I( (xi) )代表两种含义代表两种含义： 1.1.事件事件xi发生以前，表示事件发生的先验不确定性发生以前，表示事件发生的先验不确定性2.2.当事件当事件xi发生以后，表示事件发生以后，表示事件xi所能提供的最大信息量（在无噪情况下）

8、所能提供的最大信息量（在无噪情况下）第11页/共88页)(log)(jijiyxpyxI 二维联合集二维联合集X Y上元素上元素xi yj的联合自信息量的联合自信息量I(xi yj)定义为：定义为： (2-3) 2.2.联合自信息量联合自信息量)(,),(,),(,),( , , , , , , 11111111mnnmmnnmbapbapbapbapbabababa)( XYPXY其中nimjjibap111)(。), 2 , 1;, 2 , 1( 1)(0mjnibapji第12页/共88页3.条件自信息量条件自信息量 在已知事件在已知事件yj条件下条件下, ,随机事件随机事件xi发生的概

9、率为条件概率发生的概率为条件概率(xiyj), ,条件自信息量条件自信息量 定义为：定义为： )(log)(jijiyxyxI(2-(2-5)5) 4-2 )()(）（jibIaI，有相互独立时与当)()()(,jijibpapbapYX代入式代入式自信息量的公式自信息量的公式就有就有)(log)(log)(jijibpapbaI)( Ijiyx第13页/共88页 联合自信息量和条件自信息也满足联合自信息量和条件自信息也满足非负非负和和单调单调性性 ，同时，它们也都是随机变量，同时，它们也都是随机变量。 自信息量、条件自信息量和联合自信息量之间有如下关系式：自信息量、条件自信息量和联合自信息量

10、之间有如下关系式： )()(ijiabIaI )()(jijbaIbI )(log )( jijibapbaI)p(log ijiabap)p(log jijbabp4.联合自信息量和条件自信息量间的关系联合自信息量和条件自信息量间的关系第14页/共88页 【例【例2.6】某住宅区共建有若干栋商品房，每栋有某住宅区共建有若干栋商品房，每栋有5个单元，每个单元，每个单元住有个单元住有12户，甲要到该住宅区找他的朋友乙，若：户，甲要到该住宅区找他的朋友乙，若： 1. 甲只知道乙住在第甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到栋，他找到乙的概率有多大？他能得到多少信息？多少信息？ 2. 甲

11、除知道乙住在第甲除知道乙住在第5栋外，还知道乙住在第栋外，还知道乙住在第3单元，他找到单元，他找到乙的概率又有多大？他能得到多少信息乙的概率又有多大？他能得到多少信息？用用xi代表单元数，代表单元数，yj代表户号：代表户号：（1 1）甲找到乙这一事件是二维联合集）甲找到乙这一事件是二维联合集X Y上的等概分布上的等概分布 ，这一事件提供给甲的信息量为，这一事件提供给甲的信息量为 I( (xi yj ) = -) = - log p( (xi yj ) ) = = log 60 = = 5.907（比特）比特） 601)(jiyxp（2 2）在二维联合集）在二维联合集X Y上的条件分布概率为上的

12、条件分布概率为 ，这一，这一事件提供给甲的信息量为条件自信息量事件提供给甲的信息量为条件自信息量 I( (yjxi) = -) = -log p( (yjxi) = log12 = ) = log12 = 3.585（比特）比特） 121)(ijxyp第15页/共88页1.互信息量互信息量 信源符号信源符号X=x1，x2，xI ，xi a1, ,a2, , ,ak ，i = 1,., I。 信宿方接收到符号信宿方接收到符号Y = y1，y2，yJ，yj b1, ,b2, , ,bD ，j = 1, 2, , ,J J。图21简单的通信模型x1，x2，xIy1，y2，yJ信源符号集信源符号集 a

13、1, ,a2, , , ak 信源信源 b1, ,b2, , ,bD 信宿符号集信宿符号集干扰干扰信道信道信宿信宿212 互信息量和条件互信息量互信息量和条件互信息量第16页/共88页 事件事件xi是否发生具有不确定性，用是否发生具有不确定性，用I( (xi) )度量。度量。 接收到符号接收到符号yj后，事件后，事件xi是否发生仍保留有一定的不确定是否发生仍保留有一定的不确定性，用性，用I( (xiyj) )度量。度量。 观察事件前后，这两者之差就是通信过程中所获得的信观察事件前后，这两者之差就是通信过程中所获得的信息量，用息量，用I( (xi ; yj ) )表示：表示： 。)()();(j

14、iijiyxIxIyxI)()(logijixqyx注：式（注：式（2-6）的）的I( (xi ；yj ) ) 和式（和式（2-3）的）的I( (xiyj ) )的区别的区别在于：在于：前者是事件前者是事件xiX和事件和事件yjY之间的互信息量，之间的互信息量，后者是二维空间后者是二维空间XY 上元素上元素xi yj 的自信息量。的自信息量。称称( (2-6) )式为事件式为事件xi和事件和事件yj之间的之间的互信息量互信息量。（2-6）第17页/共88页根据概率互换公式根据概率互换公式p( (xi yj) = ) = p( (yjxi) )q( (xi)=)=( (xiyj)()(yj) )

15、 互信息量互信息量I( (xi ; ;yj ) )有多种表达形式有多种表达形式: : (2-7)(2-7) (2-8)(2-8)()()()()()(log);(jijijijijiyxIyIxIyxqyxpyxI)()()()(log);(ijjjijjixyIyIyxypyxI第18页/共88页”的概率和输出端出现“输入端出现jiba()() () ijijp abp a p b先验不定度（联合自信息量） )()(1log)(jijibpapbaI发送发送接收接收物理解释：物理解释：第19页/共88页输入输出端的联合概率()() ()() ()ijijijijp abp a p bap b

16、p a b后验不定度 1()log ()ijijI abp ab通信后发送发送接收接收第20页/共88页这样，通信后流经信道的信息量这样，通信后流经信道的信息量，等于通信前后不定度的差，等于通信前后不定度的差 )()()(logjijibpapbap)(1log)()(1log)bI(a-)bI(a)b;I(ajijijijijibapbpap), 2 , 1;, 2 , 1(mjni第21页/共88页将事件互信息量的概念推广至多维空间：将事件互信息量的概念推广至多维空间：在三维在三维X Y Z联合集中，有：联合集中，有： I( (xi ; yj zk)=)= I( (xi ; yj )+)+

17、 I( (xi; zkyj) ) （2-92-9） 类似，在类似，在N维维U1 U2 UN联合空间联合空间, ,有：有： I (u1; u2u3 uN ) = I (u1; u2 )+ I (u1; u3u2) + + I (u1; uiu2 u i-1)+ + + I (u1; uNu2 uN -1) （2-10） 第22页/共88页三维三维X Y Z联合集中，在给定条件联合集中，在给定条件zk的情况下的情况下, , xi , , yj的互信息量的互信息量I( (xi ; ;yjzk ) )定义为：定义为： （2-11）)()(log);(kikjikjizxpzyxpzyxI2 2条件互信

18、息量条件互信息量第23页/共88页3 3互信息量的性质互信息量的性质 （1 1）互易性）互易性 对称性对称性 I(xi ;yj )= I(yj ; xi) (2-12) （2 2）可加性：）可加性：);();();();();(12112123121321NNiiNuuuuIuuuuIuuuIuuIuuuuI第24页/共88页（4） 互信息量互信息量I(xi ;yj)可以是正数，也可以是负数。可以是正数，也可以是负数。 （3 3）当）当xi , ,yj统计独立时，互信息量统计独立时，互信息量I( (xi ; ;yj) = 0及条件互及条件互信息量信息量0);(kjizyxI（5 5）两个事件的

19、互信息量不大于单个事件的自信息量，即有：）两个事件的互信息量不大于单个事件的自信息量，即有： （2-13） )()();(jijiyIxIyxI第25页/共88页【例【例2. .8】信源包含】信源包含7 7个消息个消息x0, ,x1, ,x2, ,x3, ,x4, ,x5, ,x6 信源编码器将其信源编码器将其对应编成对应编成7个三位二进制数个三位二进制数000，001, , ,110。各消息的先验概率已。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受发生变化。考虑在接受100三个数字的

20、过程中，各后验概率的变化三个数字的过程中，各后验概率的变化，计算信息量，计算信息量I I( (x4; ;100) )。信源信源消息消息码码字字消 息 先消 息 先验概率验概率消息后验概率消息后验概率收到收到1 1后后收到收到1010后后收到收到100100后后x0 0000001/161/160 000 0 x1 0010011/161/160 000 0 x2 0100101/161/160 000 0 x3 0110111/161/160 000 0 x4 1001001/21/22/32/34/54/51 1x5 1011011/81/81/61/61/51/50 0 x61101101

21、/81/81/61/60 00 0表表2-4为为7个三位二进制数对应的各种概率。个三位二进制数对应的各种概率。第26页/共88页 根据给定的先验概率，可算出：根据给定的先验概率，可算出： 21)(4xp3281812121) 1(4xp54613232)10(4xpP (x4100) = 1第27页/共88页 将各种后验概率的计算结果列于表将各种后验概率的计算结果列于表2-3中，再根据式（中，再根据式（2-10）计）计算出互信息量：算出互信息量：I (x4;100 ) = = I (x4; 1)+ I (x4; 01)+ I (x4; 010) ( ( 比 特比 特) ) 也可直接计算出：也可

22、直接计算出： ( (比比特特) )10()100(log) 1()10(log)() 1(log444444xpxpxpxpxpxp12log541log3254log2132log1211log)()100(log)100;(444xpxpxI第28页/共88页2 22 2 离散集的平均自信息量离散集的平均自信息量 信信源源熵熵熵熵条条件件熵熵联联合合熵熵第29页/共88页2 22 2 离散集的平均自信息量离散集的平均自信息量 1 1平均自信息量平均自信息量( (熵熵) ) 无记忆信源的平均自信息量定义为各消息自信息量的概无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均

23、值），即率加权平均值（统计平均值），即平均自信息量平均自信息量H( (X) )定 义 为 ：定 义 为 ： （2-152-15 ） H( (X) )的表达式与统计物理学中的热熵具有相类似的表达式与统计物理学中的热熵具有相类似的形式，的形式，在概念上二者也有相同之处，故借用熵在概念上二者也有相同之处，故借用熵这个词把这个词把H H( (X X) )称为集合称为集合X X的的信息熵信息熵，简称熵。，简称熵。 第30页/共88页【例【例2. .9】计算下列信源的熵】计算下列信源的熵（1）信源一：）信源一： 熵熵 H( (X1) ) =- -0.99 log 0.99 0.01 log 0.01 =

24、0.08 比特比特/ /符符号号（2 2）信源二：等概信源）信源二：等概信源熵熵 H( (X2) ) = - - 0.5 log 0.5 - 0.5 log 0.5 = 1 比特比特/ /符号符号（3 3）信源三）信源三: : 等概信源等概信源熵熵 H( (X3) ) = - -40.25 log 0.25 = log4 = 2 比特比特/ /符号符号5 . 05 . 0)(1022xxXqX25. 025. 025. 025. 0)(321033xxxxXqX01. 099. 0)(1011xxXqX第31页/共88页 (5) (5) 信源五：一般情况下，二元信源的概率分布为信源五：一般情况

25、下，二元信源的概率分布为 熵熵 H( (X) = ) = log - -（1-）log（1-）记记H2( () = ) = log - -（1-）log（1-）H2( () )与与的关系如图的关系如图2-2所示。所示。110)(55XqX（4 4）信源四：）信源四： 信源为确定事件信源为确定事件 熵熵H( (X4) = -) = - 0 log 0 1 log 1 = 0 计算结果说明确定事件的熵为零计算结果说明确定事件的熵为零 10)(1044xxXqX H 2 2()() 0 0.5 1 图图 2-2 2-2 H2( () )与与关关系系第32页/共88页信源熵与信息量的比较信源熵与信息量

26、的比较 信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息与信源是否输出无关与信源是否输出无关 接收后才得到信息接收后才得到信息 确定值确定值 一般为随机量一般为随机量 有限值有限值 可为无穷大可为无穷大信源熵和平均自信息量两者在信源熵和平均自信息量两者在第33页/共88页总括起来，信源熵有三种物理含义：信源熵H(X)表示，离散消息所提供的。信源熵H(X)表示，信源的。信源熵H(X)反映了。123第34页/共88页2 2平均条件自信息量平均条件自信息量( (条件熵条件熵) )ijjiijjijijiyxyxpyxIyxpYXH)(log)()()()(（2-16） 若事件

27、若事件xi yj的联合分布概率为的联合分布概率为p(xi yj )，给定给定yj条件下事件条件下事件xi的条件自信息量为的条件自信息量为I (xiyj)，则则H (XY) 定义为：定义为：第35页/共88页当当X , ,Y统计独立时，有统计独立时，有p (xi yj) = q ( xi )( yj )，(xiyj) = q (xi)，则则 （2-172-17） )()(jiijjiyxIyxpYXH XHxqxqxqxqyYXHiiiijiij)(log)()(log)()(从通信角度来看：从通信角度来看：若将若将X = x1，x2，xi， 视为信源输出符号；视为信源输出符号； Y = y1，

28、y2，yj， 视为信宿接收符号；视为信宿接收符号；I (xiyj)可看作信宿收到可看作信宿收到yj后，关于发送的是否为后，关于发送的是否为xi仍然存在仍然存在的疑义度（不确定性），则的疑义度（不确定性），则 反映了经过通信后，信宿符号反映了经过通信后，信宿符号yj（j = = 1, 2,）关于信关于信源符号源符号xi（i = = 1, 2,）的平均不确定性。的平均不确定性。第36页/共88页类似，若给定类似，若给定xi条件下事件条件下事件yj的条件自信息量为的条件自信息量为I (yjxi)，则则H (YX)定义为定义为 （2-182-18）当当X , ,Y统计独立时，有统计独立时，有p (xi

29、 yj) = q ( xi )( yj )， ，则则 （2-192-19）ijijijjiijjixypyxpxyIyxpXYH)(log)()()()()()(jijyxyp YHyyyyxqXYHjjjjijji)(log)()(log)()(存在以下两种极端情况：存在以下两种极端情况： （1）对于无噪信道）对于无噪信道H (XY) = 0 （2）在强噪声情况下，收到的）在强噪声情况下，收到的Y与与X毫不相干，可视为统计独立，毫不相干，可视为统计独立，H (XY) = H (X) 第37页/共88页（2 2）对于强噪信道，有）对于强噪信道，有H (YX)= H (Y) 。（1 1） 对于无

30、扰信道，有对于无扰信道，有H (YX) = 0。 从通信角度来看，从通信角度来看，H (YX)是发出确定消息是发出确定消息xi后后，由于信道干扰而使，由于信道干扰而使yj存在的平均不确定性，称存在的平均不确定性，称H (YX)为噪声熵（散布度）。为噪声熵（散布度）。 存在以下两种极端情况：存在以下两种极端情况：第38页/共88页由熵、条件熵、联合熵的定义式可导出三者的关系式由熵、条件熵、联合熵的定义式可导出三者的关系式 H (X Y) = H (X) + H (YX)= H (Y) +H (XY) （221） H( (X Y)=)= H( (X)+)+ H( (Y) ) (2- (2-22)2

31、2)上式反映了信息的可加性。当上式反映了信息的可加性。当X, ,Y统计独立时，有统计独立时，有3 3联合熵联合熵 联合熵联合熵H (XY) 是定义在二维空间是定义在二维空间X Y上，对元素上，对元素xi yj的自的自信息量的统计平均值，若记事件信息量的统计平均值，若记事件xi yj出现的概率为出现的概率为p (xi yj)，其其自信息量为自信息量为I (xi yj)，则联合熵则联合熵H (X Y) 定义为定义为 （2-202-20） ijjijiyxIyxpXYH)()(ijjijiyxpyxp)(log)(第39页/共88页1凸集合与凸函数凸集合与凸函数简单介绍凸集和凸函数的概念。简单介绍凸

32、集和凸函数的概念。定义定义2.12.1 是是n维实矢量空间集合维实矢量空间集合R中任意两个中任意两个n维矢量，维矢量，对实数对实数，0 1，有有 + +（1-） R则称则称R为为凸集合凸集合。 ),(21n),(21n222 熵函数的性质熵函数的性质第40页/共88页图图2 23 3 一维和二维凸集合的例子一维和二维凸集合的例子凸集合凸集合非非凸凸集合集合 从几何上来看，若从几何上来看，若，是集合是集合R中的任意两点，中的任意两点，+ +（1-）表示这两点间的连线，若该连线也在集合表示这两点间的连线，若该连线也在集合R中，则称为中，则称为R凸集。下面给出了几个凸集和非凸集合的凸集。下面给出了几

33、个凸集和非凸集合的例子。例子。第41页/共88页 定义定义2. .2 设设f( (x) = ) = f (x1, x2, , xn) 为一个为一个n元函数，若对元函数，若对任意任意f (x1), f (x2) f (x) ，任意正数任意正数，0 1，有有f (x1) +（1-）f (x2) f x1 +（1-）x2 (2-(2-23)23)x0 0 x1 1 x1+(1-) x2 x2 2 图图2-4 2-4 一元一元型凸函数型凸函数f (x1)f (x1)+(1-) f (x2) f x1+(1-)x2 f (x)f (x2)则称则称f( (x) )为定为定义 域 上 的义 域 上 的 型凸

34、函数。型凸函数。一 元一 元 型 凸型 凸函数可用图函数可用图2-4所示的几何所示的几何图形表示。图形表示。第42页/共88页定义定义2. .3 设设f( (x) = ) = f (x1, x2, , xn) 为一个为一个n元函数，若对元函数，若对任意任意f (x1), f (x2) f (x) ，任意正数任意正数，0 1，有有f x1 +（1-）x2 f (x1) +（1-）f (x2) (2-(2-24)24)图图2-5 2-5 一元一元型凸函型凸函数数x1 x1+(1-) x2 x2 x f (x1 )f x1+(1-) x2f (x1)+(1-) f (x2)f (x) f (x2 )

35、则称则称f( (x) )为定为定义域上的义域上的型型凸函数，一元凸函数，一元型凸函数可型凸函数可用图用图2-5所示的所示的几何图形表示几何图形表示。第43页/共88页2极大离散熵定理极大离散熵定理 设信源的消息个数为设信源的消息个数为M，则则H( (X) ) logM，等号当且仅当信等号当且仅当信源源X中各消息等概中各消息等概 时成立，即各消息等概分布时，信时成立，即各消息等概分布时，信源熵最大。源熵最大。M1iiiiiMxqxqxqMXHlog)()(1log)(log证明方法一：利用不等式证明方法一：利用不等式log x x - 1- 1等号在等号在x = 1 = 1时成立（见图时成立（见

36、图 2-6） iiiMxqxq)(1log)(iiiMxqxq) 1)(1)(iiixqM011)(1图图2-6 logx x1 1关系关系 曲线曲线x-1 log x 10 x第44页/共88页上面两种证明方法是信息论中经上面两种证明方法是信息论中经常用到的证明方法常用到的证明方法 证明方法二：利用证明方法二：利用log x的的型凸函数性质型凸函数性质 = log 1 = 0 证毕iiiMxqxq)(1log)(iiiMxqxq)(1)(logiM1logH(X)-log M第45页/共88页3熵函数的性质熵函数的性质 （1 1）对称性对称性集合集合X = x1，x2，xN 中的各元素中的各

37、元素x1，x2，xN任意改任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。件对应哪个概率。例如例如 和和 的熵是相等的。的熵是相等的。818141214321xxxx214181814321xxxx第46页/共88页 （4 4）扩展性扩展性：离散事件集：离散事件集 ，增加一个，增加一个不可能事件不可能事件xN+1后，得到集合，后，得到集合，0，则两个集合的熵相等则两个集合的熵相等 NNpppxxx212112121NNNxpppxxx （2 2）非负性非负性：H( (X) ) 0 0010021Nixxxx （3 3

38、）确定性确定性：在集合：在集合X = ( (x1，x2，xN) )中，若有一个事件是中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分必然事件，则其余事件必为不可能事件，即该集合的概率分布为布为 第47页/共88页（5 5）可加性可加性：集合集合X = x1，x2，xi，xi+1，xN 的概率分布为：的概率分布为：则下式成立：则下式成立：H( (X)=)= H( (x1，x2，xi，xi+1，xN) ) （2-252-25）),()(),(111121121iiiiiiiiNiiiippppppHppxxxxxxxH)()()()()(121121NiiNiixpxpxpx

39、pxpxxxxx（6 6）条件熵小于等于无条件熵条件熵小于等于无条件熵即：即：H (XY) H (X) X, ,Y 统计独立时等号成立。统计独立时等号成立。 第48页/共88页（7 7） 联合熵大于等于独立事件的熵，小于等于两联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即：独立事件熵之和，即： （2-262-26） H (XY) H (X) + H (Y) （2-272-27）)()()()(YHXYHXHXYH第49页/共88页2 23 3离散集的平均互信息量离散集的平均互信息量1平均互信息量平均互信息量定义定义xi X和和yj Y之间的互信息量为之间的互信息量为I( (xi ;

40、;yj ) )，在集合在集合X上对上对I( (xi ; ;yj ) )进行概率加权统计平均，可得进行概率加权统计平均，可得I( (X; ;yj) )为：为： iijijijiijijxqyxyxyxIyxyXI)()(log);();(231 平均互信息量平均互信息量 （2-28）第50页/共88页再将式（再将式（2-28）对集合）对集合Y进行统计平均，就可以得到平均进行统计平均，就可以得到平均互信息量互信息量 （2-302-30 ）iijjijijijjijiyxqyxpyxpyxIyxpYXI)()()(log)();()(; 当当X, ,Y统计独立时，统计独立时，I( (xi ; ;yj

41、 )= )= 0，从而从而I( (X ; Y)=)= 0 第51页/共88页【例【例2. .14】二元等概信源】二元等概信源 ，通过信道转移，通过信道转移概率为概率为 的信道传输，信宿接收符号的信道传输，信宿接收符号Y = y0, y1，计算信源与信宿间的平均互信息量计算信源与信宿间的平均互信息量I（X；Y）。）。2121)(10 xxXqX212161651010 xxyyP P （1） 先根据先根据 计算出计算出iiijjxqxypy)()()(32216521)()()()()(1100000 xqxypxqxypy31216121)()()()()(1110011xqxypxqxypy

42、 （2 2） 由由 计算后验概率计算后验概率)()()()(jiijjiyxqxypyx85322165)()()()(000000yxqxypyx第52页/共88页83322121)()()()(011001yxqxypyx41312161)()()()(100110yxqxypyx43312121)()()()(111111yxqxypyx322. 045log2185log)()(log);(00000 xqyxyxI121log2141log)()(log);(01010 xqyxyxI415. 043log2183log)()(log);(10101xqyxyxI585. 023lo

43、g2143log)()(log);(11111xqyxyxI （3 3）计算各消息之间的互信息量）计算各消息之间的互信息量I( (xi ; ;yj ) ) （比特）比特） （比特）（比特） （比特）（比特） （比特（比特） 第53页/共88页（4） 计算平均互信息量计算平均互信息量 （比（比特）特） );()();(jiijjiyxIyxpYXI);()()(jiiijjiyxIxypxq093. 0585. 021)415. 0(21) 1(61322. 06521第54页/共88页 对上式在三维空间对上式在三维空间XYZ上求概率加权平均值，就得到平均条上求概率加权平均值，就得到平均条件互信

44、息量件互信息量 （2-312-31）式中式中p( (xi yj zk) )满足满足ikjikjijkzyxIzyxpZYXI)()(;ikjkikjikjijkzypzxpzyxpzyxp)()()(log)( ijkkjizyxp1)( 2平均条件互信息量平均条件互信息量 平均条件互信息量平均条件互信息量I(X;YZ)是在联合概率空间是在联合概率空间 XYZ，p( (xyz)上定义的物理量。由式（上定义的物理量。由式（2-11）知道）知道 )()()(log)()(log);(kjkikjikikjikjizypzxpzyxpzxpzyxpzyxI第55页/共88页1 平均互信息量的性质平均

45、互信息量的性质232 平均互信息量的性质平均互信息量的性质 (1(1) ) 非负性非负性： （2-322-32）0;0;ZYXIYXI (2)(2) 互易性互易性： I( (X ; Y)=)= I( (Y ; X) ) （2-332-33） 由由 的对称性可得到。的对称性可得到。 ijijijijyxqyxpyxpYXI)()()(log)(; )(;)(;bYHYXIaXHYXI342342(3)第56页/共88页I( (X;Y)=)= H（X）- -H（XY）(2-35)(2-35)I( (X;Y)=)= H（Y）- -H（YX） (2-36) (2-36) I( (X;Y)=)= H(

46、(X)+)+ H( (Y)-)- H( (XY )(2-37)(2-37) ) )2平均互信息量与信源熵、条件熵的关系平均互信息量与信源熵、条件熵的关系2-7维拉图 XHYXHXYH YHYXI;YXH ,它们之间它们之间的关系可的关系可以用维拉以用维拉图表示图表示第57页/共88页 设设X为发送消息符号集，为发送消息符号集，Y为接收符号集，为接收符号集，H( (X) )是输入集的平是输入集的平均不确定性均不确定性, ,H（XY）是观察到是观察到Y后，集后，集X还保留的不确定性还保留的不确定性，二者之差，二者之差I( (X; ;Y) )就是在接收过程中得到的关于就是在接收过程中得到的关于X,

47、,Y的平均互的平均互信息量。信息量。 对于无扰信道，对于无扰信道，I( (X ; Y)=)=H( (X) )。 对于强噪信道，对于强噪信道，I( (X ; Y)= 0)= 0。从通信的角度来讨从通信的角度来讨论平均互信息量论平均互信息量I( (X ; Y) )的物理意义的物理意义由第一等式由第一等式I I( (X X; ;Y Y)=)= H H（X X）- -H H（X XY Y）看看I I( (X X; ;Y Y) )的物理意义的物理意义第58页/共88页 对于无扰信道，有对于无扰信道，有I( (X ; Y)=)=H( (X)=)=H( (Y) )。 对于强噪信道，有对于强噪信道，有H（YX

48、）= H（Y），），则则I( (X ; Y ) = ) = 0。H( (Y) )是观察到是观察到Y所获得的信息量，所获得的信息量，H（YX）是发出是发出确定消息确定消息X后，后，由于干扰而使由于干扰而使Y Y存在的平均不确定性存在的平均不确定性， 二者之差二者之差I( (X ; Y) )就是一次通信所获得的信息量。就是一次通信所获得的信息量。由第由第二二等式等式I( (X;Y)=)= H（Y)-)-H（YX）看看I I( (X X; ;Y Y) )的物理意的物理意义义第59页/共88页 通信前，随机变量通信前，随机变量X和随机变量和随机变量Y可视为统计独立可视为统计独立，其先验不确定性为，其先

49、验不确定性为H( (X)+)+ H( (Y) )， 通信后，整个系统的后验不确定性为通信后，整个系统的后验不确定性为H( (XY) )，二者之差二者之差H( (X)+)+ H( (Y)-)- H( (XY) )就是通信过程中不确就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量定性减少的量，也就是通信过程中获得的平均互信息量I( (X ; Y) )。由第由第三三等式等式I( (X;Y)=)= H( (X)+)+ H( (Y)-)- H( (X, ,Y) )看看I I( (X X; ;Y Y) )的物理意的物理意义义第60页/共88页【例【例2. .15】已知信源消息集为】已知信

50、源消息集为X= 0,1,接收符号集为接收符号集为Y= 0,1 ，通通过有扰信道传输，其传输特性如图过有扰信道传输，其传输特性如图2-8所示，这是一个二进制对称所示，这是一个二进制对称信道信道BSCBSC。已知先验概率已知先验概率 , , 计算平均互信息量计算平均互信息量I( ( X;Y) )及各种熵及各种熵。 0 1- 0 1 1- 1 图图2-8 2-8 二进制对称信道二进制对称信道记记 q( (x) )为信源输入概率；为信源输入概率； ( (y) )为信宿输出概率；为信宿输出概率； p(yx)为信道转移概率；为信道转移概率； (xy)为后验概率。为后验概率。第61页/共88页（1 1）由图

51、）由图2-82-8得得 ，先算出，先算出p(xi yj)= q( (xi) )p(yjxi) 11P P)1 ( 5 . 0) 00 () 0 ()00(pqp5 . 0) 01 () 0 ()01(pqp5 . 0) 10() 1 ()10(pqp)1 ( 5 . 0) 11 () 1 ()11(pqp （2 2）计算）计算 得：得：ijijyxpy)()(iippxp5 . 05 . 0)1 ( 5 . 0)10()00() 0() 0 (5 . 0)1 ( 5 . 05 . 0)11()01() 1() 1 (iippxp第62页/共88页 （3 3） 计算后验概率，得：计算后验概率，得

52、： 15 . 0)1 (5 . 0)0()00()00(p5.05.0)1()01()10(p5.05.0)0()10()01(p15 . 0)1 ( 5 . 0) 1 ()11() 11 (p（4 4）计算各种熵及平均互信息量：）计算各种熵及平均互信息量：信源熵信源熵 信宿熵信宿熵 联合熵联合熵 = - -2 0.5 (1-) log 0.5(1-)- -2 0.5log 0.5 = log2 - - (1- -) log (1- -)- -log = log2 + H 2 () 式中：式中： iiixqxqXH2log5 . 0log5 . 05 . 0log5 . 0)(log)( jj

53、jyyYH2log5 . 0log5 . 05 . 0log5 . 0)(log)(ijijjiyxpyxpXYH)(log)(log)1log()1 ()(2H第63页/共88页散布度散布度 = -p(00) log p(00)-p(01) log p(10)-p(10) log p(01)-p(11) log p(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()ijijjixypyxpXYH)(log)(可疑度可疑度 = -p(00) log(00)-p(01) log(01)-p(10) log(10)-p(11) log(11) = -2 0.5

54、(1-) log (1-)-2 0.5log= H 2 ()ijjijiyxyxpYXH)(log)(平均互信息量平均互信息量 I( (X ; Y)=)= H( (X)+)+ H( (Y)-)- H( (XY) =) = log2 + H 2 () 第64页/共88页研究通信问题，主要研究的是信源和信道，它们的统计特性可研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率以分别用消息先验概率q( (x) )及信道转移概率及信道转移概率p(yx)来描述，而平来描述，而平均互信息量均互信息量I( (X ; Y) )是经过一次通信后信宿所获得的信息。是经过一次通信后信宿所获得的

55、信息。由式（由式（2-30）知道，）知道，平均互信息量定义平均互信息量定义为：为： （2-382-38）)()()(log)();(jijiijjiyxqyxpyxpYXIiiijijijiijxqxypxypxqxyp)()()(log)()(233 有关平均互信息量的两条定理有关平均互信息量的两条定理上式说明上式说明I( (X ; Y) )是信源分布概率是信源分布概率q( (x) )和信道转移和信道转移概率概率p(yx)的函数，下面两条定理阐明了的函数，下面两条定理阐明了I( (X ; Y) )与与q( (x) )和和p(yx)之间的关系。之间的关系。第65页/共88页定理定理2.1 当信

56、道给定，即信道转移概率当信道给定，即信道转移概率p(yx)固定，平固定，平均互信息量均互信息量I( (X ; Y) )是信源概率分布是信源概率分布q( (x) )的的型凸函数。型凸函数。 两个信源分布两个信源分布q1( (x) )和和q2( (x) )，分别对应平均互信息量分别对应平均互信息量I1( (X ; Y) )和和I2( (X ; Y) )，记概率分布记概率分布q( (x)=)=q1( (x)+(1-)+(1-) )q2( (x) ) （式式中中0 0 1 1），），对应平均互信息量对应平均互信息量I I( (X X ; ; Y Y) )，若若I I( (X X ; ; Y Y) )是

57、是型凸函数，则应满足：型凸函数，则应满足： I I1 1( (X X ; ; Y Y)+(1-)+(1-) ) I I2 2( (X X ; ; Y Y) ) I I( (X X ; ; Y Y) ) （2-392-39）式式( (2-39) )表示：表示：函数的均值小于等于均值的函数函数的均值小于等于均值的函数，见图，见图2-9 图图2-92-9函数的均值函数的均值 均值的函均值的函数数q1 q1+(1-) q2 q2 q(x)I (q1)+(1-) I (q2Iq(x)I q1+(1-) q2第66页/共88页 定理定理2.1说明，信道固定时，对于不同的信源分布，信道说明，信道固定时，对于

58、不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布），一定存在一种信源（一种分布）q( (x) )，使输出端获得的信使输出端获得的信息量最大。息量最大。11P P【例【例2. .16】二进制对称信道】二进制对称信道BSCBSC如图如图2-10所示，输入符号集所示，输入符号集X =x1, ,x2=0, ,1 ，输出符号集输出符号集Y =y1, ,y2=0, ,1 ，信道转移概率矩阵信道转移概率矩阵 ，信源分布为：，信源分布为： ，计算平均互信，计算平均互信 息量息量 I( (X;Y)=)= H（

59、Y）- -H（YX） 0 1- 0 1 1- 1 图图2-10 2-10 二进制对称信道二进制对称信道110)(XqX第67页/共88页先由先由 算出：算出：(0) = q(0) p(00) + q(1) p(01) =(1-) + (1-)(1) = = 1- -(0) )()()(iijijxypxqy再计算熵和条件熵再计算熵和条件熵 = H2 (1-) + (1-) = - - (1-) log (1-)- -log= H2 () )(log)(21jjjyyYH)(log)()(ijiijijxypxqxypXYH第68页/共88页则平均互信息量则平均互信息量I( (X;Y)=)= H

60、（Y)-)-H（YX）= H2 (1-) + (1-) - - H2 () 当信道固定，即当信道固定，即 为恒值，则为恒值，则I( (X;Y) )是是的的函数，其曲线如函数，其曲线如下图下图2-11所示。所示。当当= 0.5时时, ,I( (X ; Y) )取得极大值，取得极大值，其值为其值为log 2 - -H2(),(),这种情况对应这种情况对应等概分布等概分布, ,信源的平均不确定性最大信源的平均不确定性最大. . 当当= 0或或1时，这是确定信源的时，这是确定信源的情况，通信得不到任何信息，情况，通信得不到任何信息，即即I( (X ; Y) =) = 0。 图图2-112-11为恒值时