信息的度量课件

第二章信息的度量11度量信息的基本思路信源熵和条件熵互信息量和平均互信息量多维随机变量的熵

本章内容提要2度量信息的基本思路本章内容提要2信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。对于随机出现的事件，它的出现会给人们带来多大的信息量？考虑到通信系统或很多实际的信息传输系统，对于所传输的消息如何用信息量的方法来描述？本章将围绕这些问题展开讨论。第2章信息的度量3信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量从讨论信源的特征入手，给出定量度量信息的方法。以天文学范畴的事件为例。小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息如果把都是天文学内的事件看作是天文学这个“信源”输出的符号，则这个信源可以看作是单符号离散信源。2.1.1单符号离散信源2.1度量信息的基本思路4从讨论信源的特征入手，给出定量度量信息的方法。2.1.1单符由此给出如下定义：定义2.1

如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。2.1度量信息的基本思路2.1.1单符号离散信源5由此给出如下定义：2.1度量信息的基本思路2.1.1单符号单符号离散信源的实例掷骰子每次只能是1,2,3,4,5,6中的某一个；天气预报可能是晴、阴、雨、雪、风、冰雹…中的一种或其组合以及温度、污染等；二进制通信中传输的只是1、0两个数字；等等。这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。因此，信源又可以看作是具有一定概率分布的某一符号集合。2.1度量信息的基本思路2.1.1单符号离散信源6单符号离散信源的实例2.1度量信息的基本思路2.1.1单符定义2.2若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称为信源的概率空间或简称为信源空间。信源空间通常用如下方式来描述：

显然，信源空间必定是一个完备集，即2.1度量信息的基本思路2.1.1单符号离散信源7定义2.2显然，信源空间必定是一个完备集，即2.1度量信考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。设x1为最大可能的输出，xN为最小可能的输出。例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰雹或其它强对流天气。哪个输出包含更多的信息，x1还是xN？直观地，传递xN

给出了更多的信息。由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。2.1.2度量信息的基本思路2.1度量信息的基本思路8考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。2假设与输出xi相关的信息能被分成独立的两部分，比如xi1与xi2，即xi={xi1，xi2}。例如，假设天气预报中的天气及温度变化是与污染程度相关性很小甚至几乎完全独立的，则信源的每一个输出就能分成独立的两部分。直观地，传递xi所包含的信息量是分别传递xi1和xi2所得到的信息量的和。2.1.2度量信息的基本思路2.1度量信息的基本思路9假设与输出xi相关的信息能被分成独立的两部分，比如xi1与x

若信源中事件xi的出现所带来的信息量用I(xi)来表示并称之为事件xi的自信息量，则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须满足以下几个条件：2.1.2度量信息的基本思路2.1度量信息的基本思路10 2.1.2度量信息的基本思路2.1度量信息的基本思路101.信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。2.I(xi)是P(xi)的连续函数。3.I(xi)是P(xi)的减函数，即：如果P(xi)>P(xj)，则I(xi)<I(xj)。极限情况，若P(xi)=0,则I(xi)→∞；若P(xi)=1,则I(xi)=0。4.若两个单符号离散信源（符号集合X,Y

）统计独立,则X中出现xi、Y中出现yj的联合信息量

I(xi,yj)=I(xi)+I(yj)只有对数函数能够同时满足以上条件。2.1度量信息的基本思路2.1.2度量信息的基本思路111.信源输出xi所包含的信息量仅依赖于它的概率，而与它的取定义2.3

事件xi的出现所带来的信息量为事件xi的自信息量。2.1度量信息的基本思路2.1.2度量信息的基本思路12定义2.32.1度量信息的基本思路2.1.2度量信息的基I(xi)实质上是无量纲的为研究问题的方便，根据对数的底定义信息量的量纲对数的底取2，则信息量的单位为比特（bit）；取e（自然对数），则单位为奈特（nat）；取10（常用对数），则单位为哈特。利用换底公式容易求得： 1nat1.44bit 1Hart3.32bit在通信及目前的绝大多数信息传输系统中，都是以二进制为基础的，因此信息量单位以比特最为常用在没有特别说明的情况下，通常(2.3)式的量纲即为比特，且底数2被省略。2.1度量信息的基本思路2.1.2度量信息的基本思路13I(xi)实质上是无量纲的2.1度量信息的基本思路2.1.例2.1

一个1,0等概的二进制随机序列，求任一码元的自信息量。 解：任一码元不是为0就是为1 因为P(0)=P(1)=1/2 所以I(0)=I(1)=–lb(1/2)=1(bit)2.1度量信息的基本思路2.1.2度量信息的基本思路14例2.12.1度量信息的基本思路2.1.2度量信息的基本例2.2

对于2n进制的数字序列,假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。 解：设2n进制数字序列任一码元xi的出现概率为P(xi)，根据题意，

P(xi)=1/2n

I(xi)=–lb(1/2n)=n(bit)事件的自信息量只与其概率有关，而与它的取值无关。2.1度量信息的基本思路2.1.2度量信息的基本思路15例2.22.1度量信息的基本思路2.1.2度量信息的基本信宿端收到某一消息后所得到的信息量，可以等效为接收者在通信前后“不确定”因素的减少或消除。事件的不确定性可用不确定度描述，它同样是事件概率的函数，在数值和量纲上和自信息量相等，因此都可以用(2.3)式来计算。某一随机事件的出现所给出的信息量（自信息量），在数值上与该随机事件的不确定度不但相关而且相等，即事件的出现等效成事件不确定集合的元素的减少，或简称为事件不确定度的减少。2.1度量信息的基本思路2.1.3自信息量和不确定度的关系16信宿端收到某一消息后所得到的信息量，可以等效为接收者在通信前自信息量和该事件的不确定度的含义有本质的区别。不确定度只与事件的概率有关，是一个统计量，在静态状态下也存在；自信息量只有该随机事件出现时才给出，不出现时不给出，因此它是一个动态的概念。2.1度量信息的基本思路2.1.3自信息量和不确定度的关系17自信息量和该事件的不确定度的含义有本质的区别。2.1度量信自信息量I(xi)只能表示信源发出的某一具体符号xi的自信息量。很多信源的符号集合具有多个元素且其概率并不相等，即P(xi)≠P(xj)，因此I(xi)不能作为整个信源的总体信息测度。能作为信源总体信息测度的量应是信源各个不同符号xi

(i=1,2,…,N)所包含的自信息量I(xi)(i=1,2,…,N)在信源空间 P(X)={P(x1),P(x2),…,P(xi),…,P(xN

)}中的统计平均值。2.2信源熵和条件熵2.2.1信源熵18自信息量I(xi)只能表示信源发出的某一具体符号xi的自信 定义2.4

若信源符号xi

的出现概率为P(xi)，自信息量为I(xi)(i=1,2,…,N)，则称为信源的信息熵，简称信源熵。其中，定义0lb0=0。2.2信源熵和条件熵2.2.1信源熵192.2信源熵和条件熵2.2.1信源熵19对于单符号离散信源，信源熵是信源每发一个符号所提供的平均信息量，其量纲为信息单位/信源符号。信源熵只与信源符号的概率分布有关，是一种先验熵。对于任何给定概率分布的信源，H(X)是一个确定的数，其大小代表了信源每发出一个符号给出的平均信息量。2.2信源熵和条件熵2.2.1信源熵20对于单符号离散信源，信源熵是信源每发一个符号所提供的平均信息例2.3

二进制通信系统的信源空间为求该信源的熵。

解:

设P(1)=p，则P(0)=1-p。由(2.4)式，有 H(X)=-plbp-(1-p)lb(1-p) (2.5)上式又称为二进制熵函数，也常用Hb(p)表示p=0或p=1时，H(X)=0；p=1/2时，H(X)=1。2.2信源熵和条件熵2.2.1信源熵21例2.3二进制通信系统的信源空间为2.2信源熵和条件熵22.2信源熵和条件熵2.2.1信源熵图2.1二进制熵函数222.2信源熵和条件熵2.2.1信源熵图2.1二进制熵函数2信息熵借用热力学中的熵给出了平均信息量的概念，不但可以表征信源的信息统计测度，也可以表征任何集合的信息统计测度。例如，若信宿的符号yj

的出现概率为P(yj)，自信息量为I(yj)(j=1,2,…,M)，则信宿熵为2.2信源熵和条件熵2.2.1信源熵23信息熵借用热力学中的熵给出了平均信息量的概念，不但可以表征信若信源的输出为X，信宿的输入为Y，即考虑了信道的作用，如图2.2所示，这时经常是某一事件在某种条件下才出现，它的出现所带来的信息量就必须要在联合符号集合X、Y中进行考虑，且需用条件概率来描述。

2.2.2条件自信息量2.2信源熵和条件熵图2.2最简单的通信系统模型24若信源的输出为X，信宿的输入为Y，即考虑了信道的作用，如图2定义2.5

设在yj条件下，随机事件xi的条件概率为P(xi/yj)，则xi的出现所带来的信息量被称为它的条件自信息量，表示为

(2.6)类似地，在xi条件下，随机事件yj出现所带来的信息量亦是条件自信息量：(2.7)2.2信源熵和条件熵2.2.2条件自信息量上述条件概率仅仅由信道特性决定，可以看作是由信道给出的信息量。25定义2.5设在yj条件下，随机事件xi的条件概率为P(xi为寻求在给定y条件下X集合的总体信息量度，有2.2信源熵和条件熵2.2.3条件熵考虑到整个Y集合，有(2.9)26为寻求在给定y条件下X集合的总体信息量度，有2.2信源熵和定义2.6

对于联合符号集XY，在给定Y的条件下，用联合概率P(xy)对X集合的条件自信息量进行加权的统计平均值，为X的条件熵。由此可见，条件熵表示了信道所给出的平均信息量。2.2信源熵和条件熵2.2.3条件熵27定义2.6对于联合符号集XY，在给定Y的条件下，用联合概在图2.3的通信系统信息传输模型中，若信道存在干扰，信宿收到从信道输出的某一符号yj后，能够获取多少关于从信源发某一符号xi的信息量？

图2.3最简单的通信系统信息传输模型2.2信源熵和条件熵2.2.3条件熵28在图2.3的通信系统信息传输模型中，若信道存在干扰，信宿收到定义2.7

对两个离散随机事件集合X和Y，事件yj的出现给出关于事件xi的信息量，定义为事件xi、yj的互信息量，用I(xi

;yj)表示。讨论多维问题后，将讨论I(xi;yj)与I(xi,yj)的区别。

2.3互信息量和平均互信息量2.3.1互信息量29定义2.7对两个离散随机事件集合X和Y，事件yj的出现给互信息量的表示式。首先考虑信道没有干扰的情况：

信源发xi，信宿获取其全部信息量，即信源信息通过信道全部流通到信宿，有 I(xi

;yj)=I(xi)2.3互信息量和平均互信息量2.3.1互信息量30互信息量的表示式。2.3互信息量和平均互信息量2.3.1互当信道存在干扰时，信源发xi，信宿收到的yj可能是xi的某种变型，亦即除了信源给出的信息外，还可能有纯粹是信道给出的“信息”。收到yj后，考虑从发端发xi这一事件中获得的信息量，应该是

(2.10) 故有

(2.11)

2.3互信息量和平均互信息量2.3.1互信息量31当信道存在干扰时，信源发xi，信宿收到的yj可能是xi的某种

1.对称性如果考虑信息的反向流通问题，即考虑事件xi的出现给出关于事件yj的信息量，或者从xi中获取关于yj的信息量，那么由定义2.7，有

(2.12)

2.3.2互信息量的性质2.3互信息量和平均互信息量32 1.对称性2.3.2互信息量的性质2.3互信息量和平均由式(2.11)，有

(2.13)即I(xi；yj)=I(yj；xi)，称为互信息量的对称性。

2.3互信息量和平均互信息量2.3.2互信息量的性质33由式(2.11)，有2.3互信息量和平均互信息量2.3.2由于P(xi)、P(yj

)均为先验概率，而P(xi|yj)、P(yj|xi)均为后验概率，综合式(2.11)和式(2.12)有互信息量= (2.14)这也表明，互信息量描述了两个随机事件xi、yj之间的统计约束程度，假如先验概率确定了，其后验概率就决定了信息的流通。2.3互信息量和平均互信息量2.3.2互信息量的性质34由于P(xi)、P(yj)均为先验概率，而P(xi|yj 2.值域为实数互信息量的值可为正数、负数或者0，取决于后验概率和先验概率的比值。以式(2.11)为例进行讨论，有如下几种情况。 （1）P(xi|yj

)=1，I(xi；yj)=I(xi)。后验概率为1，说明收到yj后即可以完全消除对信源是否发xi的不确定度。其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。2.3.2互信息量的性质2.3互信息量和平均互信息量35 2.值域为实数2.3.2互信息量的性质2.3互信息量和（2）P(xi)<P(xi|yj)<1，这时I(xi)>I(xi/yj)，I(xi；yj)>0。后验概率大于先验概率，说明收到yj后对信源是否发xi所进行判断的正确程度，要大于xi在信源集合中的概率.或者说收到yj后多少还能消除一些对信源是否发xi的不确定度，因此yj获取了关于xi的信息量。I(xi；yj)越大，这种获取就越多。这正是实际通信时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。从这里隐约可以看到，只要I(xi；yj)>0，就存在着能够通信的可能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。2.3互信息量和平均互信息量2.3.2互信息量的性质36（2）P(xi)<P(xi|yj)<1，这时I(x（3）P(xi|yj)=P(xi)，即I(xi)=I(xi|yj)，I(xi;yj)=0后验概率与先验概率相等，说明收到yj后对信源是否发xi所进行判断的正确程度，和xi在信源集合中的概率是一样的；因此，它一点也不能消除对信源是否发xi的不确定度，也就是说从yj中获取不到关于xi的信息量；事实上，假若xi

和yj

统计无关，即P(xi,yj)=P(xi)P(yj)，由贝叶斯公式容易推得I(xi；yj)=0；这种情况实际上是事件xi

和事件yj

统计无关，或者说信道使得事件xi

和事件yj变成了两码事，信宿得到的信息仅仅是由信道特性给出的，与信源实际发出什么符号无关，因此完全没有信息的流通。2.3互信息量和平均互信息量2.3.2互信息量的性质37（3）P(xi|yj)=P(xi)，即I(xi)=I（4）0<P(xi|yj)<P(xi)，即I(xi)<I(xi|yj)，I(xi;yj)<0后验概率小于先验概率，说明收到yj后对信源是否发xi所进行判断的正确程度，比xi在信源集合中的概率还要小，这时判断信源没有发xi似乎更合理些，但不能判断信源到底发了什么（特别是对应于信源有多个符号时）。这种情况事实上给出了信息量，但流通的不是关于xi的信息量，而是xi以外的事件的信息量。综上所述，只有P(xi|yj)=P(xi)，即I(xi；yj)=0时，才没有信息的流通。2.3互信息量和平均互信息量2.3.2互信息量的性质38（4）0<P(xi|yj)<P(xi)，即I(xi)<I(

3.不大于其中任一事件的自信息量由于P(xi|yj)1，根据式(2.11)，有 I(xi；yj)lb[1/P(xi)]=I(xi)同理，由P(yj|xi)1，根据式(2.12)，有 I(yj；xi)lb[1/P(yj)]=I(yj)这一性质清楚地说明了互信息量是描述信息流通特性的物理量，流通量的数值当然不能大于被流通量的数值。某一事件的自信息量是任何其他事件所能提供的关于该事件的最大信息量。2.3互信息量和平均互信息量2.3.2互信息量的性质39 3.不大于其中任一事件的自信息量2.3互信息量和平均互第二次课（2004年3月5日）提问几个问题（上次课的回顾）：1.Shannon信息论研究的核心问题？其出发点？重点研究内容？

2.事件的自信息量和该事件的不确定度之间的区别？3.请用语言叙述信息熵的定义。4.用互信息量的概念说明什么情况下有信息的流通、什么情况下没有信息的流通。40第二次课（2004年3月5日）提问几个问题（上次课的回顾）：2.3互信息量和平均互信息量2.3.3条件互信息量假设XYZ空间的事件xi、yj、zk，那么事件yjzk出现后，从yjzk中获取关于xi的信息量是多少呢？如果把yjzk看作一个事件，则由式(2.11)，有

(2.15)将上式分子分母同乘以P(xi|zk)，得

(2.16)上式第一项是xi与zk之间的互信息量；第二项定义为在zk条件下xi与yj之间的互信息量，简称为条件互信息量。412.3互信息量和平均互信息量2.3.3条件互信息量假设X条件互信息量I(xi；yj|zk)是在给定zk条件下，事件yj的出现所提供的有关xi

的信息量写成I[(xi；yj)|zk]或许含义更明确些是在给定zk条件下xi、yj之间的互信息量2.3互信息量和平均互信息量2.3.3条件互信息量42条件互信息量I(xi；yj|zk)是在给定zk条件下，事件y2.3互信息量和平均互信息量2.3.3条件互信息量条件互信息量和条件信息量的关系由式(2.16)，有

类似地，还可推得其它表示，如

即条件互信息量可用条件信息量表示

432.3互信息量和平均互信息量2.3.3条件互信息量条件互自信息量→熵互信息量→平均互信息量定义2.8

两个离散随机事件集合X和Y，若其任意两事件间的互信息量为I(xi；yj)，则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I(X；Y)表示。2.3互信息量和平均互信息量2.3.4平均互信息量44自信息量→熵2.3互信息量和平均互信息量2.3.4平均互推导其数学描述：当信宿收到某一具体符号yj后，从yj中获取关于输入符号的平均信息量，显然应该是在条件概率空间中的统计平均，可用I(X；yj)表示，有再对其在集合Y中取统计平均，得2.3互信息量和平均互信息量2.3.4平均互信息量45推导其数学描述：再对其在集合Y中取统计平均，得2.3互信息

1.对称性根据互信息量的对称性，容易推得 I(X;Y)=I(Y;X)

(2.20)说明从集合Y中获取X的信息量，等于从集合X中获取Y的信息量。

2.3互信息量和平均互信息量2.3.5平均互信息量的性质46 1.对称性2.3互信息量和平均互信息量2.3.5平均

2.与各种熵的关系I(X;Y)=H(X)–H(X|Y)

(2.22)I(Y;X)=H(Y)–H(Y|X)

(2.23)I(X;Y)=H(X)+H(Y)–H(XY) (2.24)H(XY)为X集合和Y集合的共熵，或称联合熵。共熵应该是联合符号集合XY上的每个元素对xy的自信息量的概率加权统计平均值。2.3互信息量和平均互信息量2.3.5平均互信息量的性质47 2.与各种熵的关系2.3互信息量和平均互信息量2.3

2.与各种熵的关系

共熵的定义式将P(x|y)＝P(xy)

/P(y)带入式(2.21)，得H(XY)=

=

(2.15)当X、Y统计独立时，有P(xy)=P(x)P(y)，故

H(XY)=

H(X)+H(Y) (2.26)H(XY)=H(Y)+H(X|Y) (2.27)H(XY)=H(X)+H(Y|X)(2.28)2.3互信息量和平均互信息量2.3.5平均互信息量的性质482.与各种熵的关系 H(XY)==(2.15)当 3.I(X;Y)0,当且仅当X、Y互相独立时,等号成立平均互信息量是一个非负数由式(2.24)，只要证明 H(XY)

H(X)+H(Y) (2.29)

当且仅当X、Y互相独立时等号成立，上述结论即得到证明。2.3互信息量和平均互信息量2.3.5平均互信息量的性质49 3.I(X;Y)0,当且仅当X、Y互相独立式(2.29)的证明如下H(XY)-H(X)-H(Y)

2.3互信息量和平均互信息量2.3.5平均互信息量的性质由式(2.26)可知，当且仅当X、Y互相独立时等号成立。证毕。50式(2.29)的证明如下2.3互信息量和平均互信息量2.3上述证明中的不等式使用了Jensen不等式，该不等式给出如下结论：如果f是凸函数，X为随机变量，则E[f(x)]

f[E(x)]。在这里用

这一关系可证。另外，对凸函数有：f(x1+(1–)x2)

f(x1)+(1–)f(x2)，即二阶导数非负利用式(2.24)和(2.26)很容易证明，平均互信息量实质上是一种熵。

2.3互信息量和平均互信息量2.3.5平均互信息量的性质51上述证明中的不等式使用了Jensen不等式，该不等式给出如下I(X;Y)=H(X)–H(X/Y)平均互信息量为信源熵减掉一个条件熵。表明：以发送端（信源）的熵为参考，在接收端平均每收到一个符号所获得的信息量。信道上没有任何干扰或噪声：I(X;Y)=H(X)；信道存在干扰和噪声干扰和噪声“污染”被传输的信息到达接收端的平均信息量比信源熵少了一些少掉的部分就是条件熵H(X/Y)因此平均互信息量表征了对接收的每一个符号的正确性所产生怀疑的程度，故条件熵H(X/Y)又称之为疑义度。2.3互信息量和平均互信息量2.3.6平均互信息量的物理意义52I(X;Y)=H(X)–H(X/Y)2.3互信息I(Y;X)=H(Y)–H(Y/X)说明平均互信息量也可以用接收端（信宿）的熵为参考，且等于信宿熵减掉一个条件熵同样表征接收端平均每收到一个符号所获得的信息量。如果信道上没有任何干扰或噪声，则平均每收到一个符号所获得的信息量即是信宿熵，即I(X;Y)=H(Y)；但是，如果信道上存在着干扰或噪声，则平均每收到一个符号所获得的信息量，它比起信宿熵小了一个条件熵，这个条件熵H(Y/X)是由于信道的干扰或噪声给出的，因此它是唯一地确定信道噪声和干扰所需的平均信息量，故称之为噪声熵，也称为散布度（DegreeofDiffusiveness）。2.3互信息量和平均互信息量2.3.6平均互信息量的物理意义53I(Y;X)=H(Y)–H(Y/X)2.3I(X;Y)=H(X)+H(Y)–H(XY)根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的量，其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量。2.3互信息量和平均互信息量2.3.6平均互信息量的物理意义54I(X;Y)=H(X)+H(Y)–H(XY)例2.4

已知信源空间

信道特性如图2.4所示，求在该信道上传输的平均互信息量I(X;Y)，疑义度H(X|Y)，噪声熵H(Y|X)和共熵H(XY)。2.3互信息量和平均互信息量2.3.6平均互信息量的物理意义

图2.4例2.4的信道特性55例2.4已知信源空间 2.3互信息量和平均解（1）根据P(xiyj)=P(xi)P(yj

|xi)，求各联合概率，得 P(x1y1)=P(x1)P(y1|x1)=0.5×0.98=0.49 P(x1y2)=P(x1)P(y2|x1)=0.5×0.02=0.01 P(x2y1)=P(x2)P(y1|x2)=0.5×0.20=0.10 P(x2y2)=P(x2)P(y2|x2)=0.5×0.80=0.40（2）根据，求Y集合中各符号的概率，得 P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.5×0.98＋0.5×0.2=0.59 P(y2)=1–0.59=0.412.3互信息量和平均互信息量2.3.6平均互信息量的物理意义56解（1）根据P(xiyj)=P(xi)P(yj|xi)（3）根据P(xi|yj)=P(xiyj)/P(yj)，求各后验概率，得 P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831 P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169 P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024

P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.9762.3互信息量和平均互信息量2.3.6平均互信息量的物理意义57（3）根据P(xi|yj)=P(xiyj)/P(yj)2.3互信息量和平均互信息量2.3.6平均互信息量的物理意义（4）求各种熵，有

I(X;Y)=H(X)+H(Y)–H(XY)=1+0.98-1.43=0.55比特/信符H(X|Y)=H(X)–I(X;Y)=1–0.55=0.45比特/信符H(Y|X)=H(Y)–I(X;Y)=0.98–0.55=0.43比特/信符582.3互信息量和平均互信息量2.3.6平均互信息量的物理相对熵的定义定义2.9

若对应于x有两种分布p(x)和q(x)，则

2.3互信息量和平均互信息量2.3.7平均互信息量的另一种定义（2.30）称为这两种分布的相对熵。59相对熵的定义2.3互信息量和平均互信息量2.3.7平均互D(p||q)称为“熵差”，也称为两种分布的“距离（Distance）”。在计算时将使用如下求极限的公式：2.3互信息量和平均互信息量2.3.7平均互信息量的另一种定义60D(p||q)称为“熵差”，也称为两种分布的“距离（Dis例2.5

x={0,1}；p(0)=1–r，p(1)=r；q(0)=1–s，q(1)=s。求D(p||q)和D(q||p)。

解

2.3互信息量和平均互信息量2.3.7平均互信息量的另一种定义若r=s，则D(p||q)=D(q||p)=0r

s，则D(p||q)D(q||p)61例2.5x={0,1}；p(0)=1–r，p(1)=r；上述定义并不是严格意义下的熵差或“距离”，仅有一种相互的关系。利用这一关系引入平均互信息量的另一种定义。定义2.10

平均互信息量用相对熵定义如下：2.3互信息量和平均互信息量2.3.7平均互信息量的另一种定义62上述定义并不是严格意义下的熵差或“距离”，仅有一种相互的关系二维随机变量的熵 H(X1,X2)=H(X1)+H(X2|X1) (2.32)多维随机变量的熵P(X1,X2,…,

Xn)=P(X1)P(X2|X1)···P(Xn

|Xn

–1,Xn–2,…,

X2,X1)

根据熵和共熵的定义可推得

H(X1,X2,X3)=H(X1)+H[(X2,X3)|X1]=H(X1)+H(X2|X1)+H(X3|X2,X1)

(2.33)

H(X1,X2,…,Xn)=H(X1)+H(X2|X1)+H(X3|X2,X1)+… +H(Xn|Xn–1,Xn–2,…,

X2,X1)=2.4多维随机变量的熵2.4.1熵的链接准则(2.34)63二维随机变量的熵2.4多维随机变量的熵2.4.1熵的链接

式(2.34)被称为熵的链接准则（ChainRules）给出了多维随机变量的联合熵与各随机变量的熵之间的关系。等于某一随机变量的熵及其它所有随机变量的条件熵之和，而条件熵涉及的条件，随着随机变量的维数增加而递增。2.4多维随机变量的熵2.4.1熵的链接准则64式(2.34)被称为熵的链接准则（ChainRules多维随机变量的信息流通问题假设信源是一个多维随机变量(X1,X2,…,

Xn)，它通过信道传送到信宿的信息量，就是它们的平均互信息量I(X1,X2,…,

Xn；Y)。由平均互信息量的定义和熵的链接准则，有2.4多维随机变量的熵2.4.2信息链接准则(2.35)65多维随机变量的信息流通问题2.4多维随机变量的熵2.4.2式(2.35)被称为信息链接准则给出了多维随机变量的信息流通量与各随机变量的信息流通量之间的关系为( )条件下Xi与Y的平均互信息量。2.4多维随机变量的熵2.4.2信息链接准则66式(2.35)被称为信息链接准则2.4多维随机变量的熵2.定理2.1

n维随机变量的共熵，不大于它们各自的熵之和。即

(2.36)

称为熵的界（Bounds）。2.4多维随机变量的熵2.4.3熵的界67定理2.1n维随机变量的共熵，不大于它们各自的熵之和。即证明

因为0I(X;Y)=H(X)–H(X|Y)，所以H(X|Y)

H(X)由共熵的定义和熵的链接准则，有 H(X1,X2)=H(X1)+H(X2|X1) H(X1,

X2,X3)=H(X1)+H(X2,X3|X1)

=H(X1)+H(X2|X1)+H(X3|X2,X1)

H(X1)+H(X2)+H(X3)

证毕。2.4多维随机变量的熵2.4.3熵的界68证明2.4多维随机变量的熵2.4.3熵的界68由随机过程理论，对于3个随机变量空间X、Y、Z，如果Z的条件分布仅仅取决于Y而与X的条件无关，则称随机变量空间X、Y、Z构成了马尔可夫链（MarkovChain），简称马氏链。特别地，若 P(X,Y,Z)=P(X)P(Y|X)P(Z|Y)

(2.37) 则随机变量空间X、Y、Z构成了马氏链。X、Y、Z构成的马氏链也可写成X→Y→Z。2.4多维随机变量的熵2.4.4数据处理不等式69由随机过程理论，对于3个随机变量空间X、Y、Z，如果Z的条件定理2.2

如果X→Y→Z，则I(X;Y)

I(X;Z)证明

由平均互信息量的性质和信息链接准则，可得 I(X;Y,Z)=I(X;Z)+I(X;Y|Z)

(2.38) 或 I(X;Y,Z)=I(X;Y)+I(X;Z|Y)

(2.39)X、Z与给定的Y条件无关，式(2.38)中的I(X;Y|Z)0，而式(2.39)中的I(X;Z|Y)=0，因此I(X;Y)

I(X;Z)

(2.40)证毕。类似地，也可以证得I(Y;Z)

I(X;Z)

(2.41)2.4多维随机变量的熵2.4.4数据处理不等式70定理2.2如果X→Y→Z，则I(X;Y)I(X;定理说明：当消息通过级联处理时，其输入和输出消息之间的平均互信息量，不会超过输入消息与中间消息之间的平均互信息量，也不会超过中间消息与输出消息之间平均互信息量。结论可以推广到多级处理的情况，且无论处理器级数数目增加多少，输入消息与输出消息之间的平均互信息量只会变小而不会变大。称定理2.2为数据处理定理，式(2.40)和(2.41)为数据处理不等式。它指出数据处理能够把数据变换成各种所需要的或更有用的形式，但对于传输输入消息的目的而言，所作的处理不会创造出新的信息，故不会使流通的信息量增大。2.4多维随机变量的熵2.4.4数据处理不等式71定理说明：当消息通过级联处理时，其输入和输出消息之间的平均互信源空间的概念自信息量条件自信息量、信息熵、条件熵、互信息量、条件互信息量、平均互信息量及不确定度、疑义度、噪声熵、联合熵

信息可以度量

在信息的度量中，熵是最基本的，图2.5给出了各种熵与平均互信息量之间的关系。本章小结图2.5各种熵与平均互信息量之间的关系72信源空间的概念自信息量条件自信息量、信息熵、条件熵、 1．一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。（1）一人随手取出3颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量；（2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，问后一事件给出多少信息量；（3）对上述结果作出解释。

2．每帧电视图像可以认为是由3105个象素组成，所有象素均独立变化，且每一象素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？习题73 1．一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，3．已知 X：1,0

P(X)：

p,1–p (1)求证：H(X)=H(p) (2)求H(p)并作其曲线，解释其含义。4．证明H(X3|X1X2)H(X2|X1)，并说明等式成立的条件。 5．设有一概率空间，其概率分布为{p1,p2,…,pq}，且p1>p2。若取，，其中0<2

p1–p2，而其它概率值不变。证明由此得到的新的概率空间的熵是增加的，并用熵的物理意义加以解释。习题743．已知 X：1,0习题74 6．某办公室和其上级机关的自动传真机均兼有电话功能。根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话占的比例约为3:7，但发传真时约有5%的次数对方按电话接续而振铃，拨电话时约有1%的次数对方按传真接续而不振铃。求：（1）上级机关值班员听到电话振铃而对此次通信的疑义度；（2）接续信道的噪声熵。习题75 6．某办公室和其上级机关的自动传真机均兼有电话功能。根据多7．四个等概分布的消息M1，M2，M3，M4被送入如图所示的信道进行传输，通过编码使M1=00，M2=01，M3=10，M4=11。求输入是M1和输出符号是0的互信息量是多少？如果知道第2个符号也是0，这时带来多少附加信息量？8．证明若随机变量X，Y，Z构成马氏链，即X→Y→Z，则有Z→Y→X。习题767．四个等概分布的消息M1，M2，M3，M4被送入如图所示的第二章信息的度量771度量信息的基本思路信源熵和条件熵互信息量和平均互信息量多维随机变量的熵

本章内容提要78度量信息的基本思路本章内容提要2信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。对于随机出现的事件，它的出现会给人们带来多大的信息量？考虑到通信系统或很多实际的信息传输系统，对于所传输的消息如何用信息量的方法来描述？本章将围绕这些问题展开讨论。第2章信息的度量79信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量从讨论信源的特征入手，给出定量度量信息的方法。以天文学范畴的事件为例。小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息如果把都是天文学内的事件看作是天文学这个“信源”输出的符号，则这个信源可以看作是单符号离散信源。2.1.1单符号离散信源2.1度量信息的基本思路80从讨论信源的特征入手，给出定量度量信息的方法。2.1.1单符由此给出如下定义：定义2.1

如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。2.1度量信息的基本思路2.1.1单符号离散信源81由此给出如下定义：2.1度量信息的基本思路2.1.1单符号单符号离散信源的实例掷骰子每次只能是1,2,3,4,5,6中的某一个；天气预报可能是晴、阴、雨、雪、风、冰雹…中的一种或其组合以及温度、污染等；二进制通信中传输的只是1、0两个数字；等等。这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。因此，信源又可以看作是具有一定概率分布的某一符号集合。2.1度量信息的基本思路2.1.1单符号离散信源82单符号离散信源的实例2.1度量信息的基本思路2.1.1单符定义2.2若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称为信源的概率空间或简称为信源空间。信源空间通常用如下方式来描述：

显然，信源空间必定是一个完备集，即2.1度量信息的基本思路2.1.1单符号离散信源83定义2.2显然，信源空间必定是一个完备集，即2.1度量信考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。设x1为最大可能的输出，xN为最小可能的输出。例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰雹或其它强对流天气。哪个输出包含更多的信息，x1还是xN？直观地，传递xN

给出了更多的信息。由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。2.1.2度量信息的基本思路2.1度量信息的基本思路84考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。2假设与输出xi相关的信息能被分成独立的两部分，比如xi1与xi2，即xi={xi1，xi2}。例如，假设天气预报中的天气及温度变化是与污染程度相关性很小甚至几乎完全独立的，则信源的每一个输出就能分成独立的两部分。直观地，传递xi所包含的信息量是分别传递xi1和xi2所得到的信息量的和。2.1.2度量信息的基本思路2.1度量信息的基本思路85假设与输出xi相关的信息能被分成独立的两部分，比如xi1与x

若信源中事件xi的出现所带来的信息量用I(xi)来表示并称之为事件xi的自信息量，则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须满足以下几个条件：2.1.2度量信息的基本思路2.1度量信息的基本思路86 2.1.2度量信息的基本思路2.1度量信息的基本思路101.信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。2.I(xi)是P(xi)的连续函数。3.I(xi)是P(xi)的减函数，即：如果P(xi)>P(xj)，则I(xi)<I(xj)。极限情况，若P(xi)=0,则I(xi)→∞；若P(xi)=1,则I(xi)=0。4.若两个单符号离散信源（符号集合X,Y

）统计独立,则X中出现xi、Y中出现yj的联合信息量

I(xi,yj)=I(xi)+I(yj)只有对数函数能够同时满足以上条件。2.1度量信息的基本思路2.1.2度量信息的基本思路871.信源输出xi所包含的信息量仅依赖于它的概率，而与它的取定义2.3

事件xi的出现所带来的信息量为事件xi的自信息量。2.1度量信息的基本思路2.1.2度量信息的基本思路88定义2.32.1度量信息的基本思路2.1.2度量信息的基I(xi)实质上是无量纲的为研究问题的方便，根据对数的底定义信息量的量纲对数的底取2，则信息量的单位为比特（bit）；取e（自然对数），则单位为奈特（nat）；取10（常用对数），则单位为哈特。利用换底公式容易求得： 1nat1.44bit 1Hart3.32bit在通信及目前的绝大多数信息传输系统中，都是以二进制为基础的，因此信息量单位以比特最为常用在没有特别说明的情况下，通常(2.3)式的量纲即为比特，且底数2被省略。2.1度量信息的基本思路2.1.2度量信息的基本思路89I(xi)实质上是无量纲的2.1度量信息的基本思路2.1.例2.1

一个1,0等概的二进制随机序列，求任一码元的自信息量。 解：任一码元不是为0就是为1 因为P(0)=P(1)=1/2 所以I(0)=I(1)=–lb(1/2)=1(bit)2.1度量信息的基本思路2.1.2度量信息的基本思路90例2.12.1度量信息的基本思路2.1.2度量信息的基本例2.2

对于2n进制的数字序列,假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。 解：设2n进制数字序列任一码元xi的出现概率为P(xi)，根据题意，

P(xi)=1/2n

I(xi)=–lb(1/2n)=n(bit)事件的自信息量只与其概率有关，而与它的取值无关。2.1度量信息的基本思路2.1.2度量信息的基本思路91例2.22.1度量信息的基本思路2.1.2度量信息的基本信宿端收到某一消息后所得到的信息量，可以等效为接收者在通信前后“不确定”因素的减少或消除。事件的不确定性可用不确定度描述，它同样是事件概率的函数，在数值和量纲上和自信息量相等，因此都可以用(2.3)式来计算。某一随机事件的出现所给出的信息量（自信息量），在数值上与该随机事件的不确定度不但相关而且相等，即事件的出现等效成事件不确定集合的元素的减少，或简称为事件不确定度的减少。2.1度量信息的基本思路2.1.3自信息量和不确定度的关系92信宿端收到某一消息后所得到的信息量，可以等效为接收者在通信前自信息量和该事件的不确定度的含义有本质的区别。不确定度只与事件的概率有关，是一个统计量，在静态状态下也存在；自信息量只有该随机事件出现时才给出，不出现时不给出，因此它是一个动态的概念。2.1度量信息的基本思路2.1.3自信息量和不确定度的关系93自信息量和该事件的不确定度的含义有本质的区别。2.1度量信自信息量I(xi)只能表示信源发出的某一具体符号xi的自信息量。很多信源的符号集合具有多个元素且其概率并不相等，即P(xi)≠P(xj)，因此I(xi)不能作为整个信源的总体信息测度。能作为信源总体信息测度的量应是信源各个不同符号xi

(i=1,2,…,N)所包含的自信息量I(xi)(i=1,2,…,N)在信源空间 P(X)={P(x1),P(x2),…,P(xi),…,P(xN

)}中的统计平均值。2.2信源熵和条件熵2.2.1信源熵94自信息量I(xi)只能表示信源发出的某一具体符号xi的自信 定义2.4

若信源符号xi

的出现概率为P(xi)，自信息量为I(xi)(i=1,2,…,N)，则称为信源的信息熵，简称信源熵。其中，定义0lb0=0。2.2信源熵和条件熵2.2.1信源熵952.2信源熵和条件熵2.2.1信源熵19对于单符号离散信源，信源熵是信源每发一个符号所提供的平均信息量，其量纲为信息单位/信源符号。信源熵只与信源符号的概率分布有关，是一种先验熵。对于任何给定概率分布的信源，H(X)是一个确定的数，其大小代表了信源每发出一个符号给出的平均信息量。2.2信源熵和条件熵2.2.1信源熵96对于单符号离散信源，信源熵是信源每发一个符号所提供的平均信息例2.3

二进制通信系统的信源空间为求该信源的熵。

解:

设P(1)=p，则P(0)=1-p。由(2.4)式，有 H(X)=-plbp-(1-p)lb(1-p) (2.5)上式又称为二进制熵函数，也常用Hb(p)表示p=0或p=1时，H(X)=0；p=1/2时，H(X)=1。2.2信源熵和条件熵2.2.1信源熵97例2.3二进制通信系统的信源空间为2.2信源熵和条件熵22.2信源熵和条件熵2.2.1信源熵图2.1二进制熵函数982.2信源熵和条件熵2.2.1信源熵图2.1二进制熵函数2信息熵借用热力学中的熵给出了平均信息量的概念，不但可以表征信源的信息统计测度，也可以表征任何集合的信息统计测度。例如，若信宿的符号yj

的出现概率为P(yj)，自信息量为I(yj)(j=1,2,…,M)，则信宿熵为2.2信源熵和条件熵2.2.1信源熵99信息熵借用热力学中的熵给出了平均信息量的概念，不但可以表征信若信源的输出为X，信宿的输入为Y，即考虑了信道的作用，如图2.2所示，这时经常是某一事件在某种条件下才出现，它的出现所带来的信息量就必须要在联合符号集合X、Y中进行考虑，且需用条件概率来描述。

2.2.2条件自信息量2.2信源熵和条件熵图2.2最简单的通信系统模型100若信源的输出为X，信宿的输入为Y，即考虑了信道的作用，如图2定义2.5

设在yj条件下，随机事件xi的条件概率为P(xi/yj)，则xi的出现所带来的信息量被称为它的条件自信息量，表示为

(2.6)类似地，在xi条件下，随机事件yj出现所带来的信息量亦是条件自信息量：(2.7)2.2信源熵和条件熵2.2.2条件自信息量上述条件概率仅仅由信道特性决定，可以看作是由信道给出的信息量。101定义2.5设在yj条件下，随机事件xi的条件概率为P(xi为寻求在给定y条件下X集合的总体信息量度，有2.2信源熵和条件熵2.2.3条件熵考虑到整个Y集合，有(2.9)102为寻求在给定y条件下X集合的总体信息量度，有2.2信源熵和定义2.6

对于联合符号集XY，在给定Y的条件下，用联合概率P(xy)对X集合的条件自信息量进行加权的统计平均值，为X的条件熵。由此可见，条件熵表示了信道所给出的平均信息量。2.2信源熵和条件熵2.2.3条件熵103定义2.6对于联合符号集XY，在给定Y的条件下，用联合概在图2.3的通信系统信息传输模型中，若信道存在干扰，信宿收到从信道输出的某一符号yj后，能够获取多少关于从信源发某一符号xi的信息量？

图2.3最简单的通信系统信息传输模型2.2信源熵和条件熵2.2.3条件熵104在图2.3的通信系统信息传输模型中，若信道存在干扰，信宿收到定义2.7

对两个离散随机事件集合X和Y，事件yj的出现给出关于事件xi的信息量，定义为事件xi、yj的互信息量，用I(xi

;yj)表示。讨论多维问题后，将讨论I(xi;yj)与I(xi,yj)的区别。

2.3互信息量和平均互信息量2.3.1互信息量105定义2.7对两个离散随机事件集合X和Y，事件yj的出现给互信息量的表示式。首先考虑信道没有干扰的情况：

信源发xi，信宿获取其全部信息量，即信源信息通过信道全部流通到信宿，有 I(xi

;yj)=I(xi)2.3互信息量和平均互信息量2.3.1互信息量106互信息量的表示式。2.3互信息量和平均互信息量2.3.1互当信道存在干扰时，信源发xi，信宿收到的yj可能是xi的某种变型，亦即除了信源给出的信息外，还可能有纯粹是信道给出的“信息”。收到yj后，考虑从发端发xi这一事件中获得的信息量，应该是

(2.10) 故有

(2.11)

2.3互信息量和平均互信息量2.3.1互信息量107当信道存在干扰时，信源发xi，信宿收到的yj可能是xi的某种

1.对称性如果考虑信息的反向流通问题，即考虑事件xi的出现给出关于事件yj的信息量，或者从xi中获取关于yj的信息量，那么由定义2.7，有

(2.12)

2.3.2互信息量的性质2.3互信息量和平均互信息量108 1.对称性2.3.2互信息量的性质2.3互信息量和平均由式(2.11)，有

(2.13)即I(xi；yj)=I(yj；xi)，称为互信息量的对称性。

2.3互信息量和平均互信息量2.3.2互信息量的性质109由式(2.11)，有2.3互信息量和平均互信息量2.3.2由于P(xi)、P(yj

)均为先验概率，而P(xi|yj)、P(yj|xi)均为后验概率，综合式(2.11)和式(2.12)有互信息量= (2.14)这也表明，互信息量描述了两个随机事件xi、yj之间的统计约束程度，假如先验概率确定了，其后验概率就决定了信息的流通。2.3互信息量和平均互信息量2.3.2互信息量的性质110由于P(xi)、P(yj)均为先验概率，而P(xi|yj 2.值域为实数互信息量的值可为正数、负数或者0，取决于后验概率和先验概率的比值。以式(2.11)为例进行讨论，有如下几种情况。 （1）P(xi|yj

)=1，I(xi；yj)=I(xi)。后验概率为1，说明收到yj后即可以完全消除对信源是否发xi的不确定度。其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。2.3.2互信息量的性质2.3互信息量和平均互信息量111 2.值域为实数2.3.2互信息量的性质2.3互信息量和（2）P(xi)<P(xi|yj)<1，这时I(xi)>I(xi/yj)，I(xi；yj)>0。后验概率大于先验概率，说明收到yj后对信源是否发xi所进行判断的正确程度，要大于xi在信源集合中的概率.或者说收到yj后多少还能消除一些对信源是否发xi的不确定度，因此yj获取了关于xi的信息量。I(xi；yj)越大，这种获取就越多。这正是实际通信时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。从这里隐约可以看到，只要I(xi；yj)>0，就存在着能够通信的可能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。2.3互信息量和平均互信息量2.3.2互信息量的性质112（2）P(xi)<P(xi|yj)<1，这时I(x（3）P(xi|yj)=P(xi)，即I(xi)=I(xi|yj)，I(xi;yj)=0后验概率与先验概率相等，说明收到yj后对信源是否发xi所进行判断的正确程度，和xi在信源集合中的概率是一样的；因此，它一点也不能消除对信源是否发xi的不确定度，也就是说从yj中获取不到关于xi的信息量；事实上，假若xi

和yj

统计无关，即P(xi,yj)=P(xi)P(yj)，由贝叶斯公式容易推得I(xi；yj)=0；这种情况实际上是事件xi

和事件yj

统计无关，或者说信道使得事件xi

和事件yj变成了两码事，信宿得到的信息仅仅是由信道特性给出的，与信源实际发出什么符号无关，因此完全没有信息的流通。2.3互信息量和平均互信息量2.3.2互信息量的性质113（3）P(xi|yj)=P(xi)，即I(xi)=I（4）0<P(xi|yj)<P(xi)