第一章随机变量的信息度量

2/6/20236:58PM1

信源是信息的来源，信源发出消息，经过信道，到达信宿，信宿收到消息，获得了信息，这个过程就称作通信.

首先来研究通信的源头---信源的特性。实际有用的信源应该具有什么特性呢？它应该具有不确定性。信源发出的消息对于接收者来说存在不确定性，即信源输出的包含信息的消息（符号）具有随机性.信源2/6/20236:58PM2

信源至少应该包含两种不同的消息,例如二元信源（包含0、1）,而信宿是知道信源发送（0、1）的，但是它就是不知道在具体的某一时刻，信源发送的是哪个消息.

这是显然的，如果信宿知道，就不需要通信了！所以必须要经过通信，然后信宿通过译码，确定信源发送的是哪个消息.

如果信道中不存在噪声(干扰)，那么信宿一定译码正确，通信可以无差错的进行了.信源2/6/20236:58PM3

所谓不确定性就是说信宿对信源哪个时刻发送哪个消息不能肯定！而不是说信宿不知道信源有0、1这两个消息.

反过来统计的讲,发送某一个消息的概率是确定的。比如说发0的概率是0.4,发1的概率是0.6。但是下一时刻发送0，还是1，信宿不知道.信源2/6/20236:58PM4

基于以上信源与不确定性之间的关系，香农信息论用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信源发出的信息.信源的描述2/6/20236:58PM5

例某二元信源（含有两个不同消息的信源）发送1的概率0.99,发送0的概率0.01，信宿仅凭猜测就可以简单的认为信源发出的消息始终都是1，即使错误,猜错的概率仅为百分之一.

这说明在这种情况下,信源基本上在发送1,信源的不确定性很小。信源发送0的概率很小，所以不确定度和信源发送符号的概率是有关系的！信源2/6/20236:58PM6

例某二元信源发送1和0的概率相等，均为0.5，这时信宿不依赖通信仅凭猜测的话，猜错的概率高达50%。说明在这种情况下，猜测信源发送什么消息就困难了，因为信源发送什么消息相当不确定.

例如果信源具有更多的消息，例如发10个数字0,1,

…,9，而且假定消息是等概率分布的,均为0.1，这时信宿仅凭猜测的话，就更难猜了。因为信源发送什么消息更加不确定.信源2/6/20236:58PM7

继续讨论一种极端的情况，信源只发送一种消息，即永远只发送1或者只发送0，从这样的信源中我们就不能从中获取任何信息，也就是说信源的不确定性为0.

信源如果没有不确定性，那么就没有实用价值。不确定度和发送的消息数目和发送符号的概率有关。因此可以用随机变量来描述信源输出的消息，采用概率空间来描述信源.信源2/6/20236:58PM8

信源的特性：（1）信源的不确定程度与其概率空间的消息数和消息的概率分布有关系；（2）信源的消息为等概率分布时，不确定度最大；（3）信源的消息为等概率分布，且其消息数目越多，其不确定度越大；（4）只发送一个消息的信源，其不确定度为0，不发送任何信息.信源2/6/20236:58PM9信源的分类连续信源连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息.

离散信源离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息.

离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源2/6/20236:58PM10离散信源的先验概率及概率空间的形式

符号

的先验概率

一个离散信源发出的各个符号消息的集合为

，它们的概率分别为

为符号

的先验概率。通常把它们写到一起称为概率空间：

2/6/20236:58PM11□乘法公式：更一般地，对事件A1，A2，…An，若P(A1A2…An-1)>0，则有……

…2/6/20236:58PM12香农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或是从不确定到部分确定或全部确定的过程.因此，对于收信者来说，通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多；“信息”是事物运动状态或存在方式的不确定性的度量，这就是香农关于信息的定义.信息的度量（自信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量.自信息2/6/20236:58PM13

当信源发出某个信号后，它提供了多少信息？即要解决信息的度量问题，我们把它称为的自信息，记为.1.

自信息（量）自信息是信号的不确定性的一种度量而信号的不确定性就是它发生的可能性用发生的概率来描述应当是的一个函数2/6/20236:58PM14自信息I(x)应满足的几条公理非负性：

I(x)

≥0.

(2)如果p(x1)<p(x2)，则I(x1)>I(x2)，

I(xi

)是p(xi)的严格单调递减函数；(3)如果p(xi)=0，则I(xi

)→∞;(4)如果p(xi)=1，则I(xi

)=0;(5)由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和：

I(xi，

yj)=I(xi

)+I(yj)

自信息2/6/20236:58PM15定理若自信息满足上述5个条件，则自信息其中c为常数.要证明该定理，需要先证明以下引理.2/6/20236:58PM16自信息引理如果实函数满足以下条件：则2/6/20236:58PM17

随机事件的自信息为该事件发生概率的对数的负值关于对数底的选取：以2为底，单位为比特(bit)以e为底，单位为奈特(nat)以10为底，单位为哈特(Hartley)自信息定义2/6/20236:58PM18一般都采用以2为底的对数，为了书写简洁，有时把底数2略去不写.自信息I(xi)可以从两个方面来理解：当事件

xi发生以前，表示事件

xi发生的不确定性；当事件

xi发生以后，表示事件

xi所提供的信息量.自信息2/6/20236:58PM19定义：两个消息xi，yj同时出现的联合自信息量

注意:

当xi,yj相互独立时，有

P(xiyj)=P(xi)P(yj)，I(xiyj)=I(xi)+I(yj).联合自信息2/6/20236:58PM20定义：在事件yj出现的条件下，随机事件xi发生的条件概率为，则它的条件自信息量定义为条件概率对数的负值：条件自信息2/6/20236:58PM21例一个以等概率出现的二进制码元（0，1）所包含的自信息量为：

I(0)=I(1)=-log2(1/2)=log22=1bit

若是一个m位的二进制数，因为该数的每一位可从0,1两个数字中任取一个;

因此有2m个等概率的可能组合.

所以I=-log2(1/2m)=mbit，就是需要m比特的信息来指明这样的二进制数.

自信息2/6/20236:58PM22例

在A袋放入

n

个不同阻值的电阻，随意取出一个，求被告知“取出的电阻阻值为i”时所获得的信息量.在B袋中放入m种不同功率的电阻，任意取出一个，求被告知“取出的电阻功率为j

”时获得的信息量.在C袋中放入n

种不同阻值，而每种阻值又有m种不同功率的电阻,即共有

nm

个电阻,随意选取一个，求被告知“取出的电阻阻值为i，功率为j

”时获得的信息量.2/6/20236:58PM23解对应A,B,C三袋，用xi代表取出电阻值为i，yj代表取出电阻功率为j，随意取出一个电阻事件的概率分别为I(xi)=–

logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xi,yj)=–logp(xi,yj)=log(n

m)

=I(xi)+I(yj)比特因此2/6/20236:58PM24

例

某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有

12户，甲要到该住宅区找他的朋友乙，若：

1.甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？

2.甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？解：用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集XY上的等概分布，这一事件提供给甲的信息量为

I(xi,yj)=-log

p(xi,yj)

=

log60=5.907（比特）

（2）在二维联合集XY上的条件分布概率为，这一事件提供给甲的信息量为条件自信息量

I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）

2/6/20236:58PM25

熵、联合熵、互信息。

自信息是指信源发出的某一具体消息所含有的信息量.不同的消息，所含有的信息量不同.对整个信源来说，其每个信号的平均信息量是多少？定义平均自信息量来表征整个信源的不确定度.

定义信源各个离散消息自信息量的数学期望(即概率加权的统计平均值)称为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵.平均自信息2/6/20236:58PM26信息熵的意义信源熵是从整个信源的统计特性来考虑的.它是从平均意义上来表征信源的总体特性的.熵是平均不确定性的度量.对于某特定的信源，其信源熵只有一个.不同的信源因统计特性不同，其信源熵也不同.熵的单位也是与所取的对数底有关，可以是比特/符号（信符）、奈特/符号、哈特莱/符号,通常用比特/符号为单位.2/6/20236:58PM27

玻尔兹曼从分子运动论的角度对熵的含义进行了扩展，认为熵是分子运动混乱程度(无序度)的一种测度，是系统无序程度的描述。玻尔兹曼同时给出了熵的计算公式：熵S与系统无序度Ω间有关系S＝KlnΩ，K即玻尔兹曼常数，ln为自然对数。由此看来:在一个系统中熵的大小与系统无序度成正比关系，系统熵越大则无序度越大；系统无序度越小，则系统的熵值越小.2/6/20236:58PM28例已知X:1p01-p(0≤p≤1)解：1.p=0.5时,H(X)=-0.5log0.5+(-0.5log0.5)=1bit/信符2.p=0，1-p=1（或p=1，1-p=0）时,H(X)=-0log0+(-1log1)=0bit/信符

3.对任意p,H(X)=-plogp-(1-p)log(1-p)

称为二进熵函数，以后的会经常用到.计算X的信息熵.2/6/20236:58PM29例一信源有6种输出符号，概率分别为P(A)=0.5，

P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，

P(F)=0.025.1)计算H(X);2)求符号序列ABABBA和FDDFDF的信息量.

2/6/20236:58PM30解

1）由信源熵定义，该信源输出的信源熵为

2/6/20236:58PM31符号序列FDDFDF所含的信息量为

2）符号序列ABABBA所含的信息量为2/6/20236:58PM32设随机变量X等概率取26个小写英文字母和空格共27个符号，其信息熵是多少?

27·(-1/27)·log(1/27)=3log3信息熵什么时候取最小值?

在某个符号概率为1，其余符号概率为0时信息熵什么时候取最大值?

在所有符号出现概率相等时想一想2/6/20236:58PM33离散随机变量X的概率空间为记pi=p(xi)，则

由于概率的完备性，即，所以实际上是元函数.当n=2

时，熵函数的性质2/6/20236:58PM34熵函数的数学特性包括:(1)对称性(2)确定性(3)非负性(4)扩展性(5)连续性(6)递增性(7)极值性(8)上凸性(9)可加性2/6/20236:58PM35当概率矢量

中各分量的次序任意变更时，熵函数的值不变，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…

该性质说明：熵中的和式满足交换律；熵只与随机变量(信源)的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同.（1）对称性熵函数的性质2/6/20236:58PM36例三个信源分别为①

X与Y信源的差别：同一消息的概率不同；②X与Z信源的差别：具体消息其含义不同；③

但它们的信息熵是相同的.2/6/20236:58PM37

H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空间中，只要有一个事件是必然事件，那么其它事件一定是不可能事件，因此信源没有不确定性，熵必为0.此时，随机变量X服从单点分布,也叫退化分布.（2）确定性熵函数的性质2/6/20236:58PM38

注：离散信源的熵满足非负性，而连续信源的熵可能为负.（3）非负性熵函数的性质2/6/20236:58PM39（4）扩展性熵函数的性质所以，上式成立.因为2/6/20236:58PM40扩展性说明：增加一个概率接近于零的事件，信源熵保持不变.虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现.2/6/20236:58PM41（5）连续性（6）递增性熵函数的性质即信源概率空间中概率分量的微小波动，不会引起熵的变化.2/6/20236:58PM42递增性该性质表明，假如有一信源的n个元素的概率分布为，其中某个元素又被划分成m个元素，这m个元素的概率之和等于元素的概率，这样得到的新信源的熵增加，熵增加了一项是由于划分产生的不确定性。2/6/20236:58PM43例

利用递增性计算熵函数

H(1/3,1/3,1/6,1/6)的值.解bit/符号2/6/20236:58PM44例

利用递增性计算熵函数

H(1/3,1/3,1/6,1/6)的值.解（二）bit/符号2/6/20236:58PM45（7）极值性（最大离散熵定理）

定理

离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即

),熵最大，即

定理说明：当信源X中各个离散消息以等概率出现时，可得到最大的信源熵。最大熵的值取决于信源的消息个数，消息个数越多，熵越大.熵函数的性质注：连续信源的最大熵则与约束条件有关.2/6/20236:58PM46拉格朗日乘数法求解条件极值问题的一般步骤：(1)根据问题意义确定目标函数与条件组.(2)作拉格朗日函数

其中的个数即为条件组的个数.(3)求拉格朗日函数的稳定点,即通过令求出所有的稳定点,这些稳定点就是可能的极值点.2/6/20236:58PM472/6/20236:58PM48

例二进制信源的概率空间为这时信息熵H(X)是p的函数，二进熵函数h(p)的曲线如图：二进制信源的信息熵为2/6/20236:58PM49从图中可以得出二进熵函数的一些性质：如果二进制信源的输出是确定的(p=0或p=1)，则该信源不提供任何信息；当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特/符号;在等概率的二进制信源输出的二进制数字序列中,每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量小于1比特.2/6/20236:58PM502/6/20236:58PM51(7’)香农辅助定理

其中上式体现了熵函数的极值性;要证明香农辅助定理，首先介绍凸函数的定义及延森（Jensen）不等式.对于任意n及概率矢量有如下不等式成立2/6/20236:58PM52

凸函数的定义及延森（Jensen）不等式f称为严格凸函数：当等号仅在λ=0或1时成立

.f(a)是凹的，则－f(a)是凸的.f1(a),…,fL(a)是R上的凹函数，c1,…,cL是正数，c1f1(a)+…+cLfL(a)也是凹函数.若f有非负（正）的二阶导数，则f为凸（严格凸）函数.2/6/20236:58PM53凹函数的几何意义

在凹函数的任两点之间画一条割线，函数总在割线的上方.凹函数在定义域内的极值必为最大值，这对求最大熵很有用.f(x)

x1x2

f(x1)

f(x2)常用的有：严格凸函数(x≥0)：x2,ex,xlogx严格凹函数(x≥0)：logx2/6/20236:58PM54定理(延森不等式2)

设f(x)是凹函数，E为数学期望，则定理(延森不等式)

设f(x)是凸函数，E为数学期望，则2/6/20236:58PM55证明香农辅助定理：

时等号成立.证明:其中2/6/20236:58PM56

上式表明，对任意概率分布pi，它对其他概率分布qi的自信息量-logqi取数学期望时，必不小于pi本身的熵.2/6/20236:58PM57可以被看做是一种新的概率分布.

是概率分布的严格上凸（凹）函数，即证（8）上凸性熵函数的性质2/6/20236:58PM58（9）可加性

统计独立信源的联合信源的熵等于分别熵之和.

可加性是熵函数的一个重要特性，正因为具有可加性，所以可以证明熵函数的形式是唯一的，不可能有其它形式存在.

熵函数的性质2/6/20236:58PM59定义

随机变量X和Y的联合分布为p(xi,yj)，则这两个随机变量的联合熵定义为

联合熵表示二维随机变量的平均不确定性，亦即X和Y同时发生的不确定度.联合熵和条件熵2/6/20236:58PM60

条件信源熵在给定的条件下，的条件自信息量为，随机事件X的条件熵为

它表示信源Y发出符号的前提下，信源X每发一个符号提供的平均信息量。2/6/20236:58PM61它表示信源Y每发一个符号的前提下，信源X再发一个符号所能提供的平均信息量，称H(X|Y)为X的条件熵.2/6/20236:58PM62定义

随机变量X和Y的条件熵条件熵表示：已知一个随机变量时，对另一个随机变量的平均不确定性.条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度.

条件熵2/6/20236:58PM63

表示在已知的情况下,Y的平均不确定性。对于不同的，是变化的,因此，是一个随机变量.2/6/20236:58PM64联合熵大于等于独立事件的熵，小于等于两事件熵之和，即

H(X,Y)

H(X)+H(Y)特别

H(X,X)=H(X)

2/6/20236:58PM65链法则

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)=H(Y,X)H(X|Y)H(X)，H(Y|X)H(Y)H(X,Y)H(X)+H(Y)

若X与Y统计独立，则H(X,Y)=H(X)+H(Y)

H(Y|X)=H(Y),H(X)=H(X|Y)

可推广到多个随机变量的情况：各种熵之间的关系2/6/20236:58PM66条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵.链法则

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)=H(Y,X)H(X|Y)H(X)，H(Y|X)H(Y)H(X,Y)H(X)+H(Y)

若X与Y统计独立，则H(X,Y)=H(X)+H(Y)

H(Y|X)=H(Y),H(X)=H(X|Y)

2/6/20236:58PM672/6/20236:58PM68各种熵之间的关系2/6/20236:58PM69判断题1）H(X)>0;2）若X与Y独立，则H(X)=H(X|y);3)H(X|X)=0;4）若X与Y独立，则H(X|Y)=H(Y|X).x只有—个可能的结果，H(X)＝0p(x)=p(x|y)H(X|Y=y)=H(X)FFTT该信源的熵H(X)>log6不满足熵的极值性？2.652.582/6/20236:58PM70例有两个同时输出的信源X和Y，其中X的信源符号为{A，B，C}，Y的信源符号为{D，E，F，G}，已知P(X)和P(Y|X)，求联合信源的联合熵和条件熵.XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62/6/20236:58PM71解：信源X的熵为：P(x,y)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36p(x,y)=p(y|x)p(x)XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62/6/20236:58PM72信源XY输出每一对消息的联合概率为：P(X,Y)=P(Y|X)P(X)，结果如上表.联合熵：

条件熵：

P(x,y)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62/6/20236:58PM73从上述结果可得：H(X,Y)=H(X)+H(Y|X)=1.461+1.956=3.417(bit/符号)当两个信源统计独立时，H(X,Y)=H(X)+H(Y)为最大。对第二个信源Y，其熵H(Y)的计算。由全概率公式：2/6/20236:58PM74联合熵的最大值为：由于信源相关，使联合熵减小，其减小量为：因此：2/6/20236:58PM75例

已知联合概率分布如下，求H(X,Y),H(X),H(Y),H(Y|X),

H(X|Y).2/6/20236:58PM761)H(X,Y)=2.665bit/symbol解H(X)=2.066bit/symbol2)3)H(Y)=1.856bit/symbol2/6/20236:58PM774)5)H(X|Y)=0.809bit/symbolH(Y|X)=0.600bit/symbol法二：链法则

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)p(y|x)=p(x,y)/p(x)p(x|y)=p(x,y)/p(y)2/6/20236:58PM78§1.3相对熵和互信息2/6/20236:58PM79

引入事件的重量，度量事件的重要性或主观价值.

加权熵定义为

相对熵和互信息加权熵2/6/20236:58PM80不满足对称性，因此不是一个距离测度.相对熵2/6/20236:58PM822/6/20236:58PM83先验概率：信源发出消息的概率.后验概率：信宿收到消息

后推测信源发出

的概率，即条件概率.

互信息是一个随机变量包含的关于另一个随机变量的信息量的度量.互信息（量）2/6/20236:58PM84互信息可定义为互信息有两方面的含义表示事件出现前后关于事件的不确定性减少的量；事件出现以后信宿获得的关于事件的信息量.2/6/20236:58PM85注意:联合自信息I(xi,yj)与互信息I(xi;yj)

两者记法不同，意义不同，需要区分.互信息I(xi;yj)是后验概率与先验概率比值的信息量.互信息（量）2/6/20236:58PM86

在实际工作和生活中，当我们不能够直接得到某事件的信息时，往往通过其它事件获得该事件的信息，这实质上是互信息概念的应用.

互信息量的引出，使信息流通问题进入定量分析的范畴，为信息流通的定量测量打下了坚实的基础，把信息理论发展到了一个更深的层次，可以认为是信息论发展的又一个里程碑.互信息（量）2/6/20236:58PM87xiyj观察者站在输出端

I(xi;yj)=logp(xi|yj)-logp(xi)=I(xi)–

I(xi|yj)

：对yj一无所知的情况下xi存在的不确定度；：收到yj

后xi

仍然存在的不确定度；互信息：收到yj

前和收到yj后不确定度被消除的部分.2/6/20236:58PM88观察者站在输入端

I(yj;

xi)=logp(yj|xi)–logp(yj)=I(yj)–

I(yj|xi)

观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差.xiyjI(yj;

xi)=I(xi;yj)?2/6/20236:58PM89观察者站在通信系统总体立场上互信息等于通信前后不确定度的差值通信前：X和Y之间没有任何关系，即X、Y统计独立，

p(xi,yj)=p(xi)p(yj)通信后：p(xi,yj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)2/6/20236:58PM90

如果xi与yj相关的话，则xi的条件自信息量I(xi|yj)必然要比它的自信息量I(xi)有所下降，下降的信息量就是信道从信源传到信宿的信息量，互信息量的大小实际上反映了一个信道的传信能力。互信息量不可能大于自信息量，信道上传递的信息量不可能超过信源所提供的信息量.

当I(xi|yj)=0时，说明信宿收到yj后，信源符号xi已经没有任何信息量，或者说信道已经将有关xi的全部内容传到了信宿，此时有I(xi;yj)=I(xi).I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

2/6/20236:58PM91(1)统计独立

p(xi|yj)=p(xi)，I(xi|yj)=I(xi)，

I(xi;yj)=0；I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

当xi与yj完全独立时，即说明信宿收到的符号yj不含有任何有关xi的内容(噪音),信道没有传递任何有关xi的信息,I(xi|yj)=I(xi),或I(xi;yj)=0；信道传递的信息量为零.

(3)

p(xi|yj)=1，(2)

若p(xi)<p(xi|yj)，则I(xi;yj)>0；

若p(xi)>p(xi|yj)，则I(xi;yj)<0；互信息的几种特殊情况2/6/20236:58PM921)互信息的对称性2)互信息可为零3)互信息可为正值或负值4)任何两个事件之间的互信息不可能大于其中任一事件的自信息互信息（量）的性质2/6/20236:58PM93用公式表示为

互信息的对称性表明从yj得到的关于xi的信息量

与从xi

得到的关于yj的信息量

是一样的，只是观察的角度不同而已。对信道两端的随机变量X和Y之间的信息流通的总体测度的两种不同的表达形式而已.1)互信息的对称性互信息（量）的性质2/6/20236:58PM94当xi和yj相互独立,即后验概率与先验概率相等时，互信息为零.表明xi和yj之间不存在统计约束关系，从yj得不到关于的xi的任何信息，反之亦然.

2)互信息可为零互信息（量）的性质2/6/20236:58PM95当后验概率大于先验概率时，互信息为正.

说明事件yj的出现有助于消除事件xi的不确定度.当后验概率小于先验概率时，互信息为负.

说明收信者未收到yj以前，对消息xi是否出现的猜测难度较小，但由于噪声的存在，接收到消息yj后对xi是否出现的猜测的难度增加了，也就是收信者接收到消息yj后对xi出现的不确定性反而增加，所以获得的信息量为负值.3)互信息可正可负互信息（量）的性质2/6/20236:58PM964)任何两个事件之间的互信息小于等于其中任一事件的自信息互信息（量）的性质2/6/20236:58PM97例

居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？

解

x=某女孩是大学生；y=某女孩身高1米6以上.则有

“身高1米6以上的某女孩是女大学生”为事件2/6/20236:58PM98例已知信源发出和两种消息，且。此消息在二进制对称信道上传输，信道传输特性为

求互信息量和.解

2/6/20236:58PM992/6/20236:58PM100

互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发,在平均意义上度量每通过一个符号流经信道的平均信息量.

为了客观地测度信道中流通的信息，定义互信息量在联合概率空间中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称为平均交互信息量或交互熵.平均互信息（量）2/6/20236:58PM101平均互信息（量）2/6/20236:58PM102平均互信息（量）2/6/20236:58PM1032/6/20236:58PM104I(X;Y)≤H(X),I(X;Y)≤H(Y)H(X|Y)≤H(X),I(X;Y)≤H(X)+H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)2/6/20236:58PM105对称性：I(X;Y)=I(Y;X)非负性：

平均互信息量的非负性告诉我们：从整体和平均的意义上来说，信道每通过一条消息，总能传递一定的信息量，或者说接收端每收到一条消息，总能提取到信源X的信息量，等效于总能使信源的不确定度有所下降。也可以说从一个事件提取关于另一个事件的消息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加.

平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，在平均意义上观察问题，所以平均互信息不会出现负值.平均互信息的性质2/6/20236:58PM106

3.极值性：

I(X;Y)min{H(X),H(Y)}

平均互信息量的极值性说明从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵，不会超过另一个事件自身所含的信息量.

平均互信息的性质2/6/20236:58PM1074.

平均互信息和各类熵的关系

I(X;Y)=H(X)

H(X|Y)