信息论讲义第四讲

信息论讲义第四讲1第一页，共五十二页，编辑于2023年，星期六第二章信息的统计度量内容提要

2.1自信息量和条件自信息量

2.2互信息量和条件互信息量

2.3离散集的平均自信息量

2.4离散集的平均互信息量

2.5连续随机变量的互信息和相对熵

2第二页，共五十二页，编辑于2023年，星期六2.4离散集的平均互信息量2.4.1平均条件互信息量2.4.2平均互信息量2.4.3平均互信息量的性质3第三页，共五十二页，编辑于2023年，星期六2.4.1平均条件互信息量平均条件互信息量的定义

在联合集XY上，由yj提供的关于集X的平均条件互信息等于由yj所提供的互信息量I(xi;yj)在整个X中以后验概率加权的平均值，其定义式为

式中，p(xi|yj)为后验概率。它又可以表示为4第四页，共五十二页，编辑于2023年，星期六2.4.1平均条件互信息量平均条件互信息量的性质

联合集XY上的平均条件互信息量有等号成立条件：当且仅当集X中的各个xi都与事件yj相互独立。5第五页，共五十二页，编辑于2023年，星期六2.4.1平均条件互信息量（续）证明：6第六页，共五十二页，编辑于2023年，星期六假设一条电线上串联了8个灯泡x1,x2，…x8如图，这8个灯泡损坏的概率相等p(xi)=1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。2.4.2平均互信息量-引入7第七页，共五十二页，编辑于2023年，星期六信源消息x1

x2x3x4x5x6x7x8先验概率1/81/81/81/81/81/81/81/8后验概率第1次测量y1/41/41/41/4第2次测量z1/21/2第3次测量w1要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的,至少要获得3个bit的信息量2.4.2平均互信息量-引入（续）8第八页，共五十二页，编辑于2023年，星期六方法2：逐个检查第1次:x1坏,获得信息量=3bit,可能性较小1/8；x1通,其余7只中1只坏,坏灯泡的不确定性：log27=2.8073bit获得信息量=3-2.8073=0.1927bit,可能性较大7/8第1次所获得的平均信息量:

“对半开”第1次所获得的平均信息量:2.4.2平均互信息量-引入（续）9第九页，共五十二页，编辑于2023年，星期六如果将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。互信息量I(xi;yj)、I(X;yj)是是一个随机变量，不能从整体上作为信道中信息流通的测度。2.4.2平均互信息量10第十页，共五十二页，编辑于2023年，星期六2.4.2平均互信息量（续）平均互信息量互信息量I(X;yj)在整个集Y上的概率加权平均值。其定义式为I(X;Y)=H(X)–H(X|Y)根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的量.其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量.11第十一页，共五十二页，编辑于2023年，星期六2.4.2平均互信息量-性质（1）非负性

当且仅当X与Y相互独立时，等号成立。证明：12第十二页，共五十二页，编辑于2023年，星期六2.4.2平均互信息量-性质（续）（2）互易性(对称性)

表示从集Y中获得的关于X的信息量等于从集X中获得的关于Y的信息量。当集X和集Y统计独立时，

物理意义：当集X和集Y统计独立时，不能从一个集获得关于另一个集的任何信息。

13第十三页，共五十二页，编辑于2023年，星期六证明：2.4.2平均互信息量-性质（续）14第十四页，共五十二页，编辑于2023年，星期六（3）平均互信息和各类熵的关系

平均互信息和熵、条件熵的关系为

平均互信息和熵、联合熵的关系为2.4.2平均互信息量-性质（续）H(X,Y)H(Y)H(X)H(X|Y)H(Y|X)I(X;Y)15第十五页，共五十二页，编辑于2023年，星期六①观察者站在输出端②观察者站在输入端③观察者站在通信系统总体立场上2.4.2平均互信息量-性质（续）16第十六页，共五十二页，编辑于2023年，星期六①观察者站在输出端I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。2.4.2平均互信息量-性质（续）17第十七页，共五十二页，编辑于2023年，星期六②观察者站在输入端I(Y;X)—发出X前、后关于Y的先验不确定度减少的量。2.4.2平均互信息量-性质（续）18第十八页，共五十二页，编辑于2023年，星期六③观察者站在通信系统总体立场上I(X;Y)—通信前、后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。2.4.2平均互信息量-性质（续）19第十九页，共五十二页，编辑于2023年，星期六维拉图H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)2.4.2平均互信息量-性质（续）20第二十页，共五十二页，编辑于2023年，星期六若信道是无噪一一对应信道,信道传递概率：计算得:2.4.2平均互信息量-性质（续）21第二十一页，共五十二页，编辑于2023年，星期六若信道输入端X与输出端Y完全统计独立

则:2.4.2平均互信息量-性质（续）22第二十二页，共五十二页，编辑于2023年，星期六例:

已知信源空间

信道特性如图2.4所示，求在该信道上传输的平均互信息量I(X;Y)，疑义度H(X|Y)，噪声熵H(Y|X)和共熵H(XY)。2.4.2平均互信息量-性质（续）23第二十三页，共五十二页，编辑于2023年，星期六解（1）根据P(xiyj)=P(xi)P(yj

|xi)，求各联合概率，得

P(x1y1)=P(x1)P(y1|x1)=0.5×0.98=0.49 P(x1y2)=P(x1)P(y2|x1)=0.5×0.02=0.01 P(x2y1)=P(x2)P(y1|x2)=0.5×0.20=0.10 P(x2y2)=P(x2)P(y2|x2)=0.5×0.80=0.40

（2）根据，求Y集合中各符号的概率，得

P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.5×0.98＋0.5×0.2=0.59 P(y2)=1–0.59=0.412.4.2平均互信息量-性质（续）24第二十四页，共五十二页，编辑于2023年，星期六（3）求各种熵，有

I(X;Y)=H(X)+H(Y)–H(XY)=1+0.98-1.43=0.55比特/信符H(X|Y)=H(X)–I(X;Y)=1–0.55=0.45比特/信符H(Y|X)=H(Y)–I(X;Y)=0.98–0.55=0.43比特/信符2.4.2平均互信息量-性质（续）25第二十五页，共五十二页，编辑于2023年，星期六2.4.2平均互信息量-性质（续）（4）极值性释：＊I(X;Y)取值在0和H(X)之间。＊接收端所能获得的最大信息量等于信源的自信息量26第二十六页，共五十二页，编辑于2023年，星期六2.4.2平均互信息量-性质（续）（5）凸函数性平均互信息量是信源概率分布p(x)和信道传递概率p(x|y)的凸函数。27第二十七页，共五十二页，编辑于2023年，星期六例:设二进制对称信道的信源输出概率空间为

信道转移概率p(yj|xi)如图所示。2.4.2平均互信息量-性质（续）28第二十八页，共五十二页，编辑于2023年，星期六当q不变/固定信道特性时，可得I(X;Y)随输入概率分布p变化的曲线；I(X;Y)是p(xi)的上凸函数二进制对称信道特性固定后，输入呈等概率分布p=1/2时，平均而言在接收端可获得最大信息量。2.4.2平均互信息量-性质（续）29第二十九页，共五十二页，编辑于2023年，星期六当固定信源特性p时，I(X;Y)就是信道特性q的函数；I(X;Y)是p(yj/xi)的下凸函数当二进制对称信道特性q=1/2时，信道输出端获得信息量最小，即等于0。说明信源的全部信息都损失在信道中了。这是一种最差的信道。2.4.2平均互信息量-性质（续）30第三十页，共五十二页，编辑于2023年，星期六数据处理定理当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。即I(X;Z)≤I(X;Y)≤H(X)当对信号进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号变成更有用的形式，但是绝不会创造出新的信息。这就是信息不增原理。2.4.2平均互信息量-性质（续）31第三十一页，共五十二页，编辑于2023年，星期六例：

I(X;YZ)＝I(X;Y)＋I(X;Z|Y)证明:2.4.2平均互信息量-性质（续）

I(X;Y)＋I(X;Z|Y)I(X;YZ)＝I(X;Z)＋I(X;Y|Z)32第三十二页，共五十二页，编辑于2023年，星期六例：有两个离散随机变量X和Y，其和为Z=X+Y，且X与Y相互独立。求证：证明：

即联合事件XY和XZ的概率空间构成一一映射又∵X与Y相互独立2.4.2平均互信息量（续）33第三十三页，共五十二页，编辑于2023年，星期六同理因为X与Y相互独立2.4.2平均互信息量（续）34第三十四页，共五十二页，编辑于2023年，星期六相对熵定义若对应于X有两种分布p(x)和q(x)，则

称为这两种分布的相对熵、熵差，也称为两种分布的“距离（Distance）”。2.4.2平均互信息量（续）平均互信息量的另一种定义35第三十五页，共五十二页，编辑于2023年，星期六

Therelativeentropyisalwaysnon-negativeandiszeroifandonlyifp=q.However,itisnotatruedistancebetweendistributionssinceitisnotsymmetricanddoesnotsatisfythetriangleinequality.Nonetheless,itisoftenusefultothinkofrelativeentropyasa“distance”betweendistributions.Annotation:2.4.2平均互信息量（续）36第三十六页，共五十二页，编辑于2023年，星期六Theorem(Informationinequality):withequalityifandonlyifProof:2.4.2平均互信息量（续）37第三十七页，共五十二页，编辑于2023年，星期六例：

x={0,1}；p(0)=1–r，p(1)=r；q(0)=1–s，q(1)=s。求D(p||q)和D(q||p)。

解

若r=s，则D(p||q)=D(q||p)=0r

s，则D(p||q)D(q||p)2.4.2平均互信息量（续）r=1/2,s=1/438第三十八页，共五十二页，编辑于2023年，星期六上述定义并不是严格意义下的熵差或“距离”，仅有一种相互的关系。利用这一关系引入平均互信息量的另一种定义。定义：

平均互信息量用相对熵定义如下：2.4.2平均互信息量（续）39第三十九页，共五十二页，编辑于2023年，星期六2.5连续随机变量的互信息和相对熵2.5.1连续随机变量的熵2.5.2连续随机变量的互信息研究思想：连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。将采用这一观点讨论连续随机变量的信息熵与信息量。40第四十页，共五十二页，编辑于2023年，星期六2.5.1连续随机变量的熵令u∈[a,b]，将它均匀的划分为n份，每份宽度为△＝，则u处于第i个区间的概率为，即

=41第四十一页，共五十二页，编辑于2023年，星期六考虑离散随机变量熵的定义为：

H（X）＝则有：

2.5.1连续随机变量的熵（续）42第四十二页，共五十二页，编辑于2023年，星期六2.5.1连续随机变量的熵（续）按照离散熵的概念，连续随机变量的熵应为无穷大，失去意义。1948年，香农直接定义：

即定义取有限值的项为连续信源的信息熵，也称微分熵。

43第四十三页，共五十二页，编辑于2023年，星期六连续分布随机变量的微分熵

VS离散随机变量的熵

微分熵可以作为连续随机变量不确定程度的相对度量。Hc

(u)是连续随机变量的熵，而不是连续随机变量输出的信息量；而连续随机变量输出的信息量是Hn(U).

在离散随机变量中随机变量输出信息量就是信源熵，两者是一个概念；但是在连续随机变量中则是两个概念，且不相等。连续随机变量输出信息量Hn(U)是一个绝对值，取值于∞，连续随机变量的熵Hc(U)则是一个相对值