信息论_举例讲解(信息量、熵及互信息量)[青苗教育]

1、信息论基础 信息量、熵和互信息量信息量、熵和互信息量 1技能教育 在上一次课中我们提到香农对信息定性的 定义事物运动状态或存在方式的不确定性 的描述。事实上，香农对信息不仅作了定性描 述，而且还进行了定量分析。 信源发出的消息常常是随机的，具有不确 定性。如果信源中某一消息的不确定性越大， 一旦发生，并为收信者收到，消除的不确定性 就越大，获得的信息也就越大。同时事件发生 的不确定性与事件发生的概率有关，概率越小， 不确定性就越大。 研究通信系统的目的就是要找到信息传输 过程的共同规律，以提高信息传输的可靠性、 有效性、保密性和认证性，以达到信息传输系 统最优化。 2技能教育 离散集自信息量的

2、性质离散集自信息量的性质 因此，某事件x发生所提供的信息量I(x) 应该是该事件发生的先验概率p(x)的函数: I(x)=f(p(x) (4)当p(x)=0时，I(x)=:表示不可能事件一旦 发生，信息量将无穷大。 且应满足以下四点： (1)I(x)应该是事件概率p(x)的单调递减函数； (2)信息量应具有可加性：对于两个独立事件， 其信息量应等于各自信息量之和； (3)当p(x)=1时，I(x)=0：表示确定事件发生得 不到任何信息； 3技能教育 自信息量的计算公式 综合上述条件，在概率上已经严格证明了 )(log)(xp def xI 自信息量的单位：若这里的对数底取2，则 单位为比特bi

3、t，由于在计算机上是二进制，我 们一般都采用比特。其他单位以及相互之间转 换关系查阅教材。 其中p(x)为消息的先验概率。 4技能教育 计算自信息量的例子 例1：信源消息X=0,1,2 的概率模型如下： x xi i0 01 12 2 P(xP(xi i) )1/31/31/61/61/21/2 x xi i0 01 12 2 P(xP(xi i) )1/31/31/61/61/21/2 I(xI(xi i) )log3log3log6log6log2log2 则该信源各消息的自信息量分别为： 单位：比特 5技能教育 自信息量的涵义自信息量的涵义 自信息量代表两种含义： 二、当事件x发生以后，

4、I(x)表示事件x所提供 的信息量（在无噪情况下)。 在通信系统模型中，不仅可以用自信息量来 研究信源中的每个消息，对信宿也可同样可以。 一、事件x发生以前，I(x)表示事件x发生的不 确定性； 6技能教育 自信息量计算的应用自信息量计算的应用 例2：假设一条电线上串联了8个灯泡x1,x2,x8, 这8个灯泡损坏的可能性是等概率的,假设有也只 有一个灯泡损坏,用万用表去测量,获得足够的信 息量,才能获知和确定哪个灯泡xi损坏。下面就来 看我们最少需要获得多少信息量才能判断出。 7技能教育 )( 112 )( 1 log )( 1 log)()( 32 32 bit xpxp xpIxpI )(

5、 101 )( 1 log )( 1 log)()( 43 43 bit xpxp xpIxpI 第三次测量获得的信息量： 故共需要3bit信息量. 第二次测量获得的信息量： )( 123 )( 1 log )( 1 log)()( 21 21 bit xpxp xpIxpI 解第一次测量获得的信息量： 8技能教育 信源熵信源熵 前面我们根据信源或信宿的概率模型，通过 自信息量的计算，能得到信源以及信宿中每个消 息的不确定性。然而，事实上，人们往往关注的 并不紧紧是每个消息的不确定性，而是整个系统 的不确定性的统计特性即整个信源自信息量的统 计平均值熵。 x xi i0 01 1 P(xP(x

6、i i) ) 0.50.50.50.5 y yi i0 01 1 P(yP(yi i) ) 0.990.990.010.01 我们先来看一个例子： 例3 有两个信源X和Y： 在现实中，能找到很多类似的模型，我们想 知道这两个信源本质的区别在哪里？ 9技能教育 平均自信息量平均自信息量熵的定义熵的定义 设X是一个集合（即信息系统如信源或信 道），其概率模型为xi,p(xi)，则定义系统X 的平均自信息量熵为： Xxx iiii def ii xpxpxIxpXH)(log)()()( 熵的单位是比特/符号. 我们知道，I(xi)是唯一确定xi所需要的信 息量，那么H(X)就是唯一确定X中任一事件

7、所需 的平均信息量。它反映了X中事件xi出现的平均 不确定性。 10技能教育 熵的几条性质熵的几条性质 （4）极值性最大离散熵定理:设|X|为信 源消息的个数,则有H(X)小于等于log|X|，等 号当且仅当信源X中各消息等概率时成立，即 各消息等概率分布时( p=1/|X|),信源熵最大. (3)确定性:若离散事件是确定事件,则H(X)0 (2)非负性：H(X)0； (1)对称性：熵只和分布有关，不关心某一具 体事件对应哪个概率； 11技能教育 计算熵的例子计算熵的例子 例4 计算下面一个信源的熵： x xi i0000000010010100100110111001001011011101

8、10111111 q(xq(xi i) )1/41/41/41/41/81/81/81/81/161/161/161/161/161/161/161/16 75. 2 16 1 log 16 1 4 8 1 log 8 1 2 4 1 log 4 1 2)(XH 08. 001. 0log01. 099. 0log99. 0YH 15 . 0log5 . 05 . 0log5 . 0XH 解由定义有： (比特/符号) 我们再回过头来看一下例3中两个信源熵分 别是多少， 结果反映了一个怎样的事实？ 例3解答由定义有： 显然,H(X)H(Y),这表示信源X的平均不稳 定性远远大于信源Y的平均不稳定

9、性。 12技能教育 条件自信息量条件自信息量 )(log)(yxpyxI def 前面我们引入自信息量以及熵的概念，用 以描述信源或信宿，事实上，信宿收到的消息 是与信源发出的消息密切相关。并且接受信息 与发送信息之间的关系往往是判定一个信道的 好坏的最佳标准。所以，我们需要引入互信息 量。在学习互信息量之前我们先来了解条件信 息量的概念。 设消息x发出的先验概率为p(x)，收到消 息y是由x发出的条件概率为p(x|y),则在收到y 是由x发出的条件自信息量I(x|y)定义为： （比特） 13技能教育 计算条件自信息量的例子计算条件自信息量的例子 875. 0125. 0 125. 0875.

10、 0 1 0 10/ yx xyp ) 1| 1(),0| 1(),1|0(xyIxyIyxI . 8 7 ) 1| 1( , 8 1 )0| 1( , 8 1 ) 1|0( xyp xyp yxp . 7log8log) 1| 1( , 38log)0| 1( , 38log) 1|0( xyI xyI yxI 例5 在二进制对称信道BSC中，若信道转移概 率矩阵为： 计算下列条件自信息量(若p(0)=p(1)=1)： 解答由已知条件可得： 量的定义得 由条件自信息 单位为比特 14技能教育 我们知道,在通信之前,消息x具有不确定 性p(x),其大小为x的自信息量: 两者之间的差就是我们通过

11、这一次通信所 获得到的信息量的大小。 I(x|y)=-log p(x|y)I(x|y)=-log p(x|y) I(x)=-log p(x)I(x)=-log p(x) 当我们收到消息y，它是否由x发出也有一定的 不确定性p(x|y)，其大小为条件自信息量: 15技能教育 同样，收到的消息为y具有不确定性p(y)，其 大小为y的自信息量： 两者之间的差也是我们通过这一次通信所 获得到的信息量的大小。 I(y|x)=-log p(y|x)I(y|x)=-log p(y|x) I(y)=-log p(y)I(y)=-log p(y) 当我们发出消息x,它是否收到y也有一定的不 确定性p(y|x)，

12、其大小为条件自信息量: 16技能教育 互信息量互信息量 )|()()|()(xyIyIyxIxI )|()()|()(),(yxpypxypxpyxp )|()( )( )|( log )( )|( log)|()(xyIyI yp xyp xp yxp yxIxI 很显然，从通信的角度来看，上述两个差 值应该相等，即： 事实上，由概率论概率的乘积公式有： 这样，用I（x;y）或I（y;x）记该差式， 称为x与y之间的互信息量，单位也为比特。 故： 17技能教育 互信息量的性质互信息量的性质 一、对称性：I(x;y)=I(y;x),其通信意 义表示发出x收到y所能提供给我们的信 息量的大小；

13、二、当x与y统计独立时,I(x;y)=I(y;x)=0, 表示这样一次通信不能为我们提供任何信 息. 上述两条性质与我们实际情况非 常吻合. 18技能教育 计算互信息量的例子计算互信息量的例子 信源消息信源消息码字码字先验概率先验概率 消息后验概率消息后验概率 收到收到0 0后后收到收到0101后后收到收到011011后后 x0 x00000001/41/41/31/30 00 0 x1x10010011/41/41/31/30 00 0 X2X20100101/81/81/61/61/21/20 0 X3X30110111/81/81/61/61/21/21 1 X4X41001001/16

14、1/160 00 00 0 X5X51011011/161/160 00 00 0 X6X61101101/161/160 00 00 0 x7x71111111/161/160 00 00 0 例5 设信源中含有8个消息，其先验概率如下 图,试求当我们收到011所能获取到的信息量, 即计算互信息量I(x3;011). 19技能教育 信源消息信源消息码字码字先验概率先验概率 消息后验概率消息后验概率 收到收到0 0后后收到收到0101后后收到收到011011后后 x x0 00000001/41/41/31/30 00 0 x x1 10010011/41/41/31/30 00 0 X X2

15、 20100101/81/81/61/61/21/20 0 X X3 30110111/81/81/61/61/21/21 1 X X4 41001001/161/160 00 00 0 X X5 51011011/161/160 00 00 0 X X6 61101101/161/160 00 00 0 x x7 71111111/161/160 00 00 0 )011 ;()01 ;()0 ;()011;( 3333 xIxIxIxI )01( )011( log )0( )01( log )( )0( log 3 3 3 3 3 3 xp xp xp xp xp xp 38log 2

16、1 1 log 6 1 2 1 log 8 1 6 1 log 解法一由互信息量的含义得： 单位为比特 20技能教育 信源消息信源消息码字码字先验概率先验概率 消息后验概率消息后验概率 收到收到0 0后后收到收到0101后后收到收到011011后后 x x0 00000001/41/41/31/30 00 0 x x1 10010011/41/41/31/30 00 0 X X2 20100101/81/81/61/61/21/20 0 X X3 30110111/81/81/61/61/21/21 1 X X4 41001001/161/160 00 00 0 X X5 51011011/1

17、61/160 00 00 0 X X6 61101101/161/160 00 00 0 x x7 71111111/161/160 00 00 0 3 8 1 1 log )( )011( log)011;( 3 3 3 xp xp xI 解法二直接计算得： 单位为比特 21技能教育 熵是信源平均不确定性的度量, 一般情况下,它并不等于信宿所获得 的平均信息量,只有在无噪情况下,二 者才相等.为此我们需要学习条件熵. 同时我们由条件熵引出平均互信息量 的概念,其可以用来衡量一个信道的 好坏. 22技能教育 条件熵的定义条件熵的定义 )(log),()(),(yxpyxpyxIyxpYXH x

18、yxy def 设X是信源的消息集,Y是信宿消息集, 对条件自信息量I(x|y)取统计平均值得 到条件熵H(X|Y),即： 其中p（x,y）为联合概率,p（x|y） 为条件概率. 23技能教育 平均互信息量的定义平均互信息量的定义 )|()()|()();(XYHYHYXHXHYXI 很显然,信源X的熵H(X)与条件熵H(X|Y) 的差值和信宿Y的熵H(Y)与条件熵H(Y|X)的 差值相等,我们称为X与Y的平均互信息量, 记为： I(X;Y)是一个用来衡量信道好坏的 非常好的工具。 24技能教育 计算条件熵的例子计算条件熵的例子 9 . 0 1 . 0 1 . 0 9 . 0 )( xyp )0 , 1 (05. 01 . 05 . 0)