信息论举例讲解信息量熵及互信息量

信息论举例讲解信息量熵及互信息量第一页，共二十六页，2022年，8月28日

在上一次课中我们提到香农对信息定性的定义——事物运动状态或存在方式的不确定性的描述。事实上，香农对信息不仅作了定性描述，而且还进行了定量分析。

信源发出的消息常常是随机的，具有不确定性。如果信源中某一消息的不确定性越大，一旦发生，并为收信者收到，消除的不确定性就越大，获得的信息也就越大。同时事件发生的不确定性与事件发生的概率有关，概率越小，不确定性就越大。

研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。第二页，共二十六页，2022年，8月28日离散集自信息量的性质

因此，某事件x发生所提供的信息量I(x)应该是该事件发生的先验概率p(x)的函数:I(x)=f(p(x))(4)当p(x)=0时，I(x)=∞:表示不可能事件一旦发生，信息量将无穷大。且应满足以下四点：(1)I(x)应该是事件概率p(x)的单调递减函数；(2)信息量应具有可加性：对于两个独立事件，其信息量应等于各自信息量之和；(3)当p(x)=1时，I(x)=0：表示确定事件发生得不到任何信息；第三页，共二十六页，2022年，8月28日自信息量的计算公式

综合上述条件，在概率上已经严格证明了

自信息量的单位：若这里的对数底取2，则单位为比特bit，由于在计算机上是二进制，我们一般都采用比特。其他单位以及相互之间转换关系查阅教材。其中p(x)为消息的先验概率。第四页，共二十六页，2022年，8月28日计算自信息量的例子例1：信源消息X={0,1,2}的概率模型如下：xi012P(xi)1/31/61/2xi012P(xi)1/31/61/2I(xi)log3log6log2则该信源各消息的自信息量分别为：单位：比特第五页，共二十六页，2022年，8月28日自信息量的涵义自信息量代表两种含义：二、当事件x发生以后，I(x)表示事件x所提供的信息量（在无噪情况下)。

在通信系统模型中，不仅可以用自信息量来研究信源中的每个消息，对信宿也可同样可以。一、事件x发生以前，I(x)表示事件x发生的不确定性；第六页，共二十六页，2022年，8月28日自信息量计算的应用例2：假设一条电线上串联了8个灯泡x1,x2,…,x8,这8个灯泡损坏的可能性是等概率的,假设有也只有一个灯泡损坏,用万用表去测量,获得足够的信息量,才能获知和确定哪个灯泡xi损坏。下面就来看我们最少需要获得多少信息量才能判断出。第七页，共二十六页，2022年，8月28日第三次测量获得的信息量：故共需要3bit信息量.第二次测量获得的信息量：[解]第一次测量获得的信息量：第八页，共二十六页，2022年，8月28日信源熵

前面我们根据信源或信宿的概率模型，通过自信息量的计算，能得到信源以及信宿中每个消息的不确定性。然而，事实上，人们往往关注的并不紧紧是每个消息的不确定性，而是整个系统的不确定性的统计特性即整个信源自信息量的统计平均值——熵。xi01P(xi)0.50.5yi01P(yi)0.990.01我们先来看一个例子：例3有两个信源X和Y：

在现实中，能找到很多类似的模型，我们想知道这两个信源本质的区别在哪里？第九页，共二十六页，2022年，8月28日平均自信息量——熵的定义

设X是一个集合（即信息系统如信源或信道），其概率模型为{xi,p(xi)}，则定义系统X的平均自信息量——熵为：熵的单位是比特/符号.

我们知道，I(xi)是唯一确定xi所需要的信息量，那么H(X)就是唯一确定X中任一事件所需的平均信息量。它反映了X中事件xi出现的平均不确定性。第十页，共二十六页，2022年，8月28日熵的几条性质（4）极值性——最大离散熵定理:设|X|为信源消息的个数,则有H(X)小于等于log|X|，等号当且仅当信源X中各消息等概率时成立，即各消息等概率分布时(p=1/|X|),信源熵最大.(3)确定性:若离散事件是确定事件,则H(X)＝0(2)非负性：H(X)≥0；(1)对称性：熵只和分布有关，不关心某一具体事件对应哪个概率；第十一页，共二十六页，2022年，8月28日计算熵的例子例4计算下面一个信源的熵：xi000001010011100101110111q(xi)1/41/41/81/81/161/161/161/16[解]由定义有：(比特/符号)

我们再回过头来看一下例3中两个信源熵分别是多少，结果反映了一个怎样的事实？[例3解答]由定义有：

显然,H(X)>>H(Y),这表示信源X的平均不稳定性远远大于信源Y的平均不稳定性。第十二页，共二十六页，2022年，8月28日条件自信息量

前面我们引入自信息量以及熵的概念，用以描述信源或信宿，事实上，信宿收到的消息是与信源发出的消息密切相关。并且接受信息与发送信息之间的关系往往是判定一个信道的好坏的最佳标准。所以，我们需要引入互信息量。在学习互信息量之前我们先来了解条件信息量的概念。

设消息x发出的先验概率为p(x)，收到消息y是由x发出的条件概率为p(x|y),则在收到y是由x发出的条件自信息量I(x|y)定义为：（比特）第十三页，共二十六页，2022年，8月28日计算条件自信息量的例子例5在二进制对称信道BSC中，若信道转移概率矩阵为：

计算下列条件自信息量(若p(0)=p(1)=1)：[解答]由已知条件可得：

量的定义得由条件自信息单位为比特第十四页，共二十六页，2022年，8月28日

我们知道,在通信之前,消息x具有不确定性p(x),其大小为x的自信息量:

两者之间的差就是我们通过这一次通信所获得到的信息量的大小。I(x|y)=-logp(x|y)I(x)=-logp(x)当我们收到消息y，它是否由x发出也有一定的不确定性p(x|y)，其大小为条件自信息量:第十五页，共二十六页，2022年，8月28日同样，收到的消息为y具有不确定性p(y)，其大小为y的自信息量：

两者之间的差也是我们通过这一次通信所获得到的信息量的大小。I(y|x)=-logp(y|x)I(y)=-logp(y)当我们发出消息x,它是否收到y也有一定的不确定性p(y|x)，其大小为条件自信息量:第十六页，共二十六页，2022年，8月28日互信息量

很显然，从通信的角度来看，上述两个差值应该相等，即：事实上，由概率论概率的乘积公式有：

这样，用I（x;y）或I（y;x）记该差式，称为x与y之间的互信息量，单位也为比特。故：第十七页，共二十六页，2022年，8月28日互信息量的性质一、对称性：I(x;y)=I(y;x),其通信意义表示发出x收到y所能提供给我们的信息量的大小；二、当x与y统计独立时,I(x;y)=I(y;x)=0,表示这样一次通信不能为我们提供任何信息.

上述两条性质与我们实际情况非常吻合.第十八页，共二十六页，2022年，8月28日计算互信息量的例子信源消息码字先验概率消息后验概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000例5设信源中含有8个消息，其先验概率如下图,试求当我们收到011所能获取到的信息量,即计算互信息量I(x3;011).第十九页，共二十六页，2022年，8月28日信源消息码字先验概率消息后验概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000[解法一]由互信息量的含义得：单位为比特第二十页，共二十六页，2022年，8月28日信源消息码字先验概率消息后验概率收到0后收到01后收到011后x00001/41/300x10011/41/300X20101/81/61/20X30111/81/61/21X41001/16000X51011/16000X61101/16000x71111/16000[解法二]直接计算得：单位为比特第二十一页，共二十六页，2022年，8月28日

熵是信源平均不确定性的度量,一般情况下,它并不等于信宿所获得的平均信息量,只有在无噪情况下,二者才相等.为此我们需要学习条件熵.同时我们由条件熵引出平均互信息量的概念,其可以用来衡量一个信道的好坏.第二十二页，共二十六页，2022年，8月28日条件熵的定义

设X是信源的消息集,Y是信宿消息集,对条件自信息量I(x|y)取统计平均值得到条件熵H(X|Y),即：

其中p（x,y）为联合概率,p（x|y）为条件概率.第二十三页，共二十六页，2022年，8月28日平均互信息量的定义

很显然,信源X的熵H(X)与条件熵H(X|Y)的差值和信宿Y的熵H(Y)与条件熵H(Y|X)的差值相等,我们称为X与Y的平均互信息量,记为：I(X;Y)是一个用来衡量信道好坏的非