第二章离散信源与信息

1、北京交通大学信息科学研究所,信息论基础 Elements of Information Theory 北京交大计算机与信息技术学院 信息科学研究所现代信号处理与通信研究室 教学九楼六层北606 主讲：丁晓明 TEL:92/sopc;sopc E,第二章：信息的度量与信息熵 ( The measure of Information 而女孩中身高 1.6m 以上者超过一半。问：当得知“身高1.6m 以上的某女孩是大学生”的消息时，我们获得多少信息量？,2. 1 自信息与条件自信息,题解： 设女孩中有大学生的概率为 或者说女孩是大 学生是

2、一随机事件 ；另设女孩中身高超过1.6m以上者为另一随机事件 ，其概率为： ， 又因女孩大学生中超过1.6m者的概率为： 所问：当某女孩是身高1.6m以上，且她是大学生,则我们将 得到多少信息量？ 即： 为什么不是求：,从以上例题可以看出联合事件的自信息与单一事件 和条件自信息的关系，即联合事件的自信息可以看成是 某一事件的自信息加上此事件发生后另一事件所剩的条 件自信息。 为什么联合事件的自信息一定大于条件自信息呢？ 这实际上是自信息与条件自信息之间的概念差别，我们 从系统模型分析出发加深理解。,2. 1 自信息与条件自信息,显然：,在信源发出消息事件 之后, 将通过信道传输由信宿接收。如

3、果信道是透明传输，则输出也一定是 ，但实际是收到加噪声后 的事件 。因此如何根据收端接受到的事件判断发方所 发的消息，这是通信译码准则所决定。但我们所关心的是如何依 据理论分析来得到这些判决准则？,2. 1 自信息与条件自信息,首先我们认为发端是以某种先验概率(Prior Probability)在发 送消息,（即信源在发送消息之前就以统计出的概率）而另一种概 率： 则表达当收端已收到某种消息后, 再统计发端的发送 概率，所以此条件概率称为后验概率(Posterior Probability) 。,因此我们说事件 以及它所对应的先验概率 而定 义出的自信息 ，所表达的不论事件是否有人接收这 个

4、事件它所固有的不确定度，或者说它所能带来的信息 量。而消息事件 它所对应的条件概率 是在收端接收到已干扰的消息后的后验概率,如果当它为1 则属于透明传输；若 ，说明事件 发生之后多少也解除了事件 的部分不定度，即得到 了事件 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。,2. 1 自信息与条件自信息,第二章. 信息的度量与信息熵,2. 2 自互信息与条件自互信息 (selfmutual information 而 已变成了常量(constant)

5、，它是代表集合的总体特征。,信息熵与平均信息量的关系：,所以一般来讲，信源的信息熵 H 并不等于接收者所获得的平均信息量。从客观性来看，信息熵仅表征了信源发送信息能力的客观标志，它与此刻信源发不发消息？在发哪条消息？毫无相关！,2. 3 离散信源的信息熵,因此我们讲信息熵并不反映从信源中平均能获多少信息量， 而是从平均的意义上，代表信源所客观存在着发送信息的能力。,例25.,则信息熵分别为：,2. 3 离散信源的信息熵,前提：模一次球后再放回袋中，以不破坏概率试验 条件，且一旦球拿出其不定度一定完全解除。所以，摸 n次以后所得到的总信息量为：,若经算术平均处理后，则平均信息量为：,所以在此条件

6、下才有平均信息量等于信息熵。,第二章. 信息的度量与信息熵,我们说信息熵是一个定值，是指针对信源的概率分布函数 来说是一常量。如果分布函数不同，则信息熵也就不同。因此 信息熵将是概率分布的函数，亦称熵函数。,2. 4 熵函数的数学性质与其物理意义 ( Mathematical Properties of the Discrete Entropy Function),def,注意：这里所指的熵函数是针对离散信源而言，如果对连续信源其熵函数的性质就有一定的出入。下面我们分别介绍熵函数的数学性质及所涵盖的物理意义。,2. 4 熵函数的数学性质与其物理意义,1. 对称性 (symmetry) 这个性质

7、的物理意义非常明确，即熵仅反映信源的总体特征， 而与哪一个变量的取值无关。,2. 非负性 (non-negativity),2. 4 熵函数的数学性质与其物理意义,扩展性反映出概率小的事件，虽然自信息很大，但在熵的计 算中所占的比重却很小很小，几乎不影响信源的总体特征。,3. 扩展性 (expansibility),4. 确定性 (deterministic),2. 4 熵函数的数学性质与其物理意义,可加性是熵函数的性质中最重要的一条性质，正因为有此 性质才决定熵函数的形式必须要用对数形式。(换句话说：可体 现熵可加性的函数形式只有对数形式，这也经熵函数的唯一性 定理所证明。)但我们应关心此性

8、质的物理含义，即知识的可积 累性。具体的讲：熵函数是作为一个集合中的总体平均不定度特 征，应对集合中元素的如何划分是无关的。从另一方面看，可加 性所反映的是任何复杂问题，都可以分步解决。这也是说：对于 某一事物存在有一定的不确定度，你无法一下完全解除不定度； 你总可以分成不同的层次，一步一步地解除，直至最后完全解除 其不确定度。,5. 可加性 ( Additive property ),或,2. 4 熵函数的数学性质与其物理意义,但是如果我换一种问法：先取一个球问其是否为红色？如果 是红色便停止取球；否则再从剩下的袋中取一球，问其颜色？判断当得知球为红色的信息量在两种取法中是否相同？,先举一个

9、简单例子，然后介绍书中的内容： 设我有三个不同颜色的小球在口袋中，分别为：红色、白色和黑色；问：、当随便从袋中拿出一个球，它的颜色是什么？ 显然：,2. 4 熵函数的数学性质与其物理意义,2. 4 熵函数的数学性质与其物理意义,这就是可加性的一种表示方法，而书中给出了另一种方法，由 于物理意义表达不充分，我们换一种方式导入。,如果一个随机事件的集合可以看成是由两个随机变量的联合发 生而形成，则可以写成以下形式：,2. 4 熵函数的数学性质与其物理意义,按照信息熵的定义，我们可写出：,联合概率(joint probability)：,2. 4 熵函数的数学性质与其物理意义,(conditiona

10、l entropy),2. 4 熵函数的数学性质与其物理意义,def,(Joint Entropy)它的平均不定度，应等于一个变量的 无条件熵加上另一变量的有条件熵。,这是随机变量X与Y之间相互统计独立的重要性质，它是可加性的一特例。所以一般情况下可加性表示为：,2. 4 熵函数的数学性质与其物理意义,上式表明，任何概率分布下的信息熵一定不会大于它 对其它概率分布下自信息的数学期望。 先证明一个常用的不等式，再证明极值性。,6. 极值性 ( Extremum ),2. 4 熵函数的数学性质与其物理意义,下面证明极值性：,2. 4 熵函数的数学性质与其物理意义,这就是离散信源下的最大熵定理： 任

11、何离散信源，不论它取何种概率分布，所得的信息 熵 H(X) , 一定不会大于等概率分布时的信息熵 (log n) 。,2. 4 熵函数的数学性质与其物理意义,有了这条性质，我们很容易证明条件熵一定不会大于无条件熵。,2. 4 熵函数的数学性质与其物理意义,7. 上凸性 ( Convexity ) 因为信息熵是一数学函数，故 可按数学函数分析其凸、凹性。 如果有一函数 f(x) ,若判断能满足：,成立，我们称此函数为下凸函数, 或凹函数；否则为上凸函数。,Convexity,Concavity,2. 4 熵函数的数学性质与其物理意义,证明：,2. 4 熵函数的数学性质与其物理意义,2. 4 熵函数的数学性质与其物理意义,The entropy function is a strictly convex function. 因此，只有当函数具有上凸性时，在其值域中一 定存在有绝对极大值，故熵函数必然有最大值问题 Maximum entropy theorem 最简单的熵函数二元信息熵（The binary entropy function）,2. 4 熵函数的数学性质与其物理意义,二维熵函数三元信息熵 (The triple entropy function),2. 4 熵函数的数学性质与其物理意义,2. 4 熵函数的数学性质与其物理意