第二章离散信源与信息熵(上)

北京交通大学信息科学研究所,信息论基础ElementsofInformationTheory北京交大计算机与信息技术学院信息科学研究所现代信号处理与通信研究室教学九楼六层北606主讲：丁晓明TEL:51688636;92/sopc;ssopcEmailxmding,第二章：信息的度量与信息熵(ThemeasureofInformation而已变成了常量(constant)，它是代表集合的总体特征。,信息熵与平均信息量的关系：,所以一般来讲，信源的信息熵H并不等于接收者所获得的平均信息量。从客观性来看，信息熵仅表征了信源发送信息能力的客观标志，它与此刻信源发不发消息？在发哪条消息？毫无相关！,2.3离散信源的信息熵,因此我们讲信息熵并不反映从信源中平均能获多少信息量，而是从平均的意义上，代表信源所客观存在着发送信息的能力。,例25.,则信息熵分别为：,（参见P15）,2.3离散信源的信息熵,前提：模一次球后再放回袋中，以不破坏概率试验条件，且一旦球拿出其不定度一定完全解除。所以，摸n次以后所得到的总信息量为：,若经算术平均处理后，则平均信息量为：,所以在此条件下才有平均信息量等于信息熵。,第二章.信息的度量与信息熵,我们说信息熵是一个定值，是指针对信源的概率分布函数来说是一常量。如果分布函数不同，则信息熵也就不同。因此信息熵将是概率分布的函数，亦称熵函数。,2.4熵函数的数学性质与其物理意义(MathematicalPropertiesoftheDiscreteEntropyFunction),def,注意：这里所指的熵函数是针对离散信源而言，如果对连续信源其熵函数的性质就有一定的出入。下面我们分别介绍熵函数的数学性质及所涵盖的物理意义。,2.4熵函数的数学性质与其物理意义,1.对称性(symmetry)这个性质的物理意义非常明确，即熵仅反映信源的总体特征，而与哪一个变量的取值无关。,2.非负性(non-negativity),2.4熵函数的数学性质与其物理意义,扩展性反映出概率小的事件，虽然自信息很大，但在熵的计算中所占的比重却很小很小，几乎不影响信源的总体特征。,3.扩展性(expansibility),4.确定性(deterministic),2.4熵函数的数学性质与其物理意义,可加性是熵函数的性质中最重要的一条性质，正因为有此性质才决定熵函数的形式必须要用对数形式。(换句话说：可体现熵可加性的函数形式只有对数形式，这也经熵函数的唯一性定理所证明。)但我们应关心此性质的物理含义，即知识的可积累性。具体的讲：熵函数是作为一个集合中的总体平均不定度特征，应对集合中元素的如何划分是无关的。从另一方面看，可加性所反映的是任何复杂问题，都可以分步解决。这也是说：对于某一事物存在有一定的不确定度，你无法一下完全解除不定度；你总可以分成不同的层次，一步一步地解除，直至最后完全解除其不确定度。,5.可加性(Additiveproperty),或,2.4熵函数的数学性质与其物理意义,但是如果我换一种问法：先取一个球问其是否为红色？如果是红色便停止取球；否则再从剩下的袋中取一球，问其颜色？判断当得知球为红色的信息量在两种取法中是否相同？,先举一个简单例子，然后介绍书中的内容：设我有三个不同颜色的小球在口袋中，分别为：红色、白色和黑色；问：、当随便从袋中拿出一个球，它的颜色是什么？显然：,2.4熵函数的数学性质与其物理意义,2.4熵函数的数学性质与其物理意义,这就是可加性的一种表示方法，而书中给出了另一种方法，由于物理意义表达不充分，我们换一种方式导入。,如果一个随机事件的集合可以看成是由两个随机变量的联合发生而形成，则可以写成以下形式：,2.4熵函数的数学性质与其物理意义,按照信息熵的定义，我们可写出：,联合概率(jointprobability)：,2.4熵函数的数学性质与其物理意义,(conditionalentropy),2.4熵函数的数学性质与其物理意义,def,(JointEntropy)它的平均不定度，应等于一个变量的无条件熵加上另一变量的有条件熵。,这是随机变量X与Y之间相互统计独立的重要性质，它是可加性的一特例。所以一般情况下可加性表示为：,2.4熵函数的数学性质与其物理意义,上式表明，任何概率分布下的信息熵一定不会大于它对其它概率分布下自信息的数学期望。先证明一个常用的不等式，再证明极值性。,6.极值性(Extremum),2.4熵函数的数学性质与其物理意义,下面证明极值性：,2.4熵函数的数学性质与其物理意义,这就是离散信源下的最大熵定理：任何离散信源，不论它取何种概率分布，所得的信息熵H(X),一定不会大于等概率分布时的信息熵(logn)。,2.4熵函数的数学性质与其物理意义,有了这条性质，我们很容易证明条件熵一定不会大于无条件熵。,2.4熵函数的数学性质与其物理意义,7.上凸性(Convexity)因为信息熵是一数学函数，故可按数学函数分析其凸、凹性。如果有一函数f(x),若判断能满足：,成立，我们称此函数为下凸函数,或凹函数；否则为上凸函数。,Convexity,Concavity,2.4熵函数的数学性质与其物理意义,证明：,2.4熵函数的数学性质与其物理意义,2.4熵函数的数学性质与其物理意义,Theentropyfunctionisastrictlyconvexfunction.因此，只有当函数具有上凸性时，在其值域中一定存在有绝对极大值，故熵函数必然有最大值问题Maximumentropytheorem最简单的熵函数二元信息熵（Thebinaryentropyfunction）,2.4熵函数的数学性质与其物理意义,二维熵函数三元信息熵(Thetripleentropyfunction),2.4熵函数的数学性质与其物理意义,2.4熵函数的数学性质与其物理意义,2.4熵函数的数学性质与其物理意义,2.4熵函数的数学性质与其物理意义,2.4.2各种熵函数的