信息论基础 第2章.ppt

1、2020/7/20,第二章 无失真信源与信息熵,讲授思路 1）按照“概念、描述、度量、分析、计算”10字方针逐步 深入。 2） 讲授步骤按照 离散单个消息离散消息序列 离散化(纵向) 连续单个消息连续消息序列 离散化(横向) 连续消息过程(模拟),重点 熵H(U)无失真单消息信源的度量值；概念、分析、度量与计算 互信息I(U;V)单消息信宿的度量值；概念、分析、度量与计算,2020/7/20,2-1 信源特性与分类,（一）信源的统计特性,1）什么是信源？,信源是信息的来源，实际通信中常见的信源有：语音、文字、图像、数据。在信息论中，信源是产生消息（符号）、消息（符号）序列以及连续消息的来源，数

2、学上，信源是产生随机变量U，随机序列U和随机过程U(t,)的源。,2）信源的主要特性,信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。,2020/7/20,（二）信源的描述与分类,1）单消息（符号）信源：它是最简单也是最基本的信源，是组成实际信源的基本单元。它可以用信源取值随机变量的范围U和对应概率分布P(u)共同组成的二元序对U,P(u)来表示。,对离散信源,例：对于二进制数据、数字信源：U=0,1，则有,2020/7/20,对于连续变量信源,其中：,2）实际信源,实际信源在离散情况下是消息序列信源，在连续情况下是随机过程信源，它们分别代表数字与模拟信源。,离散序列信源,其中

3、，i=1,2,n为每个消息（符号）取值的种类数 l=1,2,L为消息（符号）序列的长度 应注意的是i和l是代表两个不同范畴的变量，表示不同的概念，切勿混淆。,（二）信源的描述与分类 （续）,2020/7/20,信源输出是一组随机序列（矢量）：,其样值为：,对应概率为：,由于每个随机变量U=1,2,n有n种取值，则 有 种可能取值。,对消息序列信源有：,2）实际信源 （续）,2020/7/20,例：最简单L=3的三位PCM信源：这时L=3, n=2, 即i=0,1，则有：,）离散无记忆信源,）离散有记忆信源 大部分实际信源属于这类，尤其当L足够大时，,2）实际信源 （续）,2020/7/20,这

4、里需要进一步解释有两点： 首先，我们称仅对转移概率平稳的为齐次； 其次，当齐次马氏链满足不可约、非周期性条件时，称为遍历，它与起始条件分布无关。 在实际信源中，数字图像信源往往采用马氏链模型。,2）实际信源 （续）,2020/7/20,连续信源 在实际的连续信源中，可以采用两种方法进行分析 一类是将连续信源离散化随机序列信源 另一类是仍然采用随机过程来分析 下面，首先要回答什么样的信源可以进行离散化处理？ 实际上，只要满足一个非常宽松的条件，即满足限时(T)、限频(F)的连续消息信源，即满足物理可实现条件下，均可离散化为随机序列。,类似于在信号分析中对周期性确知信号的正交展开，这里也可以类似的

5、对非确知连续随机信号在满足限时(T)、限频(F)条件下展开成类似的离散随机序列信号。,2）实际信源 （续）,2020/7/20,2）实际信源 （续）,2020/7/20,下面，我们给出三类最常用的展开式： ）付氏级数展开式对限时(T)、限频(F)信号； ）取样函数展开式对限频(F)、限时(T)信号； ）K-L展开式展成线性无关或统计独立序列。,下面逐一讨论 ）限时(T)、限频(F)过程的付氏展开：U(t, ),若,这里， 为一周期性随机过程； “a.e.”为almost everywhere, 几乎处处含义下相等（收敛）,2020/7/20,类似于周期性确知信号，在时域内可做下列付氏级数展开：

6、当 时，,其中：,）限频(F)、限时(T)过程H( f,)的取样函数展开,若,常用的展开式 (续）：,2020/7/20,常用的展开式 (续）：,2020/7/20,则有,常用的展开式 (续）：,2020/7/20,）K-L展开（Karhunen-Loeve展开） 上述两类展开，在一般情况下其展开系数之间是统计关联的，即展开后的离散随机序列是有记忆的。这给进一步分析带来了一定的困难。能否在理论上寻找一类展开，展开后的随机序列是相互统计独立的，或者至少是线性无关的。满足这一要求的是K-L展开。,设：随机过程U(t, w), tT, 若EU(t, w)=0,则 有 R(t1, t2) =EU(t1

7、, w)U(t2, w),又设在区间T=a, b时，有一组完备正交函数，即,其中i=1, 2, n,且n为有限或可数。,常用的展开式 (续）：,2020/7/20,则,注意：是单边展开。,而,我们希望各ai之间线性无关，即,常用的展开式 (续）：,2020/7/20,两边同乘 并在a,b内对t2积分，由归一性可得：,可见，正交函数系应满足下列积分方程：,下面简要介绍积分方程的概念，所谓积分方程，是指未知函数在积分号内的方程式，我们这里讨论的是最常见的线性积分方程。即一般积分方程可写为：,常用的展开式 (续）：,2020/7/20,常用的展开式 (续）：,2020/7/20,可见，K-L展开主要

8、优点在于展成的系数是线性无关的，且对正态是统计独立的，因此展开后可作为无记忆信源来处理。另外据分析它的收敛速度也比较快。但是可惜目前尚未找到它的快速收敛算法，另外在概念上又不像付氏展开、取样展开那样直观，所以在实际问题中很少应用，而是将它作为理论上最优变换的一个参考标准。,常用的展开式 (续）,2020/7/20,(三）实际信源举例,下面仅以最常见的图像与语音信源为例 1）图像信源 图像信源一般可以引用一个五元的随机场来表示：,（简化）,主要统计特性：初步可以认为是一个近似的平稳遍历过程,幅度概率分布：它主要采用专用仪器测试并用直方图分析，但未得出一致性结论，主要原因是其分布与图像类型密切相关

9、，比如对准动态型，其分布接近于正态分布，而对于动态型，其分布则接近于对数正态分布。,自相关函数：一般可认为 即相关函数呈指数分布。,2020/7/20,1）图像信源 （续）,2020/7/20,电视信号还可以进一步划分为行内、行间、场间不同情况，其相应的相关函数与功率谱分布如下：,1）图像信源 （续）,2020/7/20,对于数字型图像信号，可以采用马氏链模型,而 为相邻像素之间的相关系数。,2）语音信源 可以近似用一个一维随机过程U(, t)表示。严格的讲，它是一个非平稳过程，但是对于短时段(5-50ms)可认为是平稳的，且某些是随机噪声（清辅音）而某些时段则呈现周期性特征（浊音），还有一些

10、短时段是二者的混合。,1）图像信源 （续）,2020/7/20,非参数描述： 幅度概率分布,语音的一阶近似：Laplace分布,二阶近似：Gama分布,2）语音信源 （续）,2020/7/20,短时相关函数,短时功率谱,2）语音信源 （续）,2020/7/20,参数表示法,共振峰,基音：最低基本频率 男100-200Hz, 女200-400Hz。 音素 英语为例：27=12828=256种 每秒平均发出10个音素,2）语音信源 （续）,2020/7/20,2-2 离散信源的信息熵,（一）信息熵与信息量的基本概念,上一节我们引用概率论来描述信源，然而信源是信息的来源，那么信息与概率到底是什么样的

11、关系呢？ 本节，我们首先从直观概念出发，推导出信源的信息度量公式：信息熵H(U)，再进一步探讨它的基本概念与基本性质，最后再用严格的公理化结构证明熵的唯一性。,信息的定量化，首先是1928年Hartley研究了具有 个组合的信息源（即由N种m位符号所构成的信源），它给出了最早的信息度量公式：,这一度量公式对后来Shannon建立概率信息的度量公式有很大的启发，仙农保留了对数度量的合理性，并将它从特殊的非概率（等概率）情况推广到一般的不等概率信源。下面将从直观概念来推广。,2020/7/20,对于单个消息信源U，发送某个消息 ，对应概率为 ，这时信源输出的信息量为I，则有：,小概率事件，一当出现

12、必然使人感到意外，因此产生的信息量就越大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。 大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。 另外，从直观概念上讲，由两个不同的消息（相对独立）所提供的信息应等于它们分别提供的信息之和，即满足可加性： I (A B) = I (A) + I (B),（一）信息熵与信息量的基本概念 （续）,2020/7/20,由对概率的递降性和可加性可以导出这类函数应是概率的对数函数：,称 为单个消息信源的非平均自信息量。 同理可定义：,（一）信息熵与信息量的基本概念 （续）,(当pi , qj独立),2

13、020/7/20,至此，我们从直观概念引入了信源输出的单个消息（符号）的非平均信息量的表达式。,（一）信息熵与信息量的基本概念 （续）,然而，对于信源而言，即使是单消息（符号），它亦含有有限种的 ，i=1,2n，因此由它给出的信息量应是n种可能的统计平均值，即,其中“E”表示求概率的统计平均值，即求数学期望值。,2020/7/20,同理可定义：,（一）信息熵与信息量的基本概念 （续）,称H(U) H(V) 为信源 信宿 的信息熵，H(V/U) H(U/V)为条件熵，H(U,V)为联合熵。,2020/7/20,信息熵H(U)是某个具体单个消息（ ）的非平均自信息量 的统计平均值，是描述信源统计的

14、一个客观物理量。它首先是1948年仙农给出的，后来Feinstein等人又从数学上严格的证明了当信息满足对概率递降性和可加性条件下，上述信息熵的表达形式是唯一的。,熵这个名词是仙农从物理学中的统计热力学借用过来的，在物理学中称它为热熵是表示分子混乱程度的一个物理量，这里，仙农引用它来描述信源的平均不确定性，含义是类似的。但是在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵。,（一）信息熵与信息量的基本概念 （续）,2020/7/20,信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以2为底，这时单位为比特

15、（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为笛特（Det）。它们之间可以引用对数换底公式进行互换。比如： 1 bit = 0.693 Nat = 0.301 Det,最后，有必要阐述一下信息熵与信息量之间的关系： 信息熵是表征信源本身统计特性的一个物理量，它是信源平均不确定性的度量，是从总体统计特性上对信源的一个客观描述。 信息量一般是针对接收者而言的，是一个相对量，是指接收者从信源中所获得的信息度量。我们又称它为互信息量I(U;V)。当通信中无干扰时，接受者获得的信息量数量上就等于信源给出的信息熵，但是两者的概念不一样；当信道有干扰时

16、，不仅概念上不一样，而且数量上也不相等。信息熵也可理解为信源输出的信息量。,（一）信息熵与信息量的基本概念 （续）,2020/7/20,(二) 熵的数学性质,主要用三个定理加以概括。 定理2-2-1：熵函数H(U)具有以下主要性质：,2020/7/20,5可加性：,(二) 熵的数学性质 （续）,证明：1，2，3由熵的定义显见。,5可加性：,2020/7/20,(二) 熵的数学性质 （续）,2020/7/20,定理2-2-2：熵函数H(U)具有极值性，即,(二) 熵的数学性质 （续）,用图形表示为：,证明：先证明一个常用不等式：,2020/7/20,(二) 熵的数学性质 （续）,令f(x)=lo

17、g x (x-1) ,则 , 可见当x=1时，f(x)=0,它是f(x)的极值。且 ，故此极值为极大值。 所以有： f(x)f(1)=0 ，当且仅当x=1时取等号。 这时 f(x)=log x-(x-1) 0 = log x(x-1) 现令 ，则有,， 两边取统计平均值,求得：,结论：等概率分布时熵最大，不确定性最大。故这一定理又被称为离散信源最大熵定理。,2020/7/20,(二) 熵的数学性质 （续）,2020/7/20,(二) 熵的数学性质 （续）,则称 为凸函数（下凸）。其含义为：凸集合中函数的线性组合不小于凸集合中线性组合的函数。,2020/7/20,(二) 熵的数学性质 （续）,2

18、020/7/20,在a,b上定义的下凸 函数,凹凸函数的形象直观图形,2020/7/20,在a,b上定义的上凸 函数,凹凸函数的形象直观图形,2020/7/20,由上述凸函数性质，我们只需证明熵函数满足下列不等式。即熵函数为上凸函数。,(二) 熵的数学性质 （续）,（对照上凸函数性质，即 ）,其中 ，而 因此定理2-2-3的证明，只需证：,2020/7/20,（Jensen不等式）,证明中，我们引用了著名的Jensen不等式。在概率论中它引用了一些知名的不等式：他们有HolderSchwartzMinkorskyMarkovChebysherAbsolute以及Jensen不等式。本书中归一化

19、的仅引用Jensen不等式。其含义为：若f(x)是随机变量X（ ）的凸函数，则有：,(二) 熵的数学性质 （续）, 下凸时,上凸时,上式证明中要注意：log x为上凸函数。,2020/7/20,上一节，我们研究了单个消息（符号）的离散信源的熵，这一节我们将它推广至更加结合实际的离散序列。,2-3 离散序列信源的熵,2020/7/20,一离散无记忆信源的序列熵 与消息熵,设：信源输出随机矢量为： 样函数为： 对应概率为：,其中：,当信源无记忆时：,这时，有：,无记忆,2020/7/20,一离散无记忆信源的序列熵 与消息熵,2020/7/20,而：,一离散无记忆信源的序列熵 与消息熵,结论：无记忆

20、离散信源的消息序列熵 就等于各消息（符号）熵之和，平稳时为单个消息熵H(U)的L倍（L为消息序列长度），而消息序列平均每个消息的熵 就等于单个消息信源的熵 。,2020/7/20,有记忆必须引入条件熵，而且当序列长度足够长时分析起来更加困难。下面，我们从最简单的L=2，两个消息序列入手： 1 两个消息的联合熵与条件熵：,二离散有记忆信源的序列熵 与 消息（符号）熵,2020/7/20,则有如下定理： 定理2-3-1：由两个消息（符号）组成的联合信源有如下结论：,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,这两个不等式又称为Shannon不等式。 证明：先证式：,2020/7/20,同

21、理：,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,再证明：,（由熵的极值性）,同理可证：,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,推论：U1与U2相互独立时，显然有：,由于实际信源是由有限个消息（符号）序列所组成，对这类消息（符号）序列信源，我们有如下定理 : 定理2-3-2：对消息序列信源遵从下列熵的链规则：其序列 熵： 消息熵：,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,证明：,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,二离散有记忆信源的序列熵 与 消息（符号）熵

22、 （续）,2020/7/20,证明：（1）由Shannon 不等式可知熵绝不因附加条件的增加而有所增加，同时，由信源的平稳性有：,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,结论（1）得证。 其中不等式是引用Shannon 不等式。 （2）,2020/7/20,结论：L个消息的平均消息熵HL(U)不小于单个消息的最小条件熵。 （3）由熵的链规则有：,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,比较上述两式中的最后一项，有,随着L的增大，所增加项的熵越来越小，所以平均消息熵也将随L的增大而减小。 即： （4）由平均消息熵的定义，有 将L+K项分为两大类：一

23、类为前L-1项，看作一个联合熵，另一类是后K+1项，每一项看作条件熵。,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,当L固定， ，则可得： 由于上式对任意的L均成立，故有 同时由结论（2）有： 从而，必然有： 其中称 为极限熵。 结论：对于平稳信源，从理论上看求极限熵已解决，但是实际上求解仍相当困难。,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,当平稳信源又进一步满足遍历性（即满足不可约与非周期条件），则信源具有与起始条件p(ui)无关的平稳分布pi,则可进一步有下述可工程实用化的定理： 定理2-3-4：对于平稳、遍历、马氏链信源，下

24、列结论成立：,其中pi,为平稳分布，pij为转移概率分布。 证明：平稳、遍历、马氏链信源的平稳分布是下列联立方程的解：（唯一解）,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,求解的pj即为上述公式的平稳分布pi。 由定理2-2-3结论(4)有：,推论:若将条件转移概率pji改为状态转移概率p(sj/si)则有：,这里状态：,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,这一推广，可将高阶马氏链纳入一阶状态马氏链来处理。从而大大方便了对有限记忆信源的处理与分析。 对一般的离散、有记忆信源有下列定理： 定理2-3-5：对离散、有记忆信源下列

25、结论成立：,证明：由Shannon不等式，显见。 它指出：无记忆信源的熵不小于有记忆信源的熵。,二离散有记忆信源的序列熵 与 消息（符号）熵 （续）,2020/7/20,仍然先讨论单个消息的互信息，再推广至消息序列的互信息。,2-4 互信息,一单个消息的互信息,信息熵是信源输出的信息量，而真正被接收者收到的信息量则是互信息。它是与发、收双方都有关系的相对量，是指接收者从信源发送者中可获得的信息量，也可以认为是发送者传送给接收者的信息量。 由仙农不等式： 即： 若令U1=U为发送者，U2=V为接收者。则它们之间的互信息量I(U;V)可定义为：,2020/7/20,一单个消息的互信息 （续）,20

26、20/7/20,证明：由定义有：,一单个消息的互信息 （续）,2020/7/20,一单个消息的互信息 （续）,2020/7/20,至此，我们已讨论了熵H(U)、H(V)，条件熵H(U/V)、H(V/U)，联合熵H(U,V)以及互信息I(U;V)，它们之间可以用下列形象、直观图形表示：,一单个消息的互信息 （续）,2020/7/20,下面，我们进一步讨论互信息的性质 定理2-4-2：互信息I(U;V)是 的上凸（ 凸）函数；是 的下凸（ 凸）函数。 证明：为了证明方便，我们将互信息改写为：,当条件概率Pji不变时， ， 这时，,一单个消息的互信息 （续）,2020/7/20,所以要证明I(pi)

27、是pi的上凸函数，只需证：（按上凸函数定义） 即：,一单个消息的互信息 （续）,，,2020/7/20,上凸性得证。,一单个消息的互信息 （续）,2020/7/20,一单个消息的互信息 （续）,再证下凸性，这时，可认为 为不变值， 则 同理，可设： 而,要证下凸性，只需证 即：,2020/7/20,下凸性亦得证。,一单个消息的互信息 （续）,2020/7/20,类似于信源熵，我们在研究单个消息互信息的基础上，进一步拓广至消息序列的互信息。 为此有如下定理: 定理2-4-3:若U=（U1UlUL）, V=（V1VlVL）分别为发送和接受的消息序列，则有:,二 消息序列的互信息I(U;V), 若各

28、发送Ul统计独立:则: U , V 间信道无记忆: 则: 上述均满足: 则:,2020/7/20,证明:,二 消息序列的互信息I(U;V) (续）,2020/7/20,式得证,二 消息序列的互信息I(U;V) (续）,2020/7/20,式得证。,二 消息序列的互信息I(U;V) (续）,2020/7/20,若同时满足上述，条件，显然，两式结论同时成立。故式得证，即：,若进一步又满足平稳性（推移不变与序号无关）,定理2-4-4:类似于熵的链规则，互信息也有下述链规则:,二 消息序列的互信息I(U;V) (续）,2020/7/20,证明:先证l=2,这时，有:,二 消息序列的互信息I(U;V)

29、(续）,2020/7/20,推广之,得:,进一步，当l=3,二 消息序列的互信息I(U;V) (续）,2020/7/20,其中: 即将m个元素归并为一个子集合， 其对应概率:,在信息处理中，经常要对所获得的数据进行进一步分类，并进行归并处理。即将可接受到的有限数据空间 (Y,q)归并为另一类处理后的有限数据空间z=D(y),p.它可表示为:,三 信息不增性原理信号数据处理定理,2020/7/20,下面，将进一步讨论，经过数据处理以后与处理前相比较，两者从发送端可获得的互信息量是增加了还是减少了，为此有下列定理: 定理2-4-5：在信息处理中，数据经归并处理后有如下结论：,三 信息不增性原理信号

30、数据处理定理 （续）,I(X;Y)IX;D(Y) H(X) I(X; ),证明： 设：,2020/7/20,三 信息不增性原理信号数据处理定理 （续）,则有： 这时，,由此可见，经过分类、归并处理后信息只能减少，不能增加，故称为信息不增性原理。,2020/7/20,三 信息不增性原理信号数据处理定理 （续）,先证 即：,2020/7/20,三 信息不增性原理信号数据处理定理 （续）,同理，可证： 故结论成立。 它说明，要想减少信息损失，必须付出代价。比如，多次接触信源，但无论接触多少次，也决不会获得超过信源可提供的信息熵H(X)。,2020/7/20,它表征信源信息率的多余程度，是描述信源客观

31、统计特性的一个物理量。 由广义Shannon不等式有：,2-5 冗余度,可见对于有记忆信源，最小单个消息熵应为H(U)，即从理论上看，对有记忆信源只需传送H(U)即可。 但是这必需要掌握信源全部概率统计特性。这显然是不现实的。实际上，往往只能掌握有限的L维，这时只需传送HL(U)，那么与理论值 H(U)相比，就多传送了HL(U)-H(U)。,2020/7/20,正由于信源存在着冗余度，即存在着不必要传送的信息，因此信源也就存在进一步压缩信息率的可能性。冗余度越大，压缩潜力也就越大。可见它是信源编码，数据压缩的前提与理论基础。,为了定量描述信源有效性，可定义： 信源效率： 信源冗余度： （相对剩

32、余）,2-5 冗余度 (续),2020/7/20,下面，以英文为例，计算文字信源的冗余度： 首先给出英文字母（含空档）出现概率如下：,2-5 冗余度 (续),2020/7/20,下面，首先求得独立等概率情况H0，即 其次，计算独立不等概率情况H1， 再次，若仅考虑字母有一维相关性，求H2， 还可进一步求出： H3 =3.1bit， 最后，利用统计推断方法求出H，由于采用的逼近的方法和所取的样本的不同，推算值也有不同，这里采用Shannon的推断值。 这样，可以计算出=0.29, R=0.71。 这一结论说明，英文信源，从理论上看71是多余成分。,2-5 冗余度 (续),2020/7/20,直观

33、地说100页英文书，理论上看仅有29页是有效的，其余71页是多余的。正是由于这一多余量的存在，才有可能对英文信源进行压缩编码。 对于其它文字，也有不少人作了大量的统计工作，现简述如下：,2-5 冗余度 (续),2020/7/20,至于，其它类型信源，比如话音，图象等，它们大部分属于限失真信源，其冗余度与理论压缩可能性，将在第四章R(D)函数中讨论。,2-5 冗余度 (续),2020/7/20,在通信中模拟信号比如语音、图像未数字化以前均属于连续信源。它在概念上与离散信源是不同的，但也有不少类似之处。 对连续信源的分析，也可以类似于离散信源从单个连续消息（变量）开始，再推广至连续消息序列。对于连

34、续随机变量可采用概率密度来描述：对连续随机序列可采用相应的序列概率密度来描述；而对于连续的随机过程一般也可以按照取样定理分解为连续随机变量序列来描述。,2-6 连续信源的熵与互信息,2020/7/20,连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。 下面，将采用这一观点讨论连续信源的信息熵与信息量。 首先类比概率pi与概率密度p(u)：,（一）单个连续消息的随机变量信源,2-6 连续信源的熵与互信息,2020/7/20,（一）单个连续消息的随机变量信源 （续）,令ua,b，且ab,现将它均匀的划分为n份，每份宽度为 ，则u处于第i个区间的概率为pi， 则pi= (中值定

35、理) 即当p(u)为u的连续函数时，由中值定理，必存在一个ui值，使上式成立。 再按照离散信源的信息熵的定义有：,2020/7/20,于是我们定义前一项取有限值的项为连续信源的信息熵，并记为Hc(U).,（一）单个连续消息的随机变量信源 （续）,即：Hc(U)= 也可记为：Hc(U)= 其中R1 表示实轴。,2020/7/20,这里应注意的是Hc(U)是连续信源的熵，而不是连续信源输出的信息量，而连续信源输出的信息量是Hn(U).这就是说，在离散信源中信源输出信息量就是信源熵，两者是一个概念；但是在连续信源中则是两个概念，且不相等。连续信源输出信息量Hn(U)是一个绝对值，他取值于，而连续信源

36、的熵Hc(U)则是一个相对值，他取值是有限的。 连续信源的熵Hc(U)是一个过渡性的概念，它虽然也具有可加性，但不一定满足非负性，它可以不具有信息的全部特征。 比如，对一个均匀分布的连续信源，按照定义，有,（一）单个连续消息的随机变量信源 （续）,2020/7/20,（一）单个连续消息的随机变量信源 （续）,显然，当b-a1时，Hc(U)0, 这说明它不具备非负性。但是连续信源输出的信息量由于有一个无限大量的存在，Hn(U)仍大于。这里，我们仍将Hc(U)定义为连续信源的熵，理由有二：一是由于它在形式上与离散熵相似：,离散熵：H(U)= 连续熵：Hc(U)=,2020/7/20,另一个更重要的原因是在于实际处理问题时，比如互信息、信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互信息。这时，只要相差的两个连续熵在逼近时可取的是一致的，两个同样的无限大的尾巴就可以互相抵消。可见，Hc(U)是具有相对性，它是为了引入互信息等重要概念而引入的一个过渡性的概念。 同理，还可进一步定义如下连续随机变量的熵：,（一）单个连续消息的随机变量信源 （续）,2020/7/