第二章信息度量3

2.5连续信源定义：输出消息在时间和取值上都连续的信源。如语音，电视信源。对应的数学工具为随机过程。从统计特性上讲，连续随机过程大致可分为平稳（统计特性-各维概率密度函数不随时间平移而变化的随机过程）和非平稳随机过程两大类。一般认为，通信系统中的信号都是平稳的随机过程，或分段平稳的随机过程。最常见的平稳随机过程为遍历过程。2.5.1连续信源的熵（微分熵）离散变量的熵，因取值有限，熵肯定存在。而连续变量趋于∞，熵趋于∞P(34)连续信源的熵也称为相对熵，连续信源的绝对熵还有一项正的无限大量。显然把离散熵的表达式第二项去掉（微分熵），在实际应用中，熵的第二项都取值一样。可以把它理解为连续随机变量不确定程度的相对量度连续随机变量下的熵实际中：离散随机变量、连续随机变量熵的引入：观察随机变量微积分中：某种函数问题的极限－－连续问题存在问题：数学处理上、概念和含义上香农熵没有把离散和连续和谐统一成为遗憾连续随机变量下的熵单个连续消息的随机变量连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。下面，将采用这一观点讨论连续随机变量的信息熵与信息量。首先类比概率与概率密度p(u)：连续随机变量下的熵令u∈［a,b］，且a<b,现将它均匀的划分为n份，每份宽度为△＝，则u处于第i个区间的概率为，即

=(中值定理)即当p(u)为u的连续函数时，由中值定理，必存在一个值，使上式成立。连续随机变量下的熵考虑离散随机变量熵的定义为：

H（X）＝则有：

Hn(u)=－

=－=－连续随机变量下的熵连续随机变量下的熵==

按照离散熵的概念，连续随机变量的熵应为无穷大，失去意义。1948年，香农直接定义：

h（U）＝

＝-

其中R1＝

表示实轴。即定义取有限值的项为连续信源的信息熵，也称微分熵。

连续随机变量下的熵连续分布随机变量的微分熵VS离散随机变量的熵

实际应用中，数据都只有有限精度，在有限精度下随机变量熵表达式中的第二项取值相同，因此微分熵可以作为连续随机变量不确定程度的相对度量。应注意的是h(U)是连续随机变量的熵，而不是连续随机变量输出的信息量，而连续随机变量输出的信息量是Hn(U).这就是说，在离散随机变量中随机变量输出信息量就是信源熵，两者是相等；但是在连续随机变量中则是两个概念，且不相等。连续随机变量输出信息量Hn(U)是一个绝对值，他取值于∞，而连续随机变量的熵Hc(U)则是一个相对值，取值是有限的。连续随机变量的熵Hc(U)是一个过渡性的概念，它虽然也具有可加性、凸状性和极值性，但不一定满足非负性，它可以不具有信息的全部特征。均匀分布连续随机变量的熵例2.5.1：对一个均匀分布的随机变量，按照定义，有显然，时，Hc(U)<0,这说明它不具备非负性。但是连续随机变量输出的信息量由于有一个无限大量的存在，Hn(U)仍大于０。均匀分布连续随机变量的微分熵高斯分布连续随机变量的熵例2.5.2：高斯分布的连续随机变量的微分熵，按照定义，有可见：高斯分布的连续随机变量的熵与数学期望（均值）m无关，只与方差有关。具有最大熵的连续随机变量离散随机变量，等概分布时－具有极值连续随机变量，不同的约束条件，具有极值的连续随机变量的分布不同峰值功率受限时：均匀分布随机变量具有最大熵平均功率受限时：高斯分布随机变量具有最大熵两个连续变量的联合熵和条件熵分别为：连续熵的性质及最大连续熵定理连续熵的性质连续熵可为负值（连续熵的相对性所致）可加性平均互信息的非负性，对称性连续信源也满足数据处理定理举例(10)最大连续熵定理限峰值功率的最大熵定理若信源的N维随机变量的取值在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。若随机变量的取值限制在之间，峰值为，则最大熵值为：限平均功率的最大熵定理若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。均值受限条件下的最大连续熵定理若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。*总结：连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的限制条件有关。举例(13)熵功率（讨论没有达到最大熵的连续信源的剩余问题）若平均功率为P的非高斯分布的信源具有熵为h，则称为h的高斯信源的平均功率为熵功率。因为当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率P。熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差被称为连续信源的剩余度。2.5.2连续随机变量的互信息

其表达试和离散互信息表达不存在数学上的困难（为什么？）1）互信息的概念从根本上讲具有相对意义是一个比值量2）在求连续随机变量的互信息过程中，无穷大项抵消I(X;Y)=H(x)-h(x/y)举例