连续信源的最大熵与最大熵条件

1、青岛农业大学本科生课程论文论文题 目 连续信源的最大熵与最大熵条件学生专业班级学生姓名（学号）指导教师吴慧完成时间2012-6-252012 年 6 月 25课 程论文 任务书学生姓名指导教师吴慧论文题目论文内容（需明确列出研究的问题）：1简述连续信源的基本概要。2定义了连续信源的差熵公式，分别介绍了满足均匀分布和高 斯分布的两种特殊信源。3推导了连续信源的最大熵值及最大熵条件。资料、数据、技术水平等方面的要求：1概率论的均匀分布、高斯分布的相关知识。2以及在这两种分布下的连续信源和高斯信源。3在不同的约束条件下，求连续信源差熵的最大值一种是信源 的输出值受限，另一种是信源的输出平均功率受限。

2、4詹森不等式以及数学分析的定积分和反常积分、不定积分等 数学公式。发出任务书日期2012-6-6 完成论文日期 2012-6-25教研室意见（签字）院长意见（签字）连续信源的最大熵与最大熵条件信息与计算科学指导老师吴慧摘要：本文简述了连续信源的基本概要并定义了连续信源的差熵公式，分别介绍 了满足均匀分布和高斯分布的两种特殊信源，推导了连续信源的最大熵值及最大 熵条件。关键词：连续信源最大熵均匀分布高斯分布功率受限The maximum entropy and maximum entropy conditionof consecutive letter of the sourceInformat

3、ion and Computing SciencesBian jiangTutorWuhuiAbstract： : On the base of continuous source this eassy describes the basic outline and define differential entropy formula, introduced a uniform distribution and Gaussian distribution of the two special source, derivation of a continuous source of maxim

4、um entropy and maximum entropy conditions.Keyword: Continuous source Maximum entropy Uniform distribution Normal distribution Power is limited引言：科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经 济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视， 信息论方法也逐渐被广泛应用于各个领域。信息论一般指的是香农信息论，主要 研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息 的信息量、消息的传输以及编

5、码问题。1948年C.E.Shannon为解决通信工程中 不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信 息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论 和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发 展。信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息 论的概念和方法去理解和解决本领域中的问题。近年来，以不确定性信息为研究 对象的信息论理论和方法在众多领域得到了广泛应用，并取得了许多重要的研究 成果。迄今为止，较为成熟的研究成果有：E.T.Jaynes在1957年提出的最大熵 原理的理论；S.K.Kul

6、lback在1959年首次提出后又为J.S.Shore等人在1980 年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov在1956年 提出的关于信息量度定义的三种方法一一概率法，组合法，计算法； A.N.Kolmogorov在1968年阐明并为J.Chaitin在1987年系统发展了的关于算 法信息的理论。这些成果大大丰富了信息理论的概念、方法和应用范围。1连续信源及其差熵在通信系统中，所传输的消息可分为离散消息和连续消息。对离散信源而言， 它们输的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用 联合概率分布来描述。而实际信源的输出常常时间、取值都连续的

7、消息。信源输 出的消息是在时间上离散，而取值上连续的、随机的，这种信源称为连续信源。 例如遥控系统中有关电压、温度、压力等测得的连续数据。基本连续信源的输出是取值连续的单个随机变量，即单符号的连续信源。基 本连续信源的数学模型为错误！未找到弓I用源。二错误！未找到引用源。(1-1)并满足错误！未找到引用源。(1-2)或者 错误！未找到引用源。二错误！未找到引用源。(1-3)满足 L P ( X )赤=1(1-4)-8连续信源的熵定义为H(x)二-错误！未找到引用源。连续信源的熵与离散信源的熵具有相同的形式，但其意义是不同的。对连 续信源而言，可以假设是一个不可数的无限多个幅度值的信源，需要无限

8、多二进 制位数(比特)来表示，因而连续信源的不确定性应为无穷大。我们采用式1-4 来定义连续信源的熵，是因为实际问题中，常遇到的是熵的差值(如平均互信息 量)，这样可使实际熵中的无穷大量得以抵消。因此，连续信源的熵具有相对性， 有时又称为相对熵，或差熵。2两种典型的连续信源现在来计算两种常见的特殊连续信源的相对熵。2. 1均匀分布的连续信源一维连续随机变量X在a,b区间内均匀分布时，概率密度函数为错误！未指定书签。错误！未指定书签。P (X)=错误！未找到引用源。(2-1)则H (x)=错误！未找到引用源。(2-2)当取对数以2为底时，单位为比特/自由度。N维连续平稳信源，若其输出N维矢量X=

9、(X1X2 .XN)其分量分别在 a1,b1a2,b2aN,bN的区问内均匀分布，即N维联合概率密度：P3)=错误！未找到引用源。(2-3)则称为在N维区域体积内均匀分布的连续平稳信源。又 1-4可知，其满足 p(x)=p(x1，x2,，xN)=错误！未找到引用源。(2-4)表明N维矢量x中各变量X.(i=1，N)彼此统计独立，则此连续信源为 无记忆信源，可求得此N维连续信源的相对熵为H(x)=-错误！未找到引用源。=-错误！未找到引用源。dx1dx2.dxN=log错误！未找到引用源。=错误！未找到引用源。可见，N维区域体积内均匀分布的连续信源的相对熵就是N维趋于体积内 的对数。也等于各变量

10、X.在各自取值区间a.,b.均匀分布时的差熵H(X.)之和。2. 2高斯信源基本高斯信源是指信源输出的一维连续性随机变量x的概密度分布是正分 布，即P 3)=错误！未找到引用源。(2-5)式中，m是X的均值，Q是X的方差。这个连续信源的熵为H(x)=-错误！未找 到引用源。dx=-错误！未找到引用源o (-log错误！未找到引用源。)dx+错误！未找到引用 源。dxloge=log错误！未找到引用源。+1/2loge=12loge2错误！未找到引用源。e错误！未找到引用源。(2-6)式中，因为错误！未找到引用源。dx=1和错误！未找到引用源。dx=错误！未找 到引用源。可见，正态分步的连续信源

11、的熵与数学期望m无关，只与其方差错 误！未找到引用源。有关。如果N维连续平稳信源输出的N维连续随机矢量 X=(X1X2 .XN)是正态分布，则称此信源为N维高斯信源。若各随机变量之间统 计独立，可计算得N维统计独立的正态分布随机矢量的差熵为H(x)=N/2log2错误！未找到引用源。e(b jb 220.捋)心二错误！未找到引用源。(2-7)当N=I即x为一维随机变量时，式2-7就成为式2-6。这就是高斯信源的熵。3连续信源的最大熵在离散信源中，当信源符号等概率分布时信源的熵取得最大值。在连续信源 中差熵也具有极大值，但其情况有所不同。除存在完备集条件错误！未找到引用 源。dx=1以外，还有其

12、他约束条件。当各约束条件不同时，信源的最大差熵值 不同。一般情况，在不同的约束条件下，求连续信源差熵的最大值，就是在下述 若干约束条件下错误！未找到引用源。dx=1 错误！未找到引用源。dx=K1错误！未找到引用源。dx=K2求函数H(x)=-错误！未找到引用源。的极值。通常最感兴趣的是两种情况：一种 是信源的输出值受限，另一种是信源的输出平均功率受限。下面分别加以讨论：3. 1峰值功率受限若信源输出的幅度被限定在a，b区域内，即p(x)故=1错误！未找到引用源。，则当输出信号的概率密度分布是均匀分布时，信源具有最大熵，其值 等于log(b-a)。其推导过程如下：设p(x)为均匀分布的概率密度

13、函数 P(x)=错误！未找到引用源。，并满足 p(x)dx = 1。而设q(x)为任意分布的概率密度函数，也有1 ：q(x)dx = 1， 则HX，q(x)-HX，p(x)=错误！未找到引用源。+错误！未找到引用源。=-错误！未找到引用源。-log(b-a)错误！未找到引用源。=-错误！未找到引用源。-log(b-a)错误！未找到引用源。=-错误！未找到引用源。+错误！未找到引用源。=错误！未找到引用源。Wlog错误！未找到引用源。=0其中运用了詹森不等式，因而有HX，q(x)作HX，p(x)(3-1)当且仅当q(x)=p(x)时，等式成立。这就是说，任何概率密度分布时的熵必小于均 匀分布时的

14、熵，即当均匀分布时差熵达到最大值。若当N维随机矢最取值受限 时，也只有各随机分量统计独立，并均匀分布时具有最大熵。对于N维随机矢 量的推倒可采用相同的方法。3. 2平均功率受限若一个信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源有最大熵，其值为1/2log2错误！未找到引用源。ep。 现在被限制的条件是信源输出的平均功率受限为P。对于均值为零的信号来说， 这条件就是其方差。2受限。一般均值不为零的一维随机变量，就是在约束条件 错 误！ 未 找 到 引 用 源。 dx=1 (3-2)和m=错误！未找到引用源。dx， 错误！未找到引用源。dx错误！未找 到引用

15、源。(3-3)下，求信源差熵H(x)的极大值。而均值为零，平均功率受限的情况只是它的一个 特例。其推导过程如下：设q(x)为信源输出的任意概率密度分布，因为其方差受限为。2,所以必满足错误！未找到引用源。dx=1和b 2=错误！未找到引用源。dx。又设p(x)是方差为。2的正态概率密度分布，即有错误！未找到引用源。dx=1和b 2=错误！未找到引用源。dx可计算得H X，p(x)=错误！未找到引用源。=错误！未找到弓I用源。dx错误！未找到引用源。dx.loge=log错误！未找到引用源。+1/2loge=1/2log2错误！未找到引用源。错误！未找到引用源。=错误！未找到引用源。dx.log

16、e=12loge2错误！未找到引用源。所以得 H X, p(x)=-错误！未找到引用源。(3-4)而HX, q(x)-HX, p(x)=-错误！未找到引用源。=-错误！未找到引用源。Wlog错误！未找到引用源。=log1=0其中运用了詹森不等式，因而有HX, q(x)WHX, p(x)(3-5)当且仅当q(x)=p(x)时等式成立这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特 性与高斯噪声的统计特性一致时，才会有最大的熵值。从直观上看这是合理的， 因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中 获得。结论：最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我 们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。(不 做主观假设这点很重要。)在这种情况下，概率分布最均匀，预测的风险最小。 因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型”。同时 对最大熵原理提出的疑问主要有以下两个：(1)关于最大熵原理所得解的客观性 (2)如何理解被最大熵原理排除的其他满足约束条件的解。参考文献：【1】