具有最大熵的连续信源_第1页
具有最大熵的连续信源_第2页
具有最大熵的连续信源_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

具有最大熵的连续信源马冬梅2001级信息与计算科学摘要：在连续信源中差熵也具有极大值，但它与在离散信源中，当信源符号等概率分布时信源的熵取最大值时的情况有所不同。除存在完备集条件以外，如有其他约束条件，当各约束条件不同时，信源的最大差熵值不同。关键词：最大差熵值 峰值功率 平均功率 最大相对熵 概率密度函数 詹森不等式1 问题提出 我们在求信源的最大熵时，会受到很多条件的约束。一般情况，在不同约束条件下，求连续信源差熵的最大值，就是在下述若干约束条件下 求泛函数的极值。通常我们考虑两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。2 峰值功率受限条件下信源的最大熵 假设某信源输出信号的峰值功率受限为，即信源输出信号的瞬时电压限定在内，它等价于信源输出的连续随机变量的取值幅度受限，限于内取值，所以我们求在约束条件下，信源的最大相对熵。定理1 若信源输出幅度被限定在区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于. 若当维随机变量取值受限时，也只有各随机分量统计独立并均匀分布时具有最大值。在此，只有对一维随机变量进行证明，对于维随机矢量可采用相同的方法进行证明。证明： 设为均匀分布概率密度函数，并满足，又设为任意分布的概率密度函数，也有。则其中运用了詹森不等式，因而当且仅当时等式才成立。即，任何概率密度分布时的熵必小于均匀分布时的熵，即当均匀分布时差熵达到最大值。3平均功率受限条件下信源的最大值在此情况下，我们直接利用一个定理及其证明来求信源的最大熵。定理2 若一个连续信源输出信号的平均功率被限定为，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为.对于维连续平稳信源来说，若其输出的维随机序列的协方差矩阵被限定，则维随机矢量为正态分布时信源的熵最大，也就是维高斯信源的熵最大，其值为现在被限制的条件是信源输出的平均功率受限为。对于均值为零的信号来说这条件就是其方差受限。在此，我们只证明一般均值不为零的一维随机变量。即是在约束条件和 下，出现差熵的极大值。而均值为零，平均功率受限的情况只是一个特例。证明： 设为信源输出的任意概率密度分布。因为其方差受限为，所以必满足和。又设是方差为的正态概率密度分布，即有，我们已计算得。现计算 得而 根据詹森不等式得所以得当且仅当时等式成立。4 结果分析 定理2 的结果说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯噪声统计特性一样时，才会有最大的熵值。从直观上看这是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。 若在一上述条件下，再进一步限定：协方差矩阵中协方差。即随机序列中各分量之间不相关，又则可证明维序列的各分量彼此统计独立，并各自达到正态分布时的熵最大，也就是维无记忆高斯信源的熵最大，最大值为。 若随机序列中各分量的均值，而平均功率受限为
人人文库> 全部分类> 行业资料 > 管理策划

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论