《连续信源的熵》PPT课件.ppt_第1页
《连续信源的熵》PPT课件.ppt_第2页
《连续信源的熵》PPT课件.ppt_第3页
《连续信源的熵》PPT课件.ppt_第4页
《连续信源的熵》PPT课件.ppt_第5页
已阅读5页，还剩16页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第2章信源熵,2,本章主要内容,2.1单符号离散信源2.2多符号离散平稳信源及熵2.3连续信源及熵,3,2.3连续信源及熵,连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率,4,2.2连续信源及熵,连续信源def：输出消息在时间和幅度/取值都连续的信源。如：语音信号、电视图像。连续信源输出的消息：用随机过程X(t)表示，具体用概率密度函数描述。,5,2.3连续信源及熵,连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率,6,连续信源的熵,连续信源的熵(Hc)相对熵：可正可负可有限可无限绝对熵：无限值因为信源输出符号或波形在幅度变化上是无限的，要精确表示每一个符号或抽样样点必须用无穷多bit数才行。设连续信源X概率密度函数p(x)则相对熵为：,continuous,7,连续信源的相对熵,例：X服从均匀分布，求信源熵。解：,8,连续信源的相对熵,联合熵/共熵X、Y定义在同一样本空间，联合概率密度函数为p(xy),则条件熵平均互信息,9,2.3连续信源及熵,连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率,10,几种特殊连续信源的熵,均匀分布的连续信源的熵X在a,b上均匀分布，其熵为服从（m,2）高斯分布的连续信源的熵概率密度函数为正态分布，即，其熵为,11,几种特殊连续信源的熵,高斯分布的连续信源的熵：,说明:高斯连续信源的熵与数学期望无关，只与方差有关,12,几种特殊连续信源的熵,指数分布的连续信源的熵,其熵为,说明：指数分布的连续信源的熵只取决于均值。,13,2.3连续信源及熵,连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率,14,连续熵的性质,连续熵可正可负可加性,扩展到N个变量：,15,连续熵的性质,平均互信息的非负性,证明：,16,连续熵的性质,定理：对于概率密度函数p(x),q(x)，只要两边为有限值，则,证明：利用,移项，得,17,2.3连续信源及熵,连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率,18,最大连续熵定理,限峰值功率的最大熵定理：若X的取值被限制在一定范围内，则在有限的定义域内，均匀分布的连续信源熵具有最大值。限平均功率的最大熵定理：若信源输出信号的平均功率P(当均值m=0时，P=。)和均值m被限定，则输出信号幅度的概率密度函数为高斯分布时的连续信源的熵具有最大值。均值受限条件下的最大熵定理：若连续信源X输出非负信号的均值受限，则输出信号的幅度呈指数分布时的熵为最大值。,19,2.3连续信源及熵,连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率,20,熵功率,对限平均功率的最大熵定理进行推广：熵
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论