《信息论基础》PPT课件.ppt_第1页
《信息论基础》PPT课件.ppt_第2页
《信息论基础》PPT课件.ppt_第3页
《信息论基础》PPT课件.ppt_第4页
《信息论基础》PPT课件.ppt_第5页
已阅读5页，还剩32页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

信息论基础 鲁坚jianlu 科技楼415 3 当时 4 两个独立事件的联合信息量应等于它们分别的信息量之和 若 1 应是先验概率的严格单调递减函数 即当时 根据上述条件可以从数学上证明这种函数形式是对数函数 即 有两个含义 1 当事件发生前 表示该事件发生的不确定性 2 当事件发生后 标是该事件所提供的信息量 自信息量的单位取决于对数所取的底 若以2为底 单位为比特 以e为底 单位为奈特 以10为底 单位为哈特 通常取比特为单位 例 设天气预报有两种消息 晴天和雨天 出现的概率分别为1 4和3 4 我们分别用来表示晴天 以来表示雨天 则我们的信源模型如下 离散信源的信息熵 我们定义自信息的数学期望为信源的平均信息量 信息熵具有以下两种物理含义 1 表示信源输出前信源的平均不确定性2 表示信源输出后 每个符号所携带的平均信息量 2 信息熵 例 天气预报 有两个信源 则 说明第二个信源的平均不确定性更大一些 信息熵的基本性质 熵函数可以表示为 性质1 非负性 H X 0且等号成立的充要条件是X有退化分布 由于0 pi 1 所以logpi 0 logpi 0 则总有H X 0 性质2 对称性 根据加法交换律可以证明 当变量交换顺序时熵函数的值不变 信源的熵只与概率空间的总体结构有关 而与个概率分量对应的状态顺序无关 性质3 确定性 当信源X的信源空间 X P 中 任一个概率分量等于1 根据完备空间特性 其它概率分量必为0 这时信源为一个确知信源 其熵为0 如果一个信源的输出符号几乎必然为某一状态 那么这个信源没有不确定性 信源输出符号后不提供任何信息量 性质4 扩展性 这说明信源空间中增加某些概率很小的符号 虽然当发出这些符号时 提供很大的信息量 但由于其概率接近于0 在信源熵中占极小的比重 使信源熵保持不变 性质5 极值性 上式表明 对于具有q个符号的离散信源 只有在q个信源符号等可能出现的情况下 信源熵才能达到最大值 这也表明等概分布的信源的平均不确定性最大 这是一个很重要得结论 称为最大离散熵定理 例 对于一个二元信源H X H 1 2 1 2
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论