教育信息处理04.ppt_第1页
教育信息处理04.ppt_第2页
教育信息处理04.ppt_第3页
教育信息处理04.ppt_第4页
教育信息处理04.ppt_第5页
已阅读5页，还剩10页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

三 熵的意义 熵的意义 熵的大小可用于表示概率系统的不确定程度 设某一概率系统中 每一事件产生的概率分布为 1 0 0 它表示 该系统中某一事件发生的概率为1 其它事件产生的概率为0 这是一个确定系统 不确定度为0 计算该系统的信息熵 有H 1 log1 0 设某一概率系统中 其概率分布是均匀的 它表示系统中每一事件产生的概率相等 该系统的信息熵具有最大值 在相同事件数的情况下 H logn 设概率系统A B的分布为 PA 0 5 0 5 0 0 0 PB 0 5 0 125 0 125 0 125 0 125 试比较它们哪一个系统的不确定程度大 H PA 1 bit H PB 2 bit 2 对称性某系统中n个事件的概率分布为 p1 p2 pn 当我们对事件位置的顺序进行人意的置换后 得到的新的概率分布 p11 p21 pn1 有以下关系成立 H p1 p2 pn H p11 p21 pn1 当p1 p2 pn任意互换顺序时 熵值不变 即H p1 p2 p3 H p1 p3 p2 H p3 p2 p1 5 展开性设某一系统的概率分布为 p1 p2 pn 该系统的信息熵具有 H p1 p2 pn H p1 p2 pn 0 这样的展开性质 在此基础上 进一步展开有 H p1 p2 pn H p1 p2 pn 0 0 6 确定性概率系统中 任一事件产生的概率为1 则其它事件产生的概率为0 这是一种确定的系统 对于这样的系统 有 H 1 0 H 0 1 0H 1 0 0 H 0 0 1 0 0 H 0 0 1 0 一 相对信息熵h 一个实际系统输出的熵H X 与其最大可能的熵Hmax X 的比值定义为相对熵 h H X Hmax X 二 冗余度 冗余度或剩余度可定义为 r 1 h 1 H X Hmax X 冗余度表示了由于每种字符出现的概率不同而使信息熵减少的程度 它表示了传递信息时 不必要的冗长部分的比例 设以英语的N个字符书写文章时 其平均信息量为H 总的信息量为NH 若以27个字符均匀出现的字符序列来表述同样的内容 相同的信息量 由于此时的平均信息量为Hmax 所需的字符数一定少于N 令其为Nmin 则为NminHmax NH Nmin H Hmax N hN它表示 以具有Hmax的27种字符书写文章 只需要Nmin hN个字符 而冗余度为 r 1 H Hm
人人文库> 全部分类> 行业资料 > 管理策划

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论