信息与编码理论 第2版 课件 2.4 离散信源的信息熵_第1页
信息与编码理论 第2版 课件 2.4 离散信源的信息熵_第2页
信息与编码理论 第2版 课件 2.4 离散信源的信息熵_第3页
信息与编码理论 第2版 课件 2.4 离散信源的信息熵_第4页
信息与编码理论 第2版 课件 2.4 离散信源的信息熵_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

2.4离散信源的信息熵哪个输出包含更多的信息，

x1还是xn？

度量信息的基本思路

考虑一个信源，它输出x1,…,xn，n种消息。

设x1为最大可能的输出,xn为最小可能的输出。假设信源输出代表天气情况,x1为晴或多云天气,xn为冰雹或其它强对流天气。

直观地，传递xn给出了更多的信息。由此可以合理地推算信源输出的信息量应该是输出事件的概率的单调递减函数。信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出事件概率的连续减函数。21.自信息（量）公理性条件：

(1)如果p(x1)<p(x2)，则I(x1)>I(x2)，I(xi

)是p(xi)的单调连续递减函数；

(2)如果p(xi)=0，则I(xi

)→∞;如果p(xi)=1，则I(xi

)=0;(3)由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和：I(xiyj)=I(xi

)+I(yj)

问题：什么函数能够同时满足以上条件呢？

对数函数31.自信息（量）

随机事件的自信息定义为该事件发生概率的对数的负值：关于对数底的选取：以2为底，单位为比特(bit)以e为底，单位为奈特(nat)以10为底，单位为哈特莱(Hartley)

一般都采用以2为底的对数，为了书写简洁，有时把底数2略去不写。4

自信息含义当事件xi发生以前：I(xi)表示事件xi发生的不确定性。当事件xi

发生以后：I(xi)表示事件xi

所含有（或所提供）的信息量。在无噪信道中，事件xi

发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi

后所获得的信息量。事件xi发生的不确定性=事件xi发生后提供的信息量。

1p(xi)I(xi)

log5

单位之间的换算关系：

1奈特=log2

e比特=1.443比特

1哈特莱=log210比特=3.322比特

1r进制单位=log2r比特试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？

在通信及目前的绝大多数信息传输系统中，都是以二进制为基础的，因此信息量单位以比特最为常用。因此一般都采用以“2”为底的对数，为了书写简洁，有时把底数2略去不写。67联合自信息量两个事件同时发生时对外提供的信息量。定义为：二维联合集XY上的联合概率的对数负值。记作：X、Y相互独立时

证明：即：两个随机事件相互独立时，同时发生得到的信息量，等于各自单独发生时得到的信息量之和。78条件自信息量联合集XY

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论