ch2熵和互信息.ppt_第1页
ch2熵和互信息.ppt_第2页
ch2熵和互信息.ppt_第3页
ch2熵和互信息.ppt_第4页
ch2熵和互信息.ppt_第5页
已阅读5页，还剩29页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、信息理论与编码,第2章 熵和互信息 许海霞 xu_,重 点,事件的自信息 2个事件间的互信息 条件互信息 联合互信息 熵,事件的自信息,2个事件间的互信息,例 X=0男性 X=1女性；Y=0抽烟 Y=1不抽烟,条件互信息,联合互信息,重点,熵的定义及性质 平均互信息 熵和平均互信息之间的关系（图）,随机变量的平均自信息熵 例,熵的定义 例,条件熵 X和Y统计独立时,联合熵 联合熵的链法则,例：设箱中有m个黑球，n-m0个白球，现从箱子中做不放回取球，用X表示取出第一个球的颜色，Y表示取出第二个球的颜色。 求,熵的性质 对称性 非负性 确定性 可扩展性 可加性 极值性 严格上凸性,随机变量间的平

2、均互信息,互信息的性质 非负性 对称性,例 已知平均每100人中有2人患有某种病，为了查明病情，必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的，对于健康人来说有一半可能为阳性、一半可能为阴性。试问这项化验对于查明病情提供多少信息？,例 有两个硬币，一个是正常硬币，另一个的两面都是面值。现随机抽取一个硬币，抛掷2次。问出现面值的次数对于硬币的识别提供多少信息？,重点,数据处理定理 连续随机变量的互信息和微分熵 平稳离散信源的熵,概率分布的散度（相对熵） 平均互信息的散度表示,关于疑义度的Fano不等式 两个在相同字符表 中取值的随机变量 和 满足 其中,马尔可夫链 记为 特别地，考

3、虑三个随机变量的马尔可夫链,数据处理定理：如果有马尔可夫链 则 如果有马尔可夫链 ，则,定理：条件分布 给定时，互信息 是输入分布 的上凸函数。 定理：当随机变量X的概率分布给定时，平均互信息 是条件概率分布 的下凸函数。,连续随机变量的互信息,条件互信息 联合互信息,连续随机变量互信息的性质 若 ，则,连续随机变量的熵-微分熵,微分熵的极大化 峰值受限：设 ，即 ，这时 微分熵 ，等号在均匀分布时达到。 平均功率受限：在方差 一定的条件下，当X 服从正态分布时，微分熵最大，即,平稳离散信源的熵,随机序列平稳的概念 平稳信源的熵,离散平稳信源熵的性质 随N的增大而单调不增。 也随N的增大而单调不增。,熵的相对率

人人文库> 全部分类> 生活休闲 > 科普知识

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论