《信息论与编码基础》课件 4-联合熵与条件熵

上传人：y*** IP属地：山东上传时间：2026-04-22 格式：PPT 页数：15 大小：479KB 积分：12 举报 版权申诉

已阅读5页，还剩10页未读，继续免费阅读

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

§2

离散信源§2.1

离散信源的信息熵§2.2

熵的基本性质§2.3

信源的相关性与剩余度信源的数学模型及分类信息熵联合熵与条件熵定义2-2：联合集XY上，联合自信息的平均值定义为联合熵，即：§2.1

离散信源的信息熵三、联合熵与条件熵例6：已知DMS：二次扩展信源§2.1

离散信源的信息熵(联合熵的应用)三、联合熵与条件熵N次扩展信源的数学模型：

N次扩展信源§2.1

离散信源的信息熵含义：扩展信源XN中平均每个消息序列提供的信息量。(bit/N-sigs)三、联合熵与条件熵(联合熵的应用)定义2-3：联合集XY上，条件自信息的平均值定义为条件熵，即：§2.1

离散信源的信息熵三、联合熵与条件熵

设箱中有100个球，其中40个黑球，60个白球。做从箱中取球且不放回试验，连续进行两次，试求猜中第二个球颜色的难度。例7：

解：§2.1

离散信源的信息熵

（用X表示取出第一个球的颜色，Y表示取出第二个球的颜色）三、联合熵与条件熵黑白§2.1

离散信源的信息熵(条件熵的应用)且P(aiaj)=P(ai)P(aj|ai)(i,j=1,2,…,q)，问题：信源X平均每符号输出信息量？

设：二维离散平稳信源X三、联合熵与条件熵§2.1

离散信源的信息熵(条件熵的应用)二维平稳信源熵：三、联合熵与条件熵例8：

有一连续信源，其输出信号的概率密度曲线如下图所示，现将信号等间隔采样，并量化为3个电平，则该连续信源转换成三元离散信源，其符号间的条件概率分布如下表所示。求该离散信源熵。p(V)2/35/91/3V0.51.530§2.1

离散信源的信息熵(二维离散平稳信源)三、联合熵与条件熵离散二维平稳信源

二维联合概率§2.1

离散信源的信息熵三、联合熵与条件熵§2.1

离散信源的信息熵小结：自信息熵条件自信息联合自信息联合熵条件熵考虑两个随机事件考虑两个随机事件集合在已知某事件的前提下在有前提条件下习题：设（X，Y）服从如下联合分布，试求H(X)，H(Y)，H(X|Y)，H(Y|X)，H(XY)。§2.1

离散信源的信息熵Y

X123411/81/161/321/3221/161/81/321/3231/161/161/161/1641/4000思考题1：

设X是取值有限的随机变量，如果：H(X)和H(Y1)及H(Y2)的关系是怎样的？§2.1离散信源的信息熵

设A从[0~63]整数中选数字，B通过“是否”问题方式进行猜测。问B

人人文库> 全部分类> 教育资料 > 课件下载

1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。