《信息论与编码基础》课件 3-信源模型及信息熵

上传人：y*** IP属地：山东上传时间：2026-04-22 格式：PPT 页数：12 大小：643KB 积分：12 举报 版权申诉

已阅读5页，还剩7页未读，继续免费阅读

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

§2

离散信源§2.1

离散信源的信息熵§2.2

熵的基本性质§2.3

信源的相关性与剩余度

信源的数学模型及分类

信息熵

联合熵与条件熵§2.1

离散信源的信息熵一、信源的数学模型与分类概率空间:样本空间概率函数例1：P(a1)＋P(a2)＝1

例2：§2.1

离散信源的信息熵一、信源的数学模型与分类抛硬币

音频信源§2.1

离散信源的信息熵一、信源的数学模型与分类或

概率空间:§2.1

离散信源的信息熵信源离散无记忆信源（DMS）离散有记忆信源离散信源连续信源简单DMS：复杂信源：

时间离散的连续源随机波形源简单连续信源：一、信源的数学模型与分类D.S07314575707C.S则其中事件ai的自信息为：设离散信源X，其概率空间为：§2.1

离散信源的信息熵二、信息熵例3．

§2.1

离散信源的信息熵定义2-1：信源输出各消息的自信息量I(ai)的数学期望为信源的平均自信息量，即：

又称为信源X的信息熵或熵。

二、信息熵§2.1

离散信源的信息熵平均自信对象概率矢量

对某给定信源，信息熵H(X)的取值是固定的，而不是随机变量。二、信息熵说明：例4．一组信源：§2.1

离散信源的信息熵二、信息熵熵——平均自信息说明：§2.1

离散信源的信息熵（A）描述信源X的平均不确定性含义（B）平均每个信源符号所携带的信息量

三、信息熵例5(从另一角度领会信息熵的含义)

若布袋内放100个球。其中，70个是红色（a1）；30个是白色（a2）。现随机摸出一个球猜颜色，求平均每次试验的信息量。§2.1

离散信源的信息熵说明：（A）描述信源X的平均不确定性含义（B）平均每个信源符号所携带的信息量

I(ai)与H(X)bit/sig,nat/sig,hart/sig相同点：（本质）描述不确定性大小不同点：（对象）个别事件与整个集合辨析单位二、信息熵§2.1

离散信源的信息熵练习：设离散无记忆信源其发出的消息为(20212013021300120321011032101002103201122321

人人文库> 全部分类> 教育资料 > 课件下载

1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。