《信息论与编码基础》课件 5-熵的基本性质_第1页
《信息论与编码基础》课件 5-熵的基本性质_第2页
《信息论与编码基础》课件 5-熵的基本性质_第3页
《信息论与编码基础》课件 5-熵的基本性质_第4页
《信息论与编码基础》课件 5-熵的基本性质_第5页
已阅读5页，还剩11页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

§2离散信源§2.1离散信源的信息熵§2.2熵的基本性质§2.3信源的相关性与剩余度§2.2熵的基本性质1.非负性2.确定性3.对称性(i1,…iq)为（1~q）任意排列4.扩展性习题——确知信源熵为0§2.2熵的基本性质3.对称性例：分别计算下列信源熵：雪雪晴晴冰冰红兰绿§2.2熵的基本性质1.非负性2.确定性——确知信源熵为03.对称性(i1,…iq)为（1~q）任意排列——熵只与随机变量的总体结构有关4.扩展性——极小概率事件对熵几乎无影响习题5.熵的链式法则§2.2熵的基本性质若X和Y统计独立，则熵的强可加性熵的可加性进一步推广之，N维联合信源熵的链式法则为5.熵的链式法则§2.2熵的基本性质1.试证明（强可加性）：习题：§2.2熵的基本性质2.

对于离散无记忆信源X的N次扩展信源XN，其信息熵为X信源熵的N倍，即：

当且仅当P1=P2=···=Pq=1/q时，信源具有最大熵。§2.2熵的基本性质6.极值性证明（极值性）：§2.2熵的基本性质引理：若x>0，则：lnx≤x-1（即log2x≤(x-1)loge）,

（当且仅当x=1时成立）证明：当且仅当1/piq=1即pi＝1/q时等式成立。当且仅当P1=P2=···=Pq=1/q时，信源具有最大熵。

信源中各事件出现概率趋于均匀时，信源的平均不确定性最大。（数据压缩的理论依据之一）最大离散熵定理§2.2熵的基本性质6.极值性例：

设二元信源X为则有熵是随机变量X概率分布的上凸函数；p=0或1时，H(p)=0；p=0.5时，H(p)达到最大1(bit/sig)。§2.2熵的基本性质练习：§2.2熵的基本性质

比较概率分布

的熵与概率分布的熵的大小？

知道统计相关的变量，则可以减少不确定性；统计平均意义上条件减少不确定性，但是针对具体的Y取值则不一定。§2.2熵的基本性质7.熵的独立界定理2.1：条件熵不大于无条件熵，即当且仅当X与Y相互独立时等号成立。对于平稳序列，条件熵随N的增加是非递增的，即：条件作用使熵减小定理2.2：设

服从P(x1,x2,…,xN)，则当且仅当相互独立时取等号。（证明提示：联系链式法则）§2.2熵的基本性质7.熵的独立界熵的独立界3/4010121/41/21/2XYPX(0)=2/3,PX(1)=1/3H(X)=?H(X|Y=0)=?H(X|Y=2)=?H(X|Y)=?H(X)=H(2/3,1/3)=0.9183(bit/sig)H(X|Y=0)=0H(X|Y=1)=0H(X|Y)=1/3(bit/sig)H(X|Y=2)=H(1/2,1/2)=1(bit/sig)练习：§2.2熵的基本性质H(Y)=?H(Y)=H(1/2,

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论