1.6信息的基础度量_第1页
1.6信息的基础度量_第2页
1.6信息的基础度量_第3页
1.6信息的基础度量_第4页
1.6信息的基础度量_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

信息的度量§1.6杨洁信息具有以下特性：时效压缩存储传输相对共享存在度量扩充原则：度量方法与消息的种类无关。与消息的重要程度无关。举例：“美国世贸大楼被炸（9.11事件）”（时效性）

“明天下雨”可见：消息中所含信息量和不可预测性或不确定性有关。消息所表达的事件越不可能发生，信息量就越大。如何度量消息中所含的信息量

?根据概率论知识：事件的不确定性可用事件出现的概率来描述。

？如何度量消息中所含的信息量

?

？

信息量I

可用概率P

来度量：

I

=

f[P(x)]

P

1，I

0P

0，I

P(x)<P(y),I(x)>I(y)相加性a=2，比特(bit)，简记为ba=e，奈特(nat)

a=10，哈特莱(Hartley)1nat=1.44b

1.6.1

离散消息x

的信息量

概率相同，每个符号蕴含的信息量也相同；二进制的每个码元含1

（b)

四进制的每个码元含2

（b)

推广：M进制的每个码元含log2M

（b)

【1-1】二进制信源（0，1）【1-2】四进制信源（0，1，2,3）每个四进制符号可用

2个二进制符号表示。解：试求：等概独立发送符号时，每个符号的信息量。结论例例

——信源中每个符号所含信息量的统计平均值。

则统计独立的M个符号的离散信源的平均信息量为

H与热力学中的熵形式一样，故称为信源的熵。

1.6.2

离散消息的平均信息量

比较例【1-3】与【1-2】可知：等概时，熵最大

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论