信息论第一章(叶中行).ppt_第1页
信息论第一章(叶中行).ppt_第2页
信息论第一章(叶中行).ppt_第3页
信息论第一章(叶中行).ppt_第4页
信息论第一章(叶中行).ppt_第5页
已阅读5页，还剩87页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

信息论基础 绪论第1章随机变量的信息度量第2章随机过程的信息度量和渐近等分性第3章数据压缩和信源编码第4章数据可靠传输和信道编码第5章限失真信源编码和率失真函数第6章连续信源和信道编码理论 绪论 信息论是应用近代概率统计方法研究信息传输 交换 存储和处理的一门学科 也是源于通信实践发展起来的一门新兴应用科学研究信息的基本性质及度量方法 研究信息的获取 传输 存储和处理的一般规律的科学研究可能性和存在性问题 为具体实现提供理论依据 信息论研究的主要内容 广义信息论 包括信息论在自然和社会中的新的应用 如模式识别 机器翻译 自学习自组织系统 心理学 生物学 经济学 社会学等一切与信息问题有关的领域 实用信息论 研究信息传输和处理问题 也就是狭义信息论方法在调制解调 编码译码以及检测理论等领域的应用 狭义信息论 即通信的数学理论 主要研究狭义信息的度量方法 研究各种信源 信道的描述和信源 信道的编码 3 信道信息传输和存储的媒介 4 译码器译码是编码的逆变换 分为信道译码和信源译码 5 信宿消息的接收者 2 编码器将消息变成适合于信道传送的信号的设备 1 信源产生消息的源 第1章随机变量的信息度量 1 1自信息 1 2熵 联合熵 条件熵 1 3相对熵和互信息 1 4信息量的一些基本性质 1 5广义熵习题课 1 1自信息 信息 通信领域指通信的消息 信号处理方面指包括了数字 数据 图像 语音等进行运算和处理所需的条件 内容和结果信源 消息的来源 信源的分类 离散信源和连续信源信源的表示方法 用随机变量X表示一个离散信源 X的可能取值 即信源可能输出的不同符号用集合 表示 自信息 信源发出的某个信号所含的信息量 记为自信息与信号发生概率之间关系 自信息满足的公理 1 2熵 联合熵 条件熵 熵 对整个信源来说 每个信号的平均信息量的多少定义1 2 1离散随机变量X的熵定义为 注意 熵只是概率分布p的函数 与X取什么值并无关系 对数底与熵单位的对应关系 1 3相对熵和互信息 级联处理器示意图 数据处理定理 数据处理过程中只会丢掉一些信息 绝不会创造出新的
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论