全文预览已结束
下载本文档
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
申农与信息论 申农平生克劳德 艾尔伍德 申农 claudeelwoodshannon 1916年4月30日 2001年2月26日 是美国数学家 信息论的创始人 1940年在麻省理工学院获得硕士和博士学位 1941年进入贝尔实验室工作 香农提出了信息熵的概念 为信息论和数字通信奠定了基础 主要论文有 1938年的硕士论文 继电器与开关电路的符号分析 1948年的 通讯的数学原理 和1949年的 噪声下的通信 2001年2月26日 香农在马萨诸塞州medford辞世 享年85岁 贝尔实验室和mit发表的讣告都尊崇香农为信息论及数字通信时代的奠基人 信息论是信息科学的一个分支 它是信息科学的理论基础之一 信息论将信息的传递作为一种统计现象来考虑 给出了估算通信信道容量的方法 信息传输和信息压缩是信息论研究中的两大领域 这两个方面又由信息传输定理 信源 信道隔离定理相互联系 申农被称为是 信息论之父 人们通常将香农于1948年10月发表于 贝尔系统技术学报 上的论文 amathematicaltheoryofcommunication 通信的数学理论 作为现代信息论研究的开端 这一文章部分基于哈里 奈奎斯特和拉尔夫 哈特利先前的成果 在该文中 申农给出了信息熵 以下简称为 熵 的定义 h pilogpi这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽 熵度量的是消息中所含的信息量 其中去除了由消息的固有结构所决定的部分 比如 语言结构的冗余性以及语言中字母 词的使用频度等统计特性 信息论 一个概念三个定理 信息论中熵的概念与物理学中的热力学熵有着紧密的联系 玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作 信息论中的熵也正是受之启发 互信息 mutualinformation 是另一有用的信息度量 它是指两个事件集合之间的相关性 两个事件x和y的互信息定义为 i x y h x h y h x y 其中h x y 是联合熵 jointentropy 其定义为 h x y p x y logp x y x y互信息与多元对数似然比检验以及皮尔森 2校验有着密切的联系 应用范围编码学密码学与密码分析学数据传输数据压缩检测理论估计理论政治学 政治沟通 信息论概述信息论是一门用数理统计方法来研究信息的度量 传递和变换规律的科学 它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限 度量 变换 储存和传递等问题的基础理论 研究范围信息论的研究范围极为广阔 一般把信息论分成三种不同类型 1 狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学 它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律 以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论 2 一般信息论主要是研究通讯问题 但还包括噪声理论 信号滤波与预测 调制与信息处理等问
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论