信息论发展史

1、信息论发展史内容摘要: 信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部 分，信息论是现代通信和信息技术的理论基础。现代信息论又是数学概率论与数理统计下年 的一个分支学科。现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。 作为信息论的奠基人克劳德艾尔伍德香农(Claude Elwood Shannon)，于1948年和1949 年发表的两篇论文一起奠定了现代信息论的基础。关键字： 信息论(information theory)、克劳德香农(Claude Shannon)、数学、信息与传信息论概念及其研究发向信息论，顾名思义是一门研究信息的处理和传输的科学；即用概

2、率论与数理统计方法来 探究信息的度量、传递和变换规律的一门学科。它主要是研究通讯和控制系统中普遍存在着 信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础 理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信 息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源一信道 隔离定理相互联系。信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之 中。这就是现代信息论的出发点。信息论创始人一香农香农(Shannon) 1948年也在贝尔系统技术杂志上发表了两百多页的长篇论文通 信的数学理论；第二年，他又在同一杂志

3、上发表了另一篇名著噪声下的通信。在这两 篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数 学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信 符号的基本技术问题，并且开始创造性的定义了 “信息。这两篇论文成了现在信息论的寞 基著作。而香农也一鸣惊人，成了这门新兴学科的奠基人。克劳德艾尔伍德香农(Claude Elwood Shannon )美国数学家，信息论的创始人。生 于1916年4月30日。2001年2月24日，香农在马萨诸塞州辞世，享年 85岁。贝尔 实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基人。人们描述 香农

4、的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他 的同事写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德 很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他 能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个 词。”今天，我们怀念香农，要熟悉他的两大贡献：一是信息理论、信息熵的概念； 另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、追求完美、永 不满足的科学精神，这是他获得成功的重要经验。信息论的发展与现代信息论现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了

5、通信系统传输信息的能力，并且试图度量系统的信道容量。香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经 过8年的努力，1948年，来自贝尔研究所的Claude Shannon（克劳德香农）的通信的数 学理论论文公诸于世，从此宣告了崭新的一门关于信息发面的学丰一息论的诞生。1949 年，香农又在该杂志上发表了另一著名论文噪声下的通信。在这两篇论文中，香农阐 明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信 道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信 息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础

6、。并且香农开始创造性的定 义了 “信息”。信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学， 他给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存 储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946 年的计算机和1947年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。信 息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以 及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。这是因 为通信系统对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、

7、科学研 究以及战争等等，一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统， 即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后，前苏联和美国的科学家采取了不 同的研究途径经一部发展了信息论。在苏联以辛锌、柯尔莫哥洛夫、宾斯基和达布鲁新为首 的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型，对信息论的基本 定理给出了更为普遍的结果，为信息论发展成数学的一个分支作出了贡献。而在美国测试有 一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性，维信息论转 化为信息技术作出了贡献。20世纪

8、50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解 的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。从此信息 论迈入第二个阶段。我国数学家和信息科学专家在二十世纪五十年代将信息论引进中国，经过六十余年的 不懈努力，尤其从二十世纪八十年代中期以来，一批华裔信息论专家在国际学术界崛起，以 周炯盘院士为代表，为信息论的发展作出了自己的贡献。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效 地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可 以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和

9、方法已广泛渗透到各 个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰 到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。虽然1948年香农就发明了信息论，但到90年代才找到或者再发现能够逼近香农 极限的turbo码和LDPC码；再一个局限是香农的大部分结果都是在一定的理想条件或极限 条件下推导出来的，在实际系统中，这些条件可能不能满足，因而不可能达到香农所得出的 一些结论或界限，举一个例子，信源信道分离定理是在数据分组长度无穷大和静态信道条件 下得到的，但实际系统中的编码可能会有分组长度和限制，信道也可能是时变的，因而产生 出最近较新的所谓联合信源信道编码理论；最后一个是局限是点对点通信的局限性，因为通 信的构架存在网络结构和多用户的结构，所以对于网络和多用户的情形，香农并没有更深入 的研究，虽然他在