信息论的国内外研究发展现状.doc

信息论的国内外研究发展现状 摘要：信息论是研究信息的基本性质和度量方法以及信息的获得、传输、存贮、处理和交换等一般规律的科学。它是在长期的通信工程实践和理论研究的基础上发展起来的。随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。关键词：信息论 研究 发展 现状信息论是研究信息的基本性质和度量方法以及信息的获得、传输、存贮、处理和交换等一般规律的科学。信息论作为一门科学理论，发端于通信工程。它具有广义和狭义两个概念：狭义信息论是应用统计方法研究通讯系统中信息传递和信息处理的共同规律的科学，即研究概率性语法信息的科学；广义信息论是应用数学和其他有关科学方法研究一切现实系统中信息传递和处理、信息识别和利用的共同规律的科学，即研究语法信息、语义信息和语用信息的科学。信息论从诞生到今天，已有五十多年历史，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。 人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论作出很大贡献。1948年，美国数学家C.E.香农出版通信的数学理论，1949年发表噪声中的通信，从而奠定了信息论的基础。香农的信息论诞生不久，许多人将它推广到日常信息交流场合，于是出现纰漏。香农也曾经辑文反对信息论的滥用。和Shannon合著通信的数学理论一书的W. Weaver就提出通信的三个水平，而香农理论仅仅是其中一个水平。为了解决语义信息问题，R. Carnap等人提出用逻辑概率代替普通概率，然后用Shannon 熵度量语义信息。50年代末，Kullback提出Kullback信息公式。60年代初，Brillouin提出可用Hartley公式的改进形式来度量非概率信息，比如测量数据的信息。1965年，L. A. Zadeh提出模糊集合论，1968年，他又提出模糊事件，即模糊集合A中事件的概率，和模糊集合的熵。1972年,德鲁卡和特尔米尼提出了用来测度模糊事件的信息量的模糊信息熵公式。70年代，H. Gottinger提出非概率信息，S.Guiasu提出了加权熵和效用信息，都产生了一定影响。G. Jumarie还提出采用洛伦兹变换的相对信息，可惜相对信息的定义并不自然，它与本项目的相对信息有很大的差别。此后，R. Yager，M. Higashi和G. Klir，D. Dubois和H. Prade等人又提出或讨论了可能不确定性测度及相应的广义熵，这类方法只采用隶属度等主观测度而不使用事件发生的概率。吴伟陵教授对广义熵和模糊信息做过探讨。我国学者钟义信先生1981年针对香农信息论的熵公式只能度量概率信息的缺陷,提出了一种广义信息函数。1985年,他又把该公式推广到语义信息和语用信息的度量,得到了语法,语义和语用信息的综合测度公式,即所谓全信息的计量模型。1993年，鲁晨光提出广义信息论，指出香农信息论的局限性具体表现在:不便于度量语义信息、感觉信息、信源信道可变时的信息以及单个信号的信息。鲁晨光提出了广义通信模型和可度量语义信息、感觉信息及测量信号信息的广义信息测度；讨论了预测和检测的信息准则和优化理论。George J. Klir则在模糊逻辑，不分明集这些不确定性方面作出了许多的研究。斯托尼尔在90年代初提出统一的信息理论,他把信息看成是宇宙的一种基本属性,其目标是在信息物理学的基础上,并综合现有的控制论,符号学,语言学,认知心理学等学科,构建一个所谓一般信息理论的框架。这些新的理论都是在香农的基础上进行扩展，认识到了香农的一些局限性，都很重视对单重不确定性（信息熵）的研究，但是都没有考虑的信息的可靠性这一问题，即信息与客观事实和真理的符合程度，从信息表示的角度，也就是说没有考虑到信息的表示是不确定性的，如信息的表达中概率是变动的，随机的。此外关于信息的定义非常多，但是并不存在公认的定义，绝大多数定义都没有考虑信息的可靠性，信息的定义也是以“信息是消除不确定性的东西”得到广泛的重视。 关于不确定性理论，相关的推理模型没有一个统一的模型，种类不计其数，其中比较著名的有：Shortliffe在1975年结合医疗专家系统MYCIN建立的确定性理论，Duda在1976年结合探矿专家系统PROSPECTOR建立的主观Bayes推理，Dempster Shafer在1976年提出的证据理论，Zadeh在1978年提出的可能性理论，1983年提出的模糊逻辑和逻辑推理，Nilsson在1986年提出的概率逻辑，Pearl在1986年提出的信任网络。八十年代以后，人们又提出了灰色系统理论、粗集理论、概念图、基于信比概念的知识处理和集对分析等新方法。国内学者李德毅提出了云模型，何华灿提出了泛逻辑学。但是不确定性理论通常是不够严谨的，甚至还存在一些冲突和悖论。这些理论与概率论和信息论都是出现了不应该有的隔离，特别是与信息论与不确定性理论、信息融合相去甚远。可以说信息与知识和智能已经隔离了，国内学者钟义信认识到这一问题，提出信息知识智能转换的规律，提出了一些框架。 在可靠性理论方面，主要是研究工程、产品和系统的可靠性，其中包括软件产品的可靠性，涉及到信息的主要是针对信息系统的可靠性、可靠性相关的信息的处理软件系统以及可靠性相关的信息的分析和利用设计。除申请人提出了信息的可靠性问题，并且分析了它与不确定性的关系外，目前尚未见到有对信息本身的可靠性相关的其他研究，而信息的可靠性问题比一般的可靠性问题更加复杂。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立，将为科学技术的发展作出贡献。主要参考文献： 1. Shannon C E. A mathematical theory of communication，Bell System Technical Journal,27 (1948)，379429，6236562. Thomas M.Cover, Joy A, Thomas, Elements of Information Theory 译者：阮吉寿，张华 机械工业出版社 20083. Kullback S. Information and Statistics，John Wiley & Sons Inc.，New York，1959 4. 郝建民 . 纪念信息论创立五十周年，遥测遥控，1999年5月，第20卷第3期 5. 钟义信面向智能研究的全信息理论J北京邮电大学学报，20006. Klir,