香农的信息论的局限性及其推广研究.doc

香农的信息论的局限性及其推广研究（一）立项依据与研究内容 1. 项目的立项依据【研究意义】关于香农信息论的局限性一直都有研究，但是信息的可靠性的研究一直在很大程度上受到忽视，比如香农（Shannon，又译申农、仙农）的信息论只是涉及到信息传输过程中的可靠性，香农对信息的定义和度量都从随机不确定性的角度来进行考虑。目前信息的定义超过80种之多，但是信息的定义都缺乏对信息可靠性的考虑，一些信息的定义把信息当作对事物的一种真实的反映，然而信息的不可靠性是广泛存在的，从严格的角度来讲，信息很难是绝对可靠的，包括一些科学规律（一种特别的信息），也只能被证伪，而不能被证明是正确的，用于获取信息的人的感官和各种仪器设备也存在一定的不可靠性。信息的不完备性，也是广泛存在的，往往由于条件的限制而不能得到完全的信息，如何将许多片面的信息进行融合，让信息更加完备，也是一个很重要的问题（特别说明：这里的可靠性是信息本身的可靠性，而不是信息传递、存储等方面的可靠性）。信息的价值之所以存在，还是因为信息具有一定的可靠性，我们处于信息社会，各种各样的信息在急遽增长，如何很好利用信息，识别信息，提高信息的可靠性，将各种不完备，不可靠的信息进行利用、融合和提取，显然是非常重要的。信息的可靠性不能完全靠人工来鉴别，人工作业有其不精确性，主观性，应当尽量采用信息技术来自动解决，减少人为判断。互联网的出现使得信息不断急遽增长，人工处理这些浩如烟海的信息将是很困难，不现实的，需要建立相关的信息理论来通过计算机融合信息。然而香农的信息论并不能解决这些问题，他的信息论仅仅适应于通信等很局限的领域。一些学者提出了广义信息论、全信息理论，统一信息理论扩展了他的理论，但是这些理论都没有考虑信息的可靠性方面。此外，它与其他的一些信息相关的学科在一定程度上是隔离的。在申请人提出了信息的可靠性问题后，一些学者认为可靠性是信息的重要方面，建议笔者建立可靠信息论。由于可靠性可能过于狭隘，而采用相对信息论命名，除了考虑可靠性外，它具有更加深远的意义，有助于解决和解释更多的问题。在密码分析方面，缺乏对信息的不确定性和信息融合的研究，比如当多个伪密钥存在的情况下，如何进行判断分析。密码分析前已知的信息与密码分析得到的信息如何进行融合，密码分析得到的信息是不可靠的时候，或者密码分析得到的信息只能得出某些需要了解的信息的不确定的概率分布且事先也对这些需要了解的信息从其他的角度得出某一概率分布时候，如何来得出更加完备和可靠的信息，都是尚未研究的领域。【国内外研究现状及发展动态分析】香农信息论的局限性很早就被认识到，包括香农本人。香农的信息论诞生不久，许多人将它推广到日常信息交流场合，于是出现纰漏。香农也曾经辑文反对信息论的滥用。和Shannon合著通信的数学理论一书的W. Weaver就提出通信的三个水平，而香农理论仅仅是其中一个水平。为了解决语义信息问题，R. Carnap等人提出用逻辑概率代替普通概率，然后用Shannon 熵度量语义信息。50年代末，Kullback提出Kullback信息公式。60年代初，Brillouin提出可用Hartley公式的改进形式来度量非概率信息，比如测量数据的信息。1965年，L. A. Zadeh提出模糊集合论，1968年，他又提出模糊事件，即模糊集合A中事件的概率，和模糊集合的熵。1972年,德鲁卡和特尔米尼提出了用来测度模糊事件的信息量的模糊信息熵公式。70年代，H. Gottinger提出非概率信息，S.Guiasu提出了加权熵和效用信息，都产生了一定影响。G. Jumarie还提出采用洛伦兹变换的相对信息，可惜相对信息的定义并不自然，它与本项目的相对信息有很大的差别。此后，R. Yager，M. Higashi和G. Klir，D. Dubois和H. Prade等人又提出或讨论了可能不确定性测度及相应的广义熵，这类方法只采用隶属度等主观测度而不使用事件发生的概率。吴伟陵教授对广义熵和模糊信息做过探讨。我国学者钟义信先生1981年针对香农信息论的熵公式只能度量概率信息的缺陷,提出了一种广义信息函数。1985年,他又把该公式推广到语义信息和语用信息的度量,得到了语法,语义和语用信息的综合测度公式,即所谓全信息的计量模型。1993年，鲁晨光提出广义信息论，指出香农信息论的局限性具体表现在:不便于度量语义信息、感觉信息、信源信道可变时的信息以及单个信号的信息。鲁晨光提出了广义通信模型和可度量语义信息、感觉信息及测量信号信息的广义信息测度；讨论了预测和检测的信息准则和优化理论。George J. Klir则在模糊逻辑，不分明集这些不确定性方面作出了许多的研究。斯托尼尔在90年代初提出统一的信息理论,他把信息看成是宇宙的一种基本属性,其目标是在信息物理学的基础上,并综合现有的控制论,符号学,语言学,认知心理学等学科,构建一个所谓一般信息理论的框架。这些新的理论都是在香农的基础上进行扩展，认识到了香农的一些局限性，都很重视对单重不确定性（信息熵）的研究，但是都没有考虑的信息的可靠性这一问题，即信息与客观事实和真理的符合程度，从信息表示的角度，也就是说没有考虑到信息的表示是不确定性的，如信息的表达中概率是变动的，随机的。此外关于信息的定义非常多，但是并不存在公认的定义，绝大多数定义都没有考虑信息的可靠性，信息的定义也是以“信息是消除不确定性的东西”得到广泛的重视。关于不确定性理论，相关的推理模型没有一个统一的模型，种类不计其数，其中比较著名的有：Shortliffe在1975年结合医疗专家系统MYCIN建立的确定性理论，Duda在1976年结合探矿专家系统PROSPECTOR建立的主观Bayes推理，Dempster Shafer在1976年提出的证据理论，Zadeh在1978年提出的可能性理论，1983年提出的模糊逻辑和逻辑推理，Nilsson在1986年提出的概率逻辑，Pearl在1986年提出的信任网络。八十年代以后，人们又提出了灰色系统理论、粗集理论、概念图、基于信比概念的知识处理和集对分析等新方法。国内学者李德毅提出了云模型，何华灿提出了泛逻辑学。但是不确定性理论通常是不够严谨的，甚至还存在一些冲突和悖论。这些理论与概率论和信息论都是出现了不应该有的隔离，特别是与信息论与不确定性理论、信息融合相去甚远。可以说信息与知识和智能已经隔离了，国内学者钟义信认识到这一问题，提出信息知识智能转换的规律，提出了一些框架。在可靠性理论方面，主要是研究工程、产品和系统的可靠性，其中包括软件产品的可靠性，涉及到信息的主要是针对信息系统的可靠性、可靠性相关的信息的处理软件系统以及可靠性相关的信息的分析和利用设计。除申请人提出了信息的可靠性问题，并且分析了它与不确定性的关系外，目前尚未见到有对信息本身的可靠性相关的其他研究，而信息的可靠性问题比一般的可靠性问题更加复杂。【主要参考文献】1.Shannon C E. A mathematical theory of communication，Bell System Technical Journal,27 (1948)，379429，6236562.美威弗尔. 通讯的数学理论的新发展，系统论控制论信息论经典文献选编，求实出版社，1989,6126363.汪培庄. 模糊集和随机集落影，北京师范大学出版社，1984. 4.宛天巍， 王浣尘， 张旭，信息测度方法的综述，系统工程理论方法应用，第14卷第6期，2005年12月5.Wierman, M.J.,Tastle, W.J. Placing the Dissonance Measure in the Context of Generalized Information Theory,Fuzzy Information Processing Society, 2006. NAFIPS 2006. Annual meeting of the North American, 3-6 June 2006 Page(s):253 - 2566.Peter Fleissner, Wolfgang Hofkirchner ，Emergent information Towards a unified information theory In: BioSystems 2-3(38)/1996, 243-2487.KullbackS. Information and Statistics，John Wiley & Sons Inc.，New York，1959 8.Aczel J and Forte B. Generalized entropies and the maximum entropy principle，In: Bayesian Entropy and Bayesian Methods in Applied Stastics，Cambridge University Press，Cambridge，1986，951009.Brillouin L. Science and Information Theory，Academic Press，New York，196210.Zadeh L A. Probability measures of fuzzy events，Journal of mathematical Analyses and Applications 23 (1968)，42142711.De Luca A and Termini S. A definition of nonprobabilistic entropy in the setting of fuzzy sets， Infor. Contr. 20 (1972)，20131212.Gottinger H W. Lecture notes on concepts and Measures of information，In Information Theory: New trends and Open Problems, G. Longo eds.，Springer Verlag，CISM(1975)13.郝建民，纪念信息论创立五十周年，遥测遥控，1999年5月，第20卷第3期14.钟义信面向智能研究的全信息理论J北京邮电大学学报，2000，(1)15.Klir, G. J. Uncertainty and Information: Foundations of Generalized Information Theory. John Wiley, Hoboken, NJ,2006 16.钟义信. 信息科学原理，福建人民出版社，198817.鲁晨光广义信息论，中国科技大学出版社，199318.Klir, G.J.Measuring uncertainty associated with convex sets of probability distributions: a new approach,Fuzzy Information Processing Society, 2005. NAFIPS 2005. Annual Meeting of the North American 26-28 June 2005 Page(s):61 - 6419.王勇，论信息的相对性，武汉：首届全国社会信息科学研讨会论文集，2007年06月20. George J. Klir.An update on generalized information theoryA.ISIPTAC.2003.32133421.王勇. 香农信息论的局限性分析. 中国科技论文在线(). 2007年07月18日22.李德毅，不确定性人工智能，国防工业出版社, 2005年7月2. 项目的研究内容、研究目标,以及拟解决的关键科学问题【项目研究内容】（1）本项目借鉴前人对信息论的局限性的分析，从可靠性的角度来分析香农信息论的局限性，以及其产生的根源，并且将信息论从相对信息的角度来进行推广。提出相对信息论，基于相对信息理论提出（精确的）集合下信息的可靠度和信息的差别指标，提出一些算法，用于解释一些概率冲突，并且用于信息融合。（2）将相对信息理论应用在密码分析中，研究在密码分析中，如何将密码分析的结果与事先已知的信息进行融合。将相对信息理论应用于解释各种社会分歧和冲突。（3）研究量子信息与经典信息论的融合和统一问题，用于发展相对信息理论。【项目研究目标】分析香农信息论尚未研究的局限性，指出信息论的潜在条件和适用范围，并且根据局限性，推广信息理论，从信息可靠性和相对性角度建立广义的信息理论，提出一些度量指标和一些算法，并且用它来解释各种现象，将信息论和本来与之相对独立的人工智能、信息融合等领域真正融合起来。将推广的信息理论应用在密码分析中。【拟解决的关键科学问题】（1）对信息论忽视信息的可靠性来进行剖析，并且给出信息可靠性的表征方式，研究如何将各种不可靠的，不完备（完全）的信息进行融合，提出相关算法，建立相对信息论。（2）将相对信息理论的信息融合算法用于将密码分析的结果与事先已知的信息进行融合，以及不能确定真伪密钥情况下的信息融合。（3）用相对信息论来解释自然科学和社会科学现象，特别是解释各种文化冲突、多元化、各种派别的分歧、信仰差异、科学与伪科学之争。将原本分离的信息论、不确定性理论和信息融合理论的整合。3. 拟采取的研究方案及可行性分析【研究方案】本项目研究采取的是理论分析、数学证明、实例检验、公理化方法、举反例以及在适当条件下争取实证研究相结合的研究方法。为了保证成果的可靠性，一些成果将会在网络上接受质疑，并且参加学术会议与学者交流辩论。主要利用概率论、信息论、不确定性理论、信息融合理论以及人工智能和信息处理等领域的一些理论知识。（1）以不确定性理论、信息融合理论、可靠性理论、概率论来对信息论忽视信息的可靠性的局限性进行剖析，对香农对信息的表达方式的局限性进行分析，即香农信息的概率是定值，但是现实中概率本身往往也具有一定的不确定性，以概率论方法来表征信息的可靠性，从而将信息融合问题归结为概率论的问题，同时充分借鉴可靠性理论、超熵理论和云模型的方法。用公理化方法以及概率论来给出多个条件下信息的融合问题的算法并且验证，采用数学分析方法来分析相关的性质。（2）借鉴香农对通信的可靠性的考虑以及香农对信息的可靠性的考虑（虽然香农没有明示），研究信息的可靠性。（3）针对信息的可靠性相关的一系列问题，还需要通过进一步与专家学者探讨、辩论，保证项目的质量。重视从多个方面来说明问题，除了直接说明问题，还需要间接证据支撑。以各种社会科学和自然科学领域的分歧与冲突为依据，研究科学规律和理论这些特殊信息的相对性和冲突的根源，完善相对信息理论。（4）对密码分析中的各种信息的特点进行分析，根据条件对（前面建立的）算法的适用性来确定将密码分析的结果与事先已知的信息进行融合的算法。【可行性分析】本项目的可行性集中体现于：（1） 新颖的学术思想项目研究既借鉴已有的理论，又充分分析已有理论的一些局限，根据这些局限性，采取去掉约束的方法来推广理论。从信息可靠性、完备性、信息的多重不确定性这些尚未研究，但是却很重要的方面来分析研究信息，将会使得信息的研究更加符合现实需求，同时在这些方面也有可以借鉴的理论，比如概率论、香农信息论、可靠性理论等。（2） 良好的实施条件和项目组织方式 申请者一直从事本项目相关的研究和实践，特别在信息可靠性方面已取得了阶段性成果，为后续研究打下了基础；项目组成员大多数为35周岁以下年轻学者，钻劲足、视野开阔、创新意识强，均主持或参加过多个科研项目，具有较强的科研能力和项目组织管理经验。 本项目将充分利用网络加强联系和管理，拓展吸纳项目组成员的方式，加强知识产权保护和管理以及科研管理，通过网络开放项目，制定规范和制度，开诚布公，强化和便利化项目管理，增加项目讨论的渠道，此外项目组已经建立了开放项目开放科研项目和教改项目吧（），以期充分利用和吸纳自愿参与的人才，以提高项目的质量和加快进度。此外，项目组还将在相关的网络，特别是一些关于信息论研究方面的论坛上交流。4. 本项目的特色与创新之处（1）本项目中，我们将信息与信息表示的原对象区分开，研究它们的差异，通过信息的这种指向性，我们充分研究信息广泛存在的非绝对可靠和完备的性质，从信息论的角度来考虑信息的可靠性和完备性。（2）以概率论为基础来表征信息，但是这里的概率相对于香农的信息论中概率是固定值而言，差别在于信息的概率依然是随机不确定的，即对信息的多重随机不确定性进行研究并且表征。（3）根据多个条件下概率满足的一般性质来建立某些简单公理，用公理化方法以及概率论来给出多个片面（不完备）条件下信息的融合问题的算法并且加以验证。将这些理论应用在密码分析中。（4）研究针对相同事物的各种信息分歧产生的根源，为化解冲突和矛盾提供理论依据，从而促进社会和谐。5. 年度研究计划及预期研究结果【年度研究计划】2009-01-01至2009-12-31国内外现状的进一步掌握，项目调研和前期工作，分析香农关于信息定义和信息论的多方面局限性，并且进行推广。 2010-01-01至2010-12-31根据香农信息论的局限性，从可靠性的角度将信息论拓展到通信以外的领域，比如信息融合、人工智能以及各种其他信息处理的领域。建立信息的可靠度和信息差别度量指标。2011-01-01至2011-12-31将本理论应用在密码分析中，解决密码分析中的一些信息融合问题。研究现实中信息分歧产生的根源，并且建立相关的理论。补充完善前面工作基础上，对本理论在其他等领域进行探索性研究，进行项目总结。【预期研究成果】从多个新的角度指出香农信息论的局限性，融合信息论、信息融合与人工智能等领域，建立基于可靠性的相对信息论，并且将它应用在密码分析中。预期发表高质量的学术论文515篇，被三大检索收录13篇，完成一篇完整的研究性的结题报告，参加5次以上学术会议。出版广义信息论领域学术专著一本。基于该课题，至少联合培养硕士生3名及博士生1名。（二）研究基础与工作条件 一、关于你的项目的同行评议意见如下： 申请人从Shannon信息论有关信息定义的局限性开始，对信息论进行推广，以建立更为广泛适用的信息论。申请书对国内外有关研究Shannon信息论局限性问题的发展过程和存在的问题等作了较为详细的描述，立论依据较充份。 有关Shannon信息论的局限性和推广等问题，并不是一个新问题，国内外早已