信息论.doc

信息论 信息是什么,什么是信息论，信息论起源什么，为什么要发展信息论。 信息就本体论意义而言，信息是事物现象及其属性标识的集合;信息就是信息，信息是物质、能量、信息及其属性的标示-Wiener信息定义的逆.信息特性是标志事物存在及其关系的属性。但这样的描述难以将信息定量化，因此申农是从就认识论意义而言定义信息的，即信息是认识主体接收到的、可以消除对事物认识不确定性的新内容和新知识。信息是确定性的增加-逆仙农（Shannon）信息定义。根据这一点给出了信息量的数学形式。 信息特征 信息一般具有如下一些特征：1、可识别；2、可转换；3、可传递；4、可加工处理；5、可多次利用（无损耗性）；6、在流通中扩充；7、主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。8、信息的能动性。9、可共享性。这是信息与物质和能量的主要区别。信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源信道隔离定理相互联系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 信息论发展的三个阶段第一阶段：1948年贝尔研究所的香农在题为通讯的数学理论的论文中系统地提出了关于信息的论述，创立了信息论。第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。信息科学和技术在当代迅猛兴起有其逻辑必然和历史必然。信息是信息科学的研究对象。信息的概念可以在两个层次上定义：本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部联系的状态和方式。认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。这里所说的“事物”泛指一切可能的研究对象，包括外部世界的物质客体，也包括主观世界的精神现象；“运动”泛指一切意义上的变化，包括思维运动和社会运动；“运动状态”指事物运动在空间所展示的性状和态势；“运动方式”是事物运动在时间上表现的过程和规律性。显然，本体论层次的信息具备客观性。认识论层次的信息与认识主体有关，并要求从事物运动状态和变化方式的外在形式（语法信息）、内在含义（语义信息）和效用价值（语用信息）三方面（全信息）来理解所感知到的东西、认识论层次的信息具有主观性。 信息论的研究范围极为广阔，一般把信息论分成三种不同类型： (1)：狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)：一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。 (3)：广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。信息论被广泛应用于：编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论等学科领域。信息论的意义和应用范围已超出通信的领域。自然界和社会中有许多现象和问题，如生物神经的感知系统、遗传信息的传递等，均与信息论中研究的信息传输和信息处理系统相类似。因此信息论的思想对许多学科如物理学、生物学、遗传学、控制论、计算机科学、数理统计学、语言学、心理学、教育学、经济管理、保密学研究等都有一定的影响和作用。另一方面，由于借助负熵定义的信息量只能反映符号出现的概率分布（不肯定性），不能反映信息的语义和语用层次。一篇重要的报告和一篇胡说乱道的文章可以具有同样的信息，这显然不符合常识。因此现阶段信息论的应用又有很大的局限性。把信息的度量推广到适合于语义信息和语用信息的情况，曾经做过许多尝试。但至今还没有显著的进展。 信息论的发展日新月异，从1978年第一代模拟蜂窝通信系统诞生至今，不过20多年的时间，就已经过三代的演变，成为拥有10亿多用户的全球电信业最活跃、最具发展潜力的业务。尤其是近几年来，随着第三代移动通信系统（3G）的渐行渐近，以及各国政府、运营商和制造商等各方面为之而投入的大量人力物力，移动通信又一次地在电信业乃至全