信息论--信息理论与应用ppt课件.ppt

信息论与编码,信息论基础理论与应用,1,课程说明,本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成。本课程以概率论为基础，数学推导较多，教学时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。,2,第一章绪论,第一节信息的概念,第二节信息论研究的对象、目的和内容,第三节信息论的发展简史与现状,3,第一节信息的概念,组成客观世界的三大基本要素：物质、能量和信息，材料科学、信息科学、和信息科学一起被称为当代文明的“三大支柱”。Withoutmaterials,thereisnothing.Withoutenergy,nothinghappens.Withoutinformation,nothingmakessense没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。,4,5,不同学科内关于信息的论断,传播学家呼吁：公平地信息获取才是信息对称的基本保障；通讯工程师说：当受信者对一个事件出现的先验概率估计越小时，他获得的信息量就越大；计算机科学家则说：微处理器时钟频率的大小，决定着它处理信息的速度高低；生物学家则高呼：脱氧核糖核酸上的信息是控制子代和亲代相象的唯一源泉。表达了不同的信息问题研究者对不同领域里信息问题的见解。他们用各自学科的语言阐述了自己的看法，而且都深刻地洞察了他们自己所关怀的信息对象的本质。,6,信息是什么？,传统科学的基本概念是物质与能量，信息科学的基本概念是信息。信息，既是信息科学的出发点，也是它的归宿。具体来说，信息科学的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。对信息的认识越透彻，对信息的利用就会越充分、越合理；对信息的概念把握得越深刻，信息科学本身的根基就越牢固、越扎实。,7,信息定义,信息就是信息，既不是物质也不是能量。信息是事物之间的差异。信息是集合的变异度。信息是一种场。信息是系统的复杂性。信息是一种关系。信息是事物相互作用的表现形式。信息是事物联系的普遍形式。信息是物质和能量在时间和空间分布的不均匀性。信息是物质的普遍属性。信息是收信者事先所不知道的报导。信息是用以消除随机不定性的东西。,8,信息定义,信息是使概率分布发生变动的东西。信息是负熵。信息是有序性的度量。信息是系统组织程度的度量。信息是被反映的差异。信息是被反映的变异度。信息是被反映的物质的属性。信息是人与外界相互作用的过程中所交换的内容的名称。信息是与控制论系统相联系的一种功能现象。信息是作用于人类感觉器官的东西。信息是选择的自由度。信息是通信传输的内容。,9,信息定义,信息是事物运动状态或存在方式的不确定性的描述信息是加工知识的原材料。信息是控制的指令。信息就是消息。信息就是信号。信息就是数据。信息就是情报。信息就是知识。,10,信息定义的概念,“信息”(Information)和“消息”(Message)消息是信息的外壳，信息则是消息的内核。据新辞源考证，一千多年前我国唐代诗人李中就曾经有“梦断美人沉信息，目穿长路倚楼台”的诗句，其中“信息”一词就是音信、消息的意思。同样，在西方出版的许多文献著作中，“信息”(Information)和“消息”(Message)两词也是互相通用的。“信息就是信号”（电信技术）信号只是信息的载体，信息是信号所载荷的内容。“信息就是数据”（计算机技术）数据，它只是记录信息的一种形式，而且不是唯一的形式，不能把它等同于信息本身。情报只是一类专门的信息，是信息的一个子集。,11,信息定义的概念,1928年，哈特莱在贝尔系统技术杂志上发表了一篇题为“信息传输”的论文。在这篇论文中，他把信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。他认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。例如，假定符号表是26个英文字母及标点符号，那么用符号“Iamwell”传达了一种信息，而用符号“Iamsick”传达了另一种信息。如果发信者只能从由0和1两个符号组成的符号表中选择符号而且长度限定为1，则发信者只有两种选择，即0和1，这时传达的信息量很小；如果放宽限制，如长度不超过n（n1）则发信者可以选择的符号串有个，n越大能传达的信息量就越大。,12,哈特莱信息定义的局限性,哈特莱的这种理解能够在一定程度上解释通信工程中的一些信息问题，但是它也存在着一些严重时局限性：首先，他所定义的信息不涉及内容和价值，只考虑选择的方式，其次，也没有考虑到信源的统计性质；第三，把信息理解为选择的方式，就必须有一个选择的主体作为限制条件。这些缺点使它的运用范围受到很大的限制。,13,信息定义的概念,美国数学家香农在贝尔系统技术杂志发表了一篇长文，题为“通信的数学理论”（1948）。这篇论文以概率论为工具，深刻阐述了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得到了一组表征信息传递重要关系的编码定理。香农在进行信息的定量计算的时候明确地把信息量定义为随机不定性程度的减少。这就表明了他对信息的理解：信息是用来减少随机不确定性的东西。随机不确定性是指由于随机因素所造成的不能肯定的情形，在数值上可以用概率熵来计量。,14,信息定义的概念,根据这一思想，法裔美国科学家布里渊在他的名著科学与信息论中直接了当地指出：信息就是负熵。并且他还创造了Negentropy这一词（由Negative和Entropy合成）来表示负熵的概念（Brillouin，1956）。美国数学家、控制论的主要奠基人维纳在1950年出版的控制论与社会一书中对信息的理解是：“人通过感觉器官感知周围世界”，“我们支配环境的命令就是给环境的一种信息”，因此，“信息就是我们在适应外部世界，并把这种适应反作用于外部世界的过程中，同外部世界进行交换的内容的名称”。“接收信息和使用信息的过程，就是我们适应外界环境的偶然性的过程，也是我们在这个环境中有效地生活的过程”。是把信息理解为广义通信的内容。,15,维纳信息定义的缺陷,维纳把人与外部环境交换信息的过程者作是一种广义的通信的过程。这当然是没有问题的；因为，广义的通信本来就可以泛指人与人、机器与机器、机器与自然物、人与自然物之间的信息传递与交换。不过，这里所理解的信息仍然不够确切。这是因为：人与环境之间互相交换的内容中不仅有信息，也有物质与能量，把它们统统起一个名字信息，岂不是把信息与物质及能量混为一谈。,16,信息定义的概念,所以，信息是组织程度的度量，是有序程度的度量和负熵，是用以减少不定性的东西，这些都是Shannon、Wiener、Brillouin等人共同的理解。这些认识比仅仅把信息看作消息或通信内容要深刻得多。而且，在数学上很容易证明，Hartley的信息概念仅是Shannon信息概念的一种特殊情形。总起来说，在现有的各种理解中，Shannon的定义比较深刻，而且这种定义还导出了相应的算法。,17,香农信息定义的概念,信息是事物运动状态或存在形式的不确定性的描述，所谓不确定性就是千变万化、不规则、随机性，用概率模型来描述并对其进行定量的计算。通信系统中接受消息的过程就是消除不确定性的过程。不确定的消除就获得了信息。信息量与不确定性消除的程度有关。,18,香农信息定义的缺陷,第一，作为Shannon信息概念的直接基础，通信的数学理论一文曾经十分明确地指出：通信的任务是在收端复制发端所发出的波形，至于它的内容含义，因与通信工程无关，所以可以舍去。可见，Shannon理论中的不定性纯粹是波形形式上的不定性，与此相应的信息概念也是纯粹的形式化的概念（称为语法信息）。这样的信息概念排除了信息的含义因素，（即语义信息）和价值因素（即语用信息），不考虑收信者的主观特性。因此，它的适用范围受到严重的限制。,19,香农信息定义的缺陷,第二，它只考虑了随机型的不定性，不能解释与其他型式的不定性（如模糊不定性）有关的信息问题。第三，这种信息定义只从功能角度上来表述，还是没有从根本上回答“信息是什么”的问题。,20,信息概念的层次,最高层次是最普遍的层次，也是无约束条件的层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。每引入一个条件，定义的层次就降低一点，使用的范围就变窄一点。“本体论”层次定义：信息是该事物运动的状态和状态改变的方式。认识论层次：站在认识主体的立场上。即信息是认识主体（生物或机器）所感知的或所表述的相应事物运动状态及其变化方式。虽然认识论比本体论的层次要低一些，所定义信息的使用范围也要窄一些，但是信息概念的内涵比本体论要丰富得多。,21,全信息,全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。语义信息是指关于“事物运动表征”的含义，与主体的知识结构及其理解能力密切相关，语用信息是指关于“事物运动表征”的效用，它与主体要解决的问题及其运用能力密切相关。语法信息指关于“事物运动表征”的本身结构，不涉及这些表征的含义和效用，是最基本、最客观的层次，它是迄今为止在理论上研究最多的层次。根据事物运动方式的不同，分为概率型、偶然型和确定型信息。认识论层次的信息是全信息。,22,消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态。信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。消息中包含信息，是信息的载体。同一信息可用不同的消息形式来载荷。一则消息也可载荷不同的信息，可能包含丰富的信息，也可能包含很少的信息。消息和信息既有区别又有联系。,信息与消息的区分,23,信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。信号携带着消息，它是消息的运载工具。信号携带信息，但不是信息本身。同一信息可用不同的信号来表示。同一信号也可表示不同的信息。,信息与信号的区分,24,抽象性：信息本身既看不见，又摸不着，没有气味、没有颜色、没有形状、没有大小、没有重量，它是非常抽象的东西。重要性：信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。,信息的抽象性和重要性,25,信息的5条主要特征,信息来源于物质，又不是物质本身；它从物质的运动中产生出来又可以脱离物质而相对独立地存在。信息来源于精神世界，但又不局限于精神领域。信息与能量息息相关，但又与能量有本质的区别。信息具有知识的本性，但又比知识的内含更广泛。信息可以被认识主体获取和利用。,26,信息的重要性质,存在的普遍性：信息存在于自然界、人类社会，其本质是运动和变化的。哪里有事物的运动变化，哪里就会产生信息。它处处存在，它既区别于物质和能量，又与物质和能量有相互依存的关系。有序性：要使一个系统从无序变为有序，必须从外界获取信息。相对性：同一个事物，不同的观察者获得的信息量可能不同。可度量性：信息的多少用信息量表示。可扩充性：可存储、传输与携带性可压缩性：信息论研究的主要问题之一。可替代性：可替代劳力、资本、物质材料、时间。可扩散性：可在短时间内较大范围扩散开。可共享性：没有信息的共享性就没有人类社会的发展和进步。时效性：信息是有“寿命”的。,27,第二节信息论研究的对象、目的和内容,通信系统模型,消息,信号,干扰,信号+干扰,消息,28,信息论研究的对象、目的和内容,信源：消息的来源编码器：把消息变换成信号，包括信源编码器、信道编码器、调制器信道：传递信号的媒介译码器：把信道输出的信号反变换信宿：信息的接受端噪声：信道中的干扰,29,信源Informationsource,离散信源和连续信源无记忆信源和有记忆信源核心问题：信源的消息中所包含的信息量以及信息如何度量。,30,编码器,编码其的功能把消息变成适合信道传输的信号：信源编码器（sourceencoder）：将信源消息变成符号，目的提高传输的有效性。最常见的电报系统的莫尔斯电码，原则常见消息用短的码字表示。信道编码器（channelencoder）：给信源编码符号增加冗余符号，提高传输的可靠性。调制器（modulator）：将编码器输出符号变成适合信道传输的信号，提高传输的效率，比如声音不变成电信号传输的距离很近。,31,信道,狭义信道具体的物理信道，与介质相关广义信道一种逻辑关系或者通道无噪声信道和有噪信道AWGN信道：加性高斯白噪声信道,32,译码器,功能是从信号中恢复消息，包括解调器信道译码器信源译码器是编码的逆变换,33,研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。,34,通信的基本问题,在一点精确地或近似地恢复另一点所选择的消息。通信系统的三项基本性能指标：传输的有效性最短的码字，单位的时间传输更多。传输的可靠性：减少差错，降低错误率传输的安全性：不被未授权的一方获取,35,数字通信的三项基本技术,数据压缩数据纠错数据加密前两项：1948香农的论文建立理论基础第三项1945年：密码学的数学理论中给出，1949公开发表为保密系统的通信理论，奠定了现代密码学的理论基础，使密码学从艺术变成了科学。香农建立了三项技术的理论基础，一般认为第三项属于密码学和信息安全的范畴，而前两项属于信息论的内容。,36,信息论的理解,狭义信息论（香农信息论）信息的测度、信道容量、信源和信道编码理论一般信息论噪声、滤波与预测、估计、保密等广义信息论所有与信息相关的领域,37,38,信息传输手段的五次重大变革,语言产生：人们用语言准确地传递感情和意图，使语言成为传递信息的重要工具。文字产生：人类开始用书信的方式交换信息，使信息传递的准确性大为提高。发明印刷术：使信息能大量存储和大量流通，并显著扩大了信息的传递范围。发明电报电话：开始了人类电信时代，通信理论和技术迅速发展。这一时期还诞生了无线电广播和电视。更深入的问题：如何定量研究通信系统中的信息，怎样更有效、更可靠传递信息？计算机与通信结合：促进了网络通信的发展，宽带综合业务数字网的出现，给人们提供了除电话服务以外的多种服务，使人类社会