第1专题.ppt

1、2020/8/6,1,第一专题 什么是信息？,2020/8/6,2,第1专题 什么是信息？,1.1 信息的概念 1.2 信息论的研究对象、目的和内容 *1.3 信息论发展简史与信息科学,第1章 绪论,相结合逐步发展而形成的一门新兴科学,本章内容： 信息的概念 数字通信系统模型 信息论与编码理论研究的主要内容及意义,奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”,信息论,2020/8/6,4,1、古老而现代的话题,信息是一个古老而现代的话题。,说它现代，直到现在对信息也没有一个公认的定义。,说它古老，人类很早就有意识地传递信息；中国古代的烽火狼烟就是一个例子。,2

2、020/8/6,5,信息是信息论中最基本、最重要的概念，既抽象又复杂 信息在日常生活中被认为是“消息”、“知识”、“情报”等,“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质； “信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息； 信息不同于信号，信号是承载消息的物理量； 信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。,2020/8/6,6,消息：用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思

3、维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，对客观事物规律性的概括。 情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识 。,它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛,2020/8/6,7,就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：

4、离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1XiXn) 连续(模拟)消息，未知量，它可用随机过程来描述： X( t, ) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。,2020/8/6,8,消息中包含信息，是信息的载体。 信息、消息和信号是既有区别又有联系的三个不同的概念。 信号携带着消息，它是消息的运载工具。 信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 而信号则是抽象信息在物理层表达的外延； 消息则是抽象信息在数学层表达的外延。 同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以

5、采用不同的数学表达形式(比如离散或连续)来定量描述。 同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。,2020/8/6,9,信息、消息、信号三者之间的关系,2020/8/6,10,什么是信息 关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。 1928年，哈特莱(RVL Hartley) 在信息传输一文中提出：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式 局限性： 定义不涉及到信息的价值和具体内容，只考虑选择的方式。 即使考虑选择的方法，但没有考虑各种可能选择方法的

6、统计特性。,2020/8/6,11,1948年，维纳(NWiener) 在控制论-动物和机器中通信与控制问题一书中，指出：“信息是信息，不是物质，也不是能量”。将“信息”上升到“最基本概念”的位置。 后来，维纳在人有人的用处一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。” 局限性： 把信息与物质、能量混同起来。所以，维纳关于信息的定义是不确切的。,2020/8/6,12,1948年，香农（C.E.Shannon） 发表了一篇著名的论文，“通信的数学理论”。 他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量

7、的描述。 信息是事物运动状态或存在方式的不确定性的描述。,2020/8/6,13,香农信息(概率信息),信息是事物运动状态或存在方式的不确定性的描述。,在通信系统中形式上传输的是消息，但实质上传输的 是信息,消息中包含信息，消息是信息的载体,2020/8/6,14,样本空间：某事物各种可能出现的不同状态，即所有 可能选择的消息的集合。,对于离散消息的集合，概率测度是对每一个可能选择的 消息指定一个概率。一个样本空间和它的概率测度称为 一个概率空间。表示：X，P,在离散情况下：,其中， 为选择符号 作为消息的概率，称为 先验概率,2020/8/6,15,消息（符号）的 自信息： 后验概率：条件概

8、率 接收端收到消息（符号） 后而发送端发的是 的概率。 互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量）,2020/8/6,16,在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具、载荷信息的客体。显然，在通信中被利用的(亦即携带信息的)实际客体是不重要的，而重要的是信息。 通信的结果是消除或部分消除不确定性从而获得信息。 香农定义信息的局限性： （1）定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往是非常困难的。有时是否存在这样一种模型还值得探讨。 （2）定义没有考虑收信者的主观特性和主观意

9、义，不顾信息的具体含意、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。其实，信息有很强的主观性和实用性。,2020/8/6,17,信息是构成客观世界的三大要素之一，物质、能量和信息是构成客观世界的三大要素。 没有物质的世界是虚无的世界；没有能量的世界是死寂的世界；没有信息的世界是混乱的世界。 信息是物质的属性，信息虽不等同于物质本身，但它不可能脱离物质而独立存在，必须以物质为载体，以能量为动力。三者相辅相成，缺一不可。 信息是物质和能量在时间和空间中分布不均匀程度。,2020/8/6,18,信息的主要特征：,信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源

10、物质而相对独立地存在； 信息来源于精神世界，但又不局限于精神领域； 信息与能量息息相关，但又与能量有本质的区别； 信息具有知识的本性，但又比知识的内涵更广泛； 信息可以被主体获取和利用。,2020/8/6,19,信息的重要性质：,存在的普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性。 信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的财富。,2020/8/6,20,在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息；,4、语法信息、语义信息和语用信息,把只考虑到含义因素的部分称为语义信息；

11、把只考虑到效用因素的部分称为语用信息。,显然，语义信息和语用信息涉及认识主体的主观因素。,目前，信息论中主要研究语法信息。,2020/8/6,21,1.信息论的发展简史,2.信息论研究的对象,3.信息论研究的目的,4.信息论研究的内容,5.信息论的应用,2020/8/6,22,1.信息论的发展简史,1832年，Morse发明电报编码； 1924年，Nyquist提出信息传输理论； 1928年，Hartly提出信息量关系； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，“通信中的数学理论,2020/8/6,23,信息论的形成和发展,1948年，香农在通信的数学理

12、论的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。,2020/8/6,24,1948年发表“通信的数学理论”，标志着信息论的诞生； 1948年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题作了全面的论述； 1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础； 1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究；,香农的贡献,2020/8/6,

13、25,2.信息论研究的对象,2020/8/6,26,这个模型包括以下五个部分：,3. 信道 信道是信息传输和存储的媒介。,4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。,5. 信宿 信宿是消息的接收者。,2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。,1.信源 信源是产生消息的源。,2020/8/6,27,3.信息论研究的目的,研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。 所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。 所谓有效性高，就是经济效

14、果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息,2020/8/6,28,4.信息论研究的内容（范畴）,2020/8/6,29,广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。,工程信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。,狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。,2020/8/6,30,5.信息论的应用,1948年以后，调制解调 Digital Modulati

15、on: BPSK绝对相移键控, QPSK正交相移键控, QAM正交幅度调制 ,FH跳频扩频 , DS直接序列扩频, FDMA, TDMA, CDMA 空间时间自适应处理、智能天线技术 多用户检测、干扰抑制技术 多载波和OFDM 正交频分复用,2020/8/6,31,5.信息论的应用,1948年以后，信源编码 Huffman, Fano Code (1950); 波形编码：PCM脉冲振幅调制, DM增量调制, DPCM增量脉冲调制; 语音参量编码; 图象编码：DCT, 帧间预测插值, 运动补偿 数据压缩编码 ；语音编码标准；图象编码标准,2020/8/6,32,5.信息论的应用,1948年以后、信道编码 Hamming Code汉明码, Cyclic Code 循环码(1950); Convolution Code卷积码 (Fano, Viterbi, 1950); BCH Code, Reed Solumn Code (1959) 级连码（内码：RS码+外码：卷级码） Trellis coded Modulation网格编码调制 (1976, 1982) Turbo Code涡轮码 (1993) (10-5，0.5dB) LDPC低密度奇偶校验编码 (G