第1章信息论与编码第1章汇总.ppt

信息论与编码InformationTheoryandcoding信息系1402/03/04班,学习目的及意义,最简单的通信系统,信源,信道,信宿,信源熵,信源包含多少信息？信道中传输的是什么形式？信道能传送多少信息？信宿接收到的信息是否正确？,编码,信道容量,检纠错,概论,信息的一般概念信息的分类信息论的起源、发展及研究内容,信息论创始人：C.E.Shannon(香农)美国科学家,概论,信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。,一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。”,信息的存在,花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息；药有苦味，让人难以吞咽，药味是一种信息；听老师讲课可以得到许多知识，知识也是信息。,信息的存在,总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。,信息的存在,1928年,美国数学家哈特莱(Hartley)在贝尔系统电话杂志上发表了一篇题为信息传输的论文。他认为“信息是选择的自由度”。,？信息究竟是什么呢？,事隔20年，另一位美国数学家香农(C.E.Shannon)在贝尔系统电话杂志发表了题为通信的数学理论的长篇论文。他创立了信息论，但是却没有给出信息的确切定义,他认为“信息就是一种消息”。,美国数学家、控制论的主要奠基人维纳(Wiener）在1950年出版的控制论与社会,中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。它揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。,全信息,同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。,语法信息,语义信息,语用信息,全信息,信息的重要性质：,信号、消息与信息区别与联系,在通信中对信息的表达分为三个层次：信号、消息、信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：1)离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1UlUL)2)连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,)信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。,通信中的信息含义？,信号、消息与信息区别与联系,关系：信息-可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。信号-则是抽象信息在物理层表达的外延；消息-则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述；同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。情报、知识是特点的信息，但不等于信息的全体。,通信中的信息含义？,信息消息信号区别与联系：,消息是指担负着传送信息任务的单个符号或符号序列。包括文本、数据、语言、图形和图像等。是具体的。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特征的信号上去。是物理的。信息是消息中的未知成分（不确定性），或者说是消息中的有用成分。是抽象的。通信系统传输的是信号，信号是消息的载体，消息中的未知成分是信息。,信息的直观认识1,信道上传送的是随机变量的值。这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。消息随机变量有一个概率分布。消息随机变量的一个可能取值就称为一个事件。,信息的直观认识2,事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊）例事件“中国足球队5：0力克韩国足球队”此事件含有的信息量大。（小概率事件发生了，事件信息量大）例事件“中国足球队0：1负于韩国足球队”此事件有的信息量小。（大概率事件发生了，事件信息量小）,信息的直观认识3,消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。例消息随机变量X=“中国足球队与巴西足球队比赛的结果”则消息随机变量X含有的信息量小。例消息随机变量Y=“意大利足球队与德国足球队比赛的结果”则消息随机变量Y含有的信息量大。,信息的直观认识4,两个消息随机变量的相互依赖性越大，它们的互信息量就越大。例X=呼和浩特明日平均气温,Y=包头明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。,按照信息的作用,信息的分类,信息的分类,香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。,在人类历史的长河中，信息传输和传播手段经历了五次重大变革：,1,2,3,4,5,信息论的起源、发展及研究内容,信源,信道,信宿,信源编码,加密,信道编码,调制器,解调器,信道译码,解密,信源译码,通信系统模型,香农信息论,香农信息论的科学体系,香农定义信息的出发点是假定事物状态可以用一个经典集合论为基础的概率模型来描述。实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。某些情况下，这一模型不一定存在。香农定义信息的度量没有考虑收信者的主观性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起的后果等因素。这就与实际情况不完全一致。香农信息的定义和度量是科学的，能反映信息的某些本质；但却是有缺陷的、有局限的。这样，它的适用范围会受到严重影响。,香农信息论的缺陷,信息论研究的对象、目的和内容,(1)信息论研究的对象和目的研究对象：信息论是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。,信息论研究的对象、目的和内容,(1)信息论研究的对象和目的研究目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。,信息论研究的对象、目的和内容,(2)信息论研究的内容信息论基础：也称狭义信息论/经典信息论/香农信息论。主要研究信息测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理，信源编码，信道编码。一般信息论：主要研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。后一部分内容以维纳为代表。,总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。,人有了知识，就会具备各种分析能力，明