信息理论编码课程ppt第1章绪论

信息理论与编码,电子信息工程教研室,2,课程介绍,3,课程性质与先修课程,课程性质 信息理论与编码是通信工程、电子信息工程、信息工程等专业的一门理论性很强的专业基础课和必修课。其主要任务是让学生了解香农信息论的基本内容，掌握信息的度量方法以及信源、信道编码的基本理论与方法，培养学生利用信息论的基本原理分析和解决实际问题的能力，为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基础。 先修课程 概率论、随机过程、线性代数、信号与系统 上课学时：40 实验学时：8 考核方式：闭卷考试,4,教材与参考书,推荐教材： 吕锋、王虹等. 信息理论与编码（第2版）. 北京：人民邮电出版社，2010年9月. 参考书： 朱雪龙. 应用信息论基础M. 北京：清华大学出版社，2001年3月. Thomas M.Cover. Elements of Information Theory M. 北京：清华大学出版社，2003年11月. 网络教学平台： 3,5,章节简介,第1章 信息的定义、性质与特征 第2章 信源模型与信息测度方法 第3章 信道模型、信道容量的计算方法 第4章 无失真信源编码 第5章 信道编码定理 第6章 限失真信源编码,6,第1章 绪论,9,1949年，Shannon发表了“Communication in the Presence of Noise”（噪声下的通信），经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性，信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 通信的数学理论和噪声下的通信成为现代信息论的奠基著作，标志着香农成为信息论这门新兴学科的创始人、奠基人。,10,1.2 信息的基本概念,同学们关于“信息”是怎么认识的？ 牛津英文字典里给出的解释是“某人被通知或告知的内容、情报、消息”。 辞海（中国1999年普及版）： 音讯：“消息”。 通信系统传输和处理的对象，泛指消息和信号的具体内容和意义，通常须通过处理和分析来提取。信息的量值与其随机性有关，如在接收端难以预估消息或信号中所蕴含的内容或意义，即预估的可能性越小，信息量就越大。,11,花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉； 成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息； 听老师讲课可以得到若干知识，知识也是信息。,12,信息论的基本概念：信息。 “信息”一词使用广泛，很难给出广泛认同的严格的定义。 香农在通信的数学理论中，并没明确地给“信息”下定义，留下一个悬案。 很多学者都给“信息”下过定义，流行的说法不下百种。 北邮钟义信教授,13,用人们熟知的、与信息有某种联系的概念来定义信息： 信息是消息 信息是数据 此类定义只接触到与信息相关的一些表象，未触及到信息的实质。,关于信息的流行说法（一）,14,关于信息的流行说法（二）,用某些学科的专门术语和名词定义信息： 信息是集合之间的变异度 信息是一种场 信息是信号,15,关于信息的流行说法（三）,从广义的角度、或者说从哲学意义上来定义信息： 信息就是信息，既不是物质也不是能量维纳 信息是事物之间的差异 信息是事物相互作用的表现形式 信息是事物联系的普遍形式,Without materials nothing exists.,Without energy nothing happens.,Without information nothing makes sense.,欧廷格（美国）,16,关于信息的流行说法（四）,从控制论和系统论的角度来定义信息： 信息是控制的指令 信息是系统组织程度的度量 信息是有序性的度量 信息是负熵,17,关于信息的流行说法（五）,从随机不确定性的角度来定义信息： 信息是收信者事先不知道的报道 信息是用以消除不确定性的东西,18,1.3 信息的定义体系,（钟义信教授的）定义思路： 按适用面不同来分层次地定义信息。 层次愈高，适用面愈宽。 适用面不同意味着给定义附加的约束条件不同，约束条件愈多，适用面愈窄。,19,不同层次的信息,本体论层次信息 语法信息 认识论层次信息 语义信息 语用信息,20,定义： 某事物的（本体论层次）信息，就是事物运动的状态和方式，也就是事物内部结构和外部联系的状态和方式。 特点： 无约束条件、最高层次、适应面最广。 按此定义，世上万事，无论认识与否，都在产生信息。 不好度量，使用不方便。,（1）本体论层次信息（最高层次）,21,定义： 某主体关于某事物的（认识论层次）信息，是指该主体所感知的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。 特点： 约束条件：认识主体。 内涵丰富：形式、含义和效用。,（2）认识论层次信息,22,将认识论层次信息称为“全信息”，可细分为三个基本层次： 语法(syntactic)信息：计及形式因素的信息。 语义(semantic)信息：计及含义因素的信息。 语用(pragmatic)信息：计及效用因素的信息。 注：语法信息是最基本的，至于内在含义和效用价值都要根据外在形式来理解和判断。,23,通信工程师最关心的信息,通信的主要任务是将信息的外在形式准确、快速地传送给收信者。 信息的内在含义和效用价值要靠收信者自己去理解和判断了。 通信工程师最关心的是语法信息。,24,概率信息,经典信息论（香农信息论）：能用概率方法描述的语法信息，这种概率型语法信息简称为概率信息。 基于概率信息的信息理论，最初由香农提出，发展到现在已较为成熟，并且在通信领域得到成功应用，成为通信的数学基础理论。 概率信息的定义：（概率）信息是消除随机不确定性的东西，认识主体通过观察获得的（概率）信息量在数值上等于随机不确定性的减少量，或者笼统地说，（概率）信息就是随机不确定性的减少。 举例： 1、中国队进入了世界杯决赛。 2、中国队进入了“十六强”。 3、中国队夺得世界杯冠军。,25,1.4 信息论的研究内容,研究内容：一般有三种理解 1）狭义信息论(经典信息论)，又称香农基本理论。 主要研究： 信息的测度、 信道容量、 信源编码理论、 信道编码理论。,26,2）一般信息论 香农理论、噪声理论、信息处理理论、统计检测与估计理论(维纳信息论)等。,27,3）广义信息论 包括上述两方面内容，以及所有与 信息有关的自然和社会领域。,28,研究对象,各处的噪声之和,信 道,信宿,噪声,信 源 编 码 器,信 道 编 码 器,信 道 译 码 器,信 源 译 码 器,信源,信息传输的基本模型框图,29,信源和信宿,信源（Information Source）： 发送消息的源，如人、机器等。可分为数字信源和模拟信源，无记忆信源和有记忆信源。 在认识主体看来，信源的输出都是随机的（具有不确定性）。 从等效的观点来看，信息传输模型中任一环节的输出，都可视为一个等效信源的输出。 信宿（Information Destination）： 取信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。语义信息和语用信息就是由信宿来理解和判断的。,30,信道,信道（Channel） ：传输信息的通道。 物理信道：空气、双绞线、同轴电缆以及光纤等。 等效信道：任一输入至任一输出之间的通道，都可看作是一个等效信道。 关心的问题：在噪声干扰下，信道输入至输出之间的状态转移关系。 加性噪声（背景噪声）：由环境引起的噪声，与信号直接相加（最终信号噪声+有用信号）。如，人为噪声，自然噪声，内部噪声。 乘性噪声：一般由信道不理想引起，它们的信号关系是相乘（最终信号噪声有用信号）。,31,信源编码和信源译码,信源编码：是一种变换，目的在于去掉信源中的信息冗余，提高信息的传输效率。 信源译码：是信源编码的逆过程。 注：如果把信源编码视为变换或映射，信源译码通常就是信源编码的简单求逆，因此无须多加讨论。,各处的噪声之和,信 道,信宿,噪声,信 源 编 码 器,信 道 编 码 器,信 道 译 码 器,信 源 译 码 器,信源,32,信道编码和信道译码,信道编码：是一种变换，主要作用是提高信息传送的可靠性。 信道译码：不是信道编码的简单反变换。信道译码（变换）规则要根据信道的噪声特性而定，通常不是一一变换，而是多一变换，问题比信源译码复杂得多，需专门讨论。,各处的噪声之和,信 道,信宿,噪声,信 源 编 码 器,信 道 编 码 器,信 道 译 码 器,信 源 译 码 器,信源,信 道 编 码 器,33,香农信息论的科学体系：,34,本章是信息论的基本概念，介绍的主要内容有：,(2)信息是关于事物运动的状态和方式。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、