信息论与编码_第一章绪论

1、信息论与编码 Information Theory and Coding Techniques,主讲：陈金兰,课程介绍,课程类别： 学科方向课 开课对象/学期 电子信息工程专业 本科生/第5学期 学分/学时： 3/54 考 核：平时成绩30（作业、考勤） 期末考试70（闭卷）,课程介绍,教材： 曹雪虹、张宗橙编著，信息论与编码（第二版），清华大学出版社 参考书： 1.陈运、周亮等，信息论与编码，电子工业出版社 2.傅祖芸，信息论基础理论与应用，电子工业出版社 3.方军、俞槐栓，信息论与编码，电子工业出版社 4.吴伯修、祝宗泰、钱霖君，信息论与编码，东南大学出版社 5.姜丹，信息论与编码，中国科

2、学技术大学出版社,课程性质,随着科学技术的不断发展，信息的概念逐渐深化，其应用领域也不断扩展，并与现代通信、计算机科学、现代管理、系统工程等学科紧密结合，广泛地应用于我们的日常生活中。本课程旨在通过对通信系统中信息理论的介绍，使大家更深入地了解信息的概念和本质，并掌握一些基本的信息理论知识和常用的编解码的方法。,目 录,第1章 绪论 第2章 信源及信息熵 第3章 信道与信道容量 第4章 信息率失真函数 第5章 信源编码 第6章 信道编码 第7章* 加密编码,课程基本内容,一. 信息论 信息论的发展以及通信系统的模型 离散信源熵，互信息以及冗余度 二. 信源编码 定长编码，变长编码以及最佳编码

3、离散信源的信息率失真函数R(D) 限失真信源编码定理以及常用信源编码方法 三. 信道编码 信道模型和容量 线性分组码 卷积码,课程内容,本课程包括信息论基础和编码两大部分。 首先立足于概率论和随机过程的知识，通过各种随机变量的概率空间，给出了信息的统计模型，介绍了信息的统计度量。 以香农信息论为基础，香农三大定理及香农公式为重点，从“单符号离散系统多符号离散系统”介绍了离散信源和信道的信息理论，然后，推广到连续系统。 重点讲授信息的概念，信息的度量和计算等一些基本问题。还学习几种常用的信源编码方法和纠错编码方法。,课程位置,基础课程 概率论 数理统计 后续课程： 通信原理 数字通信 数字图像处

4、理,课程目标,掌握基本的信息论概念，而且要求能够和日常生活和学习结合起来，做到活学活用。 掌握信息论基本理论和理想通信系统基本理论，能够熟练解题，掌握建立数学模型和分析数学模型的方法， 掌握信源编码的原理和方法，要求能够基本上实现应用。 掌握信道编码的基本方法，并能够从信息论的角度加以理解。,学习方法,本课程只有理论介绍，显得枯燥、繁杂，不易理解，且“概率与数理统计”知识要求较高，学起来有一定难度。但只要理顺课程思路，尽快进入角色，并加以举一反三的理解，相信大家能学好该课程，切忌望而生畏。 为便于理解与掌握，适当的练习必不可少，对布置的作业最好按时独立地完成。,第一章 绪论,本章节教学内容、基

5、本要求、重点与难点,1. 教学内容： 信息的一般概念。 信息的分类。 信息论的起源、发展及研究内容。 通信系统的模型 2. 教学基本要求： 了解信息的概念 、度量。 了解学习信息论的重要性、意义。 掌握通信系统中信息传输的模型。 3. 重点与难点： 信息度量的概念。 通信系统中的信息传输模型。,相结合逐步发展而形成的一门新兴科学,本章内容： 信息的概念 数字通信系统模型 信息论与编码理论研究的主要内容及意义,奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”,信息论,1.1 信息论发展简史,我国古代“烽火告警”是一种最早的快速、远距离传递信息的方式； 造纸术和印刷术

6、的发明，使信息的表示和存储方式产生了一次重大的变化； 电报、电话、电视的发明，再次引导了信息加工和传输的革命；,20世纪后半叶，计算机技术、微电子技术、传感技术、激光技术、卫星通信技术、移动通信技术、航空航天技术、广播电视技术、多媒体技术、网络技术、新能源和新材料等新技术的应用，将人类社会推入到高度信息化的时代。,信息是否重要？,一位美国科学家在诗中这样描述： 没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的世界是混乱的世界。 可见信息的重要性。,信息论研究的对象和目的,研究对象：信息论是一门应用概率论、随机过程、数理统计和代数的方法，来研究广义的信息传输、提取和处理系统中一

7、般规律的工程学科。 研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。,1.1 信息的概念,信息是信息论中最基本、最重要的概念，既抽象又复杂 信息在日常生活中被认为是“消息”、“知识”、“情报”等,“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质； “信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息； 信息不同于信号，信号是承载消息的物理量； 信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。,S

8、hannon信息论的基本任务,1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备来传输一定信息量的消息 安全性,信息论的研究内容,狭义信息论（ shannon经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机

9、翻译，心理学，遗传学，神经生理学,信息论发展简史,电磁理论和电子学理论对通信理论技术发展起重要的促进作用 18201830年，法拉第发现电磁感应 莫尔斯18321835建立电报系统。1876年Bell发明电话 1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论 1895年马可尼发明了无线电通信 微波电子管导致微波通信系统，微波雷达系统 激光技术使通信进入光通信时代,信息论发展简史,1832年莫尔斯电码对shannon编码理论的启发 1885年凯尔文研究了一条电缆的极限传信速率 1922年卡逊对调幅信号的频谱结构进行研究 1924年奈奎斯特证明了信号传输速率和带宽成正比 1928年Hart

10、ley提出信息量定义为可能消息量的对数 1939年Dudley发明声码器 1940维纳将随机过程和数理统计引入通信与控制系统,信息论发展简史,1948年shannon信息论奠基 1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明 1957，Wolfowitz，1961 Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1974年Bahl发明了分组码的迭代算法（BCRJ） 1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和L

11、empel的LZ算法,信息论发展简史,1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术(TCM)，1993年Turbo编译码技术 1959年，Shannon提出率失真函数和率失真信源编码定理 1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。,狭义信息论体系结构,Shannon信息论,压缩理论,有失真编码,无失真编码,等长编码 定理 Shannon 1948 McMillan 1953,变长编码 定理 Shannon 1948 McMillan 1956,Huffman码(1952)、Fan

12、o码 算术码(1976,1982) LZ码(1977,1978),率失真理论 Shannon Gallager Berger,压缩编码 JPEG MPEG,传输理论,信道编码定理,网络信息理论,纠错码 编码调制理论,网络最佳码,AWGN: Additive White Gaussian Noise LDPC: Low-density Parity-check Codes,Recent progress in FECs for optical communication systems.,香农对信息的定义,信息：是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（人或机器）获

13、取和利用。 全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。 语法信息：事物运动状态和状态改变的方式； 语义信息：事物运动状态和方式的具体含义； 语用信息：事物运动状态和方式及其含义对观察者的效用。 香农信息论：考虑事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。,维纳对信息的定义,香农：创立了信息论，但并没有给出信息的确切定义，他认为“信息就是一种消息”。 维纳：信息论的创始人之一，把人与外部环境交换信息的过程看作是一种广义的通信过程。后来才认识到“信息既不是物质又不是能量，信息就是信息”。即信息是独立于物质和能量之外存在于客观世界的第三要

14、素。,香农和维纳理论的区别,香农理论：香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点是放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论。 维纳理论：维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上，创立了最佳线性过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论。,信息论研究的对象和目的,研究对象：信息论是一门应用概率论、随机过程、数理统计和代数

15、的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。 研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。,香农信息论的深化研究方向,香农信息论： 网络信息理论和多重相关信源编码理论的发展和应用； 通信网的一般信息理论研究； 信息率失真理论的发展及在数据压缩和图像处理中的应用； 信息论在大规模集成电路中的应用； 纠错码理论： 在工程方面应用 最优编码方法研究。 维纳信息论： 量子检测和估计理论 非参数检测和估计理论，非线性检测与估计理论的研究。 信源，信道和安全编码之间的结合 联合信源信道编码 联合安全信道编码,举例：,我们可以这样来理解： 数据数据链路层的概念讲究

16、在介质上传输的信息的准确性。 信息应用层的概念你要表达的意思。 信号物理层的概念电平的高低，线路的通断等。,举例子：你在打电话，电话线要有【信号】，交换机交换语音【数据】，而你和接电话的人交换的是【信息】。 金像奖获奖感言、前天的“新闻”,Here comes your footer Page 34,总结 消息是信息的携带者，信息包含于消息中。 消息不一定含有信息。 信号是消息的载体，消息是信号的具体内容。,消息,信息,信号,消息：用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，对客

17、观事物规律性的概括。 情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识 。,它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛,信息的三个基本层次 语法（syntactic）信息：事物运动的状态和变化方式的外在形式。与用途、含义无关。 语义（semantic）信息：内在含义。 语用（Pragmatic）信息：价值，实际效用。,消息,信息采集 (语法信息),信息处理 (翻译、破译) (语义信息),信息分析 (语用信息),情报分析,EXAMPLE,我闻西方大士， 为人了却凡心。 秋来明月照蓬门， 香满禅房幽径。,屈指灵山会后， 居然紫竹成林。 童男童女拜观音， 仆仆何嫌荣顿？,从第一

18、个字到最后一个字,每句话的第一个字所包含的意义,第一字联系在一起“我为秋香，屈居童仆”,1.2 通信系统模型,信源：产生消息和消息序列的来源。消息可以是离散的，也可以是连续的（数据、文字、语言、图像），通常信源的消息序列是随机发生的，因此要用随机变量来描述。,就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 离散(

19、数字)消息，一组未知量，可用随机序列来描述： X=(X1XiXn) 连续(模拟)消息，未知量，它可用随机过程来描述： X( t, ) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。,信源,定义：性通信系统提供消息的人、机器等； 信源输出：以符号形式出现的消息； 信源分类,无记忆信源：输出符号概率与其它时刻符号无关,有记忆信源：输出符号概率与其它时刻符号有关,连续信源：由连续变化的参数承载,离散信源：由符号序列或单个符号承载,信源,连续信号：指用连续变化的物理量所表达的信息，如温度、湿度、压力、长度、电流、电压等，通常把连续信号称为模拟信号，它在一定的时间范围内可以有无限多个不同的

20、取值。 离散信号：在连续信号上采样得到的信号，与连续信号的自变量是连续的不同，离散信号是一个序列，即其自变量是“离散”的，这个序列的每一个值都可以被看作是连续信号的一个采样。简单解释即是定义在离散时间点或段上的信号成为离散信号,a,y,x,a,y,x,采 样,信源,核心问题：信息的定量表示，即信息量的确定 比如有人提出：,编码器（encoder）,功能：编码，将消息变成适合于信道传输的信号 组成：,信源编码器,信道编码器,调制器,消息,信息,信源编码器,处理对象：对信源发出的消息 作用：把消息变换成由二进制(或多进制)码元组成的代码组 注解：码元码的单位 例：二进制有0，1两个码元，四进制有0

21、0,01,10,11四个码元 目的：压缩信源的冗余度 包括：针对离散信源的无失真信源编码与针对连续信源的限失真信源编码 指标：编码效率,信源在实际发出时包含的多余信息； 决定于信源符号间的相关性以及信源符号分布的不均匀性,信道编码器,信道(channel)：通过传递物理信号的设施完成消息传递 处理对象：信源编码器输出的代码组 作用：在代码组上有目的的增加监督码元，使代码组具有检错和纠错的能力 包括：调制与解调，纠错与检错编译码 指标：保证信噪比(模拟信号)，减少误码率(数字信号) 方法：增大信道容量,例：添加冗余以增加纠错功能，提高传输可靠性,00,01,10,11,00,01,10,11,0

22、0,01,10,11,00,01,10,11,00,01,10,11,000,010,100,110,000,001,010,011,100,101,110,111,末位“0”改为“1”,正 确 传 输 结 果,错 误 传 输 结 果,加入冗余,000,010,100,110,00,01,10,11,调制器,功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率,信道,狭义信道：具体的物理信道，如有线、无线、光 广义信道：逻辑关系，不考虑实际介质，信息论中的信道 一些概念：,无噪声信道,有噪声信道,加性噪声,乘性噪声,AWGN信道,AWGN信道,加性高斯白噪声 AWGN(Addit

23、ive White Gaussian Noise) 是最基本的噪声与干扰模型。 加性噪声：叠加在信号上的一种噪声，通常记为n(t)，而且无论有无信号，噪声n(t)都是始终存在的。因此通常称它为加性噪声或者加性干扰。 白噪声：噪声的功率谱密度在所有的频率上均为一常数，则称这样的噪声为白噪声。如果白噪声取值的概率分布服从高斯分布，则称这样的噪声为高斯白噪声。,加性噪声,加性噪声一般指热噪声、散弹噪声等，它们与信号的关系是相加，不管有没有信号，噪声都存在。 一般通信中把加性随机性看成是系统的背景噪声； 信道中加性噪声的来源，一般可以分为三方面： 1 人为噪声 人为噪声来源于无关的其它信号源，例如：外台信号、开关接触噪声、工业的点火辐射等； 2 自然噪声 自然噪声是指自然界存在的各种电磁波源，例如：闪电、雷击、大气