信息论与编码（第4版）课件 第1章-绪论

第1章绪论信息论与编码（第4版）信息论的基本概念信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。在涉及这门课程的具体内容之前，很有必要在引言中，首先放宽视野，从一般意义上描述、阐明信息的基本含意。然后，再把眼光收缩到信息论的特定的研究范围中，指明信息论的假设前提，和解决问题的基本思路。这样，就有可能帮助读者，在学习、研究这门课程之前，建立起一个正确的思维方式，有一个正确的思路，以便深刻理解、准确把握以下各章节的具体内容。2为什么要学习信息论？时代变迁的需要

3过去对信息的存储、管理、传递方式为什么要学习信息论？4现在对信息的存储、管理、传递方式时代变迁的需要

为什么要学习信息论？时代变迁的需要5信息时代生活方式中的电子设备都充满了信息的味道信息论之父——香农克劳德·艾尔伍德·香农（ClaudeElwoodShannon，1916年4月30日—2001年2月24日）是美国数学家、信息论的创始人。1936年获得密歇根大学数学和电子工程学士学位

。在那里遇到了离散数学奠基人乔治·布尔。1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年加入贝尔实验室数学部，工作到1972年。1956年成为麻省理工学院（MIT）客座教授；1958年成为MIT终生教授；1978年成为MIT名誉教授。61948年，通信的数学理论，标志着信息论的诞生1949年，

噪声下的通信，为信道编码奠定理论基础1949年，保密通信的信息理论，最先用信息论的观点对信息保密问题作了全面的论述1959年，保真度准则下的离散信源编码定理，信息率失真理论，为信源压缩编码研究奠定理论基础1961年，双路通信信道，开拓了多用户信息理论（网络信息论）的研究。信息论之父——香农介绍香农的视频《香农传》：B站搜索，课后观看《天才简史-香农》：B站搜索，课后观看贝尔实验室：汉明和香农共事的地方晶体管、激光器、太阳能电池、发光二极管、数字交换机、通信卫星、电子数字计算机、C语言、UNIX操作系统、蜂窝移动通信设备、长途电视传送、仿真语言、有声电影、立体声录音，以及通信网等许多重大发明的诞生地。课后百度、知乎了解78第一章绪论主要内容1.1 信息论的形成和发展1.2 信息理论研究的内容1.3 通信系统的模型1.4 信息论的应用第一章绪论信息是什么？9信息是谈论的事情、新闻和知识.信息是在观察研究过程中获得的数据情报、新闻和知识.信息是所观察事物的知识。——《英国牛津字典》——《韦氏字典》——《日本广辞苑》10信息的概念问题“信息”到底是什么含义呢？“信息”和我们平时常说的“消息”、“信号”有什么区别？回顾香农大作“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。”这是香农在他的惊世之著《通信的数学理论》中的名言正是沿着这一思路，他应用数理统计的方法来研究通信系统，创立了影响深远的信息论。因此，下面从通信的角度来看。信息的概念最简单的通信系统模型信源：消息的源，指提供消息的人、事物、设备

信源输出的消息可以是由符号、文字、数字、语音图像等组成的序列，形式可以有多种：主要从时间和幅度上是否离散来分，可分为：

离散信源（DiscreteSource）：文字、数字、字母

连续信源（ContinuousSource）：话音、图像等11信源(Source)信道(Channel)信宿(Destination)信息的概念最简单的通信系统模型信道：传递消息的通道，广义上指信源到信宿之间传递物理信号的媒质和设施，如同轴电缆、光纤、电磁波空间等从传送信号情况来分，可分为：

无干扰信道和有干扰信道；

恒参信道和变参信道；

离散信道和连续信道；

单用户信道和多用户信道等。12信源(Source)信道(Channel)信宿(Destination)信道分类信息的概念最简单的通信系统模型信宿：消息传递的对象，指接收消息人、事物、设备

信宿接收的消息，其形式可以与信源发出相同，也可以不同。当两者形式不同时，存在一个映射关系。13信源(Source)信道(Channel)信宿(Destination)14信息的概念从通信的实质意义来讲，若信宿收到的消息是已知的，则等于没有收到任何信息。人们更感兴趣的是消息中所包含的未知成份，用概率论来说，就是具有不确定性的成份。消息中未知或不确定的成份，称为消息中所包含的信息。信息的概念通信中的信息、消息、信号，三者之间的关系：

通信系统传输的是信号（如光信号、电信号）

信号是消息的载体

消息中的不确定成分是信息对信息的直观认识不确定性越大（从概率上讲，即事件发生的概率越小），此事件含有的信息量就越大。

（不太可能发生的事件竟然发生了，太令人震惊了）15信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。16信息的概念信息的特征未知性或不确定性信息的最基本属性，否则就不是信息有用性可以基于概率论来描述信息的传输，由不知到知，等效为不确定性的减少可度量性这是信息理论的基础可处理性信息既有物质的某些属性，又不同于物质可以产生、消失，可以被携带、存储、处理17信息论的诞生

通信是人类活动中最为普遍的现象之一，信息的传递与交换是时时处处都在发生。在信息的传递与交换中，人们希望能够“多、快、好、省”地传递信息。问题：怎样来衡量这种“多、快、好、省”呢？怎样来判断某种通信方法的优劣呢？这就需要对信息传输过程有一个定量的描述，首先要有定量描述和度量信息的方法。181.1信息论的形成和发展信息论的诞生1832年，莫尔斯电报系统中高效率编码方法，对香农的编码理论是有启发的；1885年，凯尔文(L.Kelvin)研究过一条电缆的极限传信率问题；1922年，卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，建立了信号频谱概念；1924年，奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽，将信息率与带宽联系起来；1928年，哈特莱(R．V．Hartley)发展了奈奎斯特的工作，提出信息量等于可能消息数的对数，但没有统计特性的概念；1936年，阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处，提出了宽偏移的频率调制方法，具有划时代意义；191.1信息论的形成和发展20世纪40年代初，诺伯特·维纳将随机过程和数理统计的观点引入到通信和控制系统中，揭示了信息传输和处理过程的统计本质。“控制论之父”——诺伯特·维纳201.1信息论的形成和发展1948年，香农在贝尔系统杂志上发表了论文“TheMathematicalTheoryofCommunication”，在论文中，他用概率测度和数理统计的方法，系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。“信息论之父”——克劳德·艾尔伍德·香农211.1信息论的形成和发展香农信息理论具有崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。香农信息理论一出现就在科学界引起了巨大的轰动，许多不同领域的科学工作者对它怀有浓厚的兴趣，并试图争相应用这一理论来解决各自领域的问题。从此，信息问题的研究，进入了一个新的纪元。221.1信息论的形成和发展1948年：信息论学科诞生1948年，香农发表论文“Amathematicaltheoryofcommunication”。同时维纳提出了最佳滤波理论，成为信息论的一个重要分支。五十年代：

信息论在学术界引起了巨大反响。1959年：香农为各种信源编码的研究奠定基础：发表论文“Codingtheoremsforadiscretesourcewithafidelitycriterion”，数据压缩理论与技术成为信息论的重要分支。六十年代：

信道编码技术有较大进展。信道编码成为信息论重要分支。1961年：香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。七十年代：有关信息论的研究，从点对点间的单用户通信推广到多用户系统的研究。密码学成为信息论重要分支。目前的发展231.2信息理论研究的内容达到不失真信源压缩编码的极限（最低）编码速率是多少？

极限速率=该信源的信息熵信道的信息传输速率与错误概率之间矛盾的是否可解决？信息传输速率＜信道容量，错误概率可以任意小信息论主要研究可能性和存在性问题，为具体实现提供理论依据241.2信息理论研究的内容信息论基础：也称狭义信息论/经典信息论/香农信息论。主要研究信息测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理，信源编码，信道编码。一般信息论：主要研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。后一部分内容以维纳为代表。广义信息论：是一门综合性的新型学科－信息科学。至今没有严格的定义。凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。不仅包括一般信息论的内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学、社会学、经济管理中有关信息的问题。251.3通信系统的模型26编码技术的发展无失真信源压缩编码的发展1948年，Shannon提出了无失真信源编码定理，给出了香农编码方法1952年，Fano提出了费诺码1952年，Huffman构造了Huffman码，并证明了它是最佳码1968年，P.Elias发展了香农-费诺码，提出算术编码的初步思路1976年，J.Rissanen给出和发展了算术编码1982年，J.Rissanen和G.G.Langdon将算术编码系统化，使其更为简化、易于实现1977年，Ziv&Lempel提出通用信源编码(LZ码)1984年，T.A.Welch改进LZW码1990年，T.C.Bell改进LZ算法27编码技术的发展限失真信源压缩编码的发展1948年，在香农的论文中已体现出了率失真函数的思想1959年，香农发表了“保真度准则下的离散信源编码定理”首先提出了率失真函数及率失真信源编码定理1971年，T.Berger给出了更一般信源的率失真编码定理28编码技术的发展信道编码-纠错编码的发展20世纪60年代~70年代初，最为活跃的发展时期不仅提出了许多有效的编译码方法，还注意到纠错码的实用化。与此同时，以代数方法特别以有限域理论为基础的线性分组码理论日趋成熟20世纪70年代初~80年代，极其重要的发展时期在理论上以戈帕(Goppa)为首的一批学者，构造了一类Goppa码，其中一类子码能达到香农限。大规模集成电路和微机的迅速发展，为纠错编码的实用打下坚实的物质基础20世纪90年代初，纠错码的性能接近香农限1993年，Berrou等提出的Turbo码的并行级联卷积码，性能非常接近香农限，同时复杂度较低、可实现29香农信息论的科学体系30信息论与其他学科的交叉发展密码学第1阶段：1949年以前没有系统的理论第2阶段：从1949年到1975年标志：1949年Shannon发表的《保密系统的信息理论》用信息论的观点对信息保密问题进行了全面阐述，宣告了科学的密码学时代的到来。第3阶段：1976年至今标志：1976年Diffie和Hellman发表了《密码学新方向》一文。31信息论与其他学科的交叉发展生命科学信息论与现代分子生物学渊源1953年，H.Quastler讨论了信息论在生物学中的应用1977年DNA测序技术发展起来后，许多物种的基因组序列被测出来，使得人们可以用信息