信息论课件-绪论

1、杨杨 杰杰 目的目的： 了解学习信息论的作用、方法与意义作用、方法与意义，对信息论的研究方法和成果研究方法和成果有广泛的基本认识，学会应用应用，为进一步研究打下基础 特点特点： 以信息理论信息理论为中心，区别与“信源编码”、“信道编码” 以概念和物理意义为主，数学推导尽量放到课外 结合通信系统实际应用应用内容课时第一章：信息论与信息论方法概述3第二章：信息论的基本概念9第三章：信源、熵率及冗余度6第四章：无失真信源编码定理6第五章：信道与信道容量9第六章：信道编码定理6第七章：率失真函数与限失真信源编码定理6复习+习题课+考试3+3+3付祖云，“信息论基础理论与应用”，电子工业出版社朱雪龙，“

2、应用信息论基础”，清华大学出版社吴伟陵，“信息处理与编码”，人民邮电出版社王育民等， “信息与编码理论”，西电出版社McElice, The Theory of Information &Coding Proakis, Digital Communication Viterbi, Principle of Digital communication &Coding 讲课:（概念、方法） 自学:（数学推导、定理证明） 作业：（书面、上机） 随堂活动：1、讲课，2、课堂提问，3、扩展论文。 考试：平时成绩：40(随堂活动、作业、考勤） 期终闭卷：60（基本概念、基本计算、基本定理）。 联系方式：e

3、mail:， 68948367（4#442） 信息、信息科学与信息论 信息论研究的对象、目的和内容 信息论发展简史与现状 信息论的形成与发展 信息论方法的应用及其取得的成果物质、能量和信息是物质世界的三大支柱，是科学历物质、能量和信息是物质世界的三大支柱，是科学历史上三个最重要的基本概念史上三个最重要的基本概念什么是信息？牛津英文字典牛津英文字典 Informinformation“某人被通知或告知的内容、情报、消息某人被通知或告知的内容、情报、消息” 香农香农“信息是事物运动状态或存在方式的不确定性的描述信息是事物运动状态或存在方式的不确定性的描述” ” 钟义信钟义信“信息就是事物运动的状态

4、和方式，就是关于事物运动信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识的千差万别的状态和方式的知识” 信息具有信息具有抽象性抽象性和和重要性重要性什么是信息？抽象性：信息本身既看不见，又摸不抽象性：信息本身既看不见，又摸不着，没有气味、没有颜色、没有形状、着，没有气味、没有颜色、没有形状、没有大小、没有重量没有大小、没有重量，它是非常抽，它是非常抽象的东西。象的东西。重要性：信息在信息化程度越来越高重要性：信息在信息化程度越来越高的社会中将起到越来越重要的作用，的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全是比物质和能量更为宝贵的资源，全面掌握信息

5、的概念，正确、及时、有面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多效地利用信息，能够为人类创造更多的财富。的财富。 信息的信息的5条主要特征条主要特征 信息来源于信息来源于物质物质，又不是物质本身；它从物质的运动中产生出，又不是物质本身；它从物质的运动中产生出来又可以脱离物质而相对独立地存在。来又可以脱离物质而相对独立地存在。 信息来源于信息来源于精神精神世界，但又不局限于精神领域。世界，但又不局限于精神领域。 信息与信息与能量能量息息相关，但又与能量有本质的区别。息息相关，但又与能量有本质的区别。 信息具有信息具有知识知识的本性，但又比知识的内含更广泛。的本性，但又比知识

6、的内含更广泛。 信息可以被认识主体信息可以被认识主体获取和利用获取和利用。技术术语的信息技术术语的信息：表达信息所用的形式或载体 具体但无确切定义广义的信息广义的信息：信息的形式、内容最广泛意义 什么是信息？统计信息统计信息：信息表达形式中统计方面的性质 明确定义的 科学名词 与内容无关、独立于形式IT -IT -计算机所涉及的各种各样的技术计算机所涉及的各种各样的技术 缺点：笼统、不明确 优点：适应种类繁 多、不断发展 统一的、全面的、高层次的 什么是信息技术？ 出现于图书馆学研究图书文献的检索 计算机出现后新的含义 不同国家含义不尽相同 发展和长远的观点能与信息技术相对应的基础科学（P14

7、）什么是信息科学？American tradition 着眼于信息的着眼于信息的语语法（法（ syntactic） ）结结构构 对对信息定量、客信息定量、客观观的分析的分析 为现为现代通信系代通信系统统的的设计设计提供基本原提供基本原则则British tradition 着眼于信息的着眼于信息的语义语义（ （semantic）和）和语语用用 （ （pragmatic） ） 研究信息的主研究信息的主观观性、信息性、信息对对人人类类思思维维和行和行为为的影响的影响 与哲学、心理学、生物学关系密切与哲学、心理学、生物学关系密切Syntactic：事物运：事物运动动状状态态和状和状态态改改变变方式方

8、式（外在形式）（外在形式）Semantic：事物运：事物运动动状状态态和方式的具体含和方式的具体含义义（内在含（内在含义义） ）Pragmatic：事物运：事物运动动状状态态和方式及其含和方式及其含义对观义对观察者的效用察者的效用（效用价（效用价值值） ）信息论统计信息理论 四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。统计信息理论局限性不能解决一些问题 如：人工智能中启发式搜索和学习发展的观点信息科学所不可缺少的理论基石什么是信息理论？考虑事物运动状态及考虑事物运动状态及其变化方式的外在形其变化方式的外在形式，实际上研究的是式，实际

9、上研究的是语法信息语法信息 香农定义信息的出发点是假定事物状态可以用一个经典集合论香农定义信息的出发点是假定事物状态可以用一个经典集合论为基础的概率模型来描述。实际存在的某些事物运动状态要寻为基础的概率模型来描述。实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。某些情况下，这一找一个合适的概率模型往往是非常困难的。某些情况下，这一模型不一定存在。模型不一定存在。 香农定义信息的度量没有考虑收信者的主观性和主观意义，也香农定义信息的度量没有考虑收信者的主观性和主观意义，也撇开了信息的撇开了信息的具体含义具体含义、具体用途具体用途、重要程度重要程度和和引起的后果引起的后果等等元

10、素。这就与实际情况不完全一致。元素。这就与实际情况不完全一致。 香农信息的定义和度量是科学的，能反映信息的某些本质；香农信息的定义和度量是科学的，能反映信息的某些本质；但却是有缺陷的、有局限的。这样，它的适用范围会受到严重但却是有缺陷的、有局限的。这样，它的适用范围会受到严重影响。影响。在中对信息的表达分为三个层次：信号信号、消息消息、信息信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象

11、为两大类型：1) 离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1UlUL)2) 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,)信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。通信中的信息含义？关系：关系：信息信息-可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。信号信号-则是抽象信息在物理层表达的外延；消息消息-则是抽象信息在数学层表达的外延。同一信息，可以采用不同的消息形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同

12、的信号形式(比如电信号、光信号)来表达；同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断 与通、低与高(电平)等等。 通信中的信息含义？信号：火光（亮、灭）消息：s(x)=sgn(x)信息：有/无敌情信号：电磁波（基带信号或频带信号）消息：s(t)（连续的语音）信息：通话内容 信息论的研究范畴 广义 信息论 工程信息论 统计信息论 统计信息论：统计信息论：也称狭义信息论也称狭义信息论/ /经典信息论经典信息论/ /香农信息论。主要研香农信息论。主要研究究信息测度、信道容量、信息率失真函数信息测度、信道容量、信息率失真函数，与这三个概念相对应的香与这三个概念相对应的香农农三

13、大定理，信源编码，信道编码三大定理，信源编码，信道编码。 工程信息论：工程信息论：主要研究信息传输和处理问题。除香农基本理论之主要研究信息传输和处理问题。除香农基本理论之外，还包括外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。理论。后一部分内容以维纳为代表。后一部分内容以维纳为代表。 广义信息论：广义信息论：是一门综合性的新型学科是一门综合性的新型学科信息科学。信息科学。至今没有严至今没有严格的定义。凡是能够用格的定义。凡是能够用广义通信系统模型广义通信系统模型描述的过程或系统，都能用描述的过程或系统，都能用信息基本理论来研

14、究。信息基本理论来研究。不仅包括一般信息论的内容，还包括如医学、不仅包括一般信息论的内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学、社会学、生物学、心理学、遗传学、神经生理学、语言学、语义学、社会学、经济管理中有关信息的问题经济管理中有关信息的问题。反过来，所有研究信息的识别、控制、反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存储、显示、价值、作用和信息量的大小提取、变换、传输、处理、存储、显示、价值、作用和信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，都属于广义信的一般规律以及实现这些原理的技术手段的工程学科，都属于广义信息论的范畴。息论的

15、范畴。 信息论对象信息传输系统（广义的通信系统）统一的信息传输系统模型 统计信息论Shannon信息论（本课程的主要内容）主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。研究内容研究内容：1) 信源的描述，信息的定量度量、分析与计算。2) 信道的描述，信道传输的定量度量、分析与计算。3） 信源、信道与通信系统之间的统计匹配，以及通信系统的优化优化。 Shannon的三个编码定理。信息论诞生五十年来，至今，仍然是指导通信技术发展的理信息论诞生五十年来，至今，仍然是指导通信技术发展的理

16、论基础，是创新新通信体制的源泉。论基础，是创新新通信体制的源泉。回答的问题如： 信息如何度量和比较？ 从关心信息的角度如何为信源/信道建模，即如何表达信息源/信息通道等？ 如何最有效地传输和存储信息？可以压缩的极限是什么？ 通过一个信道可以传输的最大的信息量是多少？ 如何评价信道编码的性能？信道编码的性能极限是什么？系统优化的实质系统优化的实质就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。 优化的目标：系统传输最有效：对无失真信源、对限失真信源系统传输最可靠；系统传输最安全；有以上三个指标、四个方面所讨论的系统优化就构成了最著名的C. E. Shannon三个

17、编码定理与一个密码学基本定理。工程信息论 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。研究内容主要包括：信源编、译码理论及其设计构造方法；信道编、译码理论及其设计构造方法；最佳调制与解调理论与实现；最佳检测、估值与最佳接收理论与实现；检测、估值、滤波理论最佳信息处理理论、方法与算法；均衡、模式识别、人工智能、随机控制 香农理论：香农理论：香农研究的对象是从信源到信宿之间的香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点是放在全过程，是收、发端联合最优化问题，其重点是放在编码。编码。他指出，只要在传输前后

18、对消息进行适当的编码和译他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论。现消息。为此发展了信息测度理论、信道容量理论和编码理论。 维纳理论：维纳理论：维纳研究的重点是在接收端。研究一个维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。从干扰中提取出来。

19、在此基础上，创立了最佳线性过滤理在此基础上，创立了最佳线性过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论。论（维纳滤波器）、统计检测与估计理论、噪声理论。 目的 找到信息传输过程的共同规律 提高信息传输的可靠性、有效性、安全性 可靠性：信源发出信道准确、不失真地再现于信宿 有效性：尽可能短的时间、尽可能少的资源实现传送 安全性：隐蔽、保护传送到消息 达到信息传输系统最优化通信技术的理论基础通信技术的理论基础信息的表现形式信息的表现形式通信通信关心关心简单、基础的广义信息简单、基础的广义信息信宿不能准确再现信源时：n 出现于通信系统研究出现于通信系统研究n 不与通信同时出现不与通信同时出现

20、交通物资运输电网能量（电力）运输通信？通信技术的发展提出新的问题： 远距离传输、提高信道利用率等 Claude. E. Shannon的两篇论文 Shannon 信息论 1948年-信息时代的里程碑! “A Mathematical Theory in Communication” Shannon第一、二定理 1959年“Coding theorems for a discrete source with a fidelity criterion”. Shannon第三定理是香农的智慧与贡献，使得数字系统成为通信与信息处理领域的主力军. 香农信息论建立前（1948年前），最大的通信电缆可以同时

21、传输1,800路通话 25年后，最大的通信电缆可以同时传输 230,000路通话.今天一根头发丝粗细的光纤可以同时传输超过 6,400,000路通话. 1948年以前 Telegraph (Morse, 1830s); Telephone (Bell, 1876); Wireless Telegraph (Marconi, 1887); AM Radio (early 1900s) Single -Sideband Modulation(Carson,1922); Television (1925 -1927); Frequency Modulation (Armstrong, 1936);

22、Pulse-Code Modulation (PCM)(Reeves, 1937-1939); Spread Spectrum (1940s). 1948年以后，调制解调 Digital Modulation: BPSK, QPSK, QAM,FH, DS, FDMA, TDMA, CDMA 空间时间自适应处理、智能天线技术、MIMO 多用户检测、干扰抑制技术 多载波和OFDM 1948年以后，信源编码 Huffman, Fano Code (1950); 波形编码：PCM, DM, DPCM; 语音参量编码、感知编码; 图象编码：DCT, 帧间预测插值, 运动补偿 数据压缩编码 语音编码标准

23、 图象编码标准 1948年以后、信道编码 Hamming Code, Cyclic Code (1950); Convolution Code (Fano, Viterbi, 1950); BCH Code, Reed Solumn Code (1959) 级连码（内码：RS码+外码：卷级码） Trellis coded Modulation (1976, 1982) Turbo Code (1993) (10-5，0.5dB) LDPC (Gallager,1963) (10-6, 0.04dB) 1948年：年：信息论学科诞生：信息论学科诞生：1948年，香农发表论文年，香农发表论文“A

24、mathematical theory of communication”。同时维纳提出了。同时维纳提出了最佳滤波理论最佳滤波理论，成为信息论的一个重要分支。成为信息论的一个重要分支。 五十年代五十年代：信息论在学术界引起了巨大反响。信息论在学术界引起了巨大反响。 1959年：年：香农为各种信源编码的研究奠定基础：香农为各种信源编码的研究奠定基础：发表论文发表论文“Coding theorems for a discrete source with a fidelity criterion”，数据压数据压缩理论与技术成为信息论的重要分支。缩理论与技术成为信息论的重要分支。 六十年代六十年代：信

25、道编码技术有较大进展。信道编码技术有较大进展。信道编码成为信息论重要信道编码成为信息论重要分支。分支。 19611961年：年：香农的重要论文香农的重要论文“双路通信信道双路通信信道”开拓了多用户信息理论的开拓了多用户信息理论的研究。研究。 七十年代七十年代：有关信息论的研究，从点对点间的单用户通信推有关信息论的研究，从点对点间的单用户通信推广到多用户系统的研究。广到多用户系统的研究。密码学成为信息论重要分支。信息安全的重要密码学成为信息论重要分支。信息安全的重要性。性。香农信息论香农信息论：信息概念的深化；信息概念的深化；网络信息理论和多重相关信源编码理论的发展和应用；网络信息理论和多重相关

26、信源编码理论的发展和应用；通信网的一般信息理论研究；通信网的一般信息理论研究；信息率失真理论的发展及其在数据压缩和图像处理中的应用；信息率失真理论的发展及其在数据压缩和图像处理中的应用；信息论在大规模集成电路中的应用；信息论在大规模集成电路中的应用；磁记录信道的研究等。磁记录信道的研究等。 纠错码理论：纠错码理论：在工程方面应用及最优编码方法研究。在工程方面应用及最优编码方法研究。 维纳信息论：维纳信息论：对量子检测和估计理论、非参数检测和估计理对量子检测和估计理论、非参数检测和估计理论以及非线性检测与估计理论的研究。论以及非线性检测与估计理论的研究。统计数学的一个分支统计数学的一个分支Fis

27、er信息量、 Shannon熵、率失真理论 熵、阶熵、次熵、熵等信号与信息处理的一般理论基础信号与信息处理的一般理论基础密码学、最大熵谱估计、最大熵准则等 语音信号压缩：实际成果：实际成果： 64Kbps-100bps-(极限）信息论：信息论：语音信号所需的编码速率语音信号所需的编码速率 Nyquist采样定理与量化分析所给出的编码速率采样定理与量化分析所给出的编码速率 降低信息传输所需的功率 信息论：信息论：极限极限 1.6db 采用低码率的信道编码可以降低采用低码率的信道编码可以降低 传送单位比特的能量与噪声概率谱密度比传送单位比特的能量与噪声概率谱密度比 实际应用：实际应用： 10.5d

28、b0.2db-0/ NEb-3-2-1012345678910111210-610-510-410-310-210-1误码率pb信噪比Eb/N0(dB)shanno限仅内码（4，1，15）未编码仅内码（2，1，7）码级连级连 Modems (模拟话路中数据传输速率的提高） 利用利用modem将数据信息变换为话带兼容的模拟信号以实现在将数据信息变换为话带兼容的模拟信号以实现在普通电话线上进行数据通信普通电话线上进行数据通信, Shannon给出了这种应用的极限给出了这种应用的极限性能，在该极限引导下，性能，在该极限引导下， modem的发展到的发展到V34时已接近极限时已接近极限信息论：信息论： 4KHz,25db下极限下极限25Kbps应用成果：应用成果： 300bps-28.8kbps- Wireless（无线通信） 香农信息论为高性能调制与编码技术的发展提供了思香农信息论为高性能调制与编码技术的发展提供了思想和思路，而高性能调制与编码技术的发展带动了无想和思路，而高性能调制与编码技术的发展带动了无线技术的迅猛发展，线技术的迅猛发展，CDMA就是一个根植于香农信息就是一个根植于香农信息论思想的非常成功的实例。论思想的非常成功的实例。. Data storage （数据存储） 文本数据的存储和读取以及音视频