信息论chap1[1]

1、1信息与编码理论信息与编码理论主讲：冯 磊2课程介绍课程介绍l课程最早开设于上世纪五十年代，当时一些教师与学生一起阅读MIT英文版教材，在相互学习相互讨论的气氛中，信息论专业诞生了。l是一门理论性较强的课程，主要的数学工具是概率论。l课程的内容包括：信息论的基本概念、信源编码和信道编码几个主要方面，对每一方面作了进一步的扩展。3教材与参考书目教材与参考书目l1 王育民、梁传甲编著 信息与编码理论，西北电讯工程学院出版社，1986l2 王新梅 肖国镇编著，纠错码原理与方法. 西安电子科技大学出版社l3 吴伟陵编著 信息处理与编码，人民邮电出版社，1999l4 姜丹等编著 信息理论与编码，中国科学

2、技术大学出版社，1992l5 周炯槃著 信息论基础，人民邮电出版社，1983l6 美林舒、科斯特洛著，王育民、王新梅译，差错控制编码、基础与应用， 人民邮电出版社l7 王新梅编著，纠错码与差错控制，人民邮电出版社 4课程内容和学时分配课程内容和学时分配1、 引论：通信系统模型、Shannon信息论的中心问题（2学时）。2、 信息量和熵：离散随机变量的熵、平均互信息，连续随机变量的互信息和相对熵、互信息和相对熵，互信息的凸性（10学时）。3、 离散信源无失真编码：离散无记忆源的等长编码与不等长编码，Huffman编码，算术编码，LZ编码（10学时）。4、 信道容量：离散无记忆信道、组合信道、时间

3、离散无记忆、连续信道、波形信道（10学时）。5、 离散信道编码定理（2学时）。6、 信道编码：线性分组码（8学时）。7、信源编码无记忆信源的有失真编码：（4学时）。5第一章第一章 引论引论6第一第一章章 引论引论l1.1 通信系统模型l1.2 信息论研究的中心问题及发展l1.3 shannon信息论的局限性l1.4 信息的广义性7 1.1 1.1 通信系统模型通信系统模型81.1.信息论发展简史信息论发展简史l起源：香农于1948年开始提出了信息熵的数学表示，开始了信息论的研究 。l在中国：五十年代，现代信息论介绍传入到中国。随着发展，目前国内各高校的通信、雷达、计算机、应用数学等专业基本上都

4、开设了信息论的课程。l进步：目前信息论已经由两端单向通信的经典理论向多用户信息论方向发展。在研究 发展的同时开枝散叶，衍生除了诸如纠错码、密码等诸多学科。91.1.信息论发展简史信息论发展简史1 通信是什么？2 通信的演化101.1.信息论发展简史信息论发展简史l电磁理论和电子学理论对通信理论技术发展起重要的促进作用l18201830年，法拉第发现电磁感应l莫尔斯18321835建立电报系统。1876年Bell发明电话l1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论l1895年马可尼发明了无线电通信l微波电子管导致微波通信系统，微波雷达系统l激光技术使通信进入光通信时代111.1.信

5、息论发展简史信息论发展简史l1832年莫尔斯电码对shannon编码理论的启发l1885年凯尔文研究了一条电缆的极限传信速率l1922年卡逊对调幅信号的频谱结构进行研究l1924年奈奎斯特证明了信号传输速率和带宽成正比l1928年Hartley提出信息量定义为可能消息量的对数l1939年Dudley发明声码器l1940维纳将随机过程和数理统计引入通信与控制系统121.1.信息论发展简史信息论发展简史l1948年shannon信息论奠基l1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明l1957，Wolfowitz，1961 Fano，1968Gallager给出

6、信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法l1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法131.1.信息论发展简史信息论发展简史l1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术l1959年，Shannon提出率失真函数和率失真信源编码定理l1961年，Shannon的“双路通信信道”开拓了网络信息论的

7、研究，目前是非常活跃的研究领域。142.2.信息论的研究对象信息论的研究对象 由于山农的论文，信息论也可称为“通信的数学理论”是一门研究信息的传输、存储和处理的科学。其主要研究通信系统中如何实现有效性和可靠性。153.3.通信系统模型通信系统模型l通信的基本问题是什么？ 彼时（存储情况）或彼地（通信情况）精确地或近似地再现此时此地发出的消息。l 通信的最大敌人是什么？干扰163.3.通信系统模型通信系统模型信源编码器信道译码器信宿干扰源17通信系统模型进一步细分通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器

8、信道译码器18各部件功能各部件功能l信源l产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。l研究的主要问题是消息的统计特性和产生信息的速率l编码器是将信源发出的消息转换为适合于信道传送的信号的设备。一般由信源编码器、纠错编码器、信源编码器、纠错编码器、调制器调制器三部分构成。l信源编码器：对信源输出进行变换，求得有效性l信道编码器：对信源编码输出变换，提高抗干扰性l调制器：将信道编码输出变成适合信道传输的方式19各部件功能各部件功能l信道l信号从发端传到接收端的介质，既将信号从发端传到接收端的媒质或通道。l信道的中心问题是研究信道的统计特性和传信能力，即信道容量信道容量

9、l干扰源l系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，干扰分为加性干扰与乘性干扰，主要是统计特性，以确定它们对信道传信能力影响的大小。 20各部件功能各部件功能l译码器l编码器的逆变换l中心问题是研究各种可实现的解调和译码方法l信宿l信息的接收者。它要对传过来的信息提出可接受条件。既提出一定的准则，发端将以此来确定对信源处理时所要保留的最小信息量。 21信息、消息和信号信息、消息和信号l信息l一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素l消息l是信息的载体，相对具体的概念，如语言，文字，数字，图像l信号l表示消息的物理量，电信号的幅度，频率

10、，相位等等221.2 1.2 信息论研究的中心问题和信息论研究的中心问题和发展发展23ShannonShannon信息论的基本任务信息论的基本任务l1948年shannon发表了“通信的数学理论”奠定了信息论理论基础l基本任务是设计有效而可靠的通信系统l可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端l有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息24ShannonShannon信息论的基本任务信息论的基本任务信息论研究主要在两方面信源编码、信道编码。信源编码、信道编码。l 信源编码 a） 信源编码方面通信的“可行性” b） 寻找实际可行的信源编码和译码方法l

11、信道编码 a） 信道编码方面通信的“可行性” b） 寻找实际可行的信道编码和译码方法25信息论的研究内容信息论的研究内容l狭义信息论（经典信息论）l研究信息测度，信道容量以及信源和信道编码理论l一般信息论l研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论l广义信息论l除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学26狭义信息论体系结构狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理

12、Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码271.3 Shannon信息论的局限性28l如果实际信源或信道符合所采用的概率模如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。近似的，甚至根本无效。l语言的熵描述是非常困难的，其是非平稳的，语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如除了确定的信息，还有模糊的信息，比如“韵韵味味”，“意境意境”l不同的接收者对同一个东西得到的信息可能是不同的接收者对同一个东西得到的信息可能是不同的不同的lShannon信息论适合于能够定量描述的信信息论适合于能够定量描述的信息，对难于定量描述的信息则无能