第一章信息论与编码

1、信息论与编码信息论与编码 第一章第一章 概论概论 第二章第二章 信源熵信源熵 第三章信道容量第三章信道容量 第四章第四章 信息率失真函数信息率失真函数 第五章第五章 信源编码信源编码 第六章第六章 信道编码信道编码内容结构内容结构三个基本概念三个基本概念1. 信源熵2. 信道容量3. 信息率失真函数对应的三个定理对应的三个定理1. 离散无失真信源编码定理2. 信道编码定理3. 保真度准则下的信源编码定理第一章第一章 概论概论1.1. 信息、信息科学和信息论信息、信息科学和信息论消息是载体，信息是其内涵；前者是表象，后者是抽象的。技术：对科学理论加以应用的具体实践20世纪80年代美国信息科学学会

2、定义信息科学：作为信息技术理论基础的信息科学信息论: 统计意义上的、通信领域内的（虽不完善例如不能理解人工智能中如何进行启发式搜索和学习等问题，但仍是信息科学不可缺少的一块基石）（1）语音信号压缩（2）图像信号压缩（3）计算机文件压缩（4）模拟话路中数据传输速率的提高（5）降低信息传输所需的功率2.2.信息论方法的应用及其取得的成果信息论方法的应用及其取得的成果第一章第一章 概论概论（6）计算机网中数据擦传输可靠性的保证（7）计算机中的容错问题（8）图像信号的复原与重建（9）模式分类问题与树分类器的设计（10）其他应用成果第一章第一章 概论概论3.3.信息论的形成与发展信息论的形成与发展 通信

3、技术的理论基础通信要传输的是什么？这正是信息论所要回答的。电信技术的发展过程及信息论的形成：1832年，J.Henry发明电报和1838年F.B.Morse发明电码使信息获得电气的表现形式；1876年，Bell发明电话使人类语言第一次获得电信号的形式；第一章第一章 概论概论 18951896年，Marconi和Popov的工作使电报和电话可以通过电波加以传输； 1904年，Fleming发明的二极管和1906年De Forest发明的三极管放大器使电报电话的有线和无线长距离传输成为可能； 以上介绍可以认为19世纪所面临的主要问题使如何获得信息的电气表现形式以及如何将它们进行远距离传输。第一章第

4、一章 概论概论 1917年，G.A.Campbell申请了第一个关于滤波器的专利，为频分复用信道提供了条件；1922年，J.R.Carson分析了振幅调制信号，开始明确上下边带的概念；1924年，H.Nyquist开始分析电报信号传输中脉冲速率与信道带宽的概念，这一结果在 1928年的论文中得到发展，建立了带限信号的采样定理；进入20世纪后电信技术获得快速发展，如何提高信道利用率成为主要课题。第一章第一章 概论概论1928年，R.V.L.Hartley在贝尔系统电话发表 “信息的传输”信息为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。论文中第一次从通信的观点对信息量作了定义，引入

5、了接收机在估计接收脉冲幅度时只有有限精确度的概念； 假如接收机只能分辨有限数目的脉冲幅度M,则N个脉冲所组成的不同序列的总数是MN ,Hartley就把信息量H定义为H=NlogM 。 第一章第一章 概论概论 从以上可以看出20世纪30年代以前通信的主要目标还集中在如何发送信号无失真地到接收端，所用的分析方法还是分析确定性信号的方法，而非统计的方法。第一章第一章 概论概论20世纪30年代以后，由于通信技术水平的提高以及随后第二次世界大战的爆发，使通信中的噪声和抗干扰问题逐渐突出1930年，N.Wiener开始把Fourier分析方法全面引入到随机信号的研究中；1936年，V.D.Landon发

6、表他第一篇有关噪声的论文；1936年，E.H.Armstrong提出频率调制；第一章第一章 概论概论所以20世纪40年代中通信的理论已经全面走上统计分析的道路，抗干扰已经取代失真成为通信研究中的中心问题在这样的背景下，香农（Shannon）和维纳（Wiener）几乎同时提出了信息的统计定义。 1939年，H.Dudley发明声码器； 1939年，H.Reeve提出了具有强抗干扰能力的脉冲编码调制；第一章第一章 概论概论统计数学的一个分支统计数学的一个分支对数学家来说，香农工作的意义在于把熵、互信息和遍历性理论联系起来，用随机编码这一独创的方法证明了一系列编码定理，这些定理同时又说明了熵、互信息这两个概念的重要性，但香农最初的工作集中在无记忆信源和无记忆信道，虽然他也讨论了马尔可夫信源，但这与一般的稳恒信源还有相当的距离。第一章第一章 概论概论所以，数学家们如A.J. Khinchine ,A.Feinstein, J.Wolfowitz纷纷把香农的基本概念和编码定理推广到更