信息论基础ppt课件第1章-绪论

信息论基础B

第1章绪论任课老师：博士信息与信息工程学院江苏省图像处理与图像通信重点实验室

1信息论基础B

第1章绪论任课老师：博士1任课老师相关情况干(gan)

单位：通信与信息工程学院江苏省图像处理与图像通信实验室联系方式：手机号码，请课后索取

email:ganzl@

办公室：三牌楼校区科技楼13062任课老师相关情况干(gan)2任课老师相关情况研究方向：（1）在无线通信中的视频通信，图像前后处理；（2）图像超分辨率重建；（3）人脸追踪，鉴别，识别3任课老师相关情况研究方向：34Mywork4Mywork上课要求保持课堂安静，如果有能力者，可以书面提出申请不听课，允许不上课，可以参加考试；期末成绩70％+平时作业（15％）、上课（15％）；不交一次作业，扣3分，（从未交作业的同学，只有4分）每章结束交一次作业；随机点名3次，不到者一次平时成绩扣6分，（3次不到的同学，只有2分）5上课要求保持课堂安静，如果有能力者，可以书面提出申请不听课上课时间、地点：

答疑课间答疑、用email提问：本人尽自己所能，帮助大家学好信息论。

每章上完之后，给大家提供电子版的PPT

当然，最好的复习资料是参考书。星期五教2－3056注意!上课时间、地点：星期五教2－3056注意!课程资源教材：曹雪虹，张宗橙，《信息论与编码》参考书：

《信息理论基础》周荫清北航出版社

ElementsofInformationTheory,byT.M.Cover（英，中均可）7课程资源教材：曹雪虹，张宗橙，《信息论与编码》7校内课程网络资源/xxl/index.htm8校内课程网络资源http://www.cw.njupt.ed国外网络资源91、

/OcwWeb/Electrical-Engineering-and-C

omputer-Science/6-050JInformation-and-EntropySpring2003/

CourseHome/index.htm2、/~roweis/csc310/3、http://www.cs.utoronto.ca/~radford/csc310.S04/index.html4、/class/ee477/5、/~vandam/teaching/S06_CS225/

/%7Ecrypto/java/ENTROPY/Shannon'sExperimenttoCalculatetheEntropyofEnglish国外网络资源9《信息论与编码》与其它课程的关系10信息论是其它通信相关课程的数学理论基础；信息论是信息科学和技术的基本理论,信息科学

大厦的地基;

没有信息论的基础，从事通信与信息领域的研究

和创新是不可能的事情；本人还认为：信息论可以帮助大家梳理上学期《通信原理》的相关知识点，对考研的同学有用；信息论相当多的知识点用到概率论，可以帮助大家复习概率论，对考研的同学有用；信息论可以让大家对通信增加必要理解的同时，拿到必要的学分。《信息论与编码》与其它课程的关系10本人还认为：国内和国外的通信状况11两亿公里的火星国内和国外的通信状况11两亿公里的火星§1.1信息论的形成和发展12信息论的检索情况§1.1信息论的形成和发展12信息论的检索情况§1.1信息论的形成和发展13信息论创立的标志:香农于1948年发表的论文：

——AMathematicalTheoryofCommunication

（通信的数学理论）§1.1信息论的形成和发展13信息论创立的标志:香农于19香农的简历14ClaudeElwoodShannon:April30,1916-February24,2001

1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《ASymbolicAnalysisofRelayandSwitchingCircuits》(继电器与开关电路的符号分析)。哈佛大学的HowardGardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”

1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《AnAlgebraforTheoreticalGenetics》(理论遗传学的代数学)。

1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司

1948年香农在BellSystemTechnicalJournal上发表了《AMathematicalTheoryofCommunication》。

1949年香农发表了另外一篇重要论文《CommunicationTheoryofSecrecySystems》(保密系统的通信理论)。香农的简历14ClaudeElwoodShannon:香农的简历15ClaudeElwoodShannon:April30,1916-February24,2001Don’tthrowawayinformationthatcouldbeusefultoyou.—ClaudeShannon香农的简历15ClaudeElwoodShannon:什么是信息论？16组成客观世界的三大基本要素：物质能量信息没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。

——美国学者欧廷格Shannon用概率的方法对语言做近似的表述，研究的结果是有限的。什么是信息论？16组成客观世界的三大基本要素：什么是信息论？17信息的通俗概念：消息就是信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息。消息中包含信息，消息是信息的载体。

什么是信息论？17信息的通俗概念：消息就是信息。用文字、什么是信息论？18广义的信息论什么是信息论？18广义的信息论什么是信息论？狭义信息论—通信信息论19香农信息：信息是对事物运动状态或存在方式的不确定性的描述。通信的基本问题是在一点精确或近似恢复另一点（信源）所选择的消息。————香农通信的过程就是消除不确定性的过程。什么是信息论？狭义信息论—通信信息论19香农信息：信息是对事信息论的发展过程1924年，HNyquist，电报信号传输中脉冲速率与带宽的联系1928年，RVHartley,引入非统计信息量(用随机事件样本空间中元素的个数的对数值衡量)1930年，维纳将傅立叶分析方法全面引入随机信号的研究中1936年，EHArmstrong，带宽与抗干扰能力(提出频率调制)40年代初，NWiener,“控制论”20信息论的发展过程20信息论的发展过程(cont.)1948年，Shannon,发表论文“Amathematicaltheoryofcommunications”1952年，Huffman编码1954年，P.Elias提出了卷积码1959年，Shannon,限失真信源压缩编码理论，“Codingtheoremforadiscretesourcewithafidelitycriterion”1961年，Shannon,“双路通信信道”，多用户理论1963年，P.Elias提出了算术编码1972年，Cover,广播信道1982年，Ungerboeck提出网格编码调制1993年，Turbo码的性能非常接近理论极限21信息论的发展过程(cont.)211.2通信系统的模型221.2通信系统的模型22“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。通信系统三项性能指标：传输的有效性(Efficiency)

传输的可靠性(Reliability)

传输的安全性23“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择通信系统模型:24信源信宿编码器译码器信道噪声消息信号消息信号加噪声通信系统模型:24信源信宿编码器译码器信道噪声消息信号消息信通信系统模型方框图:25通信系统模型方框图:25信源产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率。信源编码器对信源输出进行变换，求得有效性；加密/解密安全性密钥26信源26信道编码器提高抗干扰性，求得可靠性；信道中心问题是研究信道的统计特性和传信能力，即信道容量。译码器信宿信息的接收者27信道编码器27对上述问题的研究，香农得到了三个定理无失真信源编码定理（第一极限定理）信道编码定理（第二极限定理）限失真信源编定理（第三极限定理）

28对一个信源输出的数据进行数据压缩时，压缩率的极限值是多少？通过一个有噪声的信道能够以多大的速率可靠地传输数据？当速率受限时，我们表示一个对象能够实现多大的精度？对上述问题的研究，香农得到了三个定理28对一个信源输出的数据信息论的研究内容信息论要回答的一些最基本的理论问题：什么是信息？如何度量？在给定的信道中，信息传输有没有极限？信息能否被压缩和恢复？极限条件是什么？从实际环境中（如干扰、噪声）抽取信息，极限条件是什么？在允许一定失真（Distortion）的条件下，信息能否被更大程度地压缩？极限条件是什么？设计什么样的系统才能达到上述极限？现实中，接近极限的设备是否存在？信息论的成功就在于首先对这些问题给出了明确的回答，这就是信息量、信道容量、熵（Entropy）、信息率失真函数、Shannon的三个定理和Shannon公式等。29信息论的研究内容信息论要回答的一些最基本的理论问题：29狭义信息论体系结构30Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码狭义信息论体系结构30Shannon信息论压缩理论有失真编码

efficient:文本

representeverysymbolwith8bit

1book:8*(500pages)*1000symbols=4Mbit1bookcompressionpossibleto1Mbit(1:4)

31

efficient:文本 31

efficient:语音

samplingspeed8000samples/sec;accuracy8bits/sample;speed64kBit/s;®45minuteslecture=45*60*64k=180Mbit45books®

compressionpossibleto4.8kBit/s(1:10)

32

efficient:语音

32

efficient:CDmusic

samplingspeed44.1ksamples/sec;accuracy16bits/sample ® storagecapacityforonehourstereo:5Gbit1250books compressionpossibleto4bits/sample(1:4)

33

efficient:CDmusic33

efficient:digitalpictures

300x400pixelsx3colorsx8bit/sample

®

2.9Mbit/picture;for25images/secondweneed75Mb/s 2hourpicturesneed540Gbit130,000books ®

compressionneeded(1:100)34

efficient:digitalpictures3

efficient:summarytext: 1bookstorage:=4Mbit1bookspeech: 45minuteslecture=45*60*64k=180Mbit45books

CDmusic: ®storagecapacityforonehourstereo:5Gbit1250books

digitalpictures:

®2hourpicturesneed540Gbit130,000books

35

efficient:summarytext: 35Morse36Morse36efficient:应用37文本: Zip;etc.音乐: MP3图像: JPEG,MPEGefficient:应用37文本: Zip;etcefficient:exampleJPEG38100090(58kbytes)50(21kbytes)10(8kbytes)bestquality,lowestcompressionworstquality,highestcompressionefficient:exampleJPEG381000Reliable:39Transmit0or1Receive0or1 0 0correct 0 1in-correct 1 1correct 1 0in-correctWhatcanwedoaboutit?Reliable:39TransmitReceive Reliable:2examples40TransmitA:=00B:=11Receive00or11OK01or10NOK1errordetected!A:=000B:=111000,001,010,100A111,110,101,011B1errorcorrected!Reliable:2examples40TransmitReliable:2examples41重复编码Reliable:2exampl