信息论与编码第一章

信息论与编码第一章1第一页，共四十页，编辑于2023年，星期六教材

《信息论与编码》,陈运,电子工业出版社《信息论—基础理论与应用》,傅祖芸,电子工业出版社《纠错码—原理与方法》,王新梅,西安电子科技大学出版社

《信息论与编码》,曹雪虹,北京邮电大学出版社《信息论与编码》,傅祖芸,电子工业出版社参考教材：2第二页，共四十页，编辑于2023年，星期六课程概述当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成。3第三页，共四十页，编辑于2023年，星期六学习方法

本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。4第四页，共四十页，编辑于2023年，星期六第一章绪论

主要内容：5第五页，共四十页，编辑于2023年，星期六第一节信息的概念

从哲学的角度上讲，信息是构成物质世界的三大支柱之一，其他两个是物质和能量。可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。但是有史以来，人们都没有对信息下过一个确切的定义。就像对于物质和能量一样。6第六页，共四十页，编辑于2023年，星期六

信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。

广泛性客观世界充满着信息

人类离不开信息

知识、书本是有用信息的积累

抽象性三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。什么是信息？7第七页，共四十页，编辑于2023年，星期六通俗的说，信息就是消息。如：告诉你一个消息……

从不同的角度，有上百种不同的定义；

如：

“信息是事物之间的差别。”

“信息是接受者事先不知道的东西。”广义地说，信息是认识主体（人、生物、机器）所感受的事物运动状态和变换方式。

狭义地说，信息是用来消除不确定性的东西。

——这是香农（ClaudeElwoodShannon)给出的定义。什么是信息？8第八页，共四十页，编辑于2023年，星期六信息的直观认识9第九页，共四十页，编辑于2023年，星期六信息的直观认识10第十页，共四十页，编辑于2023年，星期六信息的直观认识11第十一页，共四十页，编辑于2023年，星期六信息的直观认识12第十二页，共四十页，编辑于2023年，星期六香农信息的度量信息——“是来消除不确定性的东西”；13第十三页，共四十页，编辑于2023年，星期六互信息互信息量：

yj对xi的互信息量定义为后验概率与先验概率比值的对数。先验概率：信源发出消息xi的概率p(xi)。后验概率：信宿收到yj后推测信源发出xi的概率p(xi/yj)。14第十四页，共四十页，编辑于2023年，星期六信息的特性信息是可度量的；信息是无形的；信息是可共享的；信息是无限的；15第十五页，共四十页，编辑于2023年，星期六消息是信息载体和具体表现形式（如文字、符号、图片、电影等）；消息、信号和信息之间的关系16第十六页，共四十页，编辑于2023年，星期六信号是消息的表现形式；消息是信号的具体内容；信号是表示消息的物理量（随时间、空间变化），适合在信道传输的物理量，如声波、光波、电磁波等。消息、信号和信息之间的关系17第十七页，共四十页，编辑于2023年，星期六信息论研究的对象18第十八页，共四十页，编辑于2023年，星期六信息论研究的对象19第十九页，共四十页，编辑于2023年，星期六信源编码的主要目的20第二十页，共四十页，编辑于2023年，星期六信源编码的主要目的压缩！使信号能够更加有效地传输信息。呵呵，这样就能过去啦！21第二十一页，共四十页，编辑于2023年，星期六信道编码的主要目的22第二十二页，共四十页，编辑于2023年，星期六调制的主要目的23第二十三页，共四十页，编辑于2023年，星期六调制的主要目的24第二十四页，共四十页，编辑于2023年，星期六通信系统的指标通信系统的基本问题：在某一点精确或近似地恢复另一点发送的信息。25第二十五页，共四十页，编辑于2023年，星期六香农的主要贡献26第二十六页，共四十页，编辑于2023年，星期六信息论的研究内容27第二十七页，共四十页，编辑于2023年，星期六信息论的研究内容28第二十八页，共四十页，编辑于2023年，星期六信息论的研究内容29第二十九页，共四十页，编辑于2023年，星期六信息论的分支30第三十页，共四十页，编辑于2023年，星期六信息论的发展31第三十一页，共四十页，编辑于2023年，星期六信息论的发展32第三十二页，共四十页，编辑于2023年，星期六信息论的发展33第三十三页，共四十页，编辑于2023年，星期六信息论的应用34第三十四页，共四十页，编辑于2023年，星期六信息论的应用35第三十五页，共四十页，编辑于2023年，星期六香农生平介绍36第三十六页，共四十页，编辑于2023年，星期六香农的主