第2章基本信息论.ppt

1、2020/9/6,信息论与编码,第2章 基本信息论 北京大学出版社,引言,基本信息论又称狭义信息论，是以信息的度量为基础，有了对信息的 确切定义与测度，信息科学才得以建立和发展。 案例一： 甲乙同去听某一学者讲课，由于两个人的业务基础不同，他们听到的 虽然是同一内容，但听后得到的新知识是不一样的，怎么衡量呢？就可以 用信息度量的方法。 案例二： 信源发出的消息，经过信道传送给信宿，信道能够传送或存储的最大 信息量为多少呢？可以用信道容量来分析。,第2章 基本信息论,2.1 信息度量,2.1.1 信源的不肯定性 信源是发送消息的一方，信源发出的消息常常是随机的，这样信源要发出的消息的状态 应该存

2、在某种程度的不肯定性。比如大学生在上课时，老师给大学生讲1+1=2的知识，那么这 些大学生肯定得不到任何的信息，因为1+1=2的知识他们在上小学时就已经学过了，它的不肯 定性为零。获得以前不知道的内容，可以获得信息，因为它存在不肯定性。信源中某一消息发 生的不肯定性越大，一旦发出，收信者获得的信息量就越大；相反，信源中某一消息发生 的不肯定性越小，通过通信收信者得到的信息量就越少。因此，获得信息量的多少与信源的不 肯定性有关，即与不肯定程度有关。下面介绍不肯定程度。 不肯定程度 上面讲了信源的不肯定性有大小之分，也就是说不肯定性有程度上的差分。那么，什么是 不肯定程度呢？ 为了便于说明问题，举

3、个例子说明。,第2章 基本信息论,例 题： 有三个布袋，每个布袋中分别放100个球，这三个布袋中球的存在方式 如下： 布袋a：放99个白球，1个黑球； 布袋b：放50个白球，50个黑球； 布袋c：放4种颜色的球，红、蓝、白、黑各25个； 从这三个布袋中分别抓1个球，猜测在三个布袋中抓到的是哪种颜色的球？ 解：布袋a：可以肯定这样的一个信源发出的消息具有不肯定性，因为拿出一个球可能 是红球，也可能是白球。但很容易猜测出它大概是红球，因为红球多，所以 猜测的难度不大，当然不肯定程度也不大。 布袋b：这时猜测从布袋中随意拿出一个球的颜色的难度就比第一种情况大。因为 这时红球、白球一样多，不容易猜测，

4、所以这种情况下信源发出的消息的 不肯定程度较大。 布袋c：这时猜测从布袋中随意拿出一个球的颜色的难度更大，因为这时更难猜测， 所以这种情况下的不肯定程度更大。 由此可知，事件发生的不肯定性与事件发生的概率有关。一般情况下，一个信源可以 用一个概率空间来描述，而信源的不肯定程度可以用这个概率空间的可能状态数目及其概率 来描述。,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,2.1.2 信息量 根据以上对信源不肯定程度度量方法的分析，我们可以很容易地得出信息量 的度量方法。 定义 收信者收到消息实质上就是从不肯定到比较肯定或完全肯定的过程，要实现这 个过程，必须通

5、过通信获得信息，在这个过程就会有不肯定程度的减小，因此，很 容易直观地将信息量定义为： 信息量=不肯定程度的减小量 也就是说，收信者收到一个消息后，所获得的信息量等于收到消息前不肯定程 度的减小量。之所以不直接定义信宿收到的信息量就等于信源发出的信息量，是因 为在一般情况下，由于信道中噪声的干扰，信源发出的信息量可能会损失一些，而 定义信宿对于信源不肯定程度的减小量才是信宿从信源收到的净信息量。,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,2.2 离散信源的熵,第2章 基本信息论

6、,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,2.3 二元联合信源的共熵与条件熵,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,2.4 信源冗余度,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,2.5 连续信源的熵,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,

7、第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,2.6 熵速率和信道容量,第2章 基本信息论,第2章 基本信息论,2.6.2 信道容量 在一般广义的通信系统中，信道是很重要的一部分。信道是所传信息的载体（消息）的 具体形式（信号）所要通过的通道（或媒介）。信息是抽象的，但是信道是具体的，比如二 人对话，二人之间的空气就是信道；打电话时，电话线就是信道；看电视、听收音机时，发 送和接收天线之间的空气就是信道等等。 信道的分类 根据实际的应用，信道有几种分类方法： 1）按其输入/输出信号在幅度和时间上的取值来分类 离散信道：也

8、称为数字信道，输入/输出信号在幅度和时间上都是离散的信道； 连续信道：输入/输出信号在幅度上连续，在时间上离散的信道； 模拟信道：输入/输出信号在幅度和时间上都是连续的信道。,第2章 基本信息论,2）按其输入/输出信号之间关系的记忆特性来分类 可以分为记忆信道和无记忆信道。如果信道的输出只与信道该时刻的输入有关而与其它时 刻的输入无关，称此信道为无记忆信道，反之称为记忆信道。实际信道一般都是有记忆的， 如电缆信道中的电感电容、无线信道中的电波传播的衰落现象等。有记忆信道的分析比较复 杂，有用的研究成果很少。 3）按其输入/输出信号之间的关系是否确定来分类 可以分为有噪声信道和无噪声信道。一般来

9、说，因为信道中总是存在某种程度的噪声， 所以信道输入/输出之间的关系是一种统计依赖的关系。但是当噪声与信号相比很小时，可以 近似为无噪声信道，而有噪声信道是信息论研究的主要对象。 4）根据信道输入和输出的个数来分类 单用户信道：只有一个输入端和一个输出端的单向通信的模型； 多用户信道：双向通信或三个或更多个用户之间相互通信的情况。 在本章中主要讨论的是离散信道和连续信道的内容。 信道的任务就是传输信息和存储信息，研究信道就是研究信道中传送或存储的最大信息 量，即信道容量的问题。,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,第2章 基本信息论,2.7 离散有噪信道中的熵速率和信道容量,第2章 基本信息论