《通信技术基础》课件-任务3 信息及其度量

项目一

通信技术概论

任务3信息及其度量信息可被理解为消息中包含的有效内容。消息可以有各种各样的形式,但消息的内容可统一用信息来表述。数字信息通常可以用数字代码表示,称为信码。信息及其度量通信的目的在于传输消息中所包含的信息（传递和交换信息）信息是指消息中所包含的有效内容或者说是收信者预先不知而待知的内容。信息的多少可用“信息量来度量”，消息中所包含的信息量与消息发生的概率密切相关。消息出现的概率越小，其不确定性越大，消息中所包含的信息量就越大。45让我们从常识的角度感知以下三条消息：1.太阳从东方升起；2.太阳比往日大两倍；3.太阳将从西方升起

可知：第一条消息几乎没有带来任何信息；

第二条带来了大量信息；

第三条带来的信息多于第二条这是因为第一个事件是一个必然事件，不足为奇；

第三个事件几乎不可能发生，它使人感到惊奇和意外。也就是说，它带来更多的信息，越是不可预测的事件，越会使人感到惊奇，带来的信息就越多。6

概率论告诉我们，事件的不确定程度可以用其出现的概率来表描述。因此，消息中包含的信息量多少与消息所表达事件的出现概率密切相关。事件出现的概率越小，则消息中包含的信息量就越大，反之则越小。

根据以上认知，消息中所含的信息量I与消息发生的概率P(x)的关系应当反映如下规律：(1)消息X中所含的信息量I是该消息出现概率

的函数，即

(2)消息出现的概率

越小，I越大；反之，I越小。且当

7

（3）若干个互相独立事件构成的消息

，

所含信息量等于各独立事件

信息量之和，也就是说，信息具有相加性，即：

可以看出，若I与P(x)间的关系式为：

（1.4-1）则可满足上述三项要求，所以我们定义公式（1.4-1）为消息x所含的信息量。8信息量I的单位取决于式（1.4-1）中对数的底a的取值：a=2单位为比特（bit），可简写为ba=e单位为奈特（nat），可简写为na=10单位为哈特莱（Hartley）通常广泛使用单位比特，即

（1.4-2）

例题1-1：设二进制离散信源，数字0和数字1以相等的概率出现，试计算每个符号的信息量。9例题1-2：若是四进制信源（0，1，2，3），符号0、1、2、3等概率出现是时，试计算信息源输出的每个符号的信息量。10

同理，对于离散信源，若N个符号等概率（P=1/N），且每一个符号的出现是相互独立的，即信源是无记忆的，则每个符号所含的信息量相等，为：

（1.4-3）

式中，P为每一个符号出现的概率；N为信源中所包含的符号数目。若N是2的整幂次，比如

则式（1.4-3）可写为：

（1.4-4）11

12

（1.4-4）式中，K是二进制符号数目，也就是说，传送每一个N（

）进制符号的信息量就等于用二进制符号表示该N进制符号所需的符号数目。例题2：试计算二进制符号不等概率时的信息量[设P（0）=P]。根据式（1.4-2），有

可见，不等概率时，每个符号所含的信息量不同。13

计算消息的信息量，常用到平均信息量的概念。平均信息量H(x)定义为每个符号所含信息量的统计平均值，即等于每个符号的信息量乘以各自的出现概率再相加。

设离散信源是由N个符号组成的集合，其中每个符号按一定的概率

独立出现，即

14

则每个符号所含信息量的平均值为

（）

（1.4-5）

由于H同热力学中的熵形式相似，故通常又称他为信息源的熵，其单位为b/符号。

显然，当每个符号等概率独立出现时，式（1.4-5）即为（1.4-3），此时信源的熵有最大值。15

信源熵H(X)有三种物理含义：(1)在信源输出前，H(X)表示信源的平均不确定性。(2)在信源输出后，H(X)表示每个离散消息所提供的平均信息量。(3)H(X)反映了随机变量X的随机性和无序性。16

信源熵有如下性质：(1)非负性。信息熵不能小于零，即H(X)≥0。(2)确定性。若信源某一符号以概率1出现，而其他符号均不可能出现时，这个信源就是一个确知信源，其熵等于零。(3)对称性。信息熵的取值与各概率分量P1、P2、...Pn的顺序无关。(4)极值性。对于离散信源，当各个符号等概出现时，其熵最大，这称为最大离散定理，用公式表示如下：17【扩展阅读：不要把所有的鸡蛋放在同一个篮子里】

近年来，随着人们生活水平的提高，特色菜肴慢慢变成了抢手货。一位投资者看到此景，毅然抛开了一直处于考察中的其它投资项目，一心一意搞起了特色养殖。这位自称相信“风险与机遇并存”的投资者，力排众议，倾其所有，将全部资金都投入到他选定的特色养殖项目上，并坚信在自己的苦心经营下，一定能够从这个项目获取丰厚回报。但一场突如其来的“禽流感”疫情，确使其梦想破灭。

18【扩展阅读：不要把所有的鸡蛋放在同一个篮子里】

虽然单一投资因为资源和资金的集中，在项目选择正确的情况下，常常会给企业带来好的收益，但单一投资的风险也是显而易见的，放大的风险只要发生一次，就可能使投资者多年积累起来的财富毁于一旦。形象地讲，投资过于单一，就像是把所有鸡蛋放在同一个篮子里，一旦篮子打翻，鸡蛋也就全部摔破了。而由多项目结构构成的组合性投资，可以大大减少单一投资所带来的投资风险。19例题3：某信源符号集由A、B、C、D、E5个符号组成，设每个符号独立出现，其概率分别为1/2、1/4、1/8、1/16、1/16，试求该信息源的平均信息量。20例题4：某信源符号集由A、B、C、D、E、F组成，设每个符号独立出现，其概率分别为1/4、1/4、1/16、1/8、1/16、1/4，试求该信息源的平均信息量。答案：H=......=2.375(b/符号)21例题5：某信源符号集由A、B、C、D、E组成，设每个符号独立出现，其概率分别为1/4、1/8、1/8、3/16、5/16，试求该信息源的平均信息量。答案：H=2.23（b/符号）22例题6：一离散信源由0、1、2、3四个符号组成，它们出现的概率分别为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。可用两种不同的方法计算：1.累计每个符号所出现次数*信息量2.平均信息量*符号数23例题6：一离散信源由0、1、2、3四个符号组成，它们出现的概率分别为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。方法1：此信息中0出现23次，1出现15次，2出现15次，3出现7次，共有60个符号。则该消息的信息量为：I=23*I（0）+15*I（1）+15*I（2）+7*I（3）

24例题6：一离散信源由0、1、2、3四个符号组成，它们出现的概率分别为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求某信息1022

0102

0130213021203210100321010023102002010312032100120210的信息量。方法2：用熵的概念计算平均信息量：则该消息的信息量为：I=60H=60*1.906=114.36比特。25

26

可见，两种方法的计算结果有一定的误差，前一种方法是按算数平均的方法，后一种是按统计平均的方法。但当消息很长时，用熵的概念来计算比较方便，而且随着消息序列长度的增加，两种计算误差将趋于0。小结通信技术概论

任务1：通信的基本概念、组成1.掌握通信的目的、基本概念；2.了解通