信息论基本概念课件

1、第二章是信息论的基本概念，第一节是信息源的描述和分类，第二节是离散源的信息论概念，第三节是离散源的熵，1。学习PPT，第一节是信息源的描述和分类，1 .香农信息论的基本观点是，信息源用随机变量或随机向量来表示，信息是用概率论和随机过程理论来研究的。信息源分类：根据信息源发送信息的时间和幅度分布，信息源可分为两类：离散信息源和连续信息源。2.学会交流。连续信息源是指发出连续信息(模拟信息)的信息源，这些信息在时间和幅度上连续分布，例如语言、图像和图形。离散信息源离散信息源是指在时间和幅度上发出离散信息的信息源，如字符、数字、数据等符号都是离散信息。离散源，离散无记忆源，离散无记忆源，发射单个符号

2、的无记忆源，发射符号序列的无记忆源，发射符号序列的无记忆源，发射符号序列的马尔可夫源，3。学会交流。由离散的无记忆源发射的符号彼此独立，并且在发射的符号序列中的符号之间没有统计相关性。每个符号的出现概率是它自己的先验概率。离散存储源发出的每个符号的概率是相关的。发送单个符号的源意味着源一次仅发送一个符号来表示一条消息；发送符号序列的信源意味着信源每次发送一组包含两个以上符号的符号序列来表示一条消息。4。学习进行PPT通信时，符号序列的记忆源是指源发送的符号序列的整体概率(即联合概率)，以反映记忆源的特征。符号序列的马尔可夫源意味着某个符号的概率只与前一个或有限个符号相关，而不依赖于前一个符号。

3、这样的信源可以使用信源发送的符号序列中的符号之间的条件概率来反映存储特性。5。学会交流PPT3.先验概率与概率空间的形式。由离散源发送的每个符号消息的集合是：它们的概率是：这是符号的先验概率。一般信息源可以用概率空间来描述，而信息源的不确定性可以用概率空间中可能状态的数目及其概率来描述。状态空间，6。学习如何与PPT沟通。信息论关注随机变量的不确定性，它驱使我们观察和测量随机变量并从中获取信息。7.学会交流。问：什么是自我信息？什么是不确定性？什么是相互信息？平均自我信息量是多少？什么是条件熵？什么是联合熵？联合熵、条件熵和熵之间有什么关系？熵的性质是什么？什么是平均相互信息？什么是信息源熵？

4、如何计算离散源的熵？在第二节中，离散源信息论的概念，8，学习交流PPT，(1)自我信息量，1。信息量？2。因为信息量大？3.不确定性？4。联合自我信息量？5。有条件的自我信息量？本节的主要内容：9，学习交流PPT，I(信息量)不确定性减少量，(1)自我信息量，1。信息量，定义：随机事件的自身信息量定义为其发生概率对数3360，2的负值。自我信息量，即接收者收到消息后，获得的信息量等于接收消息前后不确定性的减少量。因为概率越小，出现的几率就越小，一旦出现，获得的信息量就越大。因为它是随机出现的，所以它是x的一个样本，所以它是一个随机量。并且是的函数，它也必须是随机的q对于离散的无记忆信息源，符号

5、串中的每个符号在统计上是独立的，符号串的自信息量是可加的。学习交换PPT，d。确定自我信息量的单位。信息论中常用的对数基数是2，信息量的单位是比特，用log2或lb表示；(比特/符号)如果取自然对数，信息的单位是自然对数，用对数或对数表示；(自然/符号)如果对数基数是10，信息的单位是哈特利，用log10或lg表示；(哈特利/符号)如果对数的基数是R，信息的单位是R-十进制单位/符号。这三个信息单元之间的转换关系如下：1 natlog2e l.433 bit，l Hartley log210 3.322 bit，12，学习交流PPT，定义：随机事件的不确定性在数量上等于其自身信息，表明这两个单

6、元是相同的，但它们的含义是不同的。具有一定概率分布的随机事件是否发生，存在不确定性，不确定性表征了事件的特征，自信息量是事件发生后给予观察者的信息量。3.不确定性，13。学习交流PPT，概率接近1的随机事件，发生的可能性很大，所以它包含的不确定性很小；相反，一个发生概率很小的随机事件很难猜测它是否会在某个时刻发生，因此它包含很大的不确定性；如果它是一个确定性事件，它的发生概率是1，那么它的不确定性是0。14，学习交流PPT，并给出一些关于自我信息量的例子：(1)包含在二进制符号(0，1)中的自我信息量具有相等的概率是：I (0)=I (1)=-log2 (1/2)=log22=1比特/符号，(

7、2)如果它是m比特，因此，I=-log2(1/2m)=m比特/符号，这意味着需要m比特的信息来指示这样的二进制数。15，学会交流PPT，(3)具有四个值符号的随机变量每个符号的概率相同，为1/4，每个符号的自信息量为：注意：位表示二进制数(0，1)，自信息量为2(位/符号)，这意味着其不确定度可以用2位二进制数(00，01，10)来度量，如果以4为对数基数，自信息量为1(四进制单位/符号)，这意味着其不确定度可以用1位四进制数来度量(4)英语字母中“e”、“c”和“o”的概率分别为0.105、0.023和0.001。他们的自我信息量是单独计算的。“e”的自我信息I(e)=-lb0.105=3.

8、25(位/符号)“c”=-lb0.023=5.44(位/符号)“o”=-lb0.0019。离散无记忆源)的概率空间为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210。找到消息的自我信息量和消息中每个符号的平均自我信息量？18，学会交换PPT，求解：源符号的自信息量：单位为比特/符号，源没有记忆，符号串中的每个符号在统计上是独立的，符号串的自信息量等于每个符号的自信息量之和：一个符号的平均自信息量：19，学会交换PPT，(6)同时掷出一对质地均匀的骰子，每个骰子互相面对(b)事件“两个1同时发生”的自信息量(c)事件的自我信息

9、量“两点中至少有一点是1”？解决方案： (a)中有两种情况：A 3 B 5、A 5 B 3。P(A)=1/362=1/18，I(A)=-lbP(A)=4.17(位)。有一种情况：A 1 B 1。P(B)=1/36，I(B)=-lbP(B)=5.17(位).(c) P(C)=15/65/6=11/36，I(C)=-lbP(C)=1.17(位)。20，学会交流PPT，(7)把81个硬币放在布袋里，它们的形状完全一样。众所周知，一枚硬币的重量不同于其他80枚硬币，但不知道这枚硬币比其他硬币重还是轻。问：通过确定随机取出的硬币碰巧是不同重量的硬币，可以获得多少信息？并进一步确定它比其他硬币重还是轻。解

10、是： (a) P(A)=1/81，I(A)=-lbP(A)=6.34(位)。(乙)丙(乙)=1/2，丙(甲)丙(乙)1/162；I=-lbP=7.34(位).21岁，学会交流PPT，4岁。联合自信息量，位/二进制码元，随机变量Z是两个随机变量X和Y的组合，即Z=XY，其概率空间：二进制联合码元的自信息量称为联合自信息量：同样，三进制联合码元的联合自信息量：位/三进制码元，22，学会交流PPT，注意：yj)所包含的不确定性也等于它们的自信息量。23，学习与交流PPT，定义：注：在给定的yj条件下，随机事件xi中包含的不确定性在数值上与条件自我信息相同，但它们的含义不同。5。条件自我信息，位/符号

11、，定义两种条件自我信息：位/符号，24，学会交流PPT，学会交流PPT，条件自我信息的几个例子：26，学会交流PPT，(1)因为棋子落入任何正方形的可能性都是一样的，所以棋子落入正方形是不确定的。学习交流PPT，解决方法：让A代表“大学生”事件，B代表“身高1.6米以上”事件，那么P(A)0.25；磷(硼)0.5；p(B | A)=0.75；因此：p(a | b)p(ab)/p(b)=p(a)p(b | a)/p(b)=0.750.25/0.5=0.375；I(A|B)-lbP(A|B)=1.42(位).在某一地区的女生中，有25人是大学生，而在女大学生中，有75人身高超过1.6米，其中身高超

12、过1.6米的女生占女生总数的一半。如果我们知道“身高超过1.6米的女孩是大学生”，我们会得到多少信息？28，学习传达PPT，(2)相互信息，29，学习传达PPT，相互信息，让观察输入为：让观察结果为：并且从yj获得的关于输入符号xi的信息被称为xi和yj之间的相互信息(事件信息)(注意，它不同于联合自我信息符号)。信息的先验不确定性，后验不确定性，xi在观察yj之前的不确定性，xi在观察yj之后的不确定性，30，学会交流PPT，(1) yj的互信息I(Xi；(Xi；Yj)=I(xi)-I(xi/yj)相互信息I(Xi；Yj)=自我信息I(xi)-条件自我信息I(xi/Yj)I(Xi)-在接收器

13、接收yj之前将Xi发送到源的不确定性I(Xi/yj)-在接收器接收yj之后将Xi发送到源的不确定性I(Xi)；Yj)-通过接收yj获得的互信息(关于xi )=不确定性的减少，p(xi)先验概率：信源发送xi p(xi/yj)后验概率：接收yj后，信宿推测信源发送Xi的概率，即互信息是后验概率与先验概率之比的对数3360，31，学习通信。xi)意味着在信源发送Xi之前和之后，由信宿接收的yj的不确定性被减少(3)I(Xi；Yj)=I(xi) I(Yj) -I(xi，yj)注意I(Xi；Yj)不同于我(xi，yj)！32，学会交换PPT，(4)真实信息：后验概率p(xi|yj)1，即当yj被接收时

14、，可以完全确定此时的输入一定是xi，而xi的后验不确定性被完全消除。即从输出结果中获得输入的所有真实信息：注1 .输入的先验不确定性在数值上等于其本身包含的真实信息。信息和不确定性是两个不同的物理概念，不是信息，而是不确定性。相互信息就是信息，把它当作信息来对待只能说明一种数量上的平等关系。废话，33，学习交流PPT，(4)互信息定义扩展：符号xi和符号对yj zk之间的互信息定义为，34，学习交流PPT，2。互信息的本质(具体的演绎可参见教材p24) (1)对称性一(Xi；yj)=I(yj；Xi(2)当x和y独立时，我(Xi；yj)=0(3)I(Xi；Yj)可以是正、负或0。当事件xi和yj

15、在统计上独立时，相互信息为零；互信息为正，表明yj有助于降低xi的不确定性；相反，负互信息表明yj的出现增加了xi的不确定性(如信道干扰)。(4)任何两个事件之间的相互信息不能大于任何事件的自我信息。学会交流PPT，我(Xi；Yj)可以是正、负或0。让yj代表“闪电”，那么当xi代表“雷声”时，I(xi/yj)=0，I(Xi；当xi代表“雨”时，yj=I(Xi)0，I(xi/yj) I(xi)，I(Xi；Yj) 0当xi代表“雾天”时，I(xi/yj)=I(xi)，I(Xi；Yj)=0 I (xi/yj) I(xi)，I(Xi；Yj) 0，36，学习交流PPT，3。条件互信息给定zk，xi和YJ之间的互信息是，此外，xi和yjzk之间也有互信息：0，37，学习交流PPT(这个公式的推导见p25-26)，这是从上面两个公式中得到的。说明：关于xi的信息是在一次联合活动之后提供的。学习交换PPT，4。相互信息的例子：两种消息由已知的信源发送，消息在二进制对称信道上传输。渠道传播的特点是：寻求相互的信息，解决方案：根据结果，39，学会沟通PPT，并把100个球放在一个布袋里，其中80个球是红色的，20个球是白色的。如果你随机触摸一个球，猜猜它的颜色，平均一下你能得到的自我信息量。根据问题的含义，该随机事件的概率空间为：(3