2离散信源及其信息测度.ppt

1、第2章 离散信源及其信息测度,2.1 离散信源的数学模型 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆的扩展信源 2.5 离散平稳信源 2.6 马科夫信源,离散信源的数学模型(1),研究对象是：信源各种可能的输出以及输出各种消息的不确定性。不研究信源的内部结构，不研究信源为什么产生和如何产生各种不同的、可能的消息。,所以，这个单符号离散信源的数学模型可表示为：,例如，掷一个质地均匀的六面骰子，如把朝上一面的点数作为作为随机试验结果，把试验结果看作信源的输出，那么这个随机试验可视为一个信源。信源的输出X的状态空间及其概率空间P(X)集合分别为,离散信源的数学模型(2),

2、上述信源输出的是单个符号且符号集取值是有限的，可用一维离散性随机变量来描述这些信源的输出。其数学模型就是离散性的概率空间：,显然， 应满足：,从上式可以看出，信源可能的消息时有限的，每次必定选取其中一个信息输出，满足完备集条件。,离散信源的数学模型(3),如果出现消息数不可数，符号集A的取值是连续的或取值是整个实数集。例如，语音信号、热噪声信号，遥控系统中有关的电压、电流、温度、压力等测量的数据。这些数据的取值都是连续的、随机的。其数学模型为：,并满足,p(x)是随机变量的概率密度函数，上式表明连续型概率空间满足完备集,离散信源的数学模型(4),实际信源的输出往往是由一系列符号序列所组成。可以

3、把信源看成时间上或空间上离散的一系列随机变量，即为随机矢量，这样信源的输出可用N维随机矢量X来表示：,下面是一个无记忆信源的一维扩展为二维信源的实例,式中每个随机矢量得可能取值是有限的,可见，对于无记忆信源，其二维信源可视为两个一维信源的并联,自信息（1）,从科学的发展史来看，新概念或新的度量的引进大都涉及两个问题： 如何引进（引进合理，能描述对象的特征） 能解决什么问题 信息的核心问题是它的度量问题，至今最为成功的，也是最为普及的信息度量是由Shannon在他的通信中的数学理论中提出的、建立在概率统计模型上的信息度量，他把信息定义为“用来消除不确定的东西”。,自信息（2）,自信息（3）,自信

4、息（4）,信息熵（1）,前面定义的自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，其所包含的信息量也就不同。所以自信息是一个随机变量，不能用它来作为怎个信源的信息测度。,信息熵（2）,例2.2， 有一个布袋内放100个球，其中80个红球，20个白球。若随机抽一个，猜是什么颜色，这一随机事件的概率空间为,信息熵（3）,信息熵（4）,信息熵（5）,因此信息熵是从平均意义上来表征信源的总体信息测度的一个量。具有以下三种物理含义：,3、用信息熵H（X）来表征变量X的随机性,信息熵（6）,例2.4 设甲地的天气预报为：晴（1/2）、阴（1/4)、大雨（1/8）、小雨（1/8）。设某乙地的

5、天气预报为：晴（7/8）、小雨（1/8）。（1） 试求两地天气预报各自提供的平均信息量。（2）若甲地天气预报为两极端情况，一种是晴出现的概率为1，另一种情况是4种天气状况等概率出现， 试求这两种情况所提供的平均信息量。（3）试求乙地出现这两种极端情况所提供的平均信息量。,信息熵（7）,例题讲解(一),例2.1 设有12枚同值硬币,其中有一枚为假币,且只知道假币的重量与真币的重量不同,但不知究竟是重还是轻.现采用天平比较左右两边轻重的方法来测量(因无砝码).为了在天平上称出哪一枚是假币,试问至少必须称多少次? 解: 设”在12枚同值硬币中,某一枚为假币”这事件为a,出现概率为 P(a)=1/12

6、 又设”假币的重量比真币的重量是重,或轻”这事件为b,出现概率为 P(b)=1/2 事件a的不确定性为,事件b的不确定性为,要发现假币并知道其比真币重还是轻所需的信息量是消除这两事件的不确定性.因为这两事件是统计独立事件,所以所需要获得的信息量为,而在天平上称一次能判断出三种情况:重,轻和相等.这三种情况是等概率的.所以,天平称一次能获得的信息量为,则至少必须称的次数为,所以至少必须称三次.,例题讲解(二) 例2.3 如果你在不知道今天是星期几的情况下问你的朋友”明天是星期几?”则答案中含有多少信息量?如果你在已知今天是星期四的情况下提出同样的问题,则答案中你能获得多少信息量(假设已知星期一至

7、星期日的排序)? 解 设事件A为不知道今天是星期几的情况下,问明天是星期几的答案. 事件B为已知今天是星期四的情况下,问明天是星期几的答案. 可知 事件A的概率 P(A)=1/7 事件B的概率 P(B)=1 则从事件A中获得的信息量I(A)= -log2P(A)=log27=2.807比特 从事件B中获得的信息量I(B)= -log2P(B)=0比特 由此可见,必然事件出现的概率为1,从中获得的信息量为零.,例题讲解(三),例2.15 为了传输由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，以01代表B，以10代表C，以11代表D。每个二元码脉冲宽度为5ms

8、。 (1) 不同字母序列等概率出现时，计算传输的平均信息速率。 (2) 若每个字母出现的概率分别pA=1/5,pB=1/4,pC=1/4,pD=3/10，试计算传输的平均速率。,解（1） 传输系统码速率为,（码符号/s）,不同字母序列等概率出现时，信源码的信息熵为：,H(X)=4(1/4)log4+=2 (bit/码符号),平均信息速率为,Rb=H(X)RB =2 bit/码符号100码符号/s=200bit/s,(2) 在第二种情况下， 信源码的信息熵为：,平均信息速率为,Rb=H(X)RB =1.9855 bit/码符号100 码符号/s =198.55 bit/s,例题讲解(四),习题2

9、.13 （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5105 个像素和10个不同亮度的电平，求传递此图像所需的信息率（bit/秒）,并设每秒要传送30帧图像，所有像素都是独立变化的，且所有亮度电平等概率出现。 （2）设彩色电视系统，除了满足对于黑白电视系统的上述要求外，还必须有30个色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍,解（1）每个像素亮度概率分布为：,Pi=1/10 i=1，2，3，,10,每个亮度像素信息熵为：,为了保证电视图像的清晰度和适当的对比度，传递30帧此图像所需的信息率为,I=305105（信源符号/s）3.3219（bit/信

10、源符号） =49.829(Mbit/s),证明 （2） 彩色电视系统每个亮度像素概率分布为:,Pi=1/300 i=1，2，3，,300,每个亮度像素信息熵为：,传输时，彩色系统的信息率与黑白系统的信息率之比为：,故得证,2.3 信息熵的基本性质,信息熵的基本性质,它具有下列一些性质：,信息熵的基本性质,1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性,信息熵的对称性,注意 ：如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么，这些信源的熵就相同。这也说明了所定义的信息有它的局限性，它不能描述事件本身的具体含义和主观价值等。,信息熵的基本性质,1、

11、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性,信息熵的确定性,这个性质意味着从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其他符号几乎不可能出现，那么，这个信源是一个确知信源，其熵为0。,当信源X的概率空间中的任一概率分量等于1时，其他所有概率分量均等于0,信息熵的基本性质,1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性,信息熵的非负性,信息熵的基本性质,1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性,信息熵的扩展性,扩展性亦称连续性，当信源空间某概率分量发生微小波

12、动，又要求其它概率分量均保持不变，为了满足信源概率空间的完备集条件，势必会增加信源符号数，此时熵函数可表示为,意义：信源的取值数增多时，若这些取值对应的概率很小（接近于0），则信源的熵不变。这也是熵总体平均值的一种体现。,信息熵的基本性质,1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性,信息熵的可加性（1）,信息熵的可加性（2）,证明过程如下：,信息熵的基本性质,1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性,信息熵的递推性(1),信息熵的递推性(2),信息熵的递推性(3),这个试验的结果，就是熵函数递推性的试验基础。 以此类推，对于4维概率向量的信源,信息熵的递推性(4),其信息熵H(X)可写成,信息熵的递推性(5),信息熵的递增性：,信息熵的递推性(6),信息熵的递推性(7),熵函数的各项代数性质，既充分说明用熵函数作为信源的总体信息测度函数的合理性，同时也从不同角度揭示了信源的总体信息特性。,信息熵的基本性质,1、对称性 2、确定性 3、非负性 4、扩展性 5、可加性 6、递推性 7、极值性,信息熵的极值性(1),信息熵的极值性(2),在满足pi=1（i=1,2,q）的约束情况下，求H(p1,p2,pq)的最大值。