信息论与编码第二版第2章.ppt

2.2离散信源熵和互信息,2.2.1自信息量2.2.2离散信源熵,要求：1.掌握自信息量、联合自信息量和条件自信息量的含义和计算方法；2.掌握单符号熵、条件熵与联合熵的含义和计算方法。,信源发出某一符号后，它提供多少信息量？这就是要解决信息的度量问题。在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。,2.2.1自信息量,1.定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。如：定义为具有概率为p(xi)的符号xi的自信息量为I(xi)=-logp(xi)说明：自信息量的单位与所用的对数的底数有关。对数底数为2，信息量单位为比特（bit）；对数底数为e，信息量单位为奈特（nat）；对数底数为10，信息量单位为笛特（det）；3个信息量单位之间的转化关系为：1nat=log2e=1.433bit1det=log210=3.322bit,2.随机事件的不确定性出现概率大的随机事件，包含的不确定性小，即自信息量小；出现概率小的随机事件，包含的不确定性大，即自信息量大；出现概率为1的随机事件，包含的不确定性为0，即自信息量为0；,3.不确定度与自信息量：信源符号自信息量：指某一符号出现后，提供给收信者的信息量；信源符号不确定度：它是信源符号固有的，不管符号是否发出，都存在不确定度。信源符号自信息量与信源符号不确定度在数量上相等，两者单位也相同。,4.自信息量的特性：，非负性；单调递减性；可加性：,5.联合自信息量与条件自信息量,当和相互独立时，有于是有,若有两个符号、同时出现，用联合概率来表示，联合自信息量为,条件自信息量：当和相互联系时，在事件出现的条件下，的自信息量称为条件自信息量，定义为,为在事件出现的条件下，发生的条件概率。,例2-3：英文字母中“e”的出现概率为0.105，“o”的出现概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I(e)=-log20.105=3.25bit;“o”的自信息量I(o)=-log20.001=9.97bit;,例:居住某地区的女孩中有25是大学生，在女大学生中有75身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？解：设x1为女孩是大学生；x2为身高1.6m以上的女孩；则p(x1)=1/4;p(x2)=1/2;“女大学生中有75身高为1.6m以上”即p(x2|x1)=3/4;事件“身高1.6m以上的某女孩是大学生”出现的概率为则信息量,2.2.2离散信源熵,1.平均自信息量对于一个给定信源，各个符号的自信息量是与各自的概率分布有关的一个随机变量，不能作为信源总体的信息量度，我们采用求平均的方法。定义自信息量的数学期望为信源的平均自信息量，即单位,2.信源熵（信源的平均不确定度）信源熵H(X)，表示平均意义上信源的总体特性，是在总体平均意义上的信源不确定性。信源熵在数量上等于平均自信息量，但两者的含义不同：,平均自信息量：消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说，获得这样大的信息量后，信源不确定度就被消除了。信源平均不确定度（信源熵）：在总体平均意义上的信源不确定度。不管是否输出符号，只要这些符号具有某种概率分布，就决定了信源的平均不确定度（信源熵）。,例2-5设信源符号集Xx1,x2,x3,每个符号发生的概率分别为p(x1)=1/2，p(x2)=1/4，p(x3)=1/4，求信源熵H(X)。解：即该信源中平均每个符号所包含的信息量为1.5bit。,例:已知某信源的概率空间为求由该信源发出60个符号构成的消息所含的信息量。解：先求平均每个符号的信息量，即信息熵则消息所含的信息量为60H(X)=114.3bit,3.联合熵和条件熵（1）联合熵（共熵）联合熵是联合符号集合（X,Y）的每个元素对的自信息量的概率加权统计平均值，它表示X和Y同时发生的不确定度。定义为,（2）条件熵条件熵是在联合符号集合（X，Y）上的条件自信息量的联合概率加权统计平均值。H(X|Y)表示已知Y后，X的不确定度。,它表示信源Y发符号yj的前提下，信源X每发一个符号提供的平均信息量。,当X和Y相互独立时，存在,既有,H(X|Y)当Y取特定值yj时，X集合的条件熵H(X|yj)为,例2-8一个二进制信源X发出符号集0,1，经过离散无记忆信道传输，信道输出用Y表示。由于信道中存在噪声，接收端除收到0和1的符号外，还有不确定的符号，用“？”表示。已知X的先验概率为P(x=0)=2/3,P(x=1)=1/3,符号的转移概率为P(y=0|x=0)=3/4,P(y=?|x=0)=1/4,P(y=1|x=1)=1/2,P(y=?|x=1)=1/2,其余为零。求H(X),H(Y|X),H(X,Y),H(Y),H(X|Y)。,解：,例2-9.二进制通信系统使用符号0和1，事件u0表示发出符号“0”，事件u1表示发出符号“1”，事件v0表示收到符号“0”，事件v1表示收到符号“1”。已知概率p(u0)=1/2，p(v0|u0)=3/4，p(v0|u1)=1/2。求:已知发出u0，收到符号后获得的信息量；已知发出符号，收到符号后获得的信息量；已知发出和收到的符号，获得的信息量；已知收到的符号，被告之发出符号，获得的信息量。,（1）已知发出一个0，求收到符号后得到的信息量；,（2）已知发出的符号，求收到符号后得到的信息量；,（3）已知发出和收到的符号，求能得到的信息量；解法1：,解法2：,（4）已知收到的符号，求被告知发出的符号得到的信息量。,解法2：Bayes定理,解法1：,课堂练习,1、掷两粒骰子，当点数之和为5时，该消息包含的信息量是_bi