信息论导论-第2章课件

1、第2章 离散信源及其信息熵武刚2012年3月信息论导论信息论导论-第2章，武刚2复习 信息的概念什么是信息？信息论的研究内容香农信息论单符号离散信源自信息量：比特、奈特、笛特信息论导论-第2章，武刚3本章的两个主要问题离散信源所发出的一条消息，它包含着多大的信息量？ 从离散信源的整体出发，它的信息量又应该如何度量？信息论导论-第2章，武刚4提纲一、自信息量二、单符号离散信源的信息熵三、多符号离散信源及其信息熵信息论导论-第2章，武刚5一、自信息量最简单的信源?为给出定量度量信息的方法，先讨论最简单的信源：1、单符号离散信源如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称

2、这种信源为单符号离散信源。例子：掷骰子、简单的天气气象如何描述这些事件？概率论？信息论导论-第2章，武刚6一、自信息量：单符号信源模型(1)掷骰子这一单符号离散信源可表示为：而某一天简单的天气气象这一单符号离散信源则可表示为：信息论导论-第2章，武刚7一、自信息量：单符号信源模型(2)单符号离散信源的数学模型：预备知识联合概率条件概率信息论导论-第2章，武刚8一、自信息量:定义假设一个单符号离散信源，其输出被传递给信宿；设P(x1)最大、P(xn)最小，问题:输出哪条消息包含更多的信息，x1,还是xn？根据香农信息的概念消息中所包含的不确定性的成分才是信息不确定性的成分越大，或者说出现的概率越

3、小，信息量就越大；从这个意义上，输出xn包含更多的信息。这个量是多少，如何表示？信息论导论-第2章，武刚9一、自信息量：定义(1)如果将离散信源输出xi 所包含的信息量用I(xi)来表示并将其称为xi 的自信息量，则其必须满足的条件是： I(xi)与输出xi的概率相关； I(xi)是P(xi)的减函数，且当P(xi) =1时I(xi) =0 。 I(xi)是P(xi)的连续函数；因此，xi 的自信息量的定义为：信息论导论-第2章，武刚10一、自信息量：定义(1)自信息量的定义：无量纲，根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit, binary unit)对数底为e时，

4、其单位为奈特(nat, nature unit)对数底为10时，其单位为哈特(Hart, Hartley)。目前的通信系统或其他信息传输系统大多以二进制为基础，因此信息量的单位以bit最为常用。信息论导论-第2章，武刚11一、自信息量以bit为单位的自信息量记为：3、自信息量的性质I(xi)是非负值；I(xi)是随机量；10logxP(x)P(x)I(xi)是P(xi)的单调递减函数。信息论导论-第2章，武刚12一、自信息量证明：本课件中定义信息论导论-第2章，武刚13一、自信息量例1：求掷骰子这一信源发出各种消息所包含的自信息量。解：该信源的数学模型为信息论导论-第2章，武刚14一、自信息量

5、例2：求某一天简单的天气气象这一信源发出各种消息所包含的自信息量。解： 该信源的数学模型为：信息论导论-第2章，武刚15互信息量(简述)1、互信息量的定义2、互信息量的性质信息论导论-第2章，武刚16互信息量：定义两个随机事件X和Y，分别取值于信源、信宿发出的离散消息集合信源X的数学模型信宿Y的数学模型信源X有扰信道信宿Y干扰源a1a2a3anb1b2b3bm后验概率：P(ai/bj)先验概率：P(ai)信息论导论-第2章，武刚17互信息量例2.1.2, 根据天气气象信源模型，观测得到的信息是“今天不是晴天(y1)”问各消息与y1的互信息量信息论导论-第2章，武刚18互信息量与自信息量的关系I

6、(x2; y1)与I(x2)及I(x2/y1) I(x2; y1)=I(x2)-I(x2/y1)I(xi; yj)=I(xi)-I(xi/yj) I(yj; xi)=?互信息量等于自信息量减去条件自信息量互信息量的内容留待第4章后续讨论信息论导论-第2章，武刚19本章内容提纲一、自信息量二、单符号离散信源的信息熵三、多符号离散信源及其信息熵信息论导论-第2章，武刚20二、单符号离散信源的信息熵自信息量：一个单符号离散信源发出各种消息所包含的信息量, 问题：从该信源的整体出发，它的信息量又应该如何度量？1、单符号离散信源的信息熵如果将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的信

7、息熵，也叫香农熵，信息熵的定义为：信息论导论-第2章，武刚21二、单符号离散信源的信息熵信息熵的单位是比特/符号(bit/symbol)。信息熵是从整体出发对一个离散信源信息量的度量。2、信息熵的性质和定理H(X)的非负性；信息论导论-第2章，武刚22二、单符号离散信源的信息熵H(X)的上凸性；H(X)的上凸性不作证明。最大熵定理何种单符号信源的熵最大？信息论导论-第2章，武刚23二、单符号离散信源的信息熵信息论导论-第2章，武刚24二、单符号离散信源的信息熵当信源中各离散消息以等概率出现时，可得到最大信源熵，其熵为：信息论导论-第2章，武刚25信源熵的其他性质扩展性随机变量中某个取值的概率趋

8、于零时，两种情形(有、无这个变量)的熵相同确定性只要一个变量取值的概率为1，则熵为零可加性极值性多变量情形（后续讨论）信息论导论-第2章，武刚26二、单符号离散信源的信息熵例1，求掷骰子这一信源的信息熵。解：该信源的数学模型为信息论导论-第2章，武刚27二、单符号离散信源的信息熵解： 该信源的数学模型为：例2，求某一天简单的天气气象这一信源的信息熵。信息论导论-第2章，武刚28复习自信息量单符号离散信源的信息熵最大熵定理的证明及含义信息论导论-第2章，武刚29二、单符号离散信源的信息熵例3，已知信源求信息熵并作出H(p)关于p的曲线。当p=0时，H(p)=0,p=0.25时，H(p)=0.81

9、1p=0.5时，H(p)=1,p=0.75时，H(p)=0.811p=1时，H(p)=000.51H(p)1p信息论导论-第2章，武刚30二、单符号离散信源的信息熵信源熵的三种物理含义信源熵H(X)表示信源输出后，平均每个离散消息所提供的信息量；信源熵H(X)表示信源输出前，信源的平均不确定度；信源熵H(X)反映了变量X的随机性信息论导论-第2章，武刚31主观价值与主观意义香农定义的熵未考虑人的主观因素，对不同观测、接收信息的人，得到不同的信息熵引入重量空间到信源的模型性质非负性、连续性、对称性、均匀性、等重性、确定性、非容性、扩展性、线性叠加性、加权熵的最大值加权熵信息论导论-第2章，武刚3

10、2平均互信息量留待第4章讨论信息论导论-第2章，武刚33本章内容提纲一、自信息量二、单符号离散信源的信息熵三、多符号离散信源及其信息熵信息论导论-第2章，武刚34三、多符号离散信源及其信息熵如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。现实中，更普遍的情况是信源每次发出的消息是符号序列。多符号离散信源的例子有电报、文字等。信息论导论-第2章，武刚35一般情况下，信源在不同时刻发出符号的概率分布是不同的，即将多符号离散信源发出的符号序列记为并设序列中任一符号都取值于集合这种情况分析起来比较困难，不作讨论。三、多符号离散信源

11、及其信息熵信息论导论-第2章，武刚36对于多符号离散信源发出的符号序列1、离散平稳信源及其数学模型如果任意两个不同时刻k和l，k=1,2, ，l=1,2, ，其概率分布相同，即则称该多符号离散信源为一维离散平稳信源。三、多符号离散信源及其信息熵信息论导论-第2章，武刚37如果不仅其概率分布相同，其二维联合概率分布也相同，即则称该多符号离散信源为二维离散平稳信源。同理，如果除概率分布相同外，直到N维的各维联合概率分布也都与时间起点无关，即三、多符号离散信源及其信息熵信息论导论-第2章，武刚38则称该多符号离散信源为N维离散平稳信源。一般，可将N维离散平稳信源发出的符号序列看成长度为N的一段符号序

12、列，即三、多符号离散信源及其信息熵信息论导论-第2章，武刚39N维离散平稳信源的数学模型：其联合概率分布为三、多符号离散信源及其信息熵信息论导论-第2章，武刚402、离散平稳信源的信息熵先讨论二维离散平稳信源的信息熵。二维离散平稳信源的数学模型：该信源的信息熵：三、多符号离散信源及其信息熵信息论导论-第2章，武刚41三、多符号离散信源及其信息熵信息论导论-第2章，武刚42式中，H(X2/X1 )称为条件熵，是条件信息量在联合概率上的数学期望。三、多符号离散信源及其信息熵与此相对应，将该信源的信息熵H(X1X2)称为联合熵，信源符号的信息熵H(X1)、 H(X2)称为无条件熵。信息论导论-第2章

13、，武刚43三、多符号离散信源及其信息熵信息论导论-第2章，武刚44三、多符号离散信源及其信息熵信息论导论-第2章，武刚45如果将该信源符号所提供的平均信息量记为H2(X1X2)并称其为平均符号熵，也叫熵率，则三、多符号离散信源及其信息熵信息论导论-第2章，武刚46x1x2x3x17/92/90 x21/83/41/8x302/119/11xi2xi1例1:已知二维离散平稳信源的符号 ,其概率分布,其条件概率三、多符号离散信源及其信息熵求该信源的联合熵和平均符号熵。分布P(X2/X1)信息论导论-第2章，武刚47三、多符号离散信源及其信息熵信息论导论-第2章，武刚48三、多符号离散信源及其信息熵

14、信息论导论-第2章，武刚49将二维的情况推广到N维，可得到N维离散平稳信源的信息熵：三、多符号离散信源及其信息熵信息论导论-第2章，武刚50当N时，平均符号熵取极限值，称之为极限熵， 用H表示，即可以证明，极限熵H存在且三、多符号离散信源及其信息熵N维离散平稳信源的联合熵、平均符号熵和极限熵的计算都比较困难。信息论导论-第2章，武刚51三、多符号离散信源及其信息熵1、离散平稳信源及其数学模型2、离散平稳信源的信息熵3、离散平稳无记忆信源的信息熵信息论导论-第2章，武刚523、离散平稳无记忆信源的信息熵如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离散平稳无记忆信源。由N维离散平稳

15、信源的数学模型：三、多符号离散信源及其信息熵信息论导论-第2章，武刚53离散平稳无记忆信源的符号序列中各符号相互独立，故三、多符号离散信源及其信息熵相当于一维离散平稳信源扩展N次，因此也称其为N次扩展信源。信息论导论-第2章，武刚54从而N维离散平稳无记忆信源(一维离散平稳信源的N次扩展信源)的数学模型：三、多符号离散信源及其信息熵信息论导论-第2章，武刚55该信源的信息熵：三、多符号离散信源及其信息熵信息论导论-第2章，武刚56三、多符号离散信源及其信息熵信息论导论-第2章，武刚57该信源的平均符号熵：该信源的极限熵：三、多符号离散信源及其信息熵信息论导论-第2章，武刚58例2，已知信源求该

16、信源二次扩展信源的联合熵和平均符号熵。三、多符号离散信源及其信息熵信息论导论-第2章，武刚594、马尔科夫(Markov)信源及其极限熵如果离散平稳信源发出的符号只与前面已经发出的m(N)个符号相关，则称该信源为m阶马尔科夫信源。马尔科夫信源是离散平稳有限记忆信源， m是马尔科夫信源的记忆长度。三、多符号离散信源及其信息熵因此，可将m阶马尔科夫信源发出的符号序列看成长度为m+1的一段段符号序列。信息论导论-第2章，武刚60与联合概率一样，条件概率也可以反映记忆特征，m阶马尔科夫信源的数学模型：三、多符号离散信源及其信息熵信息论导论-第2章，武刚61为了方便描述马尔科夫信源，引入状态序列三、多符

17、号离散信源及其信息熵信息论导论-第2章，武刚62故m阶马尔科夫信源的数学模型可用状态来描述：三、多符号离散信源及其信息熵该数学模型一般用状态转移图来表示。信息论导论-第2章，武刚63例3，已知二元二阶马尔科夫信源作出其状态转移图。解：设状态e1=00、e2=01、e3=10、e4=11三、多符号离散信源及其信息熵信息论导论-第2章，武刚64e1e2e3e40.20.80.50.5三、多符号离散信源及其信息熵信息论导论-第2章，武刚65e3e40.20.80.50.5三、多符号离散信源及其信息熵e1e2e3e40.20.80.50.5信息论导论-第2章，武刚66由于m阶马尔科夫信源发出的符号序列的有效长度为m+1，因此其极限熵：三、多符号离散信源及其信息熵信息论导论-第2章，武刚67为了强调m阶马尔科夫信源的长度特征，一般将其极限熵H记为Hm+1，即三、多符号离散信源及其信息熵信息论导论-第2章，武刚68由于P(ej/ei)是马尔科夫信源的数学模型给定的，因此极限熵计算的关键在于P(ei)的求取。根据马尔科夫链的各态历经定理，有可以解决P(ei)的求取问题。三、多符号离散信源及其信息熵信息论导论-第2章，武刚69例4，已知二元