信息论与编码-第2讲-信源及其信息量1-自信息与熵

第1页2024/4/14第二章信源及其信息量本章重点：信源的统计特性和数学模型、各类信源的信息测度—熵及其性质。2.1单符号离散信源2.2多符号离散平稳信源2.3连续信源2.4离散无失真信源编码定理2.5小结ElectronicsEngineeringDepartment,XXXXXxxXxxx第2页2024/4/142.1单符号离散信源2.1.1离散变量的自信息量2.1.2信息熵2.1.3熵的基本性质和定理2.1.4互信息量2.1.5熵之间的关系第3页2024/4/142.1.1离散变量的自信息量信息度量的方法：最常用的方法是统计度量。在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。不确定性可以用概率论与随机过程来描述。香农信息论的基本假说：用随机变量研究信息。(1)信源的描述方法(2)单符号离散信源数学模型(3)自信息量和条件自信息量2.1单符号离散信源第4页2024/4/142.1.1离散变量的自信息量(1)信源的描述方法①离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。单符号离散信源：只涉及一个随机事件，可用随机变量描述。多符号离散信源/扩展信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。②连续信源：输出连续消息。可用随机过程描述。2.1单符号离散信源第5页2024/4/142.1.1离散变量的自信息量(2)单符号离散信源数学模型单符号离散信源的数学模型就是离散型的概率空间：X—随机变量，指的是信源整体xi—随机事件的某一结果或信源的某个元素p(xi)=P(X=xi)—随机事件X发生某一结果xi的概率。n

是有限正整数或可数无限大2.1单符号离散信源第6页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量②联合自信息量③条件自信息量2.1单符号离散信源第7页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量信息量与不确定性信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息也就越大。由于种种原因（例如噪声太大），收信者接收到受干扰的消息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。2.1单符号离散信源第8页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量信息量与不确定性信息量的直观定义：

收到某消息获得的信息量＝不确定性减少的量＝（收到此消息前关于某事件发生的不确定性）－（收到此消息后关于某事件发生的不确定性）2.1单符号离散信源第9页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量信息量与不确定性信息量的直观定义：在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此：收到某消息获得的信息量＝收到此消息前关于某事件发生的不确定性＝信源输出的某消息中所含有的信息量2.1单符号离散信源第10页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量不确定性与发生概率事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。概率等于1的必然事件，就不存在不确定性。某事件发生所含有的信息量应该是该事件发生的先验概率的函数。2.1单符号离散信源第11页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量不确定性与发生概率函数f[p(xi)]

应满足以下4个条件：

f[p(xi)]应是p(xi)的单调递减函数：

当p(x1)>p(x2)时，f[p(x1)]<f[p(x2)]

当p(xi)=1时，f[p(xi)]=0

当p(xi)=0时，f[p(xi)]=∞

两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。2.1单符号离散信源第12页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量不确定性与发生概率根据上述条件可以从数学上证明这种函数形式是对数形式。2.1单符号离散信源第13页2024/4/14(3)自信息量①自信息量不确定性与发生概率用概率测度定义信息量：设离散信源X，其概率空间为：如果知道事件xi已发生，则该事件所含有的自信息定义为：X，Y，Z代表随机变量，指的是信源整体；xi,yj,zk

代表随机事件的某一结果或信源的某个元素。不可混淆!2.1.1离散变量的自信息量2.1单符号离散信源第14页2024/4/14概率复习2.1单符号离散信源第15页2024/4/14概率复习2.1单符号离散信源第16页2024/4/14概率复习2.1单符号离散信源第17页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量自信息含义

当事件xi发生以前：表示事件xi发生的不确定性。

当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。2.1单符号离散信源第18页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量自信息含义自信息的测度单位及其换算关系如果取以2为底，则信息量单位称为比特2.1单符号离散信源第19页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量自信息含义自信息的测度单位及其换算关系如果取以e为底，则信息量单位称为奈特2.1单符号离散信源第20页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量自信息含义自信息的测度单位及其换算关系如果取以10为底，则信息量单位称为哈特2.1单符号离散信源第21页2024/4/142.1.1离散变量的自信息量(3)自信息量①自信息量自信息含义自信息的测度单位及其换算关系

1奈特＝1.433比特1哈特＝3.322比特一般都采用以“2”为底的对数，为了书写简洁，有时把底数2略去不写。2.1单符号离散信源第22页2024/4/142.1.1离散变量的自信息量(3)自信息量②联合自信息量两个随机事件的信源模型为：其中：0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)，则联合自信息量为：2.1单符号离散信源第23页2024/4/142.1.1离散变量的自信息量(3)自信息量②联合自信息量当X和Y相互独立时：p(xiyj)=p(xi)p(yj)两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。2.1单符号离散信源第24页2024/4/142.1.1离散变量的自信息量(3)自信息量③条件自信息量设yj条件下，发生xi的条件概率为p(xi/yj)，那么它的条件自信息量I(xi/yj)定义为：表示在特定条件下（yj已定）随机事件xi

所带来的信息量2.1单符号离散信源第25页2024/4/142.1.1离散变量的自信息量(3)自信息量③条件自信息量同理，xi已知时发生yj的条件自信息量为：2.1单符号离散信源第26页2024/4/142.1.1离散变量的自信息量(3)自信息量③条件自信息量自信息量、条件自信息量和联合自信息量之间的关系2.1单符号离散信源第27页2024/4/142.1.2信息熵(1)信息熵(2)条件熵(3)联合熵2.1单符号离散信源第28页2024/4/142.1.2信息熵(1)信息熵①信息熵—平均信息量自信息是一个随机变量：自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。平均信息量—信息熵：自信息的数学期望。也称为信源的信息熵／信源熵／香农熵／无条件熵／熵函数／熵。2.1单符号离散信源第29页2024/4/142.1.2信息熵(1)信息熵①信息熵—平均信息量信息熵的单位：取决于对数选取的底。一般选用以2为底，其单位为比特／符号。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。2.1单符号离散信源第30页2024/4/142.1.2信息熵(1)信息熵信息熵的三种物理含义：信息熵是从平均意义上来表征信源的总体特性的一个量。因此信息熵有以下三种物理含义：信息熵H(X)是表示信源输出后每个消息（符号）所提供的平均信息量；信息熵H(X)是表示信源输出前，信源的平均不确定性；用信息熵H(X)来表征变量X的随机性。2.1单符号离散信源第31页2024/4/142.1.2信息熵(1)信息熵信息熵的三种物理含义：【举例】有两个信源，其概率空间分别为：信息熵分别为：

H(X)=－0.99log0.99－0.01log0.01=0.08比特/符号

H(Y)=－0.5log0.5－0.5log0.5=1比特/符号可见：H(Y)>H(X)2.1单符号离散信源第32页2024/4/142.1.2信息熵(1)信息熵信息熵的三种物理含义：【举例】

本例结论：信源Y的二个输出消息是等可能性的，所以在信源没有输出消息以前，事先猜测哪一个消息出现的不确定性要大；信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，因为x1出现的概率大。所以信源X的不确定性要小；信源Y比信源X的平均不确定性大；2.1单符号离散信源第33页2024/4/142.1.2信息熵(1)信息熵信息熵的三种物理含义：【举例】

本例结论：信息熵反映的就是信源输出前平均不确定程度的大小。变量Y取y1

和y2

是等概率的，所以其随机性大。而变量X取x1

的概率比取x2的概率大很多，这时变量X的随机性就小。因此H(X)反映了变量的随机性。2.1单符号离散信源第34页2024/4/142.1.2信息熵(1)信息熵

信息熵与平均获得的信息量：信息熵是信源的平均不确定性的描述。在一般情况下它并不等于平均获得的信息量。只有在无噪情况下，接收者才能正确无误地接收到信源所发出的消息，消除H(X)

大小的平均不确定性，所以获得的平均信息量就等于H(X)。在一般情况下获得的信息量是两熵之差，并不是信源熵本身。2.1单符号离散信源第35页2024/4/142.1.2信息熵(2)条件熵条件熵定义：条件熵是在联合概率空间

{(XY),X×Y

,p(xy)}上的条件自信息的数学期望。在已知Y时，X的条件熵为：已知X时，Y的条件熵为：条件熵是一个确定的值。思考：求条件熵时为什么要用联合概率加权？2.1单符号离散信源第36页2024/4/142.1.2信息熵(2)条件熵条件熵定义：条件熵是在联合概率空间

{(XY),X×Y,p(xy)}上的条件自信息的数学期望。当统计独立时：p(x/y)=p(x)2.1单符号离散信源第37页2024/4/142.1.2信息熵(2)条件熵条件熵信道疑义度—H(X/Y)：表示信宿在收到Y后，信源X仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵。2.1单符号离散信源第38页2024/4/142.1.2信息熵(2)条件熵条件熵噪声熵—H(Y/X)：表示在已知X的条件下，对于符号集Y尚存在的不确定性（疑义），这完全是由于信道中噪声引起的。2.1单符号离散信源第39页2024/4/142.1.2信息熵(3)联合熵2.1单符号离散信源在联合概率空间{(XY),X

×Y,p(xy)}上的随机变量

I(xy)=－logp(xy)的数学期望称为X

和Y

的联合熵：联合熵链法则（熵的可加性）H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)X、Y相互独立时：H(XY)=H(X)+H(Y)第40页2024/4/142.1.3熵的基本性质和定理熵函数H(X)：熵H是p(x1),p(x2),…,p(xn)的n元函数（实际上，因Σp(xi)=1，独立变量只有n－1个，H是n－1元函数）：2.1单符号离散信源当信源含有n个离散消息时，信息熵H(X)是这n个消息发生概率的函数。第41页2024/4/142.1.3熵的基本性质和定理(1)非负性(2)对称性(3)最大离散熵定理(4)扩展性(5)确定性(6)可加性(7)极值性(8)上凸性2.1单符号离散信源第42页2024/4/142.1.3熵的基本性质和定理(1)非负性H(X)≥0因为随机变量X的所有取值的概率分布满足0≤p(xi)≤1；当取对数的底大于1时logp(xi)≤0，而－p(xi)

logp(xi)≥0，所以熵H(X)≥0只有当随机变量是一确知量时，熵H(X)=0。这种非负性对于离散信源的熵是合适的，但对连续信源来说这一性质并不存在。2.1单符号离散信源第43页2024/4/142.1.3熵的基本性质和定理(2)对称性①

定义：当变量p(x1),p(x2),…,p(xn)的顺序任意互换时，熵函数的值不变，即：②含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。③举例2.1单符号离散信源第44页2024/4/14(3)最大离散熵定理（极值性）

定理：离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时（即p(xi)=1/n），熵最大。

出现任何符号的可能性相等时，不确定性最大。2.1.3熵的基本性质和定理2.1单符号离散信源第45页2024/4/142.1.3熵的基本性质和定理(3)最大离散熵定理（极值性）

举例：二进制信源是离散信源的一个特例设该信源符号只有二个：0和1设符号输出的概率分别为p和1－p信源的概率空间为：2.1单符号离散信源第46页2024/4/142.1.3熵的基本性质和定理(3)最大离散熵定理（极值性）

举例：二进制信源的信息熵为：这时信息熵H(X)是p的函数。p取值于[0,1]区间，我们可以画出熵函数H(p)的曲线。2.1单符号离散信源第47页2024/4/142.1.3熵的基本性质和定理(3)最大离散熵定理（极值性）

举例：从图中可以得出熵函数的一些性质：如果二进制信源的输出是确定的（p=1或），则该信源不提供任何信息；当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特信息；2.1单符号离散信源第48页2024/4/142.1.3熵的基本性质和定理(3)最大离散熵定理（极值性）

举例：从图中可以得出熵函数的一些性质：二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量总是小于1比特。这也进一步说明了“二元数字”（计算机术语称“比特”）与信息量单位“比特”的关系。2.1单符号离散信源第49页2024/4/142.1.3熵的基本性质和定理(4)扩展性因为所以上式成立含义：信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。2.1单符号离散信源第50页2024/4/142.1.3熵的基本性质和定理(5)确定性H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率矢量P(X)=[p(x1),p(x2),…,p(xn)]中：当p(xi)=1时，－p(xi)log2p(xi)=0；其余变量p(xj)=0(j≠i)，含义：只要信源符号表中有一个符号出现概率为1，信源熵就等于0。在概率空间中，如果有两个基本事实，其中一个是必然事件，另一个则是不可能事件，因此没有不确定性，熵必为0。可以类推到n个基本事件构成的概率空间。2.1单符号离散信源第51页2024/4/142.1.3熵的基本性质和定理(6)可加性H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)

证明第一个式子：2.1单符号离散信源第52页2024/4/142.1.3熵的基本性质和定理(6)可加性H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)

可加性是熵函数的一个重要特性，正因为具有可加性，所以可以证明熵函数的形式是唯一的，不可能有其它形式存在。2.1单符号离散信源第53页2024/4/142.1.3熵的基本性质和定理(7)极值性/香农辅助定理对任意两个消息数相同的信源有：含义：任一概率分布p(xi)，它对其它概率分布p(yi)的自信息取数学期望时，必大于p(xi)本身的熵。2.1单符号离散信源第54页2024/4/142.1.3熵的基本性质和定理(7)极值性/香农辅助定理由熵的极值性可以证明条件熵小于信息熵/无条件熵:H(X/Y)≤H(X)H(Y/X)≤H(Y)2.1单符号离散信源第55页2024/4/142.1.3熵的基本性质和定理(7)极值性/香农辅助定理[证明]：H(X/Y)≤H(X)已知

Y

时X

的不确定度应小于一无所知时X

的不确定度。因为已知Y

后，从

Y

得到了一些关于X

的信息，从而使X的不确定度下降。2.1单符号离散信源(8)上凸性H[αP

+(1－α)Q

]＞αH(P

)+(1－α)H(Q

)[上凸性证明]：上凸函数：设有一个多元或矢量函数f(x1,x2,…,xn)=f(X

)，对任一小于1的正数α(0＜α＜1)

及

f

的定义域中任意两个矢量X1

，X2，若f[αX1