信息论讲义第三讲

信息论讲义第三讲1第1页，共68页，2023年，2月20日，星期日第二章信息的统计度量内容提要

2.1自信息量和条件自信息量

2.2互信息量和条件互信息量

2.3离散集的平均自信息量

2.4离散集的平均互信息量

2第2页，共68页，2023年，2月20日，星期日2.3离散集的平均自信息量2.3.1平均自信息量（熵,Entropy）

熵的定义

熵的性质2.3.2条件熵和联合熵2.3.3各种熵的关系2.3.4加权熵

加权熵定义

加权熵性质3第3页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（熵,Entropy）一、平均自信息量定义在离散集X上，随机变量I(xi)的数学期望定义为平均自信息量又称作集X的信息熵，简称熵。

信息熵H(X)表示信源输出前,信源的平均不确定性。信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信息熵H(X)反映了变量X的随机性

4第4页，共68页，2023年，2月20日，星期日香农熵与热力学中热熵的关系相似

热熵，是表示分子混乱程度的一个物理量，描述一个系统在某时刻可能出现的有关状态的不确定程度。香农引用它来描述信源的平均不确定性，含义是类似的。区别在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵。释：（1）信息熵借鉴了统计力学中热熵的概念。

5第5页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）

(2)信息熵H(X)是信源输出消息xi的自信息量I(xi)的概率加权平均值，即统计平均值。

信息熵H(X)是从平均意义上表征信源总体的一个量，是信源的统计平均不确定性的描述。6第6页，共68页，2023年，2月20日，星期日有两个信源，其概率空间分别为信息熵分别为H(X)=-0.99log0.99-0.01log0.01=0.08比特/符号H(Y)=-0.5log0.5-0.5log0.5=1比特/符号可见H(Y)>H(X)结论：信源Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大；信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，所以信源X的不确定性要小；信息熵反映的就是信源输出前平均不确定程度的大小。2.3.1平均自信息量（续）7第7页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）(3)信息熵是概率矢量P=(p1,p2,…pq)的函数(4)单位：由自信息量单位确定。以2为底时，记为H(x)

以r为底时，记为Hr(x)例：中、英、俄、法、西五国文字的信息熵法文3.98bit西班牙文4.01bit

英文4.03bit俄文4.35bit

中文9.65bit8第8页，共68页，2023年，2月20日，星期日例：设甲地的天气预报为：晴(占4／8)、阴(占2／8)、大雨(占1／8)、小雨(占1／8)。又设乙地的天气预报为：晴(占7／8)，小雨(占1／8)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为1／4。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。2.3.1平均自信息量（续）9第9页，共68页，2023年，2月20日，星期日解：甲地天气预报构成的信源空间为则其提供的平均信息量即信源的信息熵:乙地天气预报的信源空间为:结论：甲地天气预报提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。10第10页，共68页，2023年，2月20日，星期日甲地极端情况极端情况1：晴天概率＝1

结论：等概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。极端情况2：各种天气等概率分布11第11页，共68页，2023年，2月20日，星期日乙地极端情况极端情况1：晴天概率＝1

结论：在极端情况2下，甲地比乙地提供更多的信息量。因为，甲地可能出现的消息数比乙地可能出现的消息数多。极端情况2：各种天气等概率分布12第12页，共68页，2023年，2月20日，星期日例：电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则共能组成n=103x10个不同的画面。按等概率1/103x10计算，平均每个画面可提供的信息量为

=3×105×

3.32比特/画面

2.3.1平均自信息量（续）13第13页，共68页，2023年，2月20日，星期日例：有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文

N=100001000=104000篇仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为

H（X）＝log2N

＝4×103×3．321．3×104比特／千字文

比较：“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。2.3.1平均自信息量（续）14第14页，共68页，2023年，2月20日，星期日例：该信源X输出符号只有两个，设为0和1。输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为

则二元信源熵为H（X）=-plogp-qlogq

=-plogp-(1-p)log(1-p)=H(p)2.3.1平均自信息量（续）15第15页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）信源信息熵H(X)是概率p的函数，通常用H(p)表示。p取值于[0，1]区间。H(p)函数曲线如图所示。从图中看出，如果二元信源的输出符号是确定的，即p=1或q=1，则该信源不提供任何信息。反之，当二元信源符号0和1以等概率发生时，信源熵达到极大值，等于1比特信息量。

16第16页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）一、熵函数的数学性质（1）对称性

当概率矢量P=(p1,p2,…pq)中的q个分量的次序任意变更时，熵值不变。

物理意义：熵仅与信源总体的统计特性有关(总体性)。如果某些信源总体的统计特性相同，不管其内部结构如何，这些信源的熵值相同。

17第17页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质例:

H(X)=H(Y)=H(Z)

意义：信息熵相同，表示三个信源总体特性相同说明熵定义具有局限性18第18页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质例:设A、B两地的天气情况分别为求得H(A)=H(B)=1.75bits，显然冰雹将导致严重灾害，人们应更加重视，但未能从熵中反映出来，从而有了加权熵的概念。晴多云雨冰雹A地B地1/21/21/41/81/81/81/81/419第19页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质（2）非负性等号成立的充要条件：当且仅当集合X中某元素xi的发生概率pi=1，其余pk=0(k≠i)，即确定概率场的熵值最小。物理意义：

从总体来看，若某信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其他符号几乎都不可能出现，则这个信源是一个确知信源，其信源熵等于零。

20第20页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质（3）扩展性

表明：若集合X有q个事件，另一集合X’有q+1个事件，但X’和集X的差别只是多了一个概率近于零的事件，则两个集的熵值一样，即：若某事件的概率同集合中其他事件相比很小时，则它对于集合的熵值的贡献可以忽略。21第21页，共68页，2023年，2月20日，星期日本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。2.3.1平均自信息量（续）-性质22第22页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质（4）可加性

如果有两个随机变量X,Y，他们不是相互独立的，则二维随机变量(X,Y)的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵的统计平均值，即23第23页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质(5)极值性式中，n是集合的元素数目。证明：对于任意实数，有x>0,有则可等价为24第24页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质即因此即集合X的任意概率分布pi对其他概率分布qi自信息的数学期望必不小于本身定义的熵H(p1,p2,…pq)25第25页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质证明极值性

最大熵定理：离散集合中各事件等概分布时，信息熵达到最大。应用：(1)图像均衡处理，对比度强，层次丰富(2)PCB、FPGA自动布线，获得最稳定的工程拓扑结构设计。(3)统计推断、频谱分析、最佳编码、故障诊断等26第26页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质(6)确定性物理意义：(1)集合X中只要有一个事件为必然事件，则其余事件为不可能事件。(2)此时，集合X中每个事件对熵的贡献都为零，因而熵必为零。(3)此时信源X为确定信源，不能从中获得任何信息27第27页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质（7）上凸性

是概率分布的严格上凸函数。28第28页，共68页，2023年，2月20日，星期日x1x2αx1+(1-α)x2f(x)αf(x1)+

(1-α)f(x2)f[αx1+

(1-α)x2]xY02.3.1平均自信息量（续）-性质29第29页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质30第30页，共68页，2023年，2月20日，星期日即给定集合和取构造则有证明：将按定义展开，易得小于02.3.1平均自信息量（续）-性质31第31页，共68页，2023年，2月20日，星期日（8）递增性若原信源X中有一个符号分割成了m个元素(符号)，这m个元素的概率之和等于原元素的概率，而其他符号的概率不变，则新信源的熵增加。熵的增加量等于由分割而产生的不确定性量。2.3.1平均自信息量（续）-性质32第32页，共68页，2023年，2月20日，星期日2.3.1平均自信息量（续）-性质33第33页，共68页，2023年，2月20日，星期日它表示n个元素的信源熵可以递推成(n-1)个二元信源的熵函数的加权和。这样，可使多元信源的熵函数的计算简化成计算若干个二元信源的熵函数。因此，熵函数的递增性又可称为递推性。2.3.1平均自信息量（续）-性质34第34页，共68页，2023年，2月20日，星期日例：运用熵函数的递增性，计算熵函数H(1/3，1/3，1/6，1/6)的数值。2.3.1平均自信息量（续）-性质35第35页，共68页，2023年，2月20日，星期日2.3.2条件熵、联合熵条件熵（ConditionalEntropy）

联合集XY上，条件自信息量I(y|x)的概率加权平均值定义为条件熵。定义式为H(Y|X)在集合X中给定事件xi发生条件下集合Y的熵为36第36页，共68页，2023年，2月20日，星期日物理含义：已知一随机变量的情况下，对另一随机变量不确定性的量度观测Y以后，仍保留的关于X的不确定量。2.3.2条件熵、联合熵37第37页，共68页，2023年，2月20日，星期日疑义度?

信道上的干扰和噪声所造成的对信源符号X的平均不确定度H（X|Y），故称为疑义度。释:

H（X）是符号集合X的熵或不确定度.H（X|Y）是当Y已知时X的不确定度.“Y已知”这件事使X的不确定度减少了I（X；Y）.信宿收到的平均信息量等于信宿对信源符号不确定度的平均减少量。I（X；Y）是有扰离散信道上能传输的平均信息量，而H（X|Y）是在Y条件下要唯一地确定信源发出符号所需要的平均信息量。2.3.2条件熵、联合熵38第38页，共68页，2023年，2月20日，星期日噪声熵或散布度

?条件熵H（Y|X）唯一地确定信道噪声所需要的平均信息量，故又称噪声熵或散布度。释:

平均互信息量可看作在有扰离散信道上传递消息时，唯一地确定接收符号y所需要的平均信息量H（Y），减去当信源发出符号为已知时需要确定接收符号y所需要的平均信息量H（Y|X）。2.3.2条件熵、联合熵39第39页，共68页，2023年，2月20日，星期日信源发出的信息量在信道上全部损失掉了，故称为全损离散信道。分析:I（X；Y）＝H（X）-H（X／Y）如果X与Y是相互独立的，那么Y已知时X的条件概率等于X的无条件概率，由于熵就是这概率的对数的数学期望，X的条件熵就等于X的无条件熵，此时I（X；Y）=0。2.3.2条件熵、联合熵40第40页，共68页，2023年，2月20日，星期日2.3.2条件熵、联合熵联合熵(JointEntropy)

联合集上，每对元素的自信息量I(xiyj)的概率加权平均值定义为联合熵，也称共熵。定义式为H(Y,X)41第41页，共68页，2023年，2月20日，星期日解：信源X的熵为：例：有两个同时输出的信源X和Y，其中X的信源符号为{A，B，C}，Y的信源符号为{D，E，F，G}，已知P(X)和P（Y|X），求联合信源的联合熵和条件熵。XABCP(x)1/21/31/6P(y/x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/642第42页，共68页，2023年，2月20日，星期日信源XY输出每一对消息的联合概率为：P(XY)=P(Y/X)P(X)，结果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36联合信源的联合熵：2.3.2条件熵、联合熵43第43页，共68页，2023年，2月20日，星期日信源Y的条件熵：信道散布度

(噪声熵)2.3.2条件熵、联合熵从上述结果可得：H(XY)=H(X)+H(Y/X)=1.461+1.956=3.417(bit/每对符号)44第44页，共68页，2023年，2月20日，星期日对第二个信源Y，其熵H(Y)的计算。由全概率公式：因此：2.3.2条件熵、联合熵45第45页，共68页，2023年，2月20日，星期日例：二进制通信系统用符号“0”和“1”,由于存在失真,传输时会产生误码,用符号表示下列事件：

u0：一个“0”发出：u1：一个“1”发出

v0：一个“0”收到；v1：一个“1”收到。给定下列概率：

p(u0)＝1/2,p(v0|u0)＝3/4，p(v0|u1)=1/2求：⑴已知发出一个“0”,求收到符号后得到的信息量；⑵已知发出的符号,求收到符号后得到的信息量⑶知道发出的和收到的符号,求能得到的信息量；⑷已知收到的符号，求被告知发出的符号得到的信息量。2.3.2条件熵、联合熵46第46页，共68页，2023年，2月20日，星期日解：⑴p(v1|u0)=1－p(v0|u0)=1/4⑵联合概率：

p(u0v0)=p(v0|u0)p(u0)=3/4×1/2=3/8p(u0v1)=p(v1|u0)p(u0)=1/4×1/2=1/8p(u1v0)=p(v0|u1)p(u1)=1/2×1/2=1/4p(u1v1)=p(v1|u1)p(u1)=[1－p(v0|u1)]=1/2×1/2=1/42.3.2条件熵、联合熵47第47页，共68页，2023年，2月20日，星期日⑶解法1：解法2H(UV)=H(U)+H(V|U)=1+0.91=1.91比特/符号2.3.2条件熵、联合熵48第48页，共68页，2023年，2月20日，星期日⑷解法1：

解法2：利用贝叶斯公式:

同理:p(u1|v0)=2/5，p(u0|v1)=1/3，p(u1|v1)=2/32.3.2条件熵、联合熵49第49页，共68页，2023年，2月20日，星期日例:一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”已知X的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：

p(y0|x0)=3/4,p(y2|x0)=1/4

p(y1|x1)=1/2,p(y2|x1)=1/2，XY010123/41/21/21/4信源熵2.3.2条件熵、联合熵50第50页，共68页，2023年，2月20日，星期日联合概率：

p(x0y0)=p(x0)p(y0|x0)=2/3×3/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/3×1/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/3×1/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/3×1/2=1/6条件熵2.3.2条件熵、联合熵51第51页，共68页，2023年，2月20日，星期日2.3.3各种熵的关系（1）联合熵与信息熵、条件熵的关系如果集X和集Y相互统计独立，则有此外，由上面两个结论式，可得52第52页，共68页，2023年，2月20日，星期日2.3.3各种熵的关系证明：

53第53页，共68页，2023年，2月20日，星期日2.3.3各种熵的关系推广到多维，有称为链式关系(ChainRulesforEntropy)54第54页，共68页，2023年，2月20日，星期日2.3.3各种熵的关系（2）共熵与信息熵的关系

等式成立的条件是集X和集Y相互统计独立，即当时取等号。推广到多维，有

等号成立的充要条件是相互统计独立。55第55页，共68页，2023年，2月20日，星期日2.3.3各种熵的关系证明：

56第56页，共68页，2023年，2月20日，星期日2.3.3各种熵的关系（3）条件熵与通信熵的关系证明：应用詹森不等式（JensenInequality）57第57页，共68页，2023年，2月20日，星期日2.3.4加权熵离散无记忆信源[XPW]的加权熵定义为加权熵的性质（1）非负性（2）若权中，则58第58页，共68页，2023年，2月20日，星期日2.3.4加权熵（3）确定性若，而，，则加权熵为零，即（4）若，，I,J为样本空间，并且，，则加权熵为零，即59第59页，共68页，2023年，2月20日，星期日作业2.192.242.2560第60页，共68页，2023年，2月20日，星期日2.4离散集的平均互信息量