信息论与编码理论－第讲－信息量和熵01ppt课件

1、2 信源熵信源熵 本章重点：信源的统计特性和数学模型、各类本章重点：信源的统计特性和数学模型、各类信源的信息信源的信息 测度测度熵及其性质。熵及其性质。2.1 单符号离散信源单符号离散信源2.2 多符号离散信源多符号离散信源2.3 延续信源延续信源2.4 离散无失真信源编码定理离散无失真信源编码定理:2 信源熵信源熵n信息论的开展是以信息可以度量为根底的，度量信息论的开展是以信息可以度量为根底的，度量信息的量称为信息量。信息的量称为信息量。n对于随机出现的事件，它的出现会给人们带来多对于随机出现的事件，它的出现会给人们带来多大的信息量？大的信息量？n思索到通讯系统或很多实践的信息传输系统，对思

2、索到通讯系统或很多实践的信息传输系统，对于所传输的音讯如何用信息量的方法来描画？于所传输的音讯如何用信息量的方法来描画？n本章将围绕这些问题展开讨论。本章将围绕这些问题展开讨论。:2.1 单符号离散信源单符号离散信源2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型2.1.2 信息量和信息熵信息量和信息熵2.1.3 熵的根本性质和定理熵的根本性质和定理2.1.4 平均互信息平均互信息2.1.5 各种熵之间的关系各种熵之间的关系:2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型(1) 信源的描画方法信源的描画方法(2) 单符号离散信源单符号离散信源(3) 单符号离散信源数学

3、模型单符号离散信源数学模型:(1) 信源的描画方法信源的描画方法 在通讯系统中收信者在未收到音讯以前，对信在通讯系统中收信者在未收到音讯以前，对信源发出什么音讯是不确定的。源发出什么音讯是不确定的。 离散信源：输出的音讯经常是以一个个符号方式出离散信源：输出的音讯经常是以一个个符号方式出现，这些符号的取值是有限的或可数的。现，这些符号的取值是有限的或可数的。单符号离散信源：只涉及一个随机事件，可用随机变单符号离散信源：只涉及一个随机事件，可用随机变量描画。量描画。多符号离散信源：每次输出是一个符号序列，序列中多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且普通前

4、后符每一位出现哪个符号都是随机的，而且普通前后符号之间是有依赖关系的。可用随机矢量描画。号之间是有依赖关系的。可用随机矢量描画。 延续信源：输出延续音讯，可用随机过程描画。延续信源：输出延续音讯，可用随机过程描画。:n从讨论信源的特征入手，给出定量度量信从讨论信源的特征入手，给出定量度量信息的方法。息的方法。n以天文学范畴的事件为例：以天文学范畴的事件为例：n小行星撞击地球、月食、日食、流星雨、小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一星系的产生与消亡等等，都是天文学内一个个离散的事件个个离散的事件n假设将一个事件用一个符号来表示，那么假设将一个事件用一个符号来表

5、示，那么一个符号代表一个完好的音讯一个符号代表一个完好的音讯n假设把都是天文学内的事件看作是天文学假设把都是天文学内的事件看作是天文学这个这个“信源输出的符号，那么这个信源信源输出的符号，那么这个信源可以看作是单符号离散信源。可以看作是单符号离散信源。(2) (2) 单符号离散信源单符号离散信源:由此给出如下定义：由此给出如下定义：假设信源发出的音讯是离散的、有限或无假设信源发出的音讯是离散的、有限或无限可列的符号或数字，且一个符号代表一条限可列的符号或数字，且一个符号代表一条完好的音讯，那么称这种信源为单符号离散完好的音讯，那么称这种信源为单符号离散信源。信源。(2) (2) 单符号离散信源

6、单符号离散信源:(2) (2) 单符号离散信源单符号离散信源n单符号离散信源的实例单符号离散信源的实例n掷骰子每次只能是掷骰子每次只能是1,2,3,4,5,6中的某一个；中的某一个；n天气预告能够是晴、阴、雨、雪、风、冰雹天气预告能够是晴、阴、雨、雪、风、冰雹 中的一种或其组合以及温度、污染等；中的一种或其组合以及温度、污染等；n二进制通讯中传输的只是二进制通讯中传输的只是1、0两个数字；等等。两个数字；等等。n这种符号或数字都可以看作某一集合中的事件，这种符号或数字都可以看作某一集合中的事件，每个符号或数字事件都是信源中的元素，每个符号或数字事件都是信源中的元素，它们的出现往往具有一定的概率

7、。它们的出现往往具有一定的概率。n因此，信源又可以看作是具有一定概率分布的因此，信源又可以看作是具有一定概率分布的某一符号集合。某一符号集合。:(3) 单符号离散信源数学模型单符号离散信源数学模型 假设信源的输出是随机事件假设信源的输出是随机事件X，其出现概率，其出现概率为为P(X)，那么它们所构成的集合，称为信源的概，那么它们所构成的集合，称为信源的概率空间或简称为信源空间。率空间或简称为信源空间。:(3) 单符号离散信源数学模型单符号离散信源数学模型单符号离散信源的数学模型就是离散型的概率空间：单符号离散信源的数学模型就是离散型的概率空间：X代表随机变量，指的是信源整体代表随机变量，指的是

8、信源整体xi代表随机事件的某一结果或信源的某个元素代表随机事件的某一结果或信源的某个元素p(xi)=P(X=xi)，表示随机事件，表示随机事件X发生某一结果发生某一结果xi的概率。的概率。n是有限正整数或可数无限大是有限正整数或可数无限大)(,),(),(,)(2121nnxpxpxpxxxXPX，1)(1)(01niiixPxp，信源空间信源空间必定是一必定是一个完备集个完备集信源空信源空间的描间的描画画:2.1.2 信息量和信息熵信息量和信息熵(1) 自信息量和条件自信息量自信息量和条件自信息量(2) 互信息量和条件互信息量互信息量和条件互信息量(3) 信息熵信息熵:(1) 自信息量和条件

9、自信息量自信息量和条件自信息量 自信息量自信息量 结合自信息量结合自信息量 条件自信息量条件自信息量: 自信息量自信息量n度量信息的根本思绪度量信息的根本思绪n自信息公式确定自信息公式确定n自信息量计算举例自信息量计算举例n信息量与不确定性的关系信息量与不确定性的关系n自信息含义自信息含义:n 度量信息的根本思绪n思索一个单符号离散信源，它的输出被传送给对此思索一个单符号离散信源，它的输出被传送给对此感兴趣的一方。感兴趣的一方。n设设x1为最大能够的输出，为最大能够的输出， xn为最小能够的输出。为最小能够的输出。n例如，假设信源输出代表天气情况，例如，假设信源输出代表天气情况， x1为晴或多

10、云为晴或多云天气，天气， xn为冰雹或其它强对流天气。为冰雹或其它强对流天气。n哪个输出包含更多的信息，哪个输出包含更多的信息， x1还是还是xn？n直观地，传送直观地，传送xn 给出了更多的信息。给出了更多的信息。n由此可以合理地推算信源输出的信息量应该是输出由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。事件的概率的减函数。n信息量的另一个直观属性是，某一输出事件的概率信息量的另一个直观属性是，某一输出事件的概率的微小变化不会很大地改动所传送的信息量，即信的微小变化不会很大地改动所传送的信息量，即信息量应该是信源输出事件概率的延续减函数。息量应该是信源输出事件概率的延续减函

11、数。:n 度量信息的根本思绪n假设与输出假设与输出xi相关的信息能被分成独立的两部相关的信息能被分成独立的两部分，比如分，比如xi1与与xi2 ，即，即xi = xi1 , xi2 。n例如，假设天气预告中的天气及温度变化是例如，假设天气预告中的天气及温度变化是与污染程度相关性很小甚至几乎完全独立的，与污染程度相关性很小甚至几乎完全独立的，那么信源的每一个输出就能分成独立的两部那么信源的每一个输出就能分成独立的两部分。分。n直观地，传送直观地，传送xi所包含的信息量是分别传送所包含的信息量是分别传送xi1和和xi2所得到的信息量的和。所得到的信息量的和。:n 度量信息的根本思绪假设信源中事件x

12、i的出现所带来的信息量用I(xi)来表示并称之为事件xi的自信息量，那么概率为p(xi)的信源输出xi所包含的信息量I(xi)必需满足以下几个条件：:n 度量信息的根本思绪1. 信源输出信源输出xi所包含的信息量仅依赖于它的概率，而与所包含的信息量仅依赖于它的概率，而与它的取值无关。它的取值无关。2. I (xi)是是p(xi)的延续函数。的延续函数。3. I (xi )是是p(xi)的减函数，即：的减函数，即：假设假设p(xi) p(xj)，那么，那么I(xi) I(xj)。极限情况，假设极限情况，假设p(xi) = 0, 那么那么 I(xi) ；假设假设 p(xi) = 1, 那么那么I(

13、xi) = 0。4.假设两个单符号离散信源符号集合假设两个单符号离散信源符号集合X, Y 统计独立统计独立, 那么那么X中出现中出现xi 、Y中出现中出现yj的结合信息量的结合信息量I (xi , yj) = I (xi) + I (yj)问题：什么函数可以同时满足以上条件呢？问题：什么函数可以同时满足以上条件呢？:n 自信息公式确定举例举例设在甲布袋中，放入设在甲布袋中，放入p p个不同阻值的电阻。假设随意选取出一个，并对取出个不同阻值的电阻。假设随意选取出一个，并对取出的电阻值进展事先猜测，其猜测的困难程度相当于概率空间的不确定性。的电阻值进展事先猜测，其猜测的困难程度相当于概率空间的不确

14、定性。甲布袋的概率空间为甲布袋的概率空间为 xi xi：阻值为：阻值为i i的电阻的电阻 p(xi) p(xi)：选取出阻值为：选取出阻值为i i电阻的概率电阻的概率 假设电阻选取的概率是相等的，那么假设电阻选取的概率是相等的，那么 接纳到接纳到“选取出阻值为选取出阻值为i i的电阻所获得的信息量为的电阻所获得的信息量为 。pixppi, 2 , 1)(1)()(1piifxpfxI)(,),(),(,)(2121ppxpxpxpxxxXPX，:乙布袋中，放入按功率划分的乙布袋中，放入按功率划分的q q种不同功率的电阻。假设对种不同功率的电阻。假设对恣意选取出来的功率值进展事先猜测，那么，可看

15、成为另一恣意选取出来的功率值进展事先猜测，那么，可看成为另一概率空间概率空间 yj yj：功率为：功率为j j的电阻的电阻 p(yj) p(yj)：选取出功率为：选取出功率为j j的电阻的的电阻的概率概率 假设假设q q种不同功率的选择也是等概率的，那么被告知种不同功率的选择也是等概率的，那么被告知“选取出功率为选取出功率为j j的电阻所获得的信息量为的电阻所获得的信息量为 这两个函数这两个函数 应该是同一类函数应该是同一类函数)()(1qjjfypfyI11qpff和)(,),(),(,)(2121qqypypypyyyYPY，:再设在第三个布袋中，放入再设在第三个布袋中，放入p p种不同阻

16、值，而每一种阻值又有种不同阻值，而每一种阻值又有q q种不同种不同功率的电阻，即共有功率的电阻，即共有p qp q个电阻。个电阻。 设它们的选取也是等能够性的，其概率空间为设它们的选取也是等能够性的，其概率空间为 那么那么“选取出阻值为选取出阻值为i i，功率为，功率为j j的电阻的电阻这一事件提供的信息量这一事件提供的信息量应为应为 从第三个布袋中选出一电阻的效果相当于从甲布袋中选择一电阻从第三个布袋中选出一电阻的效果相当于从甲布袋中选择一电阻后再从乙布袋中选择一电阻。后再从乙布袋中选择一电阻。“选取出阻值为选取出阻值为i i，功率为，功率为j j 这件事这件事提供的信息量应该是提供的信息量

17、应该是“选取出阻值为选取出阻值为i i 和和“选取出功率为选取出功率为j j 这两这两件事提供的信息量之和，即件事提供的信息量之和，即 )(1pqkfzI)()()()()()(111qppqjikfffyIxIzIpqpqpqpqzzzZPZ11121,)(，:可以用泛函分析方法解得满足条件的函数方式为可以用泛函分析方法解得满足条件的函数方式为所以：所以：I(xi)=-logpI(xi)=-logp， I(yj)=-logq I(yj)=-logq， I(zk)=-logpq I(zk)=-logpq显然满足：显然满足： I(zk)= I(xi)+ I(yj) I(zk)= I(xi)+ I

18、(yj)用概率测度定义信息量：用概率测度定义信息量：设离散信源设离散信源X X，其概率空间为，其概率空间为假设知道事件假设知道事件xixi已发生，那么该事件所含有的自信息定义已发生，那么该事件所含有的自信息定义为为)()()(111qppqfff)(1log)(ixpixpf)(1log)(ixpixI)(,),(),(,)(2121nnxpxpxpxxxXPX，:n 自信息量计算举例举例举例一个一个0, 1等概的二进制随机序列，求任一码等概的二进制随机序列，求任一码元的自信息量。元的自信息量。解：任一码元不是为解：任一码元不是为0就是为就是为1由于由于 p(0) = p(1) = 1/2所以

19、所以 I (0) = I (1) = log (1/2) = 1(bit):n 自信息量计算举例举例举例对于2n进制的数字序列, 假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。解：设2n进制数字序列任一码元xi的出现概率为p (xi)，根据题意， p(xi) = 1/2nI (xi ) = log(1/2n) = n (bit) 事件的自信息量只与其概率有关，而与它的取值无关。:n 信息量与不确定性的关系信源中某一音讯发生的不确定性越大，一旦它发信源中某一音讯发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，生，并为收信者收到后，消除的不确定性就越大，获得的

20、信息也就越大。获得的信息也就越大。由于种种缘由例如噪声太大，收信者接纳到由于种种缘由例如噪声太大，收信者接纳到受干扰的音讯后，对某信息发生的不确定性依然受干扰的音讯后，对某信息发生的不确定性依然存在或者一点也未消除时，那么收信者获得较少存在或者一点也未消除时，那么收信者获得较少的信息或者说一点也没有获得信息。的信息或者说一点也没有获得信息。:信息量的直观定义：信息量的直观定义：收到某音讯获得的信息量不确定性减少的量收到某音讯获得的信息量不确定性减少的量 (收到此音讯前关于某事件发生的不确定性收到此音讯前关于某事件发生的不确定性) (收到此音讯后关于某事件发生的不确定性收到此音讯后关于某事件发生

21、的不确定性)在无噪声时，经过信道的传输，可以完全不失真在无噪声时，经过信道的传输，可以完全不失真地收到所发的音讯，收到此音讯后关于某事件发地收到所发的音讯，收到此音讯后关于某事件发生的不确定性完全消除，此项为零。因此得生的不确定性完全消除，此项为零。因此得 收到某音讯获得的信息量收到某音讯获得的信息量 收到此音讯前关于某事件发生的不确定性收到此音讯前关于某事件发生的不确定性 信源输出的某音讯中所含有的信息量信源输出的某音讯中所含有的信息量n 信息量与不确定性的关系:n 信息量与不确定性的关系n信宿端收到某一音讯后所得到的信息量，可以等效为信宿端收到某一音讯后所得到的信息量，可以等效为接纳者在通

22、讯前后接纳者在通讯前后“不确定要素的减少或消除。不确定要素的减少或消除。n事件的不确定性可用不确定度描画，它同样是事件概事件的不确定性可用不确定度描画，它同样是事件概率的函数，在数值和量纲上和自信息量相等，因此都率的函数，在数值和量纲上和自信息量相等，因此都可以用右式来计算：可以用右式来计算：n某一随机事件的出现所给出的信息量自信息量，某一随机事件的出现所给出的信息量自信息量，在数值上与该随机事件的不确定度不但相关而且相等，在数值上与该随机事件的不确定度不但相关而且相等，即事件的出现等效成事件不确定集合的元素的减少，即事件的出现等效成事件不确定集合的元素的减少，或简称为事件不确定度的减少。或简

23、称为事件不确定度的减少。)(1log)(ixpixI:n 信息量与不确定性n自信息量和该事件的不确定度的含义有本质自信息量和该事件的不确定度的含义有本质的区别。的区别。n不确定度只与事件的概率有关，是一个统计不确定度只与事件的概率有关，是一个统计量，在静态形状下也存在；量，在静态形状下也存在；n自信息量只需该随机事件出现时才给出，不自信息量只需该随机事件出现时才给出，不出现时不给出，因此它是一个动态的概念。出现时不给出，因此它是一个动态的概念。:n 自信息含义当事件当事件xixi发生以前：表示事件发生以前：表示事件xixi发生的不确定性。发生的不确定性。当事件当事件xixi发生以后：表示事件发

24、生以后：表示事件xixi所含有或所提供的信所含有或所提供的信息量。在无噪信道中，事件息量。在无噪信道中，事件xixi发生后，能正确无误地传输发生后，能正确无误地传输到收信者，所以到收信者，所以I(xi)I(xi)可代表接纳到音讯可代表接纳到音讯xixi后所获得的信后所获得的信息量。这是由于消除了息量。这是由于消除了I(xi)I(xi)大小的不确定性，才获得这大小的不确定性，才获得这么大小的信息量。么大小的信息量。自信息的测度单位及其换算关系自信息的测度单位及其换算关系信息论中信息论中“比特与计算机术语中比特与计算机术语中“比特区别比特区别)(1log)(ixpixI: 自信息的测度单位及其换算

25、关系l假设取以假设取以2 2为底，那么信息量单位称为比特为底，那么信息量单位称为比特(binary unit)(binary unit)l I(xi)=log2(1/p(xi) I(xi)=log2(1/p(xi) 比比特特l假设取以假设取以e e为底，那么信息量单位称为奈特为底，那么信息量单位称为奈特(nature unit)(nature unit)l I(xi)=ln(1/p(xi) I(xi)=ln(1/p(xi) 奈特奈特l假设取以假设取以1010为底，那么信息量单位称为哈特为底，那么信息量单位称为哈特(Hart unit,(Hart unit,以留念哈特莱首先提出用对数来度量音讯以

26、留念哈特莱首先提出用对数来度量音讯) )l I(xi)=lg(1/p(xi) I(xi)=lg(1/p(xi) 哈特哈特l1 1奈特奈特1.441.44比特比特 1 1哈特哈特3.323.32比特比特l在通讯及目前的绝大多数信息传输系统中，都是以二进制在通讯及目前的绝大多数信息传输系统中，都是以二进制为根底的，因此信息量单位以比特最为常用。因此普通都为根底的，因此信息量单位以比特最为常用。因此普通都采用以采用以“2“2为底的对数，为了书写简约，有时把底数为底的对数，为了书写简约，有时把底数2 2略略去不写。去不写。: 信息论中信息论中“比特与比特与 计算机术语中计算机术语中“比特区别比特区别l

27、假设假设p(xi)=1/2p(xi)=1/2，那么，那么I(xi)=1I(xi)=1比特。所以比特。所以1 1比特信息量就比特信息量就是两个互不相容的等能够事件之一发生时所提供的信息量。是两个互不相容的等能够事件之一发生时所提供的信息量。l信息论中信息论中“比特是指笼统的信息量单位；比特是指笼统的信息量单位；l计算机术语中计算机术语中“比特是代表二元数字；比特是代表二元数字；l这两种定义之间的关系是：每个二元数字所能提供的最大这两种定义之间的关系是：每个二元数字所能提供的最大平均信息量为平均信息量为1 1比特。比特。: 结合自信息量结合自信息量n信源模型为信源模型为n其中其中0p(xiyj)1

28、 (i=1,2,n; j=1,2, ,m)n那么结合自信息量为那么结合自信息量为n当当X和和Y相互独立时，相互独立时，p(xiyj)=p(xi)p(yj)n两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。量之和。)(,),(,),(,),(),(,),(,)(12121111212111mnnmmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXYnimjjiyxp111)()()(logloglog)()(12)(12)()(12jiypxpypxpjiyIxIyxIjiji12()(

29、)logijijp x yI x y: 条件自信息量条件自信息量n设设yj条件下，发生条件下，发生xi的条件概率为的条件概率为p(xi /yj)，那么它的条件自信息量，那么它的条件自信息量I(xi/yj)定义为定义为n表示在特定条件下表示在特定条件下yj已定随机事件已定随机事件xi 所带来的信息量所带来的信息量n同理，同理，xi知时发生知时发生yj的条件自信息量为的条件自信息量为n自信息量、条件自信息量和结合自信息量之间的关系自信息量、条件自信息量和结合自信息量之间的关系)/(12log)/(jiyxpjiyxI)/(12log)/(ijxypijxyI)/()(log)/()(log)()/

30、()(12)/()(12jijyxpypijixypxpjiyxIyIxyIxIyxIjijiji:(2) 互信息量和条件互信息量互信息量和条件互信息量 互信息量互信息量 互信息的性质互信息的性质 条件互信息量条件互信息量: 互信息量互信息量n互信息量定义互信息量定义n举例举例n互信息量的三种不同表达式互信息量的三种不同表达式:n 互信息量定义X信源发出的离散音讯集合；信源发出的离散音讯集合； Y信宿收到的离散音讯集合；信宿收到的离散音讯集合；信源经过有干扰的信道发出音讯传送给信宿；信源经过有干扰的信道发出音讯传送给信宿；信宿事先不知道某一时辰发出的是哪一个音讯，所以每个音讯是随机事件的一信宿

31、事先不知道某一时辰发出的是哪一个音讯，所以每个音讯是随机事件的一个结果；个结果；最简单的通讯系统模型：最简单的通讯系统模型：信源信源X、信宿、信宿Y的数学模型为的数学模型为niiininixpxpxpxpxpxpxxxxXPX121211)(, 1)(0)(,)(,),(),(,)(，njjinjnjypypypypypypyyyyYPY121211)(, 1)(0)(,)(,),(),(,)(，:先验概率：信源发出音讯先验概率：信源发出音讯xi的概率的概率p(xi )。后验概率：信宿收到后验概率：信宿收到yj后推测信源发出后推测信源发出xi的概率的概率p(xi / yj )。互信息量：互信息

32、量： yj对对xi的互信息量定义为后验概率与先的互信息量定义为后验概率与先验概验概 率比值的对数。率比值的对数。)/()(loglog), 2 , 1;, 2 , 1(log);()/(12)(12)()/(2jiiyxpxpxpyxpjiyxIxImjniyxIjiiiii:n 举举 例例某地二月份天气构成的信源为某地二月份天气构成的信源为收到音讯收到音讯y1：“今天不是晴天今天不是晴天收到收到y1后：后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/4818141214321)()()()()(，雪，雨，阴，晴xxxxXPX:计算计算y

33、1与各种天气之间的互信息量与各种天气之间的互信息量对天气对天气x1，不用再思索，不用再思索对天气对天气x2，对天气对天气x3,对天气对天气x4结果阐明从结果阐明从y1分别得到了各分别得到了各1比特的信息量；比特的信息量；或者说或者说y1 使使x2，x3，x4的不确定度各减少量的不确定度各减少量1比特。比特。)( 1loglog);(8/14/12)()/(213313比特xpyxpyxI)( 1loglog);(4/12/12)()/(212212比特xpyxpyxI)( 1loglog);(8/14/12)()/(214414比特xpyxpyxI:n 互信息量的三种不同表达式互信息量的三种不

34、同表达式察看者站在输出端察看者站在输出端自信息量：对自信息量：对yj一无所知的情况下一无所知的情况下xi存在的不确定度；存在的不确定度；条件自信息量：知条件自信息量：知yj 的条件下的条件下xi 依然存在的不确定度；依然存在的不确定度；互信息量：两个不确定度之差是不确定度被消除的部分，互信息量：两个不确定度之差是不确定度被消除的部分， 即等于自信息量减去条件自信息量。实践是即等于自信息量减去条件自信息量。实践是 从从yj得到的关于得到的关于xi的信息量。的信息量。)/()(loglog);()/(12)(12jiiyxpxpjiyxIxIyxIjii:察看者站在输入端察看者站在输入端 站在输入

35、端察看，察看者在输入端出现站在输入端察看，察看者在输入端出现xi前、后对输出前、后对输出端出现端出现yj的不确定度有变化，即从的不确定度有变化，即从xi中也可提取关于中也可提取关于yj的的信息量。察看者得知输入端发出信息量。察看者得知输入端发出xi前、后对输出端出现前、后对输出端出现yj的不确定度的差。的不确定度的差。)/()(loglog);()/(12)(12ijjxypypijxyIyIxyIijj:察看者站在通讯系统总体立场上察看者站在通讯系统总体立场上通讯前：输入随机变量通讯前：输入随机变量X和输出随机变量和输出随机变量Y之间没有任何关之间没有任何关联关系，即联关系，即X，Y统计独立

36、：统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度先验不确定度通讯后：输入随机变量通讯后：输入随机变量X和输出随机变量和输出随机变量Y之间由信道的统之间由信道的统计特性相联络，其结合概率密度：计特性相联络，其结合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度后验不确定度通讯后的互信息量，等于前后不确定度的差通讯后的互信息量，等于前后不确定度的差这三种表达式实践上是等效的，在实践运用中可根据详细这三种表达式实践上是等效的，在实践运用中可根据详细情况选用一种较为方便的表达式。情况选用一种较为方便的表达式。)()(12log

37、)(jiypxpjiyxI)(12 log)(jiyxpjiyxI1122() ()()( ;)loglog()()( )()()ijijijijijijijp xp yp x yI x yI x yI x yI xI yI x y:互信息的引出，使信息流通问题进入了定量分互信息的引出，使信息流通问题进入了定量分析的范畴，为信息流通的定量丈量打下了坚实析的范畴，为信息流通的定量丈量打下了坚实的根底，把信息实际开展到了一个更深的层次，的根底，把信息实际开展到了一个更深的层次，可以以为是信息论开展的又一个里程碑。可以以为是信息论开展的又一个里程碑。=log后验概率先验概率互信息量: 互信息的性质互

38、信息的性质n对称性对称性n相互独立时的相互独立时的X和和Yn互信息量可为正值或负值互信息量可为正值或负值n不大于其中任一事件的自信息量不大于其中任一事件的自信息量:n 对称性对称性I(xi;yj)=I(yj; xi)推导过程推导过程互信息量的对称性阐明：互信息量的对称性阐明：两个随机事件的能够结果两个随机事件的能够结果xi和和yj之间的统计约束程之间的统计约束程度；度；从从yj得到的关于得到的关于xi的信息量的信息量I(xi;yj)与从与从xi得到的关于得到的关于yj的信息量的信息量I(yj; xi)是一样的，只是察看的角度不是一样的，只是察看的角度不同而已。同而已。(/)(/) ()()lo

39、glog( )( ) ()()/( )(/) log log() ()()ijijjijiijijijijijjp xyp xyp yI xyp xp x p yp x yp xp yxI yxp yp y；:n 相互独立时的相互独立时的X和和Y这时这时 p(xi yj)=p(xi)p(yj)互信息量为互信息量为阐明阐明xi和和yj之间不存在统计约束关系，从之间不存在统计约束关系，从yj得不到关于得不到关于xi的的任何信息，反之亦然。任何信息，反之亦然。1122() ()()( ;)loglog0(1,2,1,2,)ijijijp xp yp x yI x yinjm:n 互信息量可为正值或负

40、值互信息量可为正值或负值当后验概率大于先验概率时，互信息量为正。当后验概率大于先验概率时，互信息量为正。当后验概率小于先验概率时，互信息量为负。当后验概率小于先验概率时，互信息量为负。 阐明收信者未收到阐明收信者未收到yj以前，对音讯以前，对音讯xi的能否出的能否出现的猜测难疑程度较小，但由于噪声的存在，接现的猜测难疑程度较小，但由于噪声的存在，接纳到音讯纳到音讯yj后对后对xi能否出现的猜测的难疑程度添能否出现的猜测的难疑程度添加了，也就是收信者接纳到音讯加了，也就是收信者接纳到音讯yj后对后对xi出现的出现的不确定性反而添加，所以获得的信息量为负值。不确定性反而添加，所以获得的信息量为负值

41、。当后验概率与先验概率相等时，互信息量为零。当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。这就是两个随机事件相互独立的情况。:n 互信息量可为正值或负值互信息量可为正值或负值值域为实数值域为实数互信息量的值可为正数、负数或者互信息量的值可为正数、负数或者0，取决，取决于后验概率和先验概率的比值。于后验概率和先验概率的比值。思索以下几种情况。思索以下几种情况。1p(xi /yj )=1，I (xi； yj ) = I(xi)。后验概率为后验概率为1，阐明收到，阐明收到yj后即可以完全消除后即可以完全消除对信源能否发对信源能否发xi的不确定度。的不确定度。其物理含义是

42、信宿获取了信源发出的全部信其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。息量，这等效为信道没有干扰。:n 互信息量可为正值或负值互信息量可为正值或负值2p(xi) p(xi/yj ) I(xi/yj)， I(xi；yj) 0。后验概率大于先验概率，阐明收到后验概率大于先验概率，阐明收到yj后对信源能否后对信源能否发发xi所进展判别的正确程度，要大于所进展判别的正确程度，要大于xi在信源集在信源集合中的概率合中的概率.或者说收到或者说收到yj后多少还能消除一些对信源能否发后多少还能消除一些对信源能否发xi的不确定度，因此的不确定度，因此yj获取了关于获取了关于xi的信息量。的

43、信息量。I(xi；yj) 越大，这种获取就越多。越大，这种获取就越多。这正是实践通讯时遇到的大多数情况，它对应着信这正是实践通讯时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。道存在干扰，但信宿仍能从信源中获取信息量。从这里隐约可以看到，只需从这里隐约可以看到，只需I(xi；yj) 0，就存在着，就存在着可以通讯的能够性，在后面的章节将会进一步讨可以通讯的能够性，在后面的章节将会进一步讨论进展可靠通讯的极限条件。论进展可靠通讯的极限条件。:n 互信息量可为正值或负值互信息量可为正值或负值3p(xi /yj)=p(xi )，即，即 I(xi ) = I(xi / yj)，

44、I(xi ; yj) = 0后验概率与先验概率相等，阐明收到后验概率与先验概率相等，阐明收到yj后对后对信源能否发信源能否发xi所进展判别的正确程度，和所进展判别的正确程度，和xi在信源集合中的概率是一样的；在信源集合中的概率是一样的；因此，它一点也不能消除对信源能否发因此，它一点也不能消除对信源能否发xi的的不确定度，也就是说从不确定度，也就是说从yj中获取不到关于中获取不到关于xi的信息量；的信息量；现实上，假假设现实上，假假设xi 和和yj 统计无关，即统计无关，即p(xi , yj)=p(xi ) p(yj)，由贝叶斯公式容易推得，由贝叶斯公式容易推得I(xi ； yj) = 0；这种

45、情况实践上是事件这种情况实践上是事件xi和事件和事件yj统计无关，统计无关，或者说信道使得事件或者说信道使得事件xi和事件和事件yj变成了两变成了两码事，信宿得到的信息仅仅是由信道特性码事，信宿得到的信息仅仅是由信道特性给出的，与信源实践发出什么符号无关，给出的，与信源实践发出什么符号无关，因此完全没有信息的流通。因此完全没有信息的流通。:n 互信息量可为正值或负值互信息量可为正值或负值40p(xi /yj) p(xi)，即，即 I(xi)I(xi/ yj)，I(xi; yj)H(X)n本例结论本例结论n信源信源Y的二个输出音讯是等能够性的，所以在信源没有输出音讯的二个输出音讯是等能够性的，所

46、以在信源没有输出音讯以前，事先猜测哪一个音讯出现的不确定性要大；以前，事先猜测哪一个音讯出现的不确定性要大；n信源信源Y比信源比信源X的平均不确定性大；的平均不确定性大；n信源信源X的二个输出音讯不是等概率的，事先猜测的二个输出音讯不是等概率的，事先猜测x1和和x2哪一个出哪一个出现，虽然具有不确定性，但大致可以猜出现，虽然具有不确定性，但大致可以猜出x1会出现，由于会出现，由于x1出出现的概率大。所以信源现的概率大。所以信源X的不确定性要小；的不确定性要小；n信息熵反映的就是信源输出前平均不确定程度的大小。信息熵反映的就是信源输出前平均不确定程度的大小。5 . 0 , 5 . 0,)(21y

47、yYPY01. 0 ,99. 0,)(21xxXPX:n 信源熵与平均获得的信息量 信源熵是信源的平均不确定性的描画。在普信源熵是信源的平均不确定性的描画。在普通情况下它并不等于平均获得的信息量。只需在通情况下它并不等于平均获得的信息量。只需在无噪情况下，接纳者才干正确无误地接纳到信源无噪情况下，接纳者才干正确无误地接纳到信源所发出的音讯，消除了所发出的音讯，消除了H(X)H(X)大小的平均不确定性，大小的平均不确定性，所以获得的平均信息量就等于所以获得的平均信息量就等于H(X)H(X)。在普通情况。在普通情况下获得的信息量是两熵之差，并不是信源熵本身。下获得的信息量是两熵之差，并不是信源熵本

48、身。: 条件熵条件熵n定义：条件熵是在结合符号集合定义：条件熵是在结合符号集合XY上的条件自信息的数学期望。上的条件自信息的数学期望。n在知在知Y时，时，X的条件熵为的条件熵为n知知X时，时，Y的条件熵为的条件熵为n条件熵是一个确定的值条件熵是一个确定的值mjniyxpjimjnijijijijiyxpyxIyxpyxIEYXH11)/(1211log)()/()()/()/(nimjxypjiijijyxpxyIEXYH11)/(12log)()/()/(为什么要为什么要用结合概用结合概率？率？:问题问题1 1？:问题问题1 1？:2.1.3 熵的根本性质和定理熵的根本性质和定理熵函数熵函数

49、H(X)：熵：熵H是是p(x1),p(x2),p(xn)的的n元函数实践上，元函数实践上，因因p(xi)=1，独立变量只需，独立变量只需n-1个，个，H是是(n-1)元函数元函数:(1) 非负性非负性(2) 对称性对称性(3) 最大离散熵定理最大离散熵定理(4) 扩展性扩展性(5) 确定性确定性(6) 可加性可加性(7) 极值性极值性(8) 上凸性上凸性niiinixpinnixpxpxpxpxpxpHXHi11)(121), 2 , 1( 1)(01)(log)()(,),(),()(和:(1) 非负性非负性H(X)0由于随机变量由于随机变量X的一切取值的概率分布满足的一切取值的概率分布满足

50、0p(xi)1；当取对数的底大于当取对数的底大于1时时log p(xi)0，而，而- p(xi) log p(xi)0，所以熵，所以熵H(X)0；只需当随机变量是一确知量时，熵只需当随机变量是一确知量时，熵H(X)=0。这种非负性对于离散信源的熵是适宜的，但对延这种非负性对于离散信源的熵是适宜的，但对延续信源来说这一性质并不存在。续信源来说这一性质并不存在。:(2) 对称性对称性 定义：当变量定义：当变量p(x1),p(x2),p(xn) 的顺序恣意互的顺序恣意互换时，熵函数的值不变，即换时，熵函数的值不变，即 含义：该性质阐明熵只与随机变量的总体构造有含义：该性质阐明熵只与随机变量的总体构造

51、有关，与信源的总体统计特性有关。假设某些信源关，与信源的总体统计特性有关。假设某些信源的统计特性一样含有的符号数和概率分布一的统计特性一样含有的符号数和概率分布一样，那么这些信源的熵就一样。样，那么这些信源的熵就一样。 举例举例niiixpxpxpHxpxpxpHniiinn, 2 , 1,)(,),(),()(,),(),(212121，其中: 举举 例例 下面三个信源的概率空间为下面三个信源的概率空间为 x1 x1红红 x2 x2 黄黄 x3 x3 蓝蓝 y1 y1晴晴 y2 y2 雾雾 y3 y3 雨雨 X X与与Z Z信源的差别：它们所选择的详细音讯信源的差别：它们所选择的详细音讯/

52、/符号其含义不符号其含义不同；同； X X与与Y Y信源的差别：它们选择的某同一音讯的概率不同；信源的差别：它们选择的某同一音讯的概率不同； 但它们的信息熵是一样的。这三个信源总的统计特性是一但它们的信息熵是一样的。这三个信源总的统计特性是一样的。所以熵表征信源总的统计特性，总体的平均不确定样的。所以熵表征信源总的统计特性，总体的平均不确定性。性。216131321,)(xxxXPX312161321,)(xxxYPY216131321,)(yyyZPZ:(3) 最大离散熵定理最大离散熵定理(极值性极值性)定理：定理： 离散无记忆信源输出离散无记忆信源输出n个不同的信息个不同的信息符号，当且仅

53、当各个符号出现概率相等时符号，当且仅当各个符号出现概率相等时(即即p(xi)=1/n)，熵最大。，熵最大。Hp(x1),p(x2),p(xn) H(1/n,1/n,1/n)=log2n 出现任何符号的能够性相等时，不确定性出现任何符号的能够性相等时，不确定性最大。最大。:问题问题1 1？:问题问题1 1？:问题问题1 1？:问题问题2 2？:举 例n二进制信源是离散信源的一个特例。二进制信源是离散信源的一个特例。n设该信源符号只需二个：设该信源符号只需二个：0和和1n设符号输出的概率分别为设符号输出的概率分别为p和和1-pn信源的概率空间为信源的概率空间为n二进制信源的信息熵为二进制信源的信息

54、熵为n这时信息熵这时信息熵H(X)是是p的函数。的函数。p取值于取值于0,1区间，我们可以区间，我们可以画出熵函数画出熵函数H(p)的曲线。的曲线。ppXPX110)()1 (log)1 (log)(22ppppXH:从图中可以得出熵函数的一些性质：从图中可以得出熵函数的一些性质：假设二进制信源的输出是确定的假设二进制信源的输出是确定的(p=1(p=1或或/p=1)/p=1)，那么该信源不提供任何信息；那么该信源不提供任何信息；当二进制信源符号当二进制信源符号0 0和和1 1等概率发生时，信源的等概率发生时，信源的熵到达最大值，等于熵到达最大值，等于1 1比特信息比特信息二元数字是二进制信源的

55、输出。在具有等概率二元数字是二进制信源的输出。在具有等概率的二进制信源输出的二进制数字序列中，每的二进制信源输出的二进制数字序列中，每一个二元数字提供一个二元数字提供1 1比特的信息量。假设符比特的信息量。假设符号不是等概率分布，那么每一个二元数字所号不是等概率分布，那么每一个二元数字所提供的平均信息量总是小于提供的平均信息量总是小于1 1比特。这也进比特。这也进一步阐明了一步阐明了“二元数字二元数字计算机术语称计算机术语称“比特比特与信息量单位与信息量单位“比特比特的关系。的关系。:1234562,()0.20.190.180.170.160.17()log 6XxxxxxxP XH X设信

56、源求这信源的熵，并比较与的大小，看其是否满足最大离散熵定理？:6212222222()( )log( )0.2log 0.20.19log 0.190.18log 0.182(0.17log 0.17)0.16log 0.162.66(/)log 62.58?()log 6?iiiH Xp xp xbit symbolH X 解答：1234562,()0.20.190.180.170.160.17()log 6XxxxxxxP XH X设信源求这信源的熵，比较与的大小，看其是否满足最大离散熵定理？:61( )0.20.190.180.170.160.171.071iip x概率空间不满足归一化

57、不满足最大离散熵定理)(,),(),(,)(2121nnxpxpxpxxxXPX，1)(1)(01niiixPxp，信源空信源空间必定间必定是一个是一个完备集完备集信源空信源空间的描间的描画画:(4) 扩展性扩展性n 由于 所以上式成立。n本性质阐明，信源的取值增多时，假设这些取值对应的概率很小接近于零，那么信源的熵不变。n虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来思索时，由于这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种表达。)(,),(),()(,)(,),(),(lim2101211nnnnnxpxpxpHxpxpxpxpH02

58、0loglim:(5) 确定性确定性H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0, ,0)=0 在概率矢量在概率矢量P(X)=p(x1),p(x2),p(xn)中中 当当p(xi)=1时，时，-p(xi)log2p(xi)=0； 其他变量其他变量p(xj)=0(ji)， 只需信源符号表中有一个符号出现概率为只需信源符号表中有一个符号出现概率为1，信源熵，信源熵就等于就等于0。在概率空间中，假设有两个根身手实，其中一。在概率空间中，假设有两个根身手实，其中一个是必然事件，另一个那么是不能够事件，因此没有不个是必然事件，另一个那么是不能够事件，因此没有不确定性，熵必为确定性，熵

59、必为0。当然可以类推到。当然可以类推到n个根身手件构成的个根身手件构成的概率空间。概率空间。0)(log)(lim20)(jjxpxpxpj:(6) 可加性可加性H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)证明第一个式子：证明第一个式子： 可加性可加性 是熵函数的一个重要特性，正由于具有可加性，所以可以证是熵函数的一个重要特性，正由于具有可加性，所以可以证明熵函数的方式是独一的，不能够有其它方式存在。明熵函数的方式是独一的，不能够有其它方式存在。 jijijijijijxpiixypijjixpijijiijxypxpjiijyxpjixypxypxpyxpXYHXHXYHxypxpyxpxypxpyxpyxpXYHiijiijiji1)/()/()()()/()()/()/(log)(log)(log)/()(log)(log)()()(12)/(12)(12)/()(12)(12其中:(7) 极值性极值性/香农辅助定理香农辅助定理n对恣意两个音讯数一样的信源对恣意两个音讯数一样的信源 有有n上式含义：任一概率分布上式含义：任一概率分布p(xi)，它对其它概率