信息工程概论课件 第四讲 信息的定量测度

第4讲信息的定量测度Shannon指出：通信工程的基本任务，是在噪声干扰下尽可能准确地复制从发端传来的消息波形，而与消息的内容和价值无关。4.1概率语法信息测度

Shannon概率熵Shannon注意到通信问题的随机性质，他指出：一个实际的消息是从可能消息的集合中随机选择出来的，而选择消息的发信者又是任意的，因此这种选择就具有随机性，是一种大量重复发生的统计现象。Shannon等人还注意到，通信的发生是以通信者具有不定性为前提的，而通信的作用和结果则是消除这种不定性。信息科学导论既然信息是用来消除不定性的东西，那么信息的数量就可以用被消除掉的不定性的大小来表示。这种不定性是由随机性引起的，因此可以用概率论方法来描述。这就是Shannon信息度量方法的基本思想。4.1概率语法信息测度

Shannon概率熵假设有随机事件的集合x1，x2，…，xN，它们的出现概率分别为P1，P2，…，PN。，满足下述条件：0≤pi≤1i=1,…N，首先找出一种测度来度量事件选择中含有多少“选择的可能性”，或者度量选择的结果具有多大的不确定性。显然，当所收到的信息量恰好使这个不定性全部消除时，所收到的信息的量就认为等于这个所消除掉的不定性的数量。信息科学导论以符号H(p1，…，pN)来表示这个不定性的测度，也就是说，不定性测度必然是概率分布(p1，…，pN)的函数，其具体的函数形式则有待确定。4.1概率语法信息测度

Shannon概率熵为了确定H（p1，…，pN）的具体形式，应当考虑一些合理的约束。对此Shannon提出了如下三个基本条件：（1）H应当是对pi（i=1，…，N）连续的函数。（2）如果所有的pi相等，即,…，N那么H应是N的单调增函数。（3）如果选择分为相继的两步，那么原先的H应等于分步选择的各个H值的加权和。信息科学导论条件（1）和（2）显然合理；条件（3）的含义可以解释如下：设有三个事件x1，x2和x3，它们的出现概率为p1=1/2,p2=1/3和p3=1/6，如图所示。4.1概率语法信息测度

Shannon概率熵信息科学导论图（a）是不分步选择的情况，图（b）是分两步选择的情况。显然，从最后的结果来看，分步与否并不影响这个事件集的不定性，因为它们的概率空间完全相同。于是，人们自然希望能满足这样的关系：这无疑也是合理的。4.1概率语法信息测度

Shannon概率熵信息科学导论定理3.1.1满足条件（1）、（2）和（3）的不定性度量可用且仅可用下式表示：

式中K为正常数.4.1概率语法信息测度

Shannon概率熵用等概率选择的情况验证，令由条件（3）有信息科学导论因而

一般地有4.1概率语法信息测度

Shannon概率熵对于给定的β，总可以找到适当的α，使满足关系：对上式取对数，并以βlogS除之，则有

信息科学导论另一方面，由条件（2）及上述公式可得上式除以βA(S)，则得

4.1概率语法信息测度

Shannon概率熵可以得出

信息科学导论式中ε是任意小的正数。于是有

A(t)=Klogt根据条件（2），K必须为正数。若取β足够大，则可以写为4.1概率语法信息测度

Shannon概率熵对于非等概率事件，经适当变换，可以看做等概率事件进行分析，证明略。信息科学导论如前所说，信息是用以消除不定性的东西。如果以I(p1，…，Pn)来表示为消除不定性H(p1，…，pN)所需要的信息量，则有I(p,…,pN)=H(p1,…,pN)-0=H(p1,…,pN)4.1概率语法信息测度

所以，从数量上说，H（p1，…，pN）既可以看作是一个随机试验所具有的不定性，也可以看作是为消除这个不定性所需要的信息量。信息科学导论为了确定信息量的单位，考察一个标准的二中择一试验，即具有两种可能结果且两种结果出现的概率相等的试验。4.1概率语法信息测度

取对数底为2，令所得的=1，则得常数K=1。于是，上式变为信息科学导论当对数底为2时，信息单位称为二进单位，也叫比特（bit，BinaryDigit的缩写）；当对数底为e时，则称自然单位，也叫奈特（nat，NaturalDigit的缩写）；当底取为10时，称为迪特（dit，DecimalDigit的缩写），等等。4.1概率语法信息测度

尽管单位不同，它们之间的转换是直接而简单的。需要注意的是，式中当某个Pi=0时，规定0log0=0信息科学导论另外，公式也可表示为

式中4.1概率语法信息测度可以理解为具有出现概率Pi的单个事件的不定性，或为消除这个不定性所需要的信息量。而H(p1，…，pN)则是具有概率分布p1，…，pN的事件集合的平均不定性，或为消除这个不定性所需要的平均信息量。信息科学导论举例

假设一条电线上串联了8个灯泡x1,x2,…,x8，这8个灯泡损坏的可能性是等概率的，现假设8个灯泡中有一个也只有一个灯泡已损坏，致死串联的灯泡都不能点亮，请求：为检查出哪个灯泡损坏所需的信息量？4.1概率语法信息测度信息科学导论A．DeLuca和S．Termin曾在1972年提出模糊熵的概念及其表达式，并建议以这个表达式来具体计算模糊集合的不定性；遗憾的是，DeLuca和Termini的文章并没有给出严格的数学证明，只是给出了如下的思路。4.2模糊语法信息测度

作为模糊熵，至少必须满足以下三个基本的特性：（1）当且仅当f在L上取值0或1时，模糊熵才为零。（2）当且仅当f恒为1/2时,才取最大值（3）

f越陡峭，应当越小；反之则应越大。就是说，若有

则应有信息科学导论其中，特性（1）是对模糊熵极值性的规定，即当模糊集的示性函数仅取0或1值时，模糊集退化为普通集。特性（2）也是对模糊熵的极值性的规定．即各个元的隶属度均为1／2时，模糊集所固有的不定性达到最大的程度。条件（3）是模糊熵的有序性的规定：隶属度分布越陡峭的模糊集所具有的不定性越小。显然，这些都是合理的要求。4.2模糊语法信息测度信息科学导论一般说来，有很多类函数都可能满足这三个基本要求，他们选择了如下的形式：

其中4.2模糊语法信息测度于是，如果引入Shannon函数

则信息科学导论令，则

4.2模糊语法信息测度这个显然能够满足上述三个基本特性的要求，因此便成为模糊集的不定性的测度，称为模糊熵。信息科学导论偶发试验所具有的不定性可以表示为4.3语法信息统一测度由此可见，不同类型的信息有不同的度量公式，为此，需要探讨更一般的信息函数表达式。与Shannon方法不同，这里不从概率的概念出发来定义信息函数，而从一个更广义的概念出发来寻求新的解答。这个广义概念就是“肯定度”。作者从肯定度归一和不归一两种情况讨论了语法信息的统一测度。信息科学导论对于肯定度归一的结论观察者R从试验系统（X．C．C*）中得到的信息量I（C，C*；R）是他通过观察所实现的关于X的对数相对平均肯定度的增量，即4.3语法信息统一测度称为一般信息函数，信息科学导论对于肯定度不归一的结论由于模糊集合各个元素的确定性性质，定义在整个模糊集合(X,C,C*)上的平均信息量就等于定义在各个(fn,1-fn)上的信息量的算术平均，即：4.3语法信息统一测度信息科学导论这样，在形式上，我们就可以把统一的语法信息I(C,C*;R)表示为式(3.3.37)所示的两段表达式，即：4.3语法信息统一测度信息科学导论4.4全信息统一测度称I(T)为R关于X的先验单纯语义信息量，I(T*)为R关于x的后验单纯语义信息量，而称I(T,T*；R)为R在观察试验X的过程中所获得的实得单纯语义信息量。信