信息论信源与信息熵教学课件ppt.ppt

第2章 信源与信息熵(1),信息论与编码b,西安邮电大学 通信与信息工程学院,2013年9月,本章要求,重点掌握 信息的量度： 信息量（自信息量、条件信息量、联合信息量） 离散单符号信源熵、条件熵、联合熵 平均互信息量 马尔可夫信源极限熵 熵及平均互信息量的性质与物理意义,本章要求, 一般掌握： 离散序列熵、序列符号熵 连续信源相对熵及最大熵定理 冗余度的概念 了解： 数据处理中信息不增加性原理,本章目录,信源的数学模型及分类,离散信源熵和互信息,信息熵的性质,离散序列信源熵,信源的数学模型及分类,连续信源与互信息,信源的冗余度,2.1 信源的数学模型及分类,通信系统模型：,对信息论的学习可从信源开始; 消息是信息的载体。信息是抽象的，消息是具体的; 要研究信息，还得从研究消息入手。,1. 信源的定义：, 什么是信源? 信源是产生消息（符号）、消息序列和连续消息的来源。 从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 信源的基本特性: 具有随机不确定性。, 信源的分类： 连续信源：取值于一个连续的区间。如: 图像，声音等 离散信源：取值于一个离散集合。如: 文字，数字等 离散信源的进一步分类： 离散无记忆信源： 发单符号 发符号序列 特点：发出的各个符号之间是相互独立的，符号序列中 的各个符号之间也没有统计关联性。 离散有记忆信源： 无限长记信源 有限长记忆信源(马尔可夫信源) 特点：信源在不同时刻发出的符号之间是相互依赖的,发出的各个符号的概率是有关联,2. 信源分类,3. 信源的数学模型, 离散信源的数学模型： 离散信源发出的符号集合为： 各符号的先验概率为 概率空间 (单符号),3. 信源的数学模型, 有记忆信源的数学模型（n=2）：,设离散信源发出的符号集合为： 若它是有记忆的，且记忆长度为2时，此时信源则为x=x1x2, 概率空间为,3. 信源的数学模型, 连续信源的数学模型： 概率空间 为：,概率密度函数,4. 信源举例 （一个概率空间就是表示一个信源）,二进制信源的概率空间,例1,例2,例2,2.2 自信息量与信源熵,设某离散信源的数学模型如下:,问 题：（信息的度量问题） 每个消息（符号）的出现携带多少信息量? 这样的信源平均能输出多少信息?,1. 自信息量,消息 xi 的概率 p(xi) 对数的负值，称为 xi 的自信息量，用 i(xi) 表示。,定义,计算,一点说明,计算自信息量时，要注意有关事件发生概率的计算； 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, hartley）”； 根据换底公式得：,注意：一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略去不写。,1 nat = 1.44bit , 1 hat = 3.32 bit；,例3,试求：该信源发出各消息的自信息量。,已知某信源的概率空间为,解：,自信息量的计算公式是一个关于概率的函数。即： i (xi) f p(xi) 函数 f p(xi) 满足以下条件： （1）它应是先验概率p(xi)的单调递减函数，即当 p (x1) p (x2) 时，有 f p (x1) f p (x2) ； （2）当 p (xi) =1 时， f p (xi) = 0 （3）当 p (xi) =0 时， f p (xi) = （4）两个独立事件的联合信息量应等于它们分别的信息量之和。 可以证明对数函数满足上述条件：,性质,自信息量的二种理解方式：,i(xi) 代表两种含义(二种理解方式)： （1）当事件xi发生以前，表示事件xi发生的不确定性; （2）当事件xi发生以后，表示事件xi所提供的信息量.,例1 p8 例题2-1, 自信息的计算。,例2 p10 例题2-3, 自信息的计算。,2. 联合自信息与条件自信息,若有两个消息xi，yj 同时出现，则其自信息量定义为(联合自信息量) 若xi，yj 相互独立，则 若xi，yj 不相互独立，则要用条件概率 p(xi | yj) 来表示，即在事件 yj 出现的条件下，事件 xi 发生的条件概率，其条件自信息量定义为,条件自信息量为：,3. 信源熵（平均信息量） （本章重点）,设离散信源的为：,则信源中每个符号信息量的数学期望（平均自信息量），称为信源熵，记作h (x)。,说明：,由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把h(x)称为信息“熵”； 信息熵的单位由自信息量的单位决定，即取决于对数的底。, h(x)的单位：比特符号,有一布袋内放 l00 个球，其中 80 个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：,（1）如果被告知摸出的是红球，那么获得的信息量是： i (a1) log p(a1) log0.8= 0.32 （比特） （2）如被告知摸出来的是白球，所获得的信息量应为： i (a2) log p(a2) log0.2 = 2.32 （比特） （3）平均摸取一次所能获得的平均信息量（熵）为 ： h(x)= p(a1) i (a1) + p(a2) i (a2) =0.72（比特/符号）,例：熵的计算,熵的含义,熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。其三个物理含义如下： (1) 在信源输出后，h(x)表示每个消息提供的平均信息量； (2) 在信源输出前，h(x) 表示信源 x 的平均不确定性； (3) h(x) 表征了变量 x 的随机性。 例如，有两信源x、y，其概率空间分别,计算其熵，得：h(x)=0.08（ bit /符号） h(y)=1（bit / 符号） h(y)h(x)，因此信源y比信源x的平均不确定性要大。,信息熵是信源概率空间的一种特殊矩函数。这个矩函数的大小，与信源的符号数及其概率分布有关。 我们用概率矢量p来表示概率分布p(x)：,4、信息熵的基本性质,这样，信息熵h(x)是概率矢量p或它的分量p1，p2，pq的q-1元函数 (因各分量满足上述条件限制，所以独立变量只有q-1元)。 一般 h(x)可写成：,熵函数,h(p)是概率矢量p的函数，称为熵函数。 我们用下述表示方法： 用h(x) 表示以离散随机变量 x 描述的信源的信息熵； 用h(p) 或 h(p1, p2 , , pq )表示概率矢量为 p = (p1, p2 , , pq )的 q 个符号信源的信息熵。 熵函数h(p)是一种特殊函数，具有以下性质。,1、对称性：,h(p) 的取值与分量 p1, p2 , , pq 的顺序无关。 说明： 从数学角度： h(p)= pi log pi 中的和式满足交换率； 从随机变量的角度：熵只与随机变量的总体统计特性有关。 一个例子：,h(1,0)=h(1,0,0)=h(1,0,0,0)=0 性质说明： 在概率矢量p=(p1,p2,pq)中，只要有一个符号几乎的概率为1，则其它符号出现概率为0，那么，这个信源是一个确知信源，其熵等于零。 (平均不确定度为0),2、确定性：,h(p)=h(p1,p2,pq) 0 说明： 随机变量x的概率分布满足0pi1，当取对数的底大于1时，log(pi) 0，-pilog(pi ) 0，即得到的熵为正值。 式中等号只有在pi =1时才成立。 这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。,非负性体现信息是非负的。,3、非负性：,对任意两个消息数相同的信源,4.极值性 (香农辅助定理),定理表明： 对任意概率分布 pi ，它对其他概率分布 qi 的自信息量对数学期望，必定大小或等于对 pi 本身的熵。,离散无记忆信源输出m个不同的信息符号,当且仅当各个符号出现概率相等时，即pi1/m时，熵达到最大。,5、最大熵定理, 也就是说： 等概率信源具有最大熵，最大熵 h(x)max=logm,例4,信源的信息熵,例5,信源的信息熵,例：二进制信源,该信源符号只有二个，设为“0”和“1”。符号输出的概率分别为“”和“1- ”，即信源的概率空间为：,它的熵为： h(x) = -log (1-) log(1-) =h(),即信息熵h(x)是的函数。 取值于0，1区间，可画出熵函数h() 的曲线来，如右图所示。,熵函数h(p)是概率矢量p(p1，p2， ，pq)的严格型凸函数(或称上凸函数)。 说 明： 它表示：对任意概率矢量p1 (p1,p2, ,pq )和p2 (p1,p2, ,pq)，和任意的 01，有： h p1十(1- )p2 h(p1)十(1-)h(p2) 因为熵函数具有上凸性，所以熵函数具有极值，其最大值存在。,6、上凸性,7. 可加性,两个互相关联的信源 x 和 y 的联合信源的熵等于信源 x的熵加上在