第二讲西电通院考研复试资料(试题+课件).ppt

2020 1 27 1 第二章 信息量和熵 2 1离散型随机变量的非平均信息量 事件的信息量 2 2离散型随机变量的平均自信息量 熵 2 4离散型随机变量的平均互信息量 2 5连续型随机变量的平均互信息量和相对熵 2 6凸函数与 离散型随机变量的 平均互信息量的凸性 2020 1 27 2 2 1离散型随机变量的非平均信息量 事件的信息量 本章将给出各种信息量的定义和它们的性质 定义2 1 1 非平均互信息量 给定一个二维离散型随机变量 X Y xk yj rkj k 1 K j 1 J 因此就给定了两个离散型随机变量 X xk qk k 1 K 和 Y yj wj j 1 J 事件xk X与事件yj Y的互信息量定义为 2020 1 27 3 2 1离散型随机变量的非平均信息量 事件的信息量 其中底数a是大于1的常数 常用a 2或a e 当a 2时互信息量的单位为 比特 互信息量的性质 1 I xk yj loga rkj qkwj 因此有对称性 I xk yj I yj xk 2 当rkj qkwj时I xk yj 0 当两个事件相互独立时 互信息量为0 3 当rkj qkwj时I xk yj 0 当rkj qkwj时I xk yj 0 当两个事件正相关时 互信息量为正值 当两个事件负相关时 互信息量为负值 2020 1 27 4 2 1离散型随机变量的非平均信息量 事件的信息量 定义2 1 3 非平均自信息量 给定一个离散型随机变量 X xk qk k 1 K 事件xk X的自信息量定义为h xk loga 1 qk 其中底数a是大于1的常数 自信息量的性质 1 h xk 0 2 qk越小 h xk 越大 3 I xk yj min h xk h yj 即互信息量不超过各自的自信息量 证明注意到总有rkj min qk j 为什么 什么情况下相等 因此根据定义 I xk yj h xk I xk yj h yj 得证 2020 1 27 5 2 1离散型随机变量的非平均信息量 事件的信息量 定义2 1 4 条件的非平均自信息量 给定一个二维离散型随机变量 X Y xk yj rkj k 1 K j 1 J 在事件yj发生的条件下事件xk的条件自信息量定义为h xk yj loga 1 P X xk Y yj loga wj rkj 条件的非平均自信息量实际上是非平均自信息量的简单推广 将概率换成了条件概率 条件的非平均自信息量的特殊性质 h xk yj h xk I xk yj 2020 1 27 6 2 1离散型随机变量的非平均信息量 事件的信息量 定义2 1 5 联合的非平均自信息量 给定一个二维离散型随机变量 X Y xk yj rkj k 1 K j 1 J 事件 xk yj X Y 的自信息量定义为h xk yj loga 1 rkj 联合的非平均自信息量实际上是非平均自信息量的简单推广 即可以将 X Y 直接看成是一维的随机变量 联合的非平均自信息量的特殊性质 h xk yj h yj h xk yj h xk h yj xk h xk yj h xk h yj I xk yj 2020 1 27 7 2 1离散型随机变量的非平均信息量 事件的信息量 小结非平均互信息量I xk yj 非平均自信息量h xk h yj 条件的非平均自信息量h xk yj h yj xk 联合的非平均自信息量h xk yj 相互关系 I xk yj min h xk h yj h x