信息的统计度量.ppt

第二章信息的统计度量 信息的度量 信息量 和不确定性消除的程度有关 消除了多少不确定性 就获得了多少信息量 不确定性就是随机性 可以用概率论和随机过程来测度不确定性的大小 出现概率小的事件 其不确定性大 反之 不确定性小 由以上两点可知 概率小 信息量大 即信息量是概率的单调递减函数 此外 信息量应该具有可加性 Log xy logx logyLog x y logx logy 中学数学知识 2 1自信息和条件自信息量 2 1 1自信息量 定义2 1 1任意随机事件的字信息量的定义为该事件发生概率的对数的负值 自信息量I xi 的含义当事件xi发生以前 表示事件xi发生的不确定性 当事件xi发生以后 表示事件xi所提供的信息量 对于单个消息随机变量U 出现某个消息 对应概率为 这时可获得的信息量为 则有 注 I 自信息 解释 小概率事件 一当出现必然使人感到意外 因此产生的信息量就大 几乎不可能事件一旦出现 将是一条爆炸性的新闻 一鸣惊人 大概率事件 是预料之中的 即使发生 也没什么信息量 特别是当必然事件发生了 它不会给人以任何信息量 自信息量的单位自信息量的单位取决于对数的底 底为2 单位为 比特 bit 底为e 单位为 奈特 nat 底为10 单位为 哈特 hat 1nat 1 44bit 1hat 3 32bit 自信息量I ai 的性质I ai 是非负值 当P ai 1时 I ai 0 当P ai 0时 I ai I ai 是P ai 的单调递减函数 例 从26个英文字母中 随即选取一个字母 则该事件的自信息量为I log2 1 26 4 7比特例 设m比特的二进制数中的每一个是等概率出现的 这样的数共有2m个 则任何一个数出现的自信息为 I log2 1 2m m比特 符号 计算信息量主要要注意有关事件发生概率的计算 联合自信息量 定义2 1 2二维联合集XY上的元素 xy 的联合自信息量定义为 2 1 2条件自信息量 定义2 1 3联合集XY中 对事件xi和yj 事件xi在事件yj给定的条件下的条件自信息量定义为 在特定条件下 已定 随机事件发生所带来的信息量 条件自信息量满足非负和单调递减性 例 甲在一个8 8的方格盘上随意放入一个棋子 在乙看来是不确定的 1 在乙看来 棋子落入某方格的不确定性为多少 2 若甲告知乙棋子落入方格的行号 这时 在乙看来棋子落入某方格的不确定性为多少 联合自信息量和条件自信息量关系 当X和Y独立时 2 2互信息量和条件互信息量 2 2 1互信息量 信源集合X的概率空间 XP x1x2 p x1 p x2 YP y1y2 p y1 p y2 信宿收到的符号集合Y的概率空间 定义2 2 1对两个离散随机事件集X和Y 事件yj的出现给出关于事件xi的信息量 定义为互信息量 用表示 即 互信息量等于自信息量减去条件自信息量 第三种表达方式 2 2 2互信息量的性质1 互信息量的互易性 即I xi yj I yj xi 2 当X和Y相互独立时 互信息为0 3 互信息量可为正值或负值 4 任何两个事件之间的互信息量不可能大于之中任一事件的自信息量 自信息 条件自信息和互信息 2 2 3条件互信息量 定义2 2 2联合集合XYZ中 给定条件zk的条件下 xi与yj之间的互信息量 其定义式 另外 联合集合XYZ中还存在xi与yjzk之间的互信息量 其定义式 或将上式进一步表示为 思考下式的证明 上式表明一对事件yjzk出现后提供有关xi的信息量I xi yjzk 等于事件yj出现后所提供的有关xi的信息量I xi yj 加上在给定时间yj的条件下再出现事件zk所提供的有关xi的信息量 一个离散随机变量X 以不同的取值概率有N个可能取值 X P x a1a2 aN p1p2 pN 信息论关心 X的不确定性不确定性 大 获取的信息 多 2 3离散集的平均自信息量 熵的引入 箱内100个球摸到红球不确定性分析 随机变量X Y Z X P x a1a2 0 990 01 Z P z a1a2a3a4a5 0 20 20 20 20 2 Y P y a1a2 0 50 5 问题 能否度量 如何度量 小 大 99个红球 1个黑球 50个红球 50个黑球 20个红球 其它4种颜色各20个 2 3 1平均自信息量 熵 通常研究单独一个事件或单独一个符号的信息量是不够的 往往需要研究整个事件集合或符号序列 如信源 的平均的信息量 总体特征 这就需要引入新的概念 平均自信息量 定义2 3 1集X上 随机变量I xi 数学期望定义为平均自信息量 由于这个表达式和统计物理学中热熵的表达式相似 且在概念上也有相似之处 因此借用 熵 这个词 把H X 称为信息 熵 熵函数的自变量是X 表示信源整体 信息熵的单位与公式中的对数取底有关 通信与信息中最常用的是以2为底 这时单位为比特 bit 理论推导中用以e为底较方便 这时单位为奈特 Nat 工程上用以10为底较方便 这时单位为笛特 Det 它们之间可以引用对数换底公式进行互换 比如 1bit 0 693Nat 0 301Det 熵的计算 例 设某信源输出四个符号 其符号集合的概率分布为 则其熵为 熵是从整个集合的统计特性来考虑的 它是从平均意义上来表征集合的总体特征的 熵表示事件集合中事件发生后 每个事件提供的平均信息量 熵表示事件发生前 集合的平均不确定性 例 有2个集合 其概率分布分别为 分别计算其熵 则 H X 0 08bit 符号 H Y 1bit 符号 2 3 2熵函数的数学特性 3 扩展性 当某事件Ek的概率Pk稍微变化时 H函数也只作连续的不突变的变化 1 对称性 熵函数对每个Pk对称的 该性质说明熵只与随机变量的总体结构有关 与事件集合的总体统计特性有关 2 非负性 H P H p1 p2 pq 0 5 极值性 当所有事件等概率出现时 平均不确定性最大 从而熵最大 即 4 可加性 如果有两个随机变量X Y 他们不是相互独立的 则二维随机变量 X Y 的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵统计平均值 即 6 确定性 即H 1 0 H 1 0 0 H 1 0 0 0 0 即当某一事件为确定事件时 整个事件集合的熵为0 7 上凸性 条件熵 2 3 3 条件概率 并且 当已知特定事件yj出现时 下一个出现的是xi的不确定性为 对集合X中所有元素统计平均 其熵为 上述熵值再对集合Y中的元素做统计平均 得条件熵 同理可得 定义2 3 3联合集XY上 条件自信息量I y x 的概率加权平均值定义为条件熵 在已知随机变量Y的条件下 随机变量X的条件熵定义为 条件熵是一个确定值 表示信宿在收到Y后 信源X仍然存在的不确定度 这是传输失真所造成的 有时称H X Y 为信道疑义度 也称损失熵 称条件熵H Y X 为噪声熵 定义2 3 4联合离散符号集合XY上的每个元素对xiyj的联合自信息量的数学期望 是二元随机变量不确定性的度量 2 3 4联合熵 共熵 定义式为 2 3 5各种熵的性质 1 联合熵与信息熵 条件熵的关系 当X Y相互独立时 有 于是有 理解 当随机变量相互独立时 其联合熵等于单个随机变量的熵之和 而条件熵等于无条件熵 2 共熵与信息熵的关系 当X Y相互独立时等式成立 3 条件熵与信息熵的关系 2 3 6加权熵 设有随机变量X 引入时间的重量后 其概率空间为 定义2 3 5离散无记忆信源 XPW 的加权熵定义为 加权熵的性质 性质1 非负性HW X 0 性质2 若权重W1 W2 Wn W 则HW X WH X 性质3 确定性 若pj p xj 1 而pi p xi 0 i 1 2 n i不等于j 则HW X 0 性质4 若 而 I J为样本空间 并且 加权熵为零 即HW X 0 2 4平均互信息量 互信息量是定量地研究信息流通问题的重要基础 但它只能定量地描述输入随机变量发出某个具体消息 输出变量出现某一个具体消息时 流经信道的信息量 此外还是随和变化而变化的随机变量 互信息量不能从整体上作为信道中信息流通的测度 这种测度应该是从整体的角度出发 在平均意义上度量每通过一个符号流经信道的平均信息量 定义互信息量在联合概率空间中的统计平均值为Y对X的平均互信息量 简称平均互信息 也称平均交互信息量或交互熵 p xi 发送端发送xi的概率 P xi yj 接收端收到yj后 发送端发送xi的概率 当xi yj相互独立时 2 4 2平均条件互信息量 定义2 4 1在联合集XY上 由yj提供的关于集X的平均条件互信息量等于由yj所提供的互信息量I xi yj 在整个X中以后验概率加权的平均值 其定义式为 定理2 4 1在联合集XY上的平均条件互信息量有I X yj 0 当且仅当X集中的各个xi都与事件yj互相独立时 等号成立 定义2 4 2互信息量I X yj 在整个集Y上的概率加权平均值 2 4 2平均互信息量 平均互信息的物理意义 从三种不同角度说明从一个事件获得另一个事件的平均