条件熵、联合熵及熵的性质.ppt

信源及其信息熵 第二章 2 1 3条件熵及联合熵 条件熵是在联合符号集合XY上的条件自信息量的数学期望 在已知随机变量Y的条件下 随机变量X的条件熵定义为 要用联合概率加权 条件熵是一个确定值 表示信宿在收到Y后 信源X仍然存在的不确定度 这是传输失真所造成的 有时称H X Y 为信道疑义度 也称损失熵 称条件熵H Y X 为噪声熵 条件熵 联合离散符号集合XY上的每个元素对的联合自信息量的数学期望 联合熵 熵 条件熵 联合熵关系 一个二进信源X发出符号集 0 1 经过离散无记忆信道传输 信道输出用Y表示 由于信道中存在噪声 接收端除收到0和1的符号外 还有不确定符号 2 已知X的先验概率 p x0 2 3 p x1 1 3 符号转移概率 p y0 x0 3 4 p y2 x0 1 4p y1 x1 1 2 p y2 x1 1 2 X Y 0 1 0 1 2 3 4 1 2 1 2 1 4 信源熵H X 例题 得联合概率 p x0y0 p x0 p y0 x0 2 3 3 4 1 2p x0y1 p x0 p y1 x0 0p x0y2 p x0 p y2 x0 2 3 1 4 1 6p x1y0 p x1 p y0 x1 0p x1y1 p x1 p y1 x1 1 3 1 2 1 6p x1y2 p x1 p y2 x1 1 3 1 2 1 6 由 例题 条件熵H Y X 联合熵H XY H XY H X H Y X 1 8bit 符号 得p y0 p xiy0 p x0y0 p x1y0 1 2 0 1 2p y1 p xiy1 p x0y1 p x1y1 0 1 6 1 6p y2 p xiy2 p x0y2 p x1y2 1 6 1 6 1 3 由 例题 信源输出熵H Y 由 得 同理p x0 y1 0 p x1 y1 1p x0 y2 1 2 p x1 y2 1 2 条件熵H X Y 例题 或H X Y H XY H Y 1 8 1047 0 33bit 符号 2 1 4熵的基本性质 熵的基本性质 概率矢量 非负性 非负性H X 0 由于0 pk 1 所以logpk 0 logpk 0 则总有H X 0 对称性 根据加法交换律可以证明 当变量交换顺序时熵函数的值不变 即信源的熵只与概率空间的总体结构有关 而与各概率分量对应的状态顺序无关 对称性 确定性 当信源X的信源空间 X P 中 任一概率分量等于1 根据完备空间特性 其它概率分量必为0 这时信源为一个确知信源 其熵为0 确定性 这说明信源空间中增加某些概率很小的符号 虽然当发出这些符号时 提供很大的信息量 但由于其概率接近于0 在信源熵中占极小的比重 使信源熵保持不变 扩展性 扩展性 可加性 证明 可加性 极值性 最大离散熵定理 信源X中包含K个不同离散消息时 信源熵 当且仅当X中各个消息出现的概率全相等时 上式取等号 表明等概信源的不确定性最大 具有最大熵 为 极值性 定理 1 H X Y H X 条件熵不大于无条件熵 2 H XY H X H Y 证明 基本定理 基本定理推广 H X Y H X H XY H X H Y 2 1 5离散序列信源的熵 设信源输出的随机序列为X X1X2 Xl XL 序列中的变量Xl x1 x2 xn 离散无记忆信源 离散无记忆 离散无记忆信源的序列熵 信源的序列熵 进一步化简 平均符号熵 离散无记忆信源的序列熵 信源的序列熵 进一步化简 平均符号熵 离散无记忆信源的序列熵 例 有一个无记忆信源随机变量X 0 1 等概率分布 若以单个符号出现为一事件 则此时的信源熵 即用1比特就可表示该事件 如果以两个符号出现 L 2的序列 为一事件 则随机序列X 00 01 10 11 信源的序列熵 即用2比特才能表示该事件 信源的符号熵 离散无记忆信源实例 例 有一离散平稳无记忆信源 求 二次扩展信源的熵 离散无记忆信源实例 信源熵为 信源的序列熵 离散无记忆信源实例 平均符号熵为 例 已知离散有记忆信源中各符号的概率为 设发出的符号只与前一个符号有关 这两个符号的概率关联性用条件概率p aj ai 表示 如表 p aj ai 求离散信源的序列熵和平均每个符号的熵 离散有记忆信源实例 由p ai aj p ai p aj ai 计算得联合概率p aiaj 如表 当考虑符号之间有依赖性时 计算得条件熵 离散有记忆信源实例 发二重符号序列的熵 H X1 X2 表示平均每二个信源符号所携带的信息量 那么平均每一个信源符号携带的信息量近似为 符号之间存在关联性 比较 有记忆信源实例 而信源X的信息熵为 H X2 X1 H X 信源的条件熵比无依赖时的熵H X 减少了0 671比特 这正是因为符号之间有依赖性所造成的结果 对于有记忆信源 就不像无记忆信源那样简单 它必须引入条件熵的概念 而且只能在某些特殊情况下才能得到一些有价值的结论 对于由两个符号组成的联合信源 有下列结论 当前后符号无依存关系时 有下列推论 离散有记忆信源的序列熵 若信源输出一个L长序列 则信源的序列熵为 平均符号熵为 极限熵 离散有记忆信源的序列熵 1 条件熵H XL XL 1 随L的增加非递增 离散有记忆信源特点 3 平均符号熵HL X 随L的增加非递增 H0 X H1 X H2 X H X 2 L给定时 HL X H XL XL 1 4 2 1 6冗余