《信息论与编码》PPT课件.ppt

信息论与编码基础 当一个人感到有一种力量推动他去翱翔时 他是决不应该爬行的 美 海伦 凯勒 信息论与编码基础 离散信源 一 信源的数学模型及分类 二 离散信源的信息熵及其性质 三 离散无记忆的扩展信源 四 离散平稳信源 五 信源的剩余度 信息论与编码基础 离散信源 一 信源的数学模型及分类 二 离散信源的信息熵及其性质 三 离散无记忆的扩展信源 四 离散平稳信源 五 信源的剩余度 信息论与编码基础 离散信源 简单的离散信源 N次扩展信源 信息论与编码基础 离散信源 解 信息论与编码基础 离散信源 信息论与编码基础 离散信源 X的二次扩展 X的三次扩展 例 设X为二元离散无记忆信源 其概率空间为 信息论与编码基础 离散信源 一 信源的数学模型及分类 二 离散信源的信息熵及其性质 三 离散无记忆的扩展信源 四 离散平稳信源 五 信源的剩余度 信息论与编码基础 离散信源 1 概念 2 二维平稳信源 3 一般离散平稳信源 信息论与编码基础 离散信源 1 概念 1 一维平稳信源 2 二维平稳信源 3 N维平稳信源 信息论与编码基础 离散信源 1 概念 2 二维平稳信源 3 一般离散平稳信源 信息论与编码基础 离散信源 2 二维平稳信源 信息论与编码基础 离散信源 1 联合熵 bit 2 sign 联合自信息 2 平均符号熵 信息论与编码基础 离散信源 3 条件熵 条件自信息 各熵的关系 信息论与编码基础 离散信源 熵的强可加性 信息论与编码基础 离散信源 证明 例 设二维离散信源X X1X2的原始信源X的信源模型为X X1X2中前后两个符号的条件概率列于上表 原始信号X的熵由上表的条件概率确定条件熵 信息论与编码基础 离散信源 条件熵H X2 X1 比信源熵 无条件熵H X 减少了0 672比特 符号 这是由于符号之间的依赖性造成的 信源平均每发一个消息提供的信息量 即联合熵H X1X2 H X1 H X2 X1 1 542 0 870 2 412 比特 符号 每一个信源符号提供的平均信息量H2 X 1 2 H X 1 2 H X1X2 1 206 比特 符号 H2 X 小于信源提供的平均信息量H X 这同样是由于符号之间的统计相关性所引起 信息论与编码基础 离散信源 课堂练习 1 为了使电视图像获得良好的清晰度和规定的适当的对比度 需要用5 105个象素和10个不同亮度电平 求传递此图像所需的信息率 比特 秒 并设每秒要传送30帧图像 所有象素是独立变化的 且所有亮度电平等概率出现 2 设某彩色电视系统 除了满足对于黑白电视系统的上述要求外 还必须有30个不同的色彩度 试证明传输该彩色系统的信息率要比黑白系统的信息率约大2 5倍 信息论与编码基础 离散信源 解答 1 每个象素亮度信源的概率空间为每个象素亮度含有的信息量每帧图像信源就是离散亮度信源的无记忆N次扩展信源 可得每帧图像含有的信息量为每秒30帧 则传递此图像所需的信息率为 信息论与编码基础 离散信源 解答 2 色彩度信源的概率空间为每个色彩度含有的信息量亮度和色彩度是独立同时出现的 每个象素含有的信息量为在每帧所用象素数和每秒传送帧数相同时 信息率之比为 信息论与编码基础 离散信源 信息论与编码基础 离散信源 一 信源的数学模型及分类 二 离散信源的信息熵及其性质 三 离散无记忆的扩展信源 四 离散平稳信源 五 信源的剩余度 信息论与编码基础 离散信源 1 概念 2 二维平稳信源 3 一般离散平稳信源 信息论与编码基础 离散信源 若设信源X的符号间依赖长度为N 则联合概率为 信息论与编码基础 离散信源 联合熵 bit N sign 平均符号熵 bit sign 条件熵 bit sign 离散平稳信源的信源熵 将二维离散平稳有记忆信源推广到N维的情况H X H X1 H X2 X1 H X3 X1X2 H XN X1X2 XN 1 证明 结论 多符号离散平稳有记忆信源X的熵H X 是X中起始时刻随机变量X1的熵与各阶条件熵之和 由于信源是平稳的 这个和值与起始时刻无关 信息论与编码基础 离散信源 离散平稳信源的信源熵 信息论与编码基础 离散信源 信息论与编码基础 离散信源 对于一般离散平稳信源 有如下性质 证明 H XN X1X2 XN 1 H XN X2 XN 1 H XN 1 X1 XN 2 平稳性 H XN 1 X2 XN 2 H XN 2 X1 XN 3 H X2 X1 H X1 信息论与编码基础 离散信源 2 N给定时 平均符号熵大于等于条件熵 即 证明 由于 HN X H X1X2 XN N H X1 H X2 X1 H XN X1X2 XN 1 N 熵的强可加性 NH XN X1X2 XN 1 N H XN X1X2 XN 1 3 平均符号熵随N的增加而非递增 即 信息论与编码基础 离散信源 证明 由于 HN X H X1X2 XN N H X1X2 XN 1 XN X1X2 XN 1 N N 1 HN 1 X XN X1X2 XN 1 N 可得 HN X N 1 HN 1 X N X N HN X HN 1 X 考虑的相关性越多 平均不确定性越小 信息论与编码基础 离散信源 极限熵 证明 由于 HN X HN 1 X 有 0 HN X HN 1 X H1 X 存在性 现另设一正整数k 有 HN k X H X1X2 XN 1 XN X1X2 XN 1 H XN k X1X2 XN k 1 N k H X1X2 XN 1 k 1 XN X1X2 XN 1 N k 当k趋于 N固定时 有 H X XN X1X2 XN 1 当N趋于 即证 极限熵 H X 矢量熵 H X1X2 XN 1XN 联合熵表示平均发一个消息 由N个符号组成 提供的信息量 平均符号熵 信源平均每发一个符号提供的信息量为极限熵 当N 时 平均符号熵取极限值称之为极限熵或极限信息量 用H 表示 即 信息论与编码基础 离散信源 极限熵的存在性 当离散有记忆信源是平稳信源时 从数学上可以证明 极限熵是存在的 且等于关联长度N 时 条件熵H XN X1X2 XN 1 的极限值 即 信息论与编码基础 离散信源 极限熵的含义 代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量 多符号离散平稳信源实际上就是原始信源在不断地发出符号 符号之间的统计关联关系也并不仅限于长度N之内 而是伸向无穷远 所以要研究实际信源 必须求出极限熵H 才能确切地表达多符号离散平稳有记忆信源平均每发一个符号提供的信息量 极限熵的计算 必须测定信源的无穷阶联合概率和条件概率分布 这是相当困难的 有时为了简化分析 往往用条件熵或平均符号熵作为极限熵的近似值 在有些情况下 即使N值并不大 这些熵值也很接近H 例如马尔可夫信源 信息论与编码基础 离散信源 课堂练习 设有一个信源 它产生0 1序列的信息 它在任意时间而且不论以前发生过什么符号 均按P 0 0 4 P 1 0 6的概率发出符号 1 试问这个信源是否是平稳的 2 试计算 3 试计算H X4 并写出X4信源中可能有的所有符号 信息论与编码基础 离散信源 解答 1 信源发出符号的概率分布与时间平移无关 而且信源发出的序列之间也是彼此无依赖的 因此该信源是平稳的 而且是离散无记忆信源 2 信息论与编码基础 离散信源 3 信息论与编码基础 离散信源 信息论与编码基础 离散信源 相关系数度量 设X1与X2是同分布 但不一定独立 设 1 证明 2 何时 3 何时 思考题 信息论与编码基础 离散信源 一 信源的数学模型及分类 二 离散信源的信息熵及其性质 三 离散无记忆的扩展信源 四 离散平稳信源 五 信源的剩余度 定义 为它的信源剩余度 信息论与编码基础 离散信源 信源剩余度 例1 英文源 信息论与编码基础 离散信源 H0 log27 4 76bit sig INNOTHHEERANREEDONESSTENATTONTHANDOUEANGAS THEINGANDHERERETHANTHFORDTHHATSHEIONINTHISSTHERSVERENT 例2 中文源 二 数据压缩的基本途径 结论1 信息论与编码基础 离散信源 数据压缩的基本途径 结论1 有记忆信源的冗余度寓于信源符号间的相关性中 去除它们之间的相关性 使之成为或几乎成为不相关的信源 其熵将增大 典型应用 预测