“信息理论与编码”课程介绍

第2章信息的度量 主要内容信源模型不确定性与信息熵与平均互信息扩展信源离散有记忆信源的熵离散信源的信息 速 率和信息含量效率连续随机变量下的熵和平均互信息量 各节内容 2 1信源模型2 2 概率 信息的描述2 3不确定性与信息2 4离散熵2 5联合熵和条件熵2 6平均互信息量及其性质2 7离散无记忆信源的扩展2 8离散有记忆信源的熵2 9离散信源的信息 速 率和信息含量效率2 10连续随机变量下的熵和平均互信息量 2 1信源模型 信源模型的建立信源分类 1实际信源 信源的性质由其输出完全确定 实际信源的输出各不相同 可能是汉字 英文 声音 图像等 统称为消息 信源发出消息的过程 等同于从一个基本消息集合取出基本消息的过程 2信源模型 对认识主体而言 信源在某一时刻输出什么符号是随机的 3信源分类 一 根据参数集和值域是离散集合还是连续区间进行分类 4信源分类 二 2 平稳信源 序列的统计特性与时间的推移无关 2 2 概率 信息的描述 离散无记忆信源 DMS 非理想观察模型 1离散无记忆信源 DMS DiscreteMemorylessSource 离散无记忆信源 独立同分布随机变量序列 离散无记忆信源 续 先验概率 先验概率集合 DMS的概率空间 概率的完备性条件 有用的记号 2非理想观察模型 先验概率集合 后验概率集合 转移概率集合 传递的信息 先验不确定性 后验不确定性 2 3不确定性与信息 信息是不确定性的减少量 为度量信息 可从度量不确定性入手 不确定性的种类很多 未经统计平均的不确定性有 自信息量 条件自信息量和联合自信息量 统计平均意义下的不确定性有 熵 条件熵和联合熵 先介绍各种不确定性的度量方法 然后再引入信息的度量方法 1自信息量 注 自信息量与信息有联系 但不是信息 而是符号的先验不确定性 的 先验 不确定性 也称为的自信息量 自信息量的单位 自信息量的单位与公式中对数底的选取有关 自信息量的单位 续 单位换算 进制单位 为了强调是符号的不确定性 我们将单位写成 bit 符号nat 符号dit 符号r进制单位 符号 自信息量单位的物理含义说明 意义 的不确定性可用2位二进制数字来度量或1位四进制数字来度量 2联合自信息量 多元联合符号的联合自信息量 3条件自信息量 思考 自信息量的物理解释 例1甲在一8 8的方格棋盘上随意放入一个棋子 在乙看来棋子落入的位置是不确定的 1 在乙看来 棋子落入某方格的不确定性为多少 2 若甲告知乙棋子落入方格的行号 这时 在乙看来棋子落入某方格的不确定性为多少 解棋格按顺序编号 棋格行号 4自信息量的性质和相互关系 1 概率为0时 相应的自信息量无意义 2 非负性 三种自信息量均非负 公式 自信息量的性质和相互关系 续一 公式 联合概率 条件概率和边缘概率之间的乘法关系 自信息量的可加性 物理解释 教材第21页 自信息量相互关系推广 自信息量的可加性 自信息量可加性的链公式 特殊情况下自信息量相互关系 公式 自信息量的可加性 当和统计独立时 概率之间的乘法关系 可加性的链公式 5互信息量及其性质 的先验不确定性 从中获得的关于的信息 的先验不确定性 的后验不确定性 互信息量 事件信息 实在信息 从中得到了的全部信息 含有的实在信息 在数值上等于 例2 甲在一8 8的方格棋盘上随意放入一个棋子 在乙看来棋子落入的位置是不确定的 1 若甲告知乙棋子落入方格的行号 这时乙得到了多少信息量 2 若甲将棋子落入方格的行号和列号都告知乙 这时乙得到了多少信息量 例2解 解棋格按顺序编号 棋格行号 棋格列号 例2解 续一 1 告知行号 乙得到的信息量 bit 符号 例2解 续二 2 既告知行号又告知列号 乙得到的信息量 bit 符号 互信息量的性质 1 互易性 4 互信息量不可能大于符号的自信息 2 独立变量的互信息量为0 若 相互独立 则 3 互信息量可正可负 条件互信息量 记三元联合概率空间为 在出现的条件之下 与之间的互信息量为 2 4离散熵 熵的定义熵的物理意义熵的性质 1熵的定义 的 先验 不确定性 也称为的自信息量 熵 熵的物理意义 信源的平均不确定性 关于熵的几点说明 熵公式 1 熵公式中 只是一个记号 代表的熵 不能把看作函数的自变量 3 熵的单位与自信息量的单位相同 与熵公式中所用对数的底有关 4 规定 0log0 0 因为 2熵的性质 1 对称性 2 可扩展性 加入零概率事件不会改变熵 熵公式 确定性概率分布 3 非负性 熵公式 4 强可加性 强可加性 证明 定义新函数 则 于是 5 可加性 可加性 是 强可加性 的特殊情况 在 强可加性 中 令 就可得出可加性 可加性 证明 令 则 强可加性 6 渐化性 证明方法 利用熵公式 将右式展开再合并 说明 概率分布越均匀 熵越大 7 凸状性 是上凸函数 例 二元信源的熵 设二元信源的概率空间为 则熵为 二元熵图示 8 极值性 记等概率分布为 则 二元熵图示 K 2时 熵的图形 信息论不等式 定理2 1 信息论不等式 对于任意实数 有不等式 当且仅当时 等式成立 1 0 z ln z z 1 1 图示 切线 香农不等式 证明 极值性 证明 极值性 香农不等式 例三元熵 设三元信源为 根据熵公式 有 三元熵图示 2 5联合熵和条件熵 联合熵 联合自信息量的统计平均 条件熵 条件自信息量的统计平均各类熵之间的关系 与各类自信息量之间的关系对应 1联合熵 设联合概率空间为 联合符号的先验不确定性称为联合自信息量 联合熵 熵的物理意义 信源的平均不确定性 2条件熵 设联合概率空间为 条件自信息量 条件熵 条件熵 续一 式中 解释 是另一种条件熵 它只对求了统计平均 而未对求统计平均 代表在给定条件下有关的 平均 不确定性 条件熵 续二 3各类熵之间的关系 同理 总之 熵的强可加性 推广 各类熵之间的关系 续 于是 因此 熵之间的关系简化 熵的可加性 推广 当与相互独立 则 统计独立时 有 2 6平均互信息量及其性质 联合概率空间 互信息量 统计平均 平均互信息量 1平均互信息量的定义 2平均互信息量的物理解释 从中获得的关于的信息 的先验 平均 不确定性 的后验 平均 不确定性 3公式推导 推导 4平均互信息量的性质 1 互易性 说明 2 非负性 注意 可正可负 条件熵不会大于无条件熵 增加条件只可能使不确定性减小 不会增大不确定性 推广 条件多的熵不会大于条件少的熵 即 3 有界性 简证 5各种熵以及平均互信息量之间的关系 2 7离散无记忆信源的扩展 研究信源输出的单个符号的统计特性 研究信源输出的符号串的统计特性 单符号信源 的次扩展信源 多符号信源 扩展信源的熵 因为是DMS 故独立同分布 所以 例扩展信源模型的求法 例设有离散无记忆信源 1 求和 2 当时 计算 解 1 求2次和3次扩展信源的符号表 例扩展信源模型的求法 续一 求概率 根据信源的无记忆特性 有 同理可得 例扩展信源模型的求法 续二 2 当时 计算 有两种求法 方法一 Bit 符号 Bit 三元符号 方法二 Bit 三元符号 2 8离散有记忆信源的熵 Bit N元符号 Bit 符号 极限熵 Bit 符号 简单讨论 1 是非增的 有界的 信源无记忆时的熵 信源无记忆且等概率分布时的熵 即最大熵 信源内部有关联 也称有记忆 时 会使熵降低 当然实在信息也会跟着降低 简单讨论 续 2 极限熵的另一种表达式 3 信源无记忆时 有 Bit 符号 4 信源的实在信息在数值上等于其平均不确定性 因此 一般情况下恒有 2 9离散信源的信息 速 率和信息含量效率 离散信源的信息率 平均一个符号所携带的信息量 也就是信源的实在信息 在数值上等于信源的极限熵 Bit 符号 Bit 秒 信源的信息速率 信源单位时间内发出的平均信息量 1信息率 信源平均发出一个符号所需的时间 2信息含量效率与冗余度 信源的信息含量效率 信源的相对冗余度 当且仅当信源是DMS且等概率分布 时 例设DMS为 求信源的信息含量效率和相对冗余度 解 2 10连续随机变量下的熵和平均互信息量 连续随机变量下的熵 微分熵连续随机变量下的平均互信息量微分熵的极大化问题 本节讨论的主要问题 1连续随机变量下的熵 1 连续信源的数学模型 2 连续信源的离散化 将的值域等分为个子区间 第个子区间的概率 离散化随机变量 3 连续信源的熵 微分熵 为无穷大 失去意义 4 微分熵 微分熵与离散熵在表示形式上具有相似性 微分熵只是实际熵的有限项 不能把微分熵式当作连续随机变量不确定性的度量公式 连续随机变量取值于连续区间 有无穷多个取值点 每一点的概率均为0 自信息量无意义 因此不能像离散熵那样把熵视为自信息量的统计平均 不具备非负性 可能出现负值 在比较熵的大小时 微分熵具有相对意义 微分熵的一般表达式 例均匀分布随机变量的熵 设连续随机变量服从均匀分布 即概率密度函数为 由微分熵定义式 有 注意 微分熵不具备非负性 例高斯分布随机变量的熵 求熵时要注意计算技巧 注意使用以下两式 设连续随机变量服从高斯分布 即概率密度函数为 由微分熵定义式 有 2联合微分熵 条件微分熵 联合微分熵 条件微分熵 微分熵之间的关系 3平均互信息量 注 该式可用离散化取极限的方法严格推出 是精确的 并没有舍弃无穷大项取相对值 平均互信息量概念本身就具有相对意义 求平均互信息量时 实际连续熵中的无穷大项相互