《信息论与编码》PPT课件.ppt

第1章信源与信息熵 就狭义而言 在通信中对信息的表达分为三个层次 信号 消息 信息 信号 是信息的物理表达层 是三个层次中最具体的层次 它是一个物理量 是一个载荷信息的实体 可测量 可描述 可显示 什么是信息 消息 或称为符号 是信息的数学表达层 它虽不是一个物理量 但是可以定量地加以描述 它是具体物理信号的进一步数学抽象 可将具体物理信号抽象为两大类型 离散 数字 消息 一组未知量 可用随机序列来描述 X X1 Xi Xn 连续 模拟 消息 未知量 它可用随机过程来描述 X t 信息 它是更高层次哲学上的抽象 是信号与消息的更高表达层次 信息 消息和信号是既有区别又有联系的三个不同的概念 消息中包含信息 是信息的载体 信号携带着消息 它是消息的运载工具 信息可认为是由具体的物理信号 数学描述的消息的内涵 即信号具体载荷的内容 消息描述的含义 而信号则是抽象信息在物理层表达的外延 消息则是抽象信息在数学层表达的外延 信息 消息和信号 同一信息 可以采用不同的信号形式 比如文字 语言 图象等 来载荷 同一信息 也可以采用不同的数学表达形式 比如离散或连续 来定量描述 同一信号形式 比如 0 与 1 可以表达不同形式的信息 比如无与有 断与通 低与高 电平 等等 1 1信源特性与分类 通信的根本问题是将输出的信源在接收端尽可能精确地复现出来 所以需要讨论如何描述信源的输出 即如何计算信源产生的信息量 信源的概念 信源 信息的发源地 如人 生物 机器等等 由于信息是十分抽象的东西 所以要通过信息载荷者 即消息来研究信源 这样信源的具体输出称作消息 消息的形式可以是离散消息 如汉字 符号 字母 或连续消息 如图像 语音 信源消息中的信息是一个时变的不可预知的函数 因此 描述信源消息或对信源建模 随机过程是一个有效的工具 随机过程的特性依赖于信源的特性 离散信源和连续信源 连续信源 如果信源输出的随机变量取值于某一连续区间 为连续信号 消息的个数是无穷值 就叫做连续信源 比如人发出的语音信号X t 模拟的电信号等等 信源的输出被抽象为一个随机变量序列 随机过程 离散信源 如果信源输出的随机变量取值于某一离散符号集合 消息在时间和幅值上均是离散的 就叫做离散信源 比如平面图像X x y 和电报 书信 文稿等等 单符号离散信源的数学模型 u2 ui p u2 p ui 其中p ui 满足 注意 大写U代表随机变量 指的是整体 带下标的小写ui代表随机事件的某一结果或某个元素 离散序列信源 实际信源不可能仅发送单个符号 而是发送一组符号 即一个随机序列 如电报 数字语音 数字图像等 离散序列信源 U 为第l时刻的随机变量 U的一个样本u可表示为 u u 离散无记忆信源 u 当满足无记忆条件时 当进一步满足平稳性时 离散有记忆信源 很多实际信源是符合有限记忆模型的 数学上常采用马氏链来描述 若将离散序列信源发出的随机序列消息看作一阶马氏链 则消息序列中任一时刻的消息仅与其前面的一个消息有关 而与更前面的消息没有直接关系 u 对于马氏链 对于齐次马氏链 对于齐次遍历马氏链 常用的概率论的基本概念和性质1 1 2 3 无条件概率 条件概率 联合概率满足的一些性质和关系 常用的概率论的基本概念和性质2 无条件概率 条件概率 联合概率满足的一些性质和关系 4 5 6 1 2离散信源的信息熵 1 2 1信息熵和信息量的基本概念1 2 2熵的数学性质 概率与信息量 在事件发生前有不确定性在事件发生时有惊讶度在事件发生后有信息量当一个概率很低的随机事件发生 我们就会感到非常惊讶 并得到很大的信息量 如 9 11事件 美国纽约世贸大厦被炸 表 自信息量 从信息源获取信息的过程就是其不确定性缩减的过程 随机事件包含的信息与其不确定性紧密相关 在统计分析中 使用概率作为衡量不确定性的一种指标 可以推论出 随机事件包含信息的度量应是其概率的函数 表 自信息量定义 定义 任意随机事件的自信息量定义为该事件发生概率的对数的负值 自信息量的单位取决于对数选取的底 单位 比特bit 奈特nat 笛特Det 当对数的底取2时 单位为比特bit当以自然数e为底时 单位为奈特nat 理论推导常用 当以10为底时 单位为笛特Det 工程计算常用 表 对数及常用公式 y log10 xx 10ylog xy logx logyy logbxx bylog x y logx logylog xp plogxlog 1 0log 1 x logx 表 Example log327log5125log10100log232 自信息量的性质 值得注意的是 pi是一个随机量 而I pi 是pi的函数 所以自信息量也是一个随机变量 它没有确定的值 联合自信息量 定义 两个消息ui vj对应概率分别为pi和qj 他们同时出现的联合概率为rij 当ui和vj相互独立时 说明两个随机事件相互独立时 同时发生得到的自信息量 等于这两个随机事件各自独立发生得到的自信息量之和 条件自信息量 当ui和vj不相互独立时 在消息ui 或vj 已出现的条件下 消息vj 或ui 出现的条件概率为Pji 或Qij 其自信息量定义为 自信息量 例题1 表 例如 设信源只含有两个符号 正 与 反 且它们以消息的形式向外发送时均以等概率出现 求它们各自的信息量 解 例如 某地某月份的气象资料如下表所列 求相应事件的不确定度 这四种气候的自信息量分别为 自信息量 例题2 I x1 1bit I x2 2bit I x3 3bit I x4 3bit可见不同天气情况具有不同的自信息量说明自信息量具有随机变量的性质 自信息量不能作为信源的信息测度 自信息量I pi i 1 2 是指某一信源U发出某一信息符号ui所含有的信息量 发出的信息符号不同 它们所含有的信息量就不同 信源发出的每个信息符号概率相同 状态等概率信源发出的每个信息符号概率不相同 各状态不等概率信源发出的信息符号可用随机事件来描述 信源的概率空间描述 一个信源可以用一个概率空间来描述 信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述 其中 U是信源的状态空间 为一个离散集 表示了随机事件的状态数 p u 是随机事件各种可能状态的概率分布 且 各状态是相互独立的 u2 ui p u2 p ui 平均自信息量 信息熵 自信息量是一个随机变量 它反映了发出某一消息符号的不确定性 它不能用来作为整个信源的信息测度 信源的不确定程度可以用信源概率空间的概率分布来描述 这样 我们引入平均自信息量 定义 随机变量I pi 的数学期望定义为平均自信息量信源的平均自信息量又称做是信源的信息熵 简称做熵 熵H U 是其概率分布上p1 p2 pn的函数 称为熵函数 信息熵满足对概率的递减性和可加性 平均不确定性 信源的平均自信息量表示事件出现的平均不确定性 信息熵与概率分布的关系 p1 0 25p2 0 25p3 0 25p4 0 25H 2 p1 0 5p2 0 25p3 0 125p4 0 125H 1 75 联合熵 联合熵定义为 条件熵 定义 条件自信息量的概率加权平均值 数学期望 定义为条件熵 定义式为 上式已知ui 或vj 的条件下 vj 或ui 的条件熵 这里要注意条件熵用联合概率rij 而不是用条件概率Pji 或Qij 进行加权平均 信息熵和信息量 信息熵是信源平均不确定性的度量 是从统计特性上对信源的描述 可以理解为信源输出的信息量信息量一般是对接收者而言的 是指接收者从信源所获得的信息的度量 如果通信传输中没有干扰 则接收者获得的信息量就等于信源的信息熵 但两者概念不同 1 2 2信源熵的基本性质和定理熵函数的性质 1 对称性 当概率矢量P p1 p2 pn 中的各分量的次序任意变更时 熵值不变 该性质说明信源的熵仅与信源总体的统计特性有关 如果统计特性相同 不管其内部结构如何 其信源熵值都相同 例 A B两地天气情况的平均自信息量为 H A H B 1 75bit 1 2log2 1 4log4 2 8log8 熵函数的性质 2 非负性 非负性其中 等号成立的条件是当且仅当对某i pi 1 其余的pk 0 ki 即 信源U虽然有不同的输出符号 但它只有一个符号必然出现 而其它符号都不可能出现 那么 这个信源是一个确知信源 其信源熵等于零 熵函数的性质 3 确定性 信源U中只要有一个事件为必然事件 则其余事件为不可能事件 此时 信源U中每个事件对熵的贡献都为零 因而熵必为零 熵函数的性质 4 扩展性 证明 所以通过熵函数的定义可以证明上式成立 含义 若信源U有n个事件 另一个信源V有n 1个事件 但U和V集的差别只是多了一个概率接近于零的事件 则两个集的熵值一样 换言之 一个事件的概率与其中其它事件的概率相比很小时 它对集合的熵值的贡献可以忽略不计 熵函数的性质 5 递推性 其中证明 设p p1 p2 q p2 p1 p2 则p1 p 1 q p2 pq含义 信源U有n个事件 可以把其中的任意两个事件合并 得到有n 1个事件的集合的熵 反之亦然 熵函数的性质 6 可加性 如果有两个信源U和V 它们不是相互独立的 则联合信源的熵等于U的熵加上当U已给定时V的条件概率定义的熵的统计平均值 即当U和V相互统计独立时 则有 定理1 2 2 熵函数的极值性 定理1 2 2 熵函数的极值性 定理1 2 2 熵函数的极值性 该性质表明 在离散情况下 信源U的各事件等概率发生时 熵达到极大值 这个重要结论称为最大熵定理 事件的数目n越多 信源的熵值就越大 对数函数的单调上升性 定理1 2 3 熵函数的上凸性 可以通过凸函数的概念证明 如 二元熵函数 严格上凸函数在定义域内的极值必为最大值 用上凸性求最大熵时 只需对熵函数求导并取极值即可 凸函数的概念 定义 设f X f x1 x2 xi xn 为一多元函数 若对于任意一个小于1的正数以及函数f X 定义域内的任意两个矢量X Y有 则称f X 为定义域上的凸函数 若有 则称f X 为定义域