第3讲——离散信源的数学模型及其信息测度2.pdf

第三讲第三讲第三讲第三讲 离散信源的数学模型 及其信息测度 离散信源的数学模型 及其信息测度 离散信源的数学模型离散信源的数学模型离散信源的数学模型离散信源的数学模型 及其信息测度及其信息测度及其信息测度及其信息测度 信源的数学模型信源的数学模型 信源熵 信息熵 信源熵 信息熵 随机变量 随机序列随机变量 随机序列 随机过程随机过程 定义 自信息的数学期望定义 自信息的数学期望 含义 两种解释含义 两种解释 与联合熵 条件熵之间的关系与联合熵 条件熵之间的关系 Review i H XE I x ij H X YEI xy ij H XYE I x y YXHYH XYHXHXYH N n nnNN N UUUUHUUUUH UUUHUUHUHUUUH 1 121121 21312121 熵 条件熵 联合熵关系熵 条件熵 联合熵关系 Review 信源的数学模型信源的数学模型 信源熵 信息熵 信源熵 信息熵 随机变量 随机序列随机变量 随机序列 随机过程随机过程 定义 自信息的数学期望定义 自信息的数学期望 含义 两种解释含义 两种解释 与联合熵 条件熵之间的关系与联合熵 条件熵之间的关系 Review i H XE I x ij H X YEI xy ij H XYE I x y 第三讲第三讲第三讲第三讲 离散信源的数学模型 及其信息测度 离散信源的数学模型 及其信息测度 离散信源的数学模型离散信源的数学模型离散信源的数学模型离散信源的数学模型 及其信息测度及其信息测度及其信息测度及其信息测度 3 1 3 1 3 1 3 1 熵的基本性质熵的基本性质熵的基本性质熵的基本性质 K k kkK pppppHXH 1 21 log 2 1 0 1 1 Kkpp k K k k K K ppp xxx P X 21 21 熵的基本性质熵的基本性质 概率矢量概率矢量 非负性非负性 非负性非负性 H X 0 由于由于0 pk 1 所以所以logpk 0 logpk 0 则总有 则总有H X 0 对称性对称性 12121 KKK ppppHpppH 根据加法交换律可以证明 当变量交换顺序 时熵函数的值不变 根据加法交换律可以证明 当变量交换顺序 时熵函数的值不变 即信源的熵只与概率空间 的总体结构有关 而与各概率分量对应的状 态顺序无关 即信源的熵只与概率空间 的总体结构有关 而与各概率分量对应的状 态顺序无关 对称性对称性 确定性确定性 当信源当信源X的信源空间的信源空间 X P 中 任一概率 分量等于 中 任一概率 分量等于1 根据完备空间特性 其它概 率分量必为 根据完备空间特性 其它概 率分量必为0 这时信源为一个确知信 源 其熵为 这时信源为一个确知信 源 其熵为0 确定性确定性 HHH 100110 000 lim 2121 0 KKKK pppHpppH 这说明信源空间中增加某些概率很小的符号 虽然当发出这些符号时 提供很大的信息量 但由于其概率接近于 这说明信源空间中增加某些概率很小的符号 虽然当发出这些符号时 提供很大的信息量 但由于其概率接近于0 在信源熵中占极小的 比重 使信源熵保持不变 在信源熵中占极小的 比重 使信源熵保持不变 0loglim 2 0 扩展性扩展性 扩展性扩展性 可加性可加性 YXHYHXYH XYHXHXYH 1 log log log log log 2 22 2 2 j ijijiji j iji i i ij ij jii ij iji iji ij ji ji ij ji xypxypxpyxp XYHXH XYHxypxpxp xypyxpxpxypxp xypxpyxp yxpyxpXYH 利用 可加性可加性 证明 证明 极值性极值性 最大离散熵定理最大离散熵定理 logH XK 信源信源X中包含中包含K个不同离散消息时 信源 熵 当且仅当 个不同离散消息时 信源 熵 当且仅当X中各个消息 出现的概率全相等时 上式取等号 表明等概信源的不确定性最大 具有最 大熵 为 中各个消息 出现的概率全相等时 上式取等号 表明等概信源的不确定性最大 具有最 大熵 为 log K 极值性极值性 logH XK H X 1 0 0 5 0 0 5 1 P 二元离散信源二元离散信源 引理引理1 一个常用不等式 一个常用不等式 lnx x 1 令令f x lnx x 1 则则 1 1 x xf 可见 可见 f x 是是x的上凸函数 且当 的上凸函数 且当x 1时 时 f x 有极大值 故 有极大值 故 0 1 2 x xf 即即 lnx x 1 f x lnx x 1 0 证明 证明 引理引理1 11 loglog KK kkkk kk pppq 1 1 K k k p1 1 K k k q K k kkKK qppppH 1 21 log K k kk K k kk qppp 11 loglog K k k k k K k k k k p q pe p q p 11 lnloglog 0log1log 111 K k k K k k K k k k k pqe p q pe 令 可得 即等概时熵最大 为 令 可得 即等概时熵最大 为 证明 证明 K qk 1 log K 引理引理2 香农辅助定理香农辅助定理 12 log KK Hp ppK 12 KK Hp pp 定理 定理 1 H X Y H X 条件熵不大于无条件熵 条件熵不大于无条件熵 2 H XY H X H Y 证明 证明 基本定理基本定理 yy p y p xyp xyp x 其中 log xy H X Yp xyp x y log yx p yp x yp x y log yx p yp x yp x log xy p y p x yp x log x p xp xH X H XYH YH X YH YH X 由定理由定理1 得 得 基本定理推广基本定理推广 121 nnnn snnn m H U UUUH U UU Nnms 1 H X Y H X 12 1 N Nn n H U UUH U H XY H X H Y 上凸性上凸性 熵函数熵函数H X 为上凸函数 即对任何 和任何两个概率矢量 为上凸函数 即对任何 和任何两个概率矢量P Q 10 上凸性上凸性 1 1 qfpf qpf qp 1 在在 a b 上定义的上凸函数上定义的上凸函数 1 1 qpf qfpf qp 1 在在 a b 上定义的下凸函数上定义的下凸函数 唯一性唯一性 香农指出 存在这样的不确定性的度量 它是概率 分布的函数 且该 函数应满足 香农指出 存在这样的不确定性的度量 它是概率 分布的函数 且该 函数应满足 对称性对称性 极值性极值性 可加性可加性 扩展性 它的形式是唯一的 扩展性 它的形式是唯一的 K ppp 21 21K pppf 唯一性唯一性 递增性递增性 递推性递推性 若原信源若原信源X中有一元素分割成中有一元素分割成m个元素个元素 符 号 符 号 而这 而这m个元素的概率之和等于原元 的概率 则新信源的熵增加 个元素的概率之和等于原元 的概率 则新信源的熵增加 m j ni n i i n m nn mnnnn mnmn pqp p q p q p q HpppppH qqqpppH 11 21 121 211211 1 其中 递增性递增性 熵的增加是由于新的划分产生了不确定性 熵的增加是由于新的划分产生了不确定性 3 2 3 2 3 2 3 2 离散序列信源的熵离散序列信源的熵离散序列信源的熵离散序列信源的熵 121213121 21 LL L iiiiiiiiii iiii xxxxpxxxpxxpxp xxxpp X 设信源输出的随机序列为设信源输出的随机序列为 X X1X2 Xl XL 序列中的变量序列中的变量Xl x1 x2 xn 离散无记忆信源离散无记忆信源 L l iiiii iiii lL L xpxpxpxpxp xxxpp 1 321 21 X 离散无记忆 离散无记忆 离散无记忆信源的序列熵离散无记忆信源的序列熵 信源的序列熵信源的序列熵 XXX X L21 L HHH X 平均符号熵平均符号熵 X 1 L XHH L HL X X H X X L21 HH XLH 例例 有一个无记忆信源随机变量有一个无记忆信源随机变量X 0 1 等概率分布等概率分布 若以 单个符号出现为一事件 若以 单个符号出现为一事件 则此时的信源熵则此时的信源熵 bitXH12log 2 bitH24log X 2 2 bitHH1 X 2 1 2 2 X 即用即用 1比特就可表示该事件 比特就可表示该事件 如果以两个符号出现如果以两个符号出现 L 2的序列的序列 为一事件 则随机序 列 为一事件 则随机序 列X 00 01 10 11 信源的序列熵 信源的序列熵 即用即用2比特才能表示该事件 比特才能表示该事件 信源的符号熵信源的符号熵 离散无记忆信源实例离散无记忆信源实例 X 2 2 HH X 例例 有一离散平稳无记忆信源有一离散平稳无记忆信源 4 1 4 1 2 1 321 xxx xp X 求 二次扩展信源的熵求 二次扩展信源的熵 X2信源 的元素 信源 的元素 a1a2a3a4a5a6a7a8a9 对应的 消息序列 对应的 消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3 概率概率p ai 1 4 1 81 81 81 16 1 161 81 16 1 16 离散无记忆信源实例离散无记忆信源实例 bitapapXH i ii 3 log 9 1 2 bitxpxpXH i ii 5 1 log 3 1 2 2 XHXH 信源熵为信源熵为 信源的序列熵信源的序列熵 平均符号熵为平均符号熵为 bitXHH5 12 2 2 X 离散无记忆信源实例离散无记忆信源实例 a0a1a2 a09 112 110 a11 83 41 8 a202 97 9 例例 已知离散有记忆信源中各 符号的概率为 已知离散有记忆信源中各 符号的概率为 4 1 9 4 36 11 210 aaa P X 设发出的符号只与前一个符号有关设发出的符号只与前一个符号有关 这两个符号的概率 关联性用条件概率 这两个符号的概率 关联性用条件概率p aj ai 表示表示 如表如表 离散有记忆信源实例离散有记忆信源实例 p aj ai 由由 p ai aj p ai p aj ai 计算得联合概率计算得联合概率p aiaj 如表如表 a0a1a2 a01 41 180 a11 181 31 18 a201 187 36 离散有记忆信源实例离散有记忆信源实例 发二重符号序列的熵发二重符号序列的熵 bitaapaapXXH i jiji j 41 2 log 2 0 2 0 21 平均符号熵平均符号熵 符号之间存在关联性符号之间存在关联性 bitXXHH21 1 2 1 212 X X 2 HH X 而信源而信源X的信息熵为的信息熵为 bitapapXH i ii 543 1 log 2 0 比较比较 有记忆信源实例有记忆信源实例 X XX 12 HH 条件熵条件熵 bitaapaapXXH i ijji j 872 0 log 2 0 2 0 12 作业作业 2 9 2 13 2 14 2 18 前三个不等式证明 前三个不等式证明 本节小结本节小结 本节内容见课本 本节内容见课本21 25页 页 熵的性质熵的性质 多符号离散信源的熵多符号离散信源的熵 非负性 对称性 确定性 扩展性 可加性 极值性 上凸性 唯一性 递增性 非负性 对称性 确定性 扩展性 可加性 极值性 上凸性 唯一性 递增性 非负性非负性 对称性 确定性 扩展性 对称性 确定性 扩展性 可加性可加性 极值性极值性 上凸性 唯一性 递增性 上凸性 唯一性 递增性 离散无记忆信源离散无记忆信源 离散有记忆信源离散有记忆信源 L HH