信息论基础-练习与思考.ppt

第二章 信源熵熵 海尔集团CEO张瑞敏，在一次中层 干部会上提出这样一个问题：“石 头怎样才能在水上漂起来？” Date1 第二章 信源熵熵 No Chance Stay For You !No Chance Stay For You ! n n 孙子兵法孙子兵法曰：曰：“ “激水之疾，至于漂石者，激水之疾，至于漂石者， 势也势也” ”速度决定了石头能否漂起来速度决定了石头能否漂起来 n n 早起的鸟儿有虫吃，赶在别人前头，不要停早起的鸟儿有虫吃，赶在别人前头，不要停 下来，这是竞争者的状态，也是胜者的状态下来，这是竞争者的状态，也是胜者的状态 。如果成功有捷径的话，那就是飞，时刻准。如果成功有捷径的话，那就是飞，时刻准 备飞！备飞！ 没有机会没有机会为为为为你停留你停留 ! ! Date2 第二章 信源熵熵 第二章总结 (1) 单符号离散信源 信息量 l自信息、条件自信息概念、性质、计算 l互信息、条件互信息概念、性质、计算 互信息的三种表达方式（输入端、输出端、系统总体） 熵熵 l信息熵的概念、性质、计算 无条件熵、条件熵（信道疑义度、噪声熵） l平均互信息概念、性质、计算 平均互信息的三种表达方式 平均互信息的凸函数性 pI(X;Y)是p(xi)的上凸函数 pI(X;Y)是p(yj/xi)的上凸函数 数据处处理定理概念 理解各种熵熵之间间的关系 Date3 第二章 信源熵熵 (2) 多符号离散信源 离散平稳稳无记忆记忆 信源概念、计计算 离散平稳稳有记忆记忆 信源概念、简单计简单计 算 条件熵熵、极限熵熵概念、简单计简单计 算 马马尔可夫信源概念、极限熵计熵计 算 信源冗余度概念、通信效率与可靠性的关系 (3) 连续信源 概念、与离散信源的比较较和区别别、简单计简单计 算 理解最大连续熵连续熵 定理 熵熵功率的概念 (4) 离散无失真信源编码定理 定长编码长编码 定理 变长编码变长编码 定理 Date4 第二章 信源熵熵 作作业题业题业题业题 1 1 2.1.2.1.设设设设有有1212枚同枚同值值值值硬硬币币币币，其中有一枚，其中有一枚为为为为假假币币币币， 且只知道假且只知道假币币币币的重量与真的重量与真币币币币的重量不同，但不的重量不同，但不 知究竟是重知究竟是重还还还还是是轻轻轻轻。现现现现采用天平比采用天平比较较较较左右两左右两 边轻边轻边轻边轻 重的方法来重的方法来测测测测量（因无砝量（因无砝码码码码）。）。为为为为了在了在 天平上称出哪一枚是假天平上称出哪一枚是假币币币币，试问试问试问试问 至少必至少必须须须须称称 多少次？多少次？ Date5 第二章 信源熵熵 作作业题业题业题业题 1 1 解答：在解答：在1212枚同枚同值值值值硬硬币币币币中，哪一枚是假中，哪一枚是假币币币币，假，假币币币币的重量是比真的重量是比真币币币币的的 重量重重量重还还还还是是轻轻轻轻，都是，都是“ “无知无知” ”、“ “不确定的不确定的” ”。而用天平比。而用天平比较较较较左右两左右两 边轻边轻边轻边轻 重的重的测测测测量方法，每量方法，每测测测测一次，能一次，能获获获获得一定的信息量，能消除部得一定的信息量，能消除部 分不确定性，分不确定性，则则则则就能确定出其中一枚假就能确定出其中一枚假币币币币及其重量。因此，及其重量。因此， 设设设设“ “在在1212枚同枚同值值值值硬硬币币币币中，某一枚中，某一枚为为为为假假币币币币” ”这这这这事件事件为为为为 , ,其出其出现现现现的概的概 率率为为为为 又又设设设设“ “假假币币币币的重量比真的重量比真币币币币的重量是重或的重量是重或轻轻轻轻” ”这这这这事件事件为为为为 ，其出，其出现现现现的的 概率概率为为为为 事件事件 的不确定性的不确定性为为为为 事件事件 的不确定性的不确定性为为为为 Date6 第二章 信源熵熵 作作业题业题业题业题 1 1 要要发现发现发现发现 某假某假币币币币并知其比真并知其比真币币币币重重还还还还是是轻轻轻轻所需的信息量所需的信息量 就是要消除就是要消除这这这这两个事件的不确定性。因两个事件的不确定性。因为这为这为这为这 两个事件两个事件 是是统计统计统计统计 独立事件，所以需要独立事件，所以需要获获获获得的信息量得的信息量为为为为 而在天平上称一次能判断出三种情况：重、而在天平上称一次能判断出三种情况：重、轻轻轻轻和相等和相等 ，这这这这事件事件为为为为 。这这这这三种情况是等概率的。其概率三种情况是等概率的。其概率为为为为 。 所以，天平所以，天平测测测测一次能一次能获获获获得的信息量（即消除的不确定得的信息量（即消除的不确定 性）性）为为为为 则则则则至少必至少必须须须须称的次数称的次数为为为为 因此至少必因此至少必须须须须称三次。称三次。 Date7 第二章 信源熵熵 作作业题业题业题业题 2 2 2.2. 2.2. 同同时时时时扔一扔一对对对对均匀的骰子，当得知均匀的骰子，当得知“ “两骰子面两骰子面 朝上点数之和朝上点数之和为为为为2”2”或或“ “面朝上点数之和面朝上点数之和为为为为8”8”或或 “ “骰子面朝上点数是骰子面朝上点数是3 3和和4 4时时时时” ”，试问这试问这试问这试问这 三种情三种情 况分况分别获别获别获别获 得多少信息量？得多少信息量？ Date8 第二章 信源熵熵 作作业题业题业题业题 2 2 解答：骰子一共有六面，某一骰子扔得某一点数面朝解答：骰子一共有六面，某一骰子扔得某一点数面朝 上的概率是相等的，均上的概率是相等的，均为为为为1/61/6。两骰子面朝上点数的。两骰子面朝上点数的 状状态态态态共有共有3636种，其中任一状种，其中任一状态态态态出出现现现现都是等概率的，都是等概率的， 出出现现现现概率概率为为为为1/361/36。 (1)(1)设设设设“ “两骰子面朝上点数之和两骰子面朝上点数之和为为为为2”2”是事件是事件A,A,点数之和点数之和 为为为为2 2的只有一种的只有一种(1+1)(1+1)，故有，故有 (2)(2)设设设设“ “两骰子面朝上点数之和两骰子面朝上点数之和为为为为8”8”是事件是事件B,B,点数之和点数之和 为为为为8 8的有的有5 5种种(2+6(2+6， 6+2 6+2 ， 4+44+4， 3+53+5， 5+3)5+3) Date9 第二章 信源熵熵 作作业题业题业题业题 2 2 (3)(3)设设设设“ “骰子面朝上点数是骰子面朝上点数是3 3和和4 4时时时时” ”是事件是事件C,C,点数点数为为为为3 3和和4 4 的状的状态态态态只有两种，即只有两种，即3 3、4 4和和4 4、3 3 Date10 第二章 信源熵熵 作作业题业题业题业题 3 3 2.5.2.5.一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含5252张张张张牌），牌），试问试问试问试问 (1) (1) 任一特定排列所任一特定排列所给给给给出的信息量是多少？出的信息量是多少？ (2) (2) 若从中抽取若从中抽取1313张张张张牌，所牌，所给给给给出的点数都不相出的点数都不相 同能得到多少信息量？同能得到多少信息量？ Date11 第二章 信源熵熵 作作业题业题业题业题 3 3 解答解答： (1)(1)任意排列共有任意排列共有 种，种，则则则则任一排列的自信息量任一排列的自信息量 为为为为： (2)(2)应应应应将点数相同花色不同的牌看作一将点数相同花色不同的牌看作一类类类类，则则则则任意抽取任意抽取 的的1313张张张张牌牌应应应应在在1313类类类类种分种分别进别进别进别进 行。其概率行。其概率为为为为 信息量信息量为为为为： Date12 第二章 信源熵熵 作作业题业题业题业题 4 4 Date13 第二章 信源熵熵 作作业题业题业题业题 4 4 Date14 第二章 信源熵熵 作作业题业题业题业题 5 5 2.13.2.13. (1) (1) 为为为为了使了使电视图电视图电视图电视图 像像获获获获得良好的清晰度和得良好的清晰度和规规规规 定的适当的定的适当的对对对对比度，需要用比度，需要用5 5 1010 5 5 个象素和个象素和1010个个 不同亮度不同亮度电电电电平，求平，求传递传递传递传递 此此图图图图像所需的信息率像所需的信息率 （比特（比特/ /秒）。并秒）。并设设设设每秒要每秒要传传传传送送3030帧图帧图帧图帧图 像，所像，所 有象素是独立有象素是独立变变变变化的，且所有亮度化的，且所有亮度电电电电平等概率平等概率 出出现现现现？ (2) (2) 设设设设某彩色某彩色电视电视电视电视 系系统统统统，除了，除了满满满满足足对对对对于黑白于黑白电电电电 视视视视系系统统统统的上述要求外，的上述要求外，还还还还必必须须须须有有3030个不同的色彩个不同的色彩 度，度，试证试证试证试证 明明传输该传输该传输该传输该 彩色系彩色系统统统统的信息率要比黑白系的信息率要比黑白系 统统统统的信息率的信息率约约约约大大2.52.5倍？倍？ Date15 第二章 信源熵熵 作作业题业题业题业题 5 5 解答解答. . (1) (1)每个象素亮度信源的概率空每个象素亮度信源的概率空间为间为间为间为 每个象素亮度含有的信息量每个象素亮度含有的信息量 每每帧图帧图帧图帧图 像信源就是离散亮度信源的无像信源就是离散亮度信源的无记忆记忆记忆记忆 N N次次扩扩扩扩展信源，展信源， 可得每可得每帧图帧图帧图帧图 像含有的信息量像含有的信息量为为为为 每秒每秒3030帧帧帧帧，则传递则传递则传递则传递 此此图图图图像所需的信息率像所需的信息率为为为为 Date16 第二章 信源熵熵 作作业题业题业题业题 5 5 解答解答. . (2) (2)色彩度信源的概率空色彩度信源的概率空间为间为间为间为 每个色彩度含有的信息量每个色彩度含有的信息量 亮度和色彩度是独立同亮度和色彩度是独立同时时时时出出现现现现的，每个象素含有的信息量的，每个象素含有的信息量为为为为 在每在每帧帧帧帧所用象素数和每秒所用象素数和每秒传传传传送送帧帧帧帧数相同数相同时时时时，信息率之比，信息率之比为为为为 Date17 第二章 信源熵熵 作作业题业题业题业题 6 6 2.18.设设有一个信源，它产产生0,1序列的信息。它在任意时时 间间而且不论论以前发发生过过什么符号，均按P(0)=0.4， P(1)=0.6的概率发发出符号。 (1)试问这试问这 个信源是否是平稳稳的？ (2)试计试计 算 (3)试计试计 算 H(x4)并写出x4信源中可能有的所有符号。 Date18 第二章 信源熵熵 作作业题业题业题业题 6 6 解答： (1)信源发发出符号的概率分布与时间时间 平移无关，而 且信源发发出的序列之间间也是彼此无依赖赖的，因此该该信源 是平稳稳的，而且是离散无记忆记忆 信源。 (2) Date19 第二章 信源熵熵 作作业题业题业题业题 6 6 (3) Date20 第二章 信源熵熵 作作业题业题业题业题 7 7 2.22.一阶马阶马 尔可夫信源的状态图态图 如图图2.8所示。信源X的 符号集为为0,1,2。 (1)求信源平稳稳后的概率分布P(0),P(1),P(2)； (2)求信源的熵熵H。 (3)近似认为认为 此信源为为无记忆时记忆时 ， 符号的概率分布为为平稳稳分布， 求近似信源的熵熵H(X), 并与H进进行比较较。 (4)对对一阶阶马马尔可夫信源p取何值时值时 H最大， 当p=0和p=1时结时结 果又如何。 Date21 第二章 信源熵熵 作作业题业题业题业题 7 7 Date22 第二章 信源熵熵 作作业题业题业题业题 7 7 Date23 第二章 信源熵熵 作作业题业题业题业题 7 7 Date24 第二章 信源熵熵 作作业题业题业题业题 7 7 Date25 第二章 信源熵熵 作作业题业题业题业题 8 8 2.23.一阶马阶马 尔可夫信源的状态图态图 如图图2.9所示。信源X的 符号集为为0,1,2。 (1)求平稳稳后信源的概率分布； (2)求信源的熵熵H。 (3)求当p=0和p=1时时信源的熵熵， 并说说明理由。 Date26 第二章 信源熵熵 作作业题业题业题业题 8 8 Date27 第二章 信源熵熵 作作业题业题业题业题 8 8 Date28 第二章 信源熵熵 作作业题业题业题业题 9 9 2.25.一黑白气象传传真图图的消息只有黑色和白色两种，即信 源X=黑,白。设设黑色出现现的概率为为P(黑)=0.3，白色的 出现现概率P(白)=0.7。 (1) 假设图设图 上黑白消息出现现前后没有关联联，求熵熵H(X)； (2) 假设设消息前后有关联联，其依赖赖关系为为P(白/白)=0.9 ，P(黑/白)=0.1， P(白/黑)=0.2，P(黑/黑)=0.8，求此一 阶马阶马 尔可夫信源的熵熵H2 (X)； (3) 分别别求上述两种信源的剩余度，比较较和的大小，并 说说明其物理意义义。 Date29 第二章 信源熵熵 作作业题业题业题业题 9 9 Date30 第二章 信源熵熵 作作业题业题业题业题 9 9 (2) Date31 第二章 信源熵熵 作作业题业题业题业题 9 9 (3) Date32 第二章 信源熵熵 练习题练习题练习题练习题 1 1 1.1.设设设设有一非均匀骰子，若其任一面出有一非均匀骰子，若其任一面出现现现现的概率与的概率与该该该该面上的点面上的点 数成正比，数成正比，试试试试求各点出求各点出现时现时现时现时 所所给给给给出的信息量，并求扔一出的信息量，并求扔一 次平均得到的信息量。次平均得到的信息量。 Date33 第二章 信源熵熵 练习题练习题练习题