彭代渊王玲信息论与编码理论第二章习题解答.pdf

第 2 章 信息的度量 1 第第 2 章章 信息的度量信息的度量 2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为 5”或“面朝上点数 之和为 8”或“两骰子面朝上点数是 3 和 6”时，试问这三种情况分别获得多少信息量？ 解： 某一骰子扔得某一点数面朝上的概率是相等的，均为 1/6，两骰子面朝上点数的状态共 有 36 种,其中任一状态出现都是等概率的,出现概率为 1/36。设两骰子面朝上点数之和为事 件 a，有： a=5 时，有 1+4，4+1，2+3，3+2，共 4 种，则该事件发生概率为 4/36=1/9，则信息 量为 I(a)=-logp(a=5)=-log1/93.17(bit) a=8 时， 有 2+6， 6+2， 4+4， 3+5， 5+3， 共 5 种， 则 p(a)=5/36,则 I(a)= -log5/362.85(bit) p(a)=2/36=1/18,则 I(a)=-log1/184.17(bit) 2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含 有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得 多少信息量（假设已知星期一至星期日的排序）？ 解： 设“明天是星期几”为事件 a： 不知道今天是星期几：I(a)=-log1/72.81(bit) 知道今天是星期几：I(a)=-log1=0 (bit) 2.3 居住某地区的女孩中有 20%是大学生， 在女大学生中有 80%是身高 1 米 6 以上的， 而女孩中身高 1 米 6 以上的占总数的一半。假如我们得知“身高 1 米 6 以上的某女孩是大学 生”的消息，求获得多少信息量？ 解： 设“居住某地区的女孩是大学生”为事件 a，“身高 1 米 6 以上的女孩”为事件 b，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5， 则“身高 1 米 6 以上的某女孩是大学生”的概率为： 32. 0 5 . 0 8 . 02 . 0 )( )|()( )|( bp abpap bap 信息量为：I=-logp(a|b)=-log0.321.64(bit) 2.4 从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如 果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多 少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均 自信息量是多少？ 解： 男同志回答“是”的概率为 7%=0.07，则信息量 I=-log0.073.84(bit) 男同志回答“否”的概率为 1-7%=0.93，则信息量 I=-log0.930.10(bit) 平均信息量为：H1=-(0.07log0.07+0.93log0.93) 0.37(bit/符号) 问女同志的平均自信息量：H2=-0.05 log0.05+(1-0.05) log(1-0.05) 0.045(bit/符号) 2.5 如有 7 行 9 列的棋型方格，若有两个质点 A 和 B，分别以等概率落入任一方格内， 信息论与编码理论 2 且它们的坐标分别为（XA，YA）、（XB，YB），但 A、B 不能落入同一方格内。 (1) 若仅有质点 A，求 A 落入任一个格的平均信息量。 (2) 若已知 A 已落入，求 B 落入的平均自信息量。 (3) 若 A、B 是可分辨的，求 A、B 同时都落入的平均自信息量。 解： 若仅有质点 A，A 落入任一格内的概率均为 1/63，则 A 落入任一个格的平均信息量 为： 63 1 )/(98. 563log 63 1 log 63 1 )( i bitAH符号 若已知 A 已落入，质点 B 再落入时，它只可能落入其中 63-1=62 个方格内，则其概 率均为 p(b|a)=1/62，则 B 落入的平均自信息量为： 62 1 )/(95. 562log 62 1 log 62 1 )|( i bitABH符号 A、B 同时都落入的平均自信息量，即为求联合熵 H(AB)： )/(93.1195. 598. 5)|()()(符号bitABHAHABH 2.6 设信源 123456 0.20.190.180.170.160.17( ) Xaaaaaa p x ， 求这信源的熵， 并解释为什 么 H(X) log6，不满足信息熵的极值性。 解： 信息熵 6log)/(66. 2 16. 0log16. 017. 0log17. 0218. 0log18. 019. 0log19. 02 . 0log2 . 0)( 符号bit XH 因为107. 1)( 6 1 i i ap，所以独立变量不止 6-1=5 个，因此不满足信息熵的极值性。 2.7 有两个二元随机变量 X 和 Y，它们的联合概率为 Y X 0 1 0 1 8 3 8 1 3 8 1 8 并定义另一随机变量 Z=XY（一般乘积）。试计算： (1) ()( )( )()()H XH YH ZH XZH YZ,和()H XYZ。 (2) ( / )( | )( | )( | )( | )( | )( |)( |)H X YH Y XH X ZH Z XH Y ZH Z YH X YZH Y XZ，,和 (|)H Z XY。 (3) ()()()(|)(|)I X YI X ZI Y ZI X Y ZI Y Z X;,;,;,;,;和(| )I X Z Y;。 解： 从题意可知， 第 2 章 信息的度量 3 8 1 ) 1, 1(, 8 3 )0, 1( 8 3 ) 1, 0(, 8 1 )0, 0( yxpyxp yxpyxp 可得： 2 1 ) 1()0() 1()0(ypypxpxp ()( )( )()()H XH YH ZH XZH YZ,和()H XYZ )()/( 1 2 1 log 2 1 2)(YHbitXH符号 由于 Z=XY，则有 8 1 ) 1, 1() 1( 8 7 )0, 1() 1, 0()0, 0()0( yxpzp yxpyxpyxpzp 所以)/(54. 0 8 1 log 8 1 8 7 log 8 7 )(符号bitZH 随机变量 X 和 Z 的联合概率分布如下： X Z 0 1 0 2 1 0 1 8 3 8 1 由上表将 X 和 Z 的联合概率代入联合熵公式，求得： )/(41. 1 8 1 log 8 1 8 3 log 8 3 2 1 log 2 1 ),(log),()( 1 0 1 0 符号bit jZiXpjZiXpXZH ij 同样 Y、Z 的联合概率分布如下： Y Z 0 1 0 2 1 0 1 8 3 8 1 )/(41. 1),(log),()( 1 0 1 0 符号bitjZiYpjZiYpYZH ij 信息论与编码理论 4 )/(81. 1 8 1 log 8 1 8 3 log 8 3 2 ),(log),()()( 8 1 ) 1 , 1 () 1 , 1 , 1 (, 0)0 , 1 , 1 (, 0) 1 , 0 , 1 (, 8 3 )0 , 1 ()0 , 0 , 1 (, 0) 1 , 1 , 0( , 8 3 ) 1 , 0()0 , 1 , 0(, 0) 1 , 0 , 0(, 8 1 )0, 0()0, 0, 0( )( 1 0 1 0 符号 ：求 bit jYiXpjYiXpXYHXYZH ppppppp pppyxpzyxp XYZH ij ( / )( | )( | )( | )( | )( | )( |)( |)H X YH Y XH X ZH Z XH Y ZH Z YH X YZH Y XZ，,和 (|)H Z XY。 )/(0)|( )/(40. 041. 181. 1)()()|( )/(40. 041. 181. 1)()()|( )/(41. 0141. 1)()()|( )/(87. 054. 041. 1)()()|( )/(41. 0141. 1)()()|( )/(87. 054. 041. 1)()()|( )/(81. 0181. 1)()()|( )/(81. 0181. 1)()()|( 符号 符号 符号 符号 符号 符号 符号 符号 符号 bitXYZH bitXZHXYZHXZYH bitYZHXYZHYZXH bitYHYZHYZH bitZHYZHZYH bitXHXZHXZH bitZHXZHZXH bitXHXYHXYH bitYHXYHYXH ()()()(|)(|)I X YI X ZI Y ZI X Y ZI Y Z X;,;,;,;,;和(| )I X Z Y;。 符号 符号 符号 符号 符号 符号 /41. 040. 081. 0)|()|()|;( /41. 040. 081. 0)|()|()|;( /47. 040. 087. 0)|()|()|;( /13. 087. 01)|()();( /13. 087. 01)|()();( /19. 081. 01)|()();( bitYZXHYXHYZXI bitXZYHXYHXZYI bitYZXHZXHZYXI bitZYHYHZYI bitZXHXHZXI bitYXHXHYXI 2.8 某一离散无记忆信源的符号集为0,1，已知 01/4,13/4pp。 (1) 求该信源的信息熵。 (2) 有 100 个符号构成的序列， 求某一个特定序列 （例如有 m 个“0”和 （100 m） 个“1”） 的自信息量的表达式。 (3) 计算(2)中序列的熵。 解： (1) 该信源的信息熵为：H=-1/4log1/4-3/4log3/40.81(bit/符号) (2) 由于为离散无记忆信源，则有)()()(),( 1002110021 apapapaaap 第 2 章 信息的度量 5 所以 5 .41585. 1 3 4 log)100(2 ) 1(log)100()0(log )()()(log),(log),( 10021100211001 mmm apmapm apapapaaapaaI ii (3) )/(81)(100)()()()( 100211001 符号bitXHXHXHXHXXH 2.9 设有离散无记忆信源 S，其概率空间为 12 12 q qi aSaa pp spp 设另有一离散无记忆信源 S ，其符号集为信源 S 符号集的两倍，即 A=ai: i=1,2,q, q +1,2q ，并且符号的概率分布为： (1),(1,2, ) ,(1,2,2 ) ii ii q ppiq ppiqqq 请写出信源 S的信息熵与信源 S 的信息熵的关系。 解： 1 2 111 1 ( )()log () ()()log()(1) ()log(1) ()()log() ()1log 1log( ) ( )(1)log(1)log ( )( ,1) q ii i qqq iiiiii iii q i i H Sp ap a H Sp ap ap ap ap ap a p aH S H S H SH 2.10 设有一概率空间，其概率分布为 12 , q p pp，并有 12 pp。若取 11 pp， 22 pp ，其中 12 02pp，而其他概率值不变。试证明由此所得新的概率空间的熵 是增加的，并用熵的物理意义作以解释。 证明： 法法 1： 1 1122 3 11221122 121 12 122 ()log ( )()log()()log()log ( )()()log()()log()loglog logloglog q ii i q ii i H Xpp Hpppppp HH Xpppppppp ppp pp ppp 信息论与编码理论 6 122 12 121 12 1 1212 (1)(1)(1)log () log 20log0( )()0 ( )() ppp ppe ppp pp e p ppppeHH X HH X 因为，则，且，所以 则 物理意义：新概率分布比原概率分布更“均匀”，所以，其熵更大。 法法 2：设原概率分布的熵为： 1 ()log q ii i H Xpp 则新概率分布的熵为： 1122 3 3 ( )()log()()log()log ( )log q ii i q ii i Hpppppp fpp 其中 1122 ( )()log()()log()fpppp 由于 1212 ( )log()/()0 ( ()()fpppp 所以，f()是单调上升的。因此， 31 ( )(0)loglog() qq iiii ii HfppppH X 2.11 设有一概率空间， 其概率分布为 12 , K p pp， 并有 1mmK qpp ， 试证明： )log(),(),( 2112, 1 mkqqpppHpppH mmmmKK 证明： 由熵的递增性： ),(),(),( 21 2112, 1 m K m m m m mmmmKK q p q p q p HqqpppHpppH 又由熵的极值性： )log(),( 21 mk q p q p q p H m K m m m m 因此， )log(),( ),(),(),( 211 21 2112, 1 mkqqpppH q p q p q p HqqpppHpppH mmmm m K m m m m mmmmKK 2.12 设 有 一 概 率 空 间 ， 其 概 率 分 布 为 1212 , KJ p ppq qq， 并 有 第 2 章 信息的度量 7 12K ppp，试证明： ),() 1 , 1 ()1 ()1 ,( ),( 211 2 2121 k k j j jkjk ppp H q q HH qqqpppH 证明： 因为 12K ppp，而1 11 jk qqpp，所以在该概率空间中 1 21j qqq ),() 1 , 1 ()1 ()1 ,( ),(),(),( 211 2 21 2112121 k k j j k kjjjkjk ppp H q q HH ppp HqqqHqqqpppH 即等式成立 2.13 证明 31221 (|)(|)H XX XH XX，并说明等式成立的条件。 证明： 由于条件熵小于或等于无条件熵，条件较多的熵小于或等于条件较少的熵，考虑到平 稳性，有)|()|()|( 1223213 XXHXXHXXXH，即证 2.14 证明 1212 ()()()() NN H X XXH XH XH X。 证明： 112112 12 ()()(|)()() ()()(). NNN N H XXH XH XXXH XH XX H XH XH X 当且仅当 N XX 1 相互独立时，等号成立。 2.15 (1) 为了使每帧黑白电视图像获得良好的清晰度和规定的适当的对比度，需要用 5 5 10个像素和 10 个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要 传送 30 帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。 (2) 设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的 色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。 解： 像素包含的信息量为：)/(32. 310log)(符号bitXH 则每帧电视图像所含的信息量为： )/(1066. 132. 3105)()( 65 符号bitXNHXH N 则图像所需的信息率为 30 1.66 106 =4.98 107bit/s 证明： 5 . 2477. 2 10 1 log10530 300 1 log10530 5 5 信息论与编码理论 8 2.16 每帧电视图像可以认为是 3 105个像素组成，所有像素均是独立变化的，且每一 像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像中含有多少信息 量。若现有一广播员在约 10000 个汉字的字汇中选 1000 个字来口述此电视图像，试问广播 员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若 要恰当地描述此图像，广播员在口述中至少需用多少汉字？ 解： 由于所有像素均是独立变化的， 且每一像素又取 128 个等概率出现不同的亮度电平， 则像素的包含的信息量为： )/(7128log 128 1 log 128 1 128)(符号bitXH 而每帧电视图像可以认为是 3 105个像素组成，所有像素均是独立变化的，所以有 )/(101 . 27103)()( 65 符号bitXNHXH N 汉字所含的信息量为： )/(288.13 10000 1 log 10000 1 10000)(符号bitYH 所以 1000 个字所含的信息量：)/(13288)()(符号bitYNHYH N )(158037 288.13 101 . 2 )( )( 6 个 YH XH N N 2.17 为了传输一个由字母 A、B、C、D 组成的符号集，把每个字母编码成两个二元 码脉冲序列，以 00 代表 A，01 代表 B，10 代表 C，11 代表 D。每个二元码脉冲宽度为 5 毫秒。 (1) 不同字母等概率出现时，计算传输的平均信息速率。 (2) 若每个字母出现的概率分别为 pA=1/5，pB=1/4，pC=1/4，pD=3/10，试计算传输的平 均信息速率。 解： 因为 A,B,C,D 四个字母,每个字母用两个码,每个码为 5ms, 所以每个字母用 10ms， 当信源等概率分布时,信源熵为 H(X)=log4=2(bit/符号)，则平均信息传递速率为： sbitmsbit XH /200/2 . 0 10 )( )/(98. 1 10 3 log 10 3 4 1 log 4 1 2 5 1 log 5 1 )(符号bitXH， 则平均信息传递速率为：sbitmsbit XH /198)/(198. 0 10 )( 2.18 设有一个信源，它产生 0、1 序列的消息。它在任意时间而且不论以前发生过什 么符号，均按 p(0)=0.4，p(1)=0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算 2 ()H X， 312 (/)H XX X及lim() N N HX 。 (3) 试计算 4 ()H X，并写出 4 X信源中所有可能有的符号。 解： 这个信源是平稳的。因为平稳信源的概率分布与时间起点无关，而该信源在任 第 2 章 信息的度量 9 意时间而且不论以前发生过什么符号，概率分布均相同。 )/(94. 16 . 0log6 . 04 . 0log4 . 02)(2)( 2 符号bitXHXH 由于信源 X=0，1是无记忆的，则每个 Xi 是独立的，所以有： )/(97. 06 . 0log6 . 04 . 0log4 . 0)()|( 3213 符号bitXHXXXH )/(97. 0)()( 1 lim)( 1 lim)(lim 21 符号bitXHXNH N XXXH N XH N N N N N )/(88. 3)(4)( 4 符号bitXHXH 信源只产生 0、1 序列，所以所有组合如下： 1111111011011100 1011101010011000 0111011001010100 0011001000010000 2.19 有一个二元无记忆信源，其发 0 的概率为 p，而1p ，所以在发了二元序列中经 常出现的是那些一串为 0 的序列（称高概率序列）。对于这样的信源我们可以用另一新信 源来代替，新信源中只包含这些高概率序列。这时新信源 1231 nnn Ss ssss ，共有 n+1 个符号，它与高概率的二元序列的对应关系如下： 二元序列： 1， 01，001，0001，0001 n位 ，00000 n位 。 新信源符号： 1 s， 2 s， 3 s， 4 s， ， n s ， 1n s 。 (1) 求() n H S。 (2) 当 n 时，求信源的熵( )lim() n n H SH S 。 解： 由题，pppp1) 1 (,)0(，则新信源概率分布： -1 1 ()(1)(1,2,., ) () k k n n p sp pkn p sp (1) 求() n H S。 22 11 111 11 01 ()(1)log(1)(1) log(1)(1)log(1) (1)log(1)log (1) log 1loglog 1loglog 1 log (1)log(1)(1)loglog n nnnn nnn nn nn iii ii H Sppp pp pp pp p p pp ppp pppppppppp pp ppppppnp n p 信