信息论与编码傅祖芸赵建中课后答案资料

1、第二章课后习题【2.1设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同, 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次?解：从信息论的角度看,1121 ；212枚硬币中，某一枚为假币"该事件发生的概率为 P = 假币的重量比真的轻，或重”该事件发生的概率为 P =为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有I = Iog12 log 2 =log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P=1，因此天3平每一次消除的不确定性为I

2、二log 3比特因此，必须称的次数为I 1 log 24 . 亠2.9次 I 2 log 3因此，至少需称 3次。【延伸如何测量？分 3堆，每堆4枚，经过3次测量能否测出哪一枚为假币。【2.2同时扔一对均匀的骰子，当得知两骰子面朝上点数之和为2”或 面朝上点数之和为8”或两骰子面朝上点数是 3和4”时，试问这三种情况分别获得多少信息量？解：两骰子总点数之和为 2”有一种可能，即两骰子的点数各为1,由于二者是独立的,1因此该种情况发生的概率为P -丄，该事件的信息量为:36I = log 36 H 5.17 比特两骰子总点数之和为 8”共有如下可能：2和6、3和5、4和4、5和3、6和2，概11

3、5率为p =，5，因此该事件的信息量为：6 63636 I 二 logH 2.85比特1 126 6185两骰子面朝上点数是3和4”的可能性有两种：3和4、4和3,概率为P =因此该事件的信息量为：I = log18 H 4.17 比特明天星期几？ ”则答案中含有【2.3】如果你在不知道今天是星期几的情况下问你的朋友 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量(假设已知星期一至星期日的顺序)？ 解:如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P= 1，因此此时从答案中获得的信息量为7I = log 7 =2.807 比

4、特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1,此时获得的信息量为0比特。【2.4居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数一半。假如我们得知身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示女孩是大学生，P( A) = 0.25 ;B 表示女孩身高 1.6米以上， P( B | A) =0.75 , P( B) = 0.5身高1.6米以上的某女孩是大学生”的发生概率为P( A I B)二P( ABP( B)P A) P(B | A)P( B)0. 25 - 0. 750.5=0.

5、375已知该事件所能获得的信息量为I =iog10.375H 1.415比特1/ 8 L!其发出的消息为I X 1 1 = 0 a2 = 1 a3 = 2 a4 = 3【2.5】设离散无记忆信頁卜|=| 3 / 81/41 / 4(202120130213001203210110321010021032011223210 )，求(1) 此消息的自信息是多少？(2) 在此消息中平均每个符号携带的信息量是多少?解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：8I (a0 = 0) = log4415

6、 比特3I (a1 二 1)二 log 4 二 2 比特I (a2 二 2)二 log 4 二 2 比特I (a3 = 3) = log 8 = 3 比特在发出的消息中，共有14个0”符号，13个T符号，12个2”符号，6个符号，则得到消息的自信息为：I =14 1.41513 - 2 - 12 - 26 3 : : 87.81 比特45个符号共携带 87.81比特的信息量，平均每个符号携带的信息量为I= 87.81 二 1.95 比特/符号45注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得H ( X ) ； P( x) log

7、P( x) =1.91 比特 /符号2.6如有6行8列的棋型方格，若有二个质点A和B，分别以等概率落入任一方格内,且它们的坐标分别为（XA,YA ）和（XB,YB ），但A和B不能落入同一方格内。（1）若仅有质点A，求A落入任一个格的平均自信息量是多少？（2）若已知A已落入，求 B落入的平均自信息量。（3） 若A、B是可分辨的，求 A、B同都落入的平均自信息量。解：（1）求质点A落入任一格的平均自信息量，即求信息熵，首先得出质点A落入任格的概率空间为:a3 a48 怙 a2P - 1-6 48 48X平均自信息量为H （ A） = log 48 = 5.58 比特 /符号（2） 已知质点 A已

8、落入，求 B落入的平均自信息量，即求H （ B | Aj。1 亠曰、a已落入，（屯落入的格可能有p（a7）个，j条件概率gm |i ai）均为g 47 =毎?' 平特自信号量为48 47i =1 j =1（3）质点A和B同时落入的平均自信息量为H （ AB）二 H （ A） H （B | A）二 11.13 比特 /符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为 0.5%，如果你问一位男同志：你是否是红绿色盲？ ”，他的回答可能是 是”，也可能是 否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志， 则答案中含有的平均自

9、信息量是多少？ 解:男同志红绿色盲的概率空间为:X .al a 2P 二 0.07 0.93问男同志回答 是”所获昨的信息量为:1I =log3.836比特/符号0.07问男同志回答否”所获得的信息量为：I =logi: 0.1050.93比特/符号男同志平均每个回答中含有的信息量为H ( X ) = P( x) log P( x) = 0.366 比特/符号同样，女同志红绿色盲的概率空间为Y .bl b2P 一 0.005 0.995问女同志回答是”所获昨的信息量为：1I =log7.64比特/符号0.005问女同志回答否”所获昨的信息量为：1呈I =log7.23 10 3 比特 /符号0

10、.995女同志平均每个回答中含有的信息量为H (Y )=翻 P( x) log P( x)二 0.045 比特/符号.Xal a2 a3 a 4 a5 a6【2.8】设信源.p( x)宁0.2 0.19 0.18 0.17 0.16 0.17，求此信源的熵，并解释为什么H ( X ) >log 6，不满足信源熵的极值性。解:H ( X )=筋 P( x) log P( x) = 2.65 > log 6原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。【2.9 设离散无记忆信源S其符号集A二a1 , a2，aq ,知其相应的概率分别为（P1 , P2 ,.,

11、Pq ）。设另一离散无记忆信源S二，其符号集为S信源符号集的两倍，心ai , i =1,2,.,2q，并且各符号的概率分布满足P'C = (1 八)Pi i 二 1,2,., qPi ： - 'Pii =q1, q 2,.,2q试写出信源S二的信息熵与信源 S的信息熵的关系。解:H (S J 二P( x) log P( x)二 (1Pi log(1a )Pi dd .lPi log、Pi二(1Pi log(1(1Pi log Pi L o Pi log J 二'> Pi log Pi='(1log(1v log 二亠 H (S )二 H (S ) H (、

12、，1【2.10】设有一概率空间，其概率分布为 p1 , p 2 ,., p q ，并有p1 > p2。若取p17= p1 8送，p2 =p2 -二，其中0 : 2 :. p1 p2，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。解：设新的信源为 X二，新信源的熵为：H （ X 2 =筋 pi log pi =3（ p1 菽送）log（ p1 3 送）菽（p2 + 送）log（ p2 + 送）帝舌 pq log p q原信源的熵因此有,H ( X ) ' H ( X J 二(p1 'log( p1- ( p2 、)log( p 2) &

13、#39;' p1 log p1 '' p2 log p 2令 f ( x) = ( p1x) log( p1x) ( p2 x) log( p2 x)，则即函数f（ X）为减函数，因此有f（0）； f e），即(p1 八)log( 八)(p 2 'J log( p2 ')、. pl log pl p 2 log p2因此H （ X ）. H （ X J成立。【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。Lm【2.11 】试证明：若 p = 1， q j 二 p l，贝Uqi q 2i=1j =1H ( pl , p2，,p L

14、1 , q1 , q 2，,qm) =H ( pl , p2 , , p L 1 , p L) p L H(并说明等式的物理意义。解:H ( pi,p2,p L& , qi,q2，qm )，pilogpid p 2 log p2&毎 p L & logp Lpilogpi& p 2 log p2d - d p L & logp Ld qilogqid q2 log q26 色 qm log qm= 8pilogpi& p 2 log p2右舌p L & logp Ld qilogqi8 q2 log q2咅毎qm log qm= 8pil

15、ogpi& p 2 log p2右舌p L & logp Lqi logq 2 log=1 qm log mp Lp Lp L=柱 pi log pi 施 p 2 log p2 吾畐 p L 禺 log p L 创亀qi log qi 色 q2 log q 2 $ 色 q m log qmp L log p L p L log p Lp L log p L (qi q2 q3 亠 亠qm ) log p L'p L log p Lqq'p L log p L'p L('也 log 半:,p L p Lq ；-p L=H ( pi , p2 , ,

16、 p L i , p L) - p L H m( 且?2，p L p L p L【意义】将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的 概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。5Xi05 个【2.i2】（i）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用像素和10个不同亮度电平，求传递此图像所需的信息率(比特/秒)。并设每秒要传送 30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。(2) 设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信

17、息率约大2.5倍。解：每个像素的电平取自10个不同的电平，每一个像素形成的概率空间为：X al a2 a10X1 1 1P.0 石 10这样，平均每个像素携带的信息量为：H ( X )二 Iog10 = 3.32 比特 /像素现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：H ( X N ) = NH ( X ) = 5 - 105 - Iog10 = 1.66 - 10 6 比特 /帧按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率为：30 - H ( X N ) =4.98 10 7 比特 /秒除满足黑白电视系统的要求外，还需30个不同的色彩度，不妨设每个色彩度等概率

18、出现，则其概率空间为：Y . b1 b2 b30P飞氏止其熵为log 30比特/符号，由于电平与色彩是互相独立的，因此有H ( XY ) = H ( X ) H (Y ) = log 300这样，彩色电视系统的信息率与黑白电视系统信息率的比值为H( XY)log 300H ( X) Iog102.13】每帧电视图像可以认为是由3X105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约10000个汉字的字汇中选 1000个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字是等概率分布，并且

19、彼此无依赖)？若要恰当 地描述此图像，广播员在口述中至少需用多少汉字?解：每个像素的电平亮度形成了一个概率空间，如下:沪匕128 128a128平均每个像素携带的信息量为:H ( X ) = Iog128 = 7 比特 /像素每帧图像由3X105个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：H ( X N )二 NH ( X )二 2.1 -10 6 比特/帧如果用汉字来描述此图像，平均每个汉字携带的信息量为H (Y ) =log10000二13.29比特/汉字，选择1000字来描述，携带的信息量为H (Y N )二 NH (Y )二 1.329 - 10 4 比特如果要恰当的描述

20、此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个 数为：H ( X N)H (Y )2.110613.29H 1.58 - 105 字2.14】为了传输一个由字母A、B、C和D组成的符号集，把每个字母编码成两个二元5ms。码脉冲序列，以 00代表A, 01代表B , 10代表C, 11代表D。每个二兀码脉冲宽度为(1) 不同字母等概率出现时，计算传输的平均信息速率?H ( X 1 X 2 X N ) =H ( X 1 ) H ( X 2 | X 1 )H ( X N | X 1 X 2 X N1 )1113(2) 若每个字母出现的概率分别为p A二 ',p 8= '

21、, pC=' , p D -，试计算传输的54410平均速率？解：假设不同字母等概率出现时，平均每个符号携带的信息量为H ( X ) = log 4 =2 比特每个二元码宽度为 5ms，每个字母需要 2个二元码，则其传输时间为10ms,每秒传送n =100个，因此信息传输速率为：R 二 nH ( X )二 100 - 2 二 200 比特 /秒当不同字母概率不同时，平均传输每个字母携带的信息量为1 1 1 10H ( X ) = log 5 log 4 log 4log七 1.985 比特 /符号丿5匕4匕4匕103此时传输的平均信息速度为R = nH ( X ) = 1.985 10

22、 2 比特 /秒【2.15】证明离散平稳信源有H ( X 3 | X 1 X 2 ) H ( X 2 | X 1 )，试说明等式成立的条件。解：H ( X 3 | X 1 X 2 ):己茂茂茂 P( x1 x2 x3 ) log P( x3 | x1 x2 )曲 d P( x1 x 2 P( x3 妁 x2 ) log P( x3 | x1 x2 )3 垃占 P( x1 x2 ) P( x3 | x1 x2 ) log P( x3 | x2 )X 1 X 2X 3=；H ( X 3 | X 2 )根据信源的平稳性，有H ( X 3 | X 2 ) = H ( X 2 | X 1 )，因此有 H

23、 ( X 3 | X 1 X 2 )、.H ( X 2 | X 1 )。等式成立的条件是P( x3 | x1 x2 ) =P( x3 | x2 )。【2.16】证明离散信源有H ( X 1 X 2X N厂.H ( X 1 ) H ( X 2 )卷倂H ( X N )，并说明等式成立的条件。证明:H ( X N | X 1 X 2 X N 1 )X 212121X NNNNxxxxPXxXP二 - P( x1 x2 x N1) P( x N | x1 x2x N1) log P( x N | x1x2 x N1 )X 1 X 2X N 1X N心垃衣d P( x1 x2x N1) - P( x

24、N | x1 x2x N'1) log P( x N )X 1 X 2X N '1X N=H ( X N )H ( X 3 | X 1 X 2 ) ：. H ( X 3 )代入上述不等式，有H ( X 1 X 2 X N )、H ( X 1 ) H ( X 2 )営：.H ( X N )等号成立的条件是：P( x N | x1 x2 x N '1 )二P( x N )P( x N 1 | x1 x 2- x N '2 )二P( x N 1 )P( x 2 | x1 ) =P( x2 )即离散平稳信源输出的N长的随机序列之间彼此统计无依赖时，等式成立。【2.17】

25、设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按 P(0) =0.4，P(1) = 0.6的概率发出符号。(1) 试问这个信源是否是平稳的？2 试计算)(2XH、)|(213 XXXH 及)(lim XH。(3) 试计算H ( X 4 )并写出X 4信源中可能有的所有符号。解:该信源任一时刻发出 0和1的概率与时间无关，因此是平稳的，即该信源是离散平稳信源。其信息熵为H ( X ) = P( x) log P( x) = 0.971 比特 /符号信源是平稳无记忆信源，输出的序列之间无依赖，所以H ( X 2 ) = 2H ( X ) = 1.942 比特/符号

26、H ( X 3 | X 1 X 2 ) =H ( X ) = 0.971 比特 / 符号1Nm H n ( X ) = lim H (x1 x 2 X N ) = H ( X ) = 0.971 比特 / 符号N - H ( X 4 )二 4H ( X )二3.884 比特 /符号X 4信源中可能的符号是所有4位二进制数的排序，即从00001111共16种符号。【2.18设有一信源，它在开始时以P(a) = 0.6， P(b) = 0.3， P(c) = 0.1的概率发出 X 1。如果X 1为a时，贝U X 2为a、b、c的概率为；如果为b时，贝U X 2为a、b、1 c的概率为;331如果X

27、 1为c时，贝y X 2为a、b的概率为1，为c的概率为0。而且后面发出 X i的概率只与2X i'1有关，又当i ; 3时，P( X i | X i '1 ) =P( X 2 | X 1 )。试用马尔克夫信源的图示法画出状态转移图，并计算此信源的熵H '。解：信源为一阶马尔克夫信源，其状态转换图如下所示。1 3b :a :根据上述状态转换图，设状态极限概率分别为P(a)、P(b)和P(c)，根据切普曼一柯尔莫哥洛夫方程有111Q(a) = 3 Q(a) + 3 Q(b) + 2 Q(c)Q(b)亍b(a)彳 Q(b) ； Q(c)1 1Q(c)二 Q(a) + Q(b

28、)解得:Q(a) Q(b) Q 33 二 13亠、 1Q(a) = Q(b), Qc)二84得此一阶马尔克夫的信息熵为:PPH ' Q( Ei )H ( X | Ei ) = 1.439 比特 /符号【2.19 一阶马尔克夫信源的状态图如右图所示，信源X的符号集为0,1,2并定义p： 1 ' p 。(1) 求信源平稳后的概率分布P(0)、P(2)；(2) 求此信源的熵H ；(3) 近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵H ( X )并与H 进行比较;(4) 对一阶马尔克夫信源 p取何值时，H取最大值，又当 p = 0和p二1时结果如何?解:根据切普

29、曼一柯尔莫哥洛夫方程，可得:-p _ p _P(0) = pP(0) + 2 P(1) + 2 P(2)p- pP(1)=P(0) + pP(1)早P(2)2 2P(2)P(0) p2 P(1)+ pP(2)卩(0)P(1)P(2)二 1解得：P(0)二P(1)二 P(2)二该一阶马尔克夫信源的信息熵为:H 一 = - Q( Ei ) H ( X | Ei ) = > p log p ?p log p p 比特 /符号当信源为无记忆信源，符号的概率分布等于平稳分布，此时信源的概率空间为:此时信源的信息熵为H ( X ) =log 3 = 1.585比特/符号由上述计算结果可知：H ( X

30、 ) H ()。求一阶马尔克夫信源熵H '的最大值，H ： = ' p log p p log p p，有dH,2(1 p)logdpp2可得，当p= 时，H达到最大值，此时最大值为log 3 = 1.585比特/符号。3当p二0时，H、0比特/符号；p =1时，H、1比特/符号【2.20黑白气象传真图的消息只有黑色和白色两种，即信源X二黑，白，设黑色出现的概率为P(黑)=0.3，白色出现的概率为P(白)=0.7 。(1) 假设图上黑白消息出现前后没有关联，求熵H ( X );(2) 假设消息前后有关联，其依赖关系为P(白|白)=0.9 , P(黑|白)=0.1 , P(白|黑

31、)=0.2 ,P(黑|黑)=0.8，求此一阶马尔克夫信源的熵H 2 。(3) 分别求上述两种信源的冗余度，并比较 H ( X )和H 2的大小，并说明其物理意义。解：如果出现黑白消息前后没有关联，信息熵为：H ( X ) = pi log pi 二 0.881 比特/符号当消息前后有关联时，首先画出其状态转移图，如下所示。ai设黑白两个状态的极限概率为Q（黑）和Q（白），根据切普曼 一柯尔莫哥洛夫方程可得:Q（黑）=0.8Q（黑）0.1Q（白）Q（ 白）二 0.2Q（黑）0.9Q（白）Q（黑）Q（白）=1解得：12Q（黑）二1，Q（白）=3 3此信源的信息熵为：H 一 二一 Q( Ei ) H

32、 ( X | Ei )二 0.553比特 /符号两信源的冗余度分别为:"H(X)二 0.119log 2H 51二 0.447log 2结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言, 当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后 面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信 源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大 小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖 关系就越大。【3.1】设信源第三章课后习题P( y 2

33、) P( xi ) P( y 2 | xi ) = 0.2.X . x1 x2-P(-x) | 丨0.6 0.4通过一干扰信道，接收符号为丫二y1 , y 2 ，信道传递概率如下图所示，求(1) 信源X中事件x1和x2分别含有的自信息；息量；(3)信源X和信源Y的信息熵;(2) 收到消息y j ( j二1,2)后，获得的关于xi (i二1,2)的信(4) 信道疑义度 H ( X | Y )和噪声熵 H (Y | X )；(5) 接收到消息 Y后获得的平均互信息。解：(1) 信源X中事件x1和x2分别含有的自信息分别为:1(x1 ) =loglog 0.6 = 0.737 比特H x1 )I (

34、 x2 ) =log Tog 0.4 二 1.32 比特(2) 根据给定的信道以及输入概率分布，可得P( y1 ) = - P( xi ) P( y1 | xi ) = 0.8X所求的互信息量分别为:I ( x1 ; y1 ) =logP( y1|x1 )P( y1 )二 log 5 / 6 =log 25 二 0.059 比特0.824I ( x2 ; y1 ) =logP( y1| x?)=log3 / 4二 log15-=60.093 比特P( y1 )0.8161 (x ; y2 ) JogP( y 2 1x1 )=log1 / 6=logh：0.263 比特P( y 2 )0.2I

35、( x2 ; y 2 )= logP( y 2 1x2 )=log1 / 4二 log=0.322比特P( y 2 )0.2(3)信源X以及Y的熵为：H ( X )=；：】P( x) log P( x) h：0.6 log 0.60.4 log 0.4 = 0.971 比特 /符号XH (Y ) = ' P( y) log P( y) =08 log 0.80.2 log 0.2 = 0.722 比特 /符号Y(4) 信道疑义度 H ( X | Y ) = P( X)、P( y | x) log P( x | y) XY而相关条件概率P( x | y)计算如下：P( x | y1 )二

36、0.550.88H x1 ,y1 ) _ P( y1 |x1 尸(x1 )P( yi )P( y1 )P( x2 |y1 )=P( x1 | y 2 )=H xi ,y 2 )P( y2 )P( y 2 |x1 ) p x1 )P( y 2 )0. 6 / 6 10.2 2P( x 2 |y 2 )=由此计算出信道疑义度为:15511 1 I 33_ 11 1H ( X | 丫 )=召0.66log og 2 隹 0创 log 尹og 0.9635 比特 /符号噪声熵为:H (Y | X ) = P( x) P( y | x) log P( y | x)=s0.4jpg 6 + 6>g0

37、.4： log4 + 4pg 4'=0.7145比特/符号(5) 接收到信息 Y后获得的平均互信息为：I ( X ;Y )二H ( X ) '' H ( X | Y ) =0.0075 比特 /符号【3.2】 设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字:M仁0000, M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：(1) 接收到第一个数字 0与M1之间的互信息;P( y1 = 0 | M)=P( y1 = 0 | 0000) = P( y1=0 | x1 = 0)

38、=p(2)接收到第二个数字也是0时，得到多少关于 M1的附加互信息；(3)接收到第三个数字仍为0时,又增加了多少关于M1的互信息;(4)接收到第四个数字还是0时,再增加了多少关于M1的互信息。解：各个符号的先验概率均为18(1)根据已知条件，有P( y1 y2 二 00 | M 1 )二 P( y1 y 2 二 00 | 0000) =p 2因此接收到第二个数字也是0时，得到多少关于 M1的互信息为:P( y1 二 0) =' P(M i ) P(0 | M i )=M i因此接收到第一个数字0与M1之间的互信息为:I (M 1; y1 = 0) = logP( y1 =0 |M 1

39、)P( y1 =0)p二 log=1 log p 比特1/ 2(2)根据已知条件，有P( y1 y2 二 00) = ' P(M i )P(00 | M i )二 M i1 2 p2 4pp 2 p 2 卜184R y1 y 2=00 |M 1 )p2tJ I (M 1 ; y1 y 2 = 00) = log=log: 22 log p 比特 /符号P( y1 y 2= 00)1/4得到的附加信息为：I (M 1 ; y1 y2 = 00) I (M 1 ; y1 = 0) = 1 log p 比特 /符号(3) 根据已知条件，有1 _ - -Ip 3 3 pp 2 3 p2 p p

40、 3,18P( y1 y2 y3 =000 | M 1 ) =P( y1 y 2 y3 = 000 | 000) =p 3P( y1 y2 y3 =000) =： P(M i )P(000 |M i )=M i因此接收到第三个数字也是0时，得到多少关于M1的互信息为:I (M 1; y1 y 2 y3 二000)= logP( y1 y2 y3 =000 |M 1 )P( y1 y2 y3 =000)p3-To? 178 = 3 3log p此时得到的附加信息为:I (M 1; y1 y2 y3 =000) ' I (M 1 ; y1 y2 二 00)二 1log"比特 /符

41、号(4) 根据已知条件，有1 l.p 4 6 p2 p"2 p 4P( y1 y 2 y3 y4 0000 | M 1 ) =P( y1 y2 y3 y4 =0000 | 0000) =p 4P( y1 y y3 y4 二0000) = ' P(M i )P(0000 |M i )二 M i因此接收到第四个符号为0时，得到的关于 M1的互信息为I (M 1; y1 y2 y3 二0000)= logP( y1 y2 y3 y4 三0000 | M 1 )P( y1 y2 y3 y 4 二0000)Tog 二 3 4 log p log p 4 '_ 6 p 2 p&q

42、uot;2 p 4此时得到的附加信息为I (M 1; y1 y 2 y3 y4 =000) j (M 1 ; y1 y2 y3 = 000) = log p ' log p 4 6 p"2 p 2 p 4【3.3】设二元对称信道的传递矩阵为2 13 31 23 3(1 )若 P(0)=3/4 , P=1/4，求 H ( X ),H ( X | Y ) , H (Y | X )和 I ( X ;Y );(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。解：(1) 根据已知条件，有H ( X ) = P( xi ) log P( xi)X331log log=0.81比

43、特/符号P( y 二 0)=胶 p( y 二 0 | X»712P( y =1)=：i P( x) P( y = 1 |x)=X512P( x =0 |y =0)二P( x= 0) P( y 二 0 |x 二 0)P( y 二 0)3 2=4 3 二 67 /127P( x =1 |y =0) =P( x 二 0 |y =1)二P( x = 0)P( y =1 | x= 0)P( y = 1)5 /122P( x= 1 |y二 1) = 5H (Y | X ) = " P(xr'' P( yI xiog p( y I x)1.11 IL11 2 2叽J0,呀

44、37二0.918比特/符号H ( X | Y ) h；：P( x)' P( y | x) log P( x |y)=0.749比特/符号I ( X ;Y ) = H ( X ) H ( X | Y ) = 0.062 比特 /符号(2) 此信道是对称信道，因此其信道容量为:2 1-“ H (帖 1d H3(3 )-0.082比特/符号根据对称信道的性质可知，当P(0) = P(1)=-时，信道的传输率2I ( X ;Y )达到信道容量。【3.4】设有一批电阻，按阻值分70%是2kQ, 30%是5kQ;按功耗分 64%是1/8W ,其余是1/4W。现已知 2kQ阻值的电阻中80%是1/8

45、W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？解：根据已知条件，设电阻的阻值为事件X，电阻的功耗为事件 Y，则两事件的概率空间为：.X x1 二 2k汽 x2 = 5k：.Y . y1 = 1/ 8Wy2 二 1/ 4W-P0.70.3, P = 0.640.36给定条件为 P( y1 | x1 ) = 0.8 , P( y2 | x1 ) = 0.2，而0.64 =P( y1 ) =P( x1 )P( y1 | x1 ) P( x2 )P( y1 | x2 )= 0.7 * 0.80.3 * P( y1 | x2 )0.36 =P( y2 ) = P( x1 ) P( y 2 |

46、x1 ) P( x2 ) P( y 2 | x2 ) = 0.7 * 0.2 0.3 * P( y2 | x2 )解得：4 11P( y1 |x2 ), P( y2 | x2 )=1515-441111H (Y | X )=9.7 * 0.8 log 0.8 0.2 log 0.2 ' 0.3 * loglog 二 0.7567i 1515 1515 丿I ( X ;Y )二 H (Y )H (Y | X ) =0.186 比特 /符号【3.5】 若X、Y和Z是三个随机变量，试证明:(1) 1( X ;YZ )=1 ( X ;Y ) - I ( X ; Z | Y )=1( X ; Z

47、 )1( X ;Y | Z )(2) I ( X ;Y | Z ) =1 (Y ; X | Z ) =H ( X | Z ) H ( X | YZ )(3) I ( X ;Y | Z ) ； 0当且仅当(X , Z , Y )是马氏链时等式成立。证明:(1)I ( X ;YZ)=P( X y, z) logXYZP( x | yz)P( x)X,P(z y，z 闸 XIL P( x | yz) P( x | y)I y) P( x)P( x y, z) logXYZH x I yZP( x | y>亠 d P( x y, Z) logX ,Y ,ZP( x | y)P( x)(3)P(

48、x I yz)P( x I z)P( xyz)P( z) P( xz)P( yz)P( y I xz)P( y I z)=I ( X ; Z I Y ) I ( X ;Y )同理，1( X ;YZ ) =1 ( X ; Z ) - I ( X ;Y I Z )(2)I ( X ;Y I Z )=H x y, Z) logXYZP x, y, z) logX ,Y ,ZH x y, Z) logXYZI ( X ;Y I Z )=.P( x I yz)'X',YPZ x, y, z) log P( x I z)奁 X衣 YV % z log p( x I z) + 毎 p( x

49、y, z 9叨(x I yzP( X I Z)P( x | yz)P( x | z)P( x | yz)d I ( X ；Y| Z)=$ H x y, z) logXYZ6 log 叟(*Z z)二P( XZ)P( yz)XYZP( z)等号成立当且仅当P(x | Z) 亠 H xz P( yzP( y I z)P( x |yzH xyz H z)P( y | xP( y | z) =P( y | xz)，即即(X , Z ,Y)是马氏链。【3.6】若有三个离散随机变量，有如下关系：X 丫二Z，其中X和Y相互统计 独立，试证明:(1) H ( X ) H (Z )，当且仅当 Y是常量时等式成立

50、；(2) H (Y ) : . H (Z )，当且仅当 X为常量时等式成立；(3) H (Z ) j.H ( XY ) ：. H ( X ) - H (Y )，当且仅当 X，Y中任意一个为常量时 等式成立；(4) I ( X ; Z ) = H (Z ) H (Y )；(5) I ( XY ; Z )出(Z )；(6) I ( X ;YZ )二 H ( X )；(7) I (Y ; Z | X )二 H (Y )；(8) I ( X ;Y | Z )二 H ( X | Z )二 H (Y | Z )。证明：二0 z x +y“当 X 丫二 Z 时，有 P( z | xy)二.，即 H (Z |

51、 XY ) = 0，1 z = x yH (Z | XY )二H (Z ) " I ( XY ; Z )，因此 1( XY ; Z )二 H (Z )H (Z | X ) = P( x, z) log P( z | x)二，P( x z) logP( x, z)P( x)=P( x y) logP( x, y)P( x)而 1( X ; Z ) = H (Z ) - H (Z | X )，因此 1( X ; Z ) = H (Z ) ' H (Y )。根据互信息的性质，有I ( X ; Z ) ； 0 ,因此H (Z ) ； H (Y )成立，而当 X为常量时，Z和X的概率分

52、布相同，因此上述不等式中的等号成立。同理，H (Z ) ； H ( X )成立。由 于I ( XY; Z ) =H (Z ) ' H (Z | XY)二H ( XY) '； H ( XY| Z)二H (Z )，H ( XY | Z ) ; 0 ,因此 H (Z )、 H ( XY )成立。根据条件，有 P( x | yz)=.0 Z x y ，因此 H ( X I YZ ) - 0，而11 z - x yI ( X ;YZ ) =H ( X ) '； H ( X | YZ )，因此 1( X ;YZ ) =H ( X )。I (Y ; Z | X )二 H (Y | X

53、 ) H (Y | XZ )二 H (Y | X )二 H (Y )I ( X ;Y | Z ) = H ( X | Z ) " H ( X | YZ )H ( X | Z )二 I (Y ； X | Z )=H (Y | Z ) ' H (Y | XZ )-H (Y | Z )【3.7】 设X， Y是两个相互统计独立的二元随机变量，其取“0或“ 1的概率为等概率分布。定义另一个二元随机变量Z，而且Z二XY (一般乘积)，试计算：(1) H ( X ) ,H (Y ) , H (Z );(2) H ( XY ) , H ( XZ ) , H(YZ ) , H ( XYZ );(3) H ( X | Y ), H ( X | Z ) ,H (Y | Z ) , H (Z | X ), H (Z | Y );(4) H ( X | YZ ) , H (Y | XZ ) , H (Z | XY );(5) I ( X ;Y ) , I (