信息论与编码(第二版)曹雪虹(最全版本)答案

信息论与编码（第二版）曹雪虹答案 第二章 个马尔可夫信源有 3 个符号 1, 2 3,u u u ，转移概率为： 11| 1 / 2p u u ， 21| 1 / 2p u u ， 31|0p u u ， 12| 1 / 3p u u ， 22|0p u u ， 32| 2 / 3p u u ， 13| 1 / 3p u u ， 23| 2 / 3p u u ， 33|0p u u ，画出状态图并求出各符 号稳态概率。 解：状态图如下 状态转移矩阵为： 1 / 2 1 / 2 01 / 3 0 2 / 31 / 3 2 / 3 0p设状态 1， 1 2 3 1W P W 得1 2 3 11 3 2231 2 31 1 12 3 31223231W W W W 计算可得1231025925625符号集 0， 1组成的二阶马尔可夫链，其转移概率为： (0| 00)p =(0|11)p =1| 00)p =(1|11)p =(0| 01)p =(0|10)p =(1| 01)p =(1|10)p =出状态图，并计算各状态的稳态概率。 解： ( 0 | 0 0 ) ( 0 0 | 0 0 ) 0 . 8 ( 0 | 0 1 ) ( 1 0 | 0 1 ) 0 . 5 ( 0 | 1 1 ) (1 0 | 1 1 ) 0 . 2 ( 0 | 1 0 ) ( 0 0 | 1 0 ) 0 . 5 ( 1 | 0 0 ) ( 0 1 | 0 0 ) 0 . 2 ( 1 | 0 1 ) ( 1 1 | 0 1 ) 0 . 5 (1 | 1 1 ) (1 1 | 1 1 ) 0 . 8 (1 | 1 0 ) ( 0 1 | 1 0 ) 0 . 5 u 1 u 2u 31 / 21 / 21 / 32 / 32 / 31 / 3 于是可以列出转移概率矩阵：0 . 8 0 . 2 0 00 0 0 . 5 0 . 50 . 5 0 . 5 0 00 0 0 . 2 0 . 8p状态图 为： 0 0 0 11 0 1 10 . 80 . 20 . 50 . 50 . 50 . 50 . 20 . 8设各状态 00， 01， 10， 11 的稳态分布概率为 2,4 有 411W 得 1 3 11 3 22 4 32 4 41 2 3 40 . 8 0 . 50 . 2 0 . 50 . 5 0 . 20 . 5 0 . 81W W W W 计算得到12345141717514 时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求： (1) “ 3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数的各种组合（ 无序）对的熵和平均信息量； (4) 两个点数之和（即 2, 3, , 12 构成的子集）的熵； (5) 两个点数中至少有一个是 1 的自信息量。 解： (1)g)(lo g)( (2)g)(lo g)(3616161)( (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有 21 种组合： 其中 11， 22， 33， 44， 55， 66 的概率是3616161 其他 15 个组合的概率是18161612 s ym b o lb i l o 1536 1l o 6)(l o g)()( (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： s ym b o lb i 61l o o o o o o )(l o g)()(36112181111211091936586173656915121418133612)(5) g)(lo g)(3611116161)( 2住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘 米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X 大学生） 是大学生） P(X) 随机变量 Y 代表女孩子身高 Y 高 160 高 1( ; )I X Y 所以第二个实验比第一个实验好 P(y2|x) 0 1 0 1 2 1 1 0 0 0 1 0 1 0 1/4 0 1 1/4 0 2 0 1/2 （ 2）因为 2 相互独立，所以 1 2 1 2( | ) ( | ) ( | )p y y x p y x p y x 0 01 10 11 p 1/4 1/4 1/4 1/4 1 2 1 2 1 2 111( ; ) ( , ) ( | ) l o g 4 l o g 1 l o g 1 2 l o g 2444I X Y Y H Y Y H Y Y X 号 =号 由此可见，做两个实验比单独做 的信息量，比单独做 的信息量。 （ 3） 1 2 1 1 22 1 22 1 21 2 2( ; | ) ( | ) ( | , )( , ) ( ) ( ) ( ; , ) ( ) ( ; ) ( ) ( ; , ) ( ; , ) ( ; )I X Y Y H X Y H X Y Y H X H X I X Y I X Y H X I X Y Y Y I X Y =号 表示在已做 情况下，再做 多得到的关于 X 的信息量 同理可得 2 1 1 2 1( ; | ) ( ; , ) ( ; )I X Y Y I X Y Y I X Y=号 表示在已做 情况下，再做 多得到的关于 X 的信息量 P(00 01 10 11 0 1/4 0 0 0 1 0 0 1/4 0 2 0 1/4 0 1/4 P(x) 00 01 10 11 0 1 0 0 0 1 0 0 1 0 2 0 1/2 0 1/2 欢迎下载！ 第三章 二元对称信道的传递矩阵为 32313132(1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y)； (2) 求该信道的信道容量及其达到信道 容量时的输入概率分布； 解： 1) s ym b o ym b o ym b o ym b o ym b o ()();(/ ()()()/()/()()/()();(/ o o ()()()/()()()()()()/()()()()(/ 10l o g)32 )/(l o g)/()()/(/ 1l o o ()(222221212221221211112111222 2) 2 2 21 1 2 2m a x ( ; ) l o g l o g 2 ( l g l g ) l o g 1 0 0 . 0 8 2 /3 3 3 3 X Y m H b i t s y m b o l 其最佳输入分布为 1()2信源发送端有 2 个符号，i 1， 2； ()ip x a，每秒发出一个符号。接受端有 3种符号j 1， 2， 3，转移概率矩阵为 1 / 2 1 / 2 01 / 2 1 / 4 1 / 4P 。 （ 1） 计算接受端的平 均不确定度； （ 2） 计算由于噪声产生的不确定度 ( | )H Y X ； （ 3） 计算信道容量。 解： 1 / 2 1 / 2 01 / 2 1 / 4 1 / 4P 联合概率 ( , )x 1y 2y 3y 1x/2a /2a 0 2x(1 ) / 2a (1 ) / 4a (1 ) / 4a 则 Y 的概率分布为 Y 1y 2y 3y 1/2 (1 ) / 4a (1 ) / 4a （ 1） 1 1 + 4 1 4( ) l o g 2 l o g l o 1 4 1 21 1 1 6 1l o g 2 l o g l o 1 4 1 21 1 1 1 1l o g 2 l o g 1 6 l o g l o 4 1 4 1 23 1 1 1l o g 2 l o g l o 1 4 1 取 2 为底 2223 1 1 1( ) ( l o g l o g )2 4 1 4 1 b i （ 2） 1 1 1 1 1 1 1 1( | ) l o g l o g l o g l o g l o 2 2 2 2 4 4 4 4a a a a X 3 ( 1 )l o g 2 l o g 22 3 2 a 取 2 为底 3( | ) 2 X b 2( ) ( ) ( ) 1 1 1m a x ( ; ) m a x ( ) ( | ) m a x l o g 2 l o g l o 1 4 1i i ip x p x p xa a X Y H Y H Y X 取 e 为底21 1 1( l n 2 l n l n )2 4 1 4 1a a 21 1 2 1 1 1 1l n 2 l n ( )2 4 1 4 1 4 1 1a a aa a a a 221 1 1 2l n 2 l ( 1 ) 4 1 4 1a a aa a a 1 1 1l n 2 l 1 = 0 1114 35a 9251 3 1 1 1 3 1l o g 2 l o g l o 4 1 4 5 4c 3 1 2 5 3 1l o g 2 l o g l o 4 1 6 2 0 4 3 1 5 3l o g 2 l o g l o g 21 0 2 4 1 0 15 有扰离散信道上传输符号 0 和 1，在传输过程中每 100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出 1000 个符号，求此信道的信道容量。 解： 由题意可知该二元信道的转移概率矩阵为： 0 0 0 0 P 为一个 所以由 211l o g ( ) l o g 2 l o g 0 . 9 2 /1 1 0 0 0 9 2 0 / s e s H P p b i t s i g C b i 图中信道的信道容量及其最佳的输入概率分布 e =0 和 1/2 时的信道容量 解 : 信道矩阵 P=此信道为非奇异矩阵 ,又 r=s,可利用方程组求解 31( | )j i b a b= 31( | ) l o g ( | )j i j b a P b a=(i=1,2,3) 123230(1 ) (1 ) l o g (1 ) l o g(1 ) l o g (1 ) l o g (1 )be b e b e e e ee b e b e e e - + = - - + + - = + - b =X 0 Y 0 1 1 1 2 2 1 e 1 e e e 23 (1 ) l o g (1 ) l o gb b e e e e= = - - +所以 C=0+2 2(1+ =+21-H(e )=+2 (1 )(1 ) - e 2311 ( 1 ) 1 ( )2 ( 1 )3211( ) 2 21 2 ( 1 ) 1 2( 1 )( ) 21 2 ( 1 )( ) 2 ( )b P be e = = = + - + +而 31( ) ( ) ( | )j i j b P a P b a= (j=1,2,3) 得 112 2 33 2 3( ) ( )( ) ( ) (1 ) ( )( ) ( ) ( ) (1 )P b P aP b P a P aP b P a P = - + = + P(P(1 )11 2 (1 )2 3 2 3 ( 1 )(1 )( ) ( ) ( ) ( )1 2 (1 )P a P a P b P = = =+-当 e =0 时 ,此信道为一一对应信道 ,得 C=1 2 3 1( ) ( ) ( ) 3P a P a P a= = =当 e =1/2 时 ,得 C=1 1()2231( ) ( ) 4P a P a=下列二个信道的信道容量，并加以比较 （ 1） 22pp 2） 20 02pp p+p =1 解： （ 1）此信道是准对称信道，信道矩阵中 Y 可划分成三个互不相交的子集 由于集列所组成的矩阵 pp 22而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计算。 C1=- 其中 r=2,1=1 2 所以 C1=p ,)-(1) = p )p )+(22( p )p )+(=(11( p )p )+() 输入等概率分布时达到信道容量。 （ 2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中 Y 可划分成两个互不相交的子集，由子集列所组成的矩阵为 2002 这两矩阵 为对称矩阵 其中r=2,1=1 2=2 ，所以 C=p - ,0)-21=p - )p - )+(22( p - )p - )+(=(112p - )p - )+(=入等概率分布（ P（ =P（ =1/2）时达到此信道容量。比较此两信道容量，可得 1+2有扰离散信道的传输情况分别如图 3 17 所示。求出该信道的信道容量。 X 21 / 21 / 21 / 21 / 21 / 21 / 21 / 2图 3 - 1 7解：112211221122112200000000对称信道 l o g ( | )iC m H Y a 1l o g 4 2 l o g 22 取 2 为底 1C 号 3 (1) 条件概率 ，联合概率 ，后验概率 p ) 13 ， p ) 12 ， p ) 16 （ 2） H(Y/X)= （ 3） 当接收为 为 正确，如果发的是 错误，各自的概率为： P(x1/15， P(x2/15， P(x3/35其中错误概率为： (x1/P(x3/ 15 35 4）平均错误概率为 （ 5）仍为 6）此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率 概率 一半失真 概率 失真严重 概率 0 完全失真 （ 7） H(X/Y)= 16 L o g 2( ) 110 L o g 5( ) 115 L o g 52 215 L o g 52 110 L o g 5( ) 110 L o g 53 130 L o g 10( ) 310 L o g 53 1 . 3 0 1 3. 8 设加性高斯白噪声信道中，信道带宽 3设 (信号功率 +噪声功率 )/噪声功率 =10计算该信道的最大信息传 输速率 解： 3. 9 在图片传输中，每帧约有 06个像素，为了能很好地重现图像，能分 16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为 30 解： sb ym b o lb 101 . 416lo z 15049)10001(l o o o 3个平均功率受限制的连续信道，其通频带为 1道上存在白色高斯噪声。 （ 1）已知信道上的信号与噪声的平均功率比值为 10，求该信道的信道容量； （ 2）信道上的信号与噪声的平均功率比值降至 5，要达到相同的信道容量，信道通频带应为多大？ （ 3）若信道通频带减小为 ，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：（ 1）2l o g (1 )C W S N R621 1 0 l o g (1 1 0 ) （ 2）2 2 2l o g (1 5 ) 3 . 4 5 9C W M b p s 2 23 . 1 5 9 1 . 3 3 8l o g 6 H Z （ 3） 3 3 2l o g (1 ) 3 . 4 5 9C W S N R M b p s 2 3 . 4 5 9l o g (1 ) 0 . 5S N R 120 欢迎下载！ 第四章 第五章 5下表所列的某六进制信源进行二进制编码，试问： 消息 概率 1C 2C 3C 4C 5C 6C u1 u2 u3 u4 u5 (1) 这些码中哪些是唯一可译码？ (2) 哪些码是 非延长码？ (3) 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码 311 2 3 4 5 6231 2 44135236: 6 2 163: 2 2 2 2 2 2 16463:164: 2 2 4 2 1: 2 5 2 1: 2 5 2 1 5C不是唯一可译码，而4C： 又根据码树构造码字的方法 1C，3C，6 他们是即时码 51) 因为 A,B,C,D 四个字母 ,每个字母用两个码 ,每个码为 所以每个字母用 10信源等概率分布时 ,信源熵为 H(X)=)=2 平均信息传递速率为 00s (2) 信源熵为 H(X)= =98s 551) 12 14 18 116 132 164 1128 1128H(U)= 12 L o g 2( ) 14 L o g 4( ) 18 L o g 8( ) 116 L