信息论与编码(第二版)曹雪虹(最全版本)答案

1、信息论与编码（第二版） 曹雪虹答案第二章2.1 一个马尔可夫信源有3 个符号1,23,u u u，转移概率为：11|1/ 2p uu，21|1/ 2p uu，31|0p uu，12|1/ 3p uu，22|0p uu，32|2/3p uu，13|1/3p u u，23|2/3p uu，33|0p uu，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：1/ 21/ 201/ 302/ 31/ 32 /30p设状态 u1，u2，u3稳定后的概率分别为W1，W2、W3 由1231WPWWWW得1231132231231112331223231WWWWWWWWWWWW计算可得123102

2、5925625WWW2.2 由符号集 0，1组成的二阶马尔可夫链，其转移概率为：(0 | 00)p=0.8 ，(0 |11)p=0.2 ，(1| 00)p=0.2，(1|11)p=0.8 ，(0 | 01)p=0.5 ，(0 |10)p=0.5 ，(1|01)p=0.5 ，(1|10)p=0.5 。画出状态图，并计算各状态的稳态概率。解：(0 | 00)(00 | 00)0.8pp(0 |01)(10| 01)0.5pp(0 |11)(10|11)0.2pp(0 |10)(00 |10)0.5pp(1| 00)(01| 00)0.2pp(1| 01)(11|01)0.5pp(1|11)(11|

3、11)0.8pp(1|10)(01|10)0.5ppu1u2u31/21/21/32/32/31/3于是可以列出转移概率矩阵：0.80.200000.500000.20.8p状态图为：0001100.20.8设各状态 00，01，10，11 的稳态分布概率为 W1,W2,W3,W4 有411iiWPWW得1311322432441230.50.81WWWWWWWWWWWWWWWW计算得到12345141717514WWWW2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “

4、3 和 5 同时出现”这事件的自信息；(2) “两个 1 同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, , 12构成的子集）的熵；(5) 两个点数中至少有一个是1 的自信息量。解：(1)bitxpxIxpiii170.4181log)(log)( (2)bitxpxIxpiii170.5361log)(log)(3616161)(3) 两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 5

5、1 52 53 54 55 56 61 62 63 64 65 66 共有 21 种组合：其中 11，22，33，44，55，66 的概率是3616161其他 15 个组合的概率是18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936586

6、173656915121418133612)(5) bitxpxIxpiii710.13611log)(log)(3611116161)(2-4 2.5 居住某地区的女孩子有25% 是大学生，在女大学生中有75% 是身高 160厘米以上的，而女孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 X代表女孩子学历X x1（是大学生）x2（不是大学生）P(X) 0.25 0.75 设随机变量 Y代表女孩子身高Y y1（身高 160cm ）y2（身高 160cm ）P(Y) 0.5 0.5 已知：在女大学生中有75%

7、 是身高 160厘米以上的即：bitxyp75.0)/(11求：身高 160 厘米以上的某女孩是大学生的信息量即：bitypxypxpyxpyxI415.15 .075.025.0log)()/()(log)/(log)/(111111112.6 掷两颗骰子，当其向上的面的小圆点之和是3 时，该消息包含的信息量是多少？当小圆点之和是 7 时，该消息所包含的信息量又是多少？解：1）因圆点之和为3 的概率1( )(1,2)(2,1)18p xpp该消息自信息量( )log( )log184.170I xp xbit2）因圆点之和为7 的概率1( )(1,6)(6,1)(2,5)(5,2)(3,4)

8、(4,3)6p xpppppp该消息自信息量( )log( )log62.585I xp xbit2.7 设有一离散无记忆信源，其概率空间为123401233/81/ 41/ 41/8XxxxxP（1）求每个符号的自信息量（2）信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量解：122118()loglog1.415()3I xbitp x同理可以求得233()2, ()2, ()3I xbit I xbit I xbit因为信源无记忆，所以此消息序列的信

9、息量就等于该序列中各个符号的信息量之和就有：123414 ()13 ()12 ()6 ()87.81II xI xI xI xbit平均每个符号携带的信息量为87.811.9545bit/符号2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4 个不同的消息，例如： 0, 1, 2, 3 八进制脉冲可以表示8个不同的消息，例如： 0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2 个不同的消息，例如： 0, 1 假设每个消息的发出都是等概率的，则：四进制 脉冲的 平均 信息 量symbolbitnXH/24loglog)(1八进 制脉 冲的 平

10、均信 息量symbolbitnXH/38loglog)(2二进制脉冲的平均信息量symbolbitnXH/12loglog)(0所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和 3 倍。2-9 “”用三个脉冲“”用一个脉冲(1) I()= I() (2) H= 2-10 (2) P(黑/黑)= P(白/ 黑)= H(Y/黑)= (3) P(黑/ 白)= P(白/ 白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38 份，用 1， 38 的数字标示，其中有两份涂绿色， 18 份涂红色， 18 份涂黑色，圆盘停

11、转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解：令 X表示指针指向某一数字，则X=1,2, .,38 Y表示指针指向某一种颜色，则Y=l 绿色，红色，黑色 Y是 X的函数，由题意可知()()ijip x yp x（1）3112381838( )()loglog2log1.24()3823818jjjH Yp yp ybit/符号（2）2(,)()log 385.25H X YH Xbit/符号（3）(|)(,)()()( )1H XYH X YH YH

12、 XH Ybit/符号2.12 两个实验 X和 Y，X=x1 x2 x3,Y=y1 y2 y3,l联合概率,ijijr x yr为1112132122233132337 / 241/ 2401/ 241/ 41/ 2401/ 247 /24rrrrrrrrr（1）如果有人告诉你 X和 Y的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你 Y的实验结果，你得到的平均信息量是多少？（3）在已知 Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？解：联合概率( ,)ijp x y为Y X y1 y2y3 x17/24 1/24 0 22221(, )( ,)log( ,)72

13、4112log4log 24log 4247244ijijijH X Yp x yp x y =2.3bit/符号X概率分布21( )3log 31.583H Ybit/符号(|)(,)( )2.31.58H X YHX YH Y Y概 率 分 布 是=0.72bit/符号Y y1 y2 y3 P 8/24 8/24 8/24 2.13 有两个二元随机变量X和Y，它们的联合概率为Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 并定义另一随机变量Z = XY（一般乘积），试计算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(

14、2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1) x21/24 1/4 1/24 x30 1/24 7/24 X x1 x2 x3P 8/24 8/24 8/24 symbolbitypypYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpyxpyxpxpjjjiii/1)(log)()(218183)()()(218381)()()(/1

15、)(log)()(218183)()()(218381)()()(22212121112212221111Z = XY的概率分布如下：symbolbitzpZHzzZPZkk/544.081log8187log87)()(818710)(221symbolbitzxpzxpXZHzpzxpzxpzxpzpzxpzpzxpzxpzxpzpxpzxpzxpzxpzxpxpikkiki/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5 .0)()(0)()()()(2222221211112121111112121

16、111symbolbitzypzypYZHzpzypzypzypzpzypzpzypzypzypzpypzypzypzypzypypjkkjkj/406.181log8183log8321log21)(log)()(81)()()()()(835. 087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111symbolbitzyxpzyxpXYZHyxpzyxpyxpzyxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzxpzyxpzxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzyxpzyxpijk

17、kjikji/811.181log8183log8383log8381log81)(log)()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211(2) symbolbitXYHXYZHXYZHsymbolbitXZHXYZHXZYHsymbolbitYZHXYZHYZXHsymbolbitYHYZHYZHsymbolbitZHYZHZYHsymbolbitXHXZHXZHs

18、ymbolbitZHXZHZXHsymbolbitXHXYHXYHsymbolbitYHXYHYXHsymbolbityxpyxpXYHijjiji/0811.1811.1)()()/(/405.0406.1811.1)()()/(/405.0406. 1811.1)()()/(/406.01406.1)()()/(/862. 0544. 0406.1)()()/(/406.01406.1)()()/(/862.0544.0406.1)()()/(/811.01811.1)()()/(/811. 01811.1)()()/(/811.181log8183log8383log8381log81)

19、(log)()(2(3) symbolbitYZXHYXHYZXIsymbolbitXZYHXYHXZYIsymbolbitYZXHZXHZYXIsymbolbitZYHYHZYIsymbolbitZXHXHZXIsymbolbitYXHXHYXI/406.0405.0811.0)/()/()/;(/457.0405.0862.0)/()/()/;(/457. 0405.0862.0)/()/()/;(/138.0862.01)/()();(/138.0862.01)/()();(/189.0811.01)/()();(2-14 (1) P(ij)= P(i/j)= (2) 方法 1: = 方

20、法 2: 2-15 P(j/i)= 2.16 黑白传真机的消息元只有黑色和白色两种，即X=黑，白，一般气象图上，黑色的出现概率 p( 黑)0.3 ，白色出现的概率p( 白)0.7 。（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白| 白)0.9143，P(黑| 白)0.0857，P(白| 黑)0.2，P(黑| 黑) 0.8 ，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。解： （1）221010()0.3log0.7log0.881337H Xbit/符号P(黑|

21、白)=P( 黑) P(白| 白) P(白) 黑白0.3P(黑| 黑) P(黑) P(白| 黑) P(白) （2）根据题意，此一阶马尔可夫链是平稳的（P(白)0.7 不随时间变化， P(黑)0.3不随时间变化）21222221()(|)( ,)log(,)1110.9143 0.7log0.0857 0.7log0.20.3log0.91430.08570.210.8 0.3log0.8ijijijHXH XXp x yp x y0.512bit/符号2.17 每帧电视图像可以认为是由3105个像素组成的， 所有像素均是独立变化， 且每像素又取 128个不同的亮度电平， 并设亮

22、度电平是等概出现， 问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出 1000 个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1) symbolbitXNHXHsymbolbitnXHN/101.27103)()(/7128loglog)(65222)symbolbitXNHXHsymbolbitnXHN/13288288.131000)()(/288.1310000loglog)(223)158037288.13101. 2)()(6XHXHNN2.20

23、 给定语音信号样值X 的概率密度为1( )2xp xe,x, 求 Hc(X) ，并证明它小于同样方差的正态变量的连续熵。解00201()( )log( )( )log21( )log( )()log211loglog()22111loglog()log()22211log2log22xcxxxxxxxxHXp xp x dxp xedxp xdxp xxedxeex dxeex dxex dxexe01loglog(1)212logloglog2xxdxex eee22()0,()E XD X,22121422()log2logloglog()22eee eHXeHX2.24 连续随机变量X和

24、Y的联合概率密度为：其他01),(2222ryxryxp， 求H(X), H(Y), H(XYZ)和I(X;Y) 。（提示：20222log2sinlogxdx）解：202020220220202222022022222222222222222222222222222sinlog22cos1422cos1log4sinlogsin4logsin4sinlogsin4sinlogsin4)cos(sinlogsin4coslog4log2log)(/log21loglog211log2loglog)(2loglog)(2log)(2log)()(log)()()(21)()(22222222dd

25、rdrddrdrrrrdrrrrxdxxrxrrdxxrrxrdxxrxpsymbolbitererrdxxrxprdxxrxpdxrxpdxrxrxpdxxpxpXHrxrrxrdyrdyxypxprrrrrrrrrrrrrrrcxrxrxrxr令其中：eeededededededdderdrddrrdddrdr220222022022022022202202020202202022020202020log212sinlog21log212coslog1log122cos1log2coslog2sinlogcoscossin21sinlog2sinsinlog2sin12sinsinlog1

26、sinlog2cos2log211logsinlog2cos21logsinlog2cos2)2log2(22sinlog1logsinlog2cos2sinlog22coslog2log2其中：bit/symbolererXYHYHXHYXIbit/symbolrdxdyxyprdxdyrxypdxdyxypxypXYHbit/symbolerXHYHxpypryrryrdxrdxxypypccccRRRcCCyryryryrlogloglogloglog2)()()();(log)(log1log)()(log)()(log21log)()()()()(21)()(222222222222

27、222222222222.25 某一无记忆信源的符号集为0, 1，已知P(0) = 1/4 ，P(1) = 3/4 。(1) 求符号的平均熵；(2) 有 100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1” ）的自信息量的表达式；(3) 计算(2) 中序列的熵。解：(1)symbolbitxpxpXHiii/811.043log4341log41)(log)()(2) bitmxpxIxpmiimmmi585.15.4143log)(log)(434341)(100100100100100(3) symbolbitXHXH/1.81811.0100)(100)(

28、1002-26 P(i)= P(ij)= H(IJ)= 2.29 有一个一阶平稳马尔可夫链1,2,rXXXLL,各 Xr取值于集合1,2,3Aa a a, 已知起始概率 P(Xr)为1231/ 2,1/ 4ppp，转移概率如下图所示j i 1 2 3 1 2 3 1/2 2/3 2/3 1/4 0 1/3 1/4 1/3 0 (1)求123(,)XXX的联合熵和平均符号熵(2)求这个链的极限平均符号熵(3)求012,HHH和它们说对应的冗余度解： （1）12312132,112132(,)()(|)(|)()(|)(|)HXXXH XH XXH XXXHXH XXHXX1111111()log

29、loglog1.5/224444HXbit符号X1，X2的联合概率分布为212()()jijip xp x xX2的概率分布为那么21111131131(|)log 4log4log 4loglog3loglog348862126212HXX=1.209bit/符号X2X3的联合概率分布为23()ijp x x1 2 3 1 7/24 7/48 7/48 2 5/36 0 5/12 3 5/36 5/12 0 那么32771535535(|)log2log4log4loglog3loglog3244883627236272H XX=1.26bit/符号123(,)1.51.2091.263.9

30、69HXXXbit/ 符号所以平均符号熵31233.969(,)1.3233HXXXbit符号12()ijp x x1 2 3 1 1/4 1/8 1/8 2 1/6 0 1/12 3 1/6 1/12 0 1 2 3 14/24 5/24 5/24 （2）设 a1,a2,a3稳定后的概率分布分别为W1,W2,W3, 转移概率距阵为1112442103321033P由1iWPWW得到123132123122123311431WWWWWWWWW计算得到12347314314WWW又满足不可约性和非周期性3141 1 132 1()(|)(,)2(,0)1.2572 4 4143 3iiiHXW

31、H X WHHbitu u v/ 符号(3)0log31.58Hbit/ 符号11.5Hbit/ 符号21.51.2091.3552Hbit/ 符号001.25110.211.58111.25110.6171.5221.25110.0781.355a1a3a21/22/31/41/31/32/31/42-30 (1) 求平稳概率 P(j/i)= 解方程组得到(2) 信源熵为 : 2-31 P(j/i)= 解方程组得到 W1= , W2= , W3= 2.32 一阶马尔可夫信源的状态图如图213 所示，信源 X的符号集为（ 0，1，2） 。（1）求信源平稳后的概率分布P(0),P(1),P(2)

32、 （2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H进行比较0121-pp/21-pp/2p/2p/2p/2p/21-p图2-13解: 根据香农线图 , 列出转移概率距阵1/2/2/ 21/2/ 2/21pppPpppppp令状态 0,1,2 平稳后的概率分布分别为W1,W2,W3 311iiWPWW得到12311232123(1)22(1)221ppp WWWWppWp WWWWWW计算得到131313WWW由齐次遍历可得112()(|)3(1,)(1)loglog3221iiippHXWH X WHpppppu u vu u v,()l

33、og31.58/HXbit符号由最大熵定理可知()HXu u v存在极大值或者也可以通过下面的方法得出存在极大值: ()12 1log(1)( 1)loglog1222(1)HXpppppppppu u v112(1)22(1)ppp又01p所以0,2(1)pp当 p=2/3 时12(1)pp0p2/3 时()log02(1)HXpppu u v2/3p1(;)I X Y所以第二个实验比第一个实验好P(y2|x) 0 1 0 1 2 1 1 0 0 0 1 Y2X 0 1 0 1/4 0 1 1/4 0 2 0 1/2 （2）因为 Y1和 Y2相互独立，所以1212(| )(| )(| )p

34、y yxp yx p yxy1y200 01 10 11 p 1/4 1/4 1/4 1/4 121212111(;)(,)(|)log 4log1log12log 2444I X Y YH Y YH Y YXbit/符号=1.5bit/符号由此可见，做两个实验比单独做Y1可多得 1bit 的关于 X的信息量，比单独做 Y2多得 0.5bit的关于 X的信息量。（3）12112212212122(;|)(|)(|,)(,)()()(;,)()(;)()(;,)(;,)(;)I X YYH XYH XY YHX YH XH XI X Y YHXI X YHXI X Y YI X Y YI X Y

35、=1.5-1=0.5bit/符号表示在已做 Y2的情况下，再做Y1而多得到的关于X的信息量同理可得21121(;|)(;,)(;)I X YYI X Y YI X Y=1.5-0.5=1bit/符号表示在已做 Y1的情况下，再做Y2而多得到的关于X的信息量欢迎下载！P(y1y2x) 00 01 10 11 0 1/4 0 0 0 1 0 0 1/4 0 2 0 1/4 0 1/4 P(y1y2|x) 00 01 10 11 0 1 0 0 0 1 0 0 1 0 2 0 1/2 0 1/2 第三章3.1 设二元对称信道的传递矩阵为32313132(1) 若P(0) = 3/4, P(1) =

36、1/4 ，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解：1) symbolbitYXHXHYXIsymbolbitXYHYHXHYXHXYHYHYXHXHYXIsymbolbitypYHxypxpxypxpyxpyxpypxypxpxypxpyxpyxpypsymbolbitxypxypxpXYHsymbolbitxpXHjjijijijiii/062. 0749. 0811.0)/()();(/749.0918.0980. 0811. 0)/()()()/()/()()/()();(/980. 0)4167.0log

37、4167.05833.0log5833.0()()(4167.032413143)/()()/()()()()(5833. 031413243)/()()/()()()()(/918.010log)32lg324131lg314131lg314332lg3243()/(log)/()()/(/811.0)41log4143log43()()(2222212122212212111121112222) 2221122max (;)loglog 2(lglg)log 100.082 /3333miCI X YmHbitsymbol其最佳输入分布为1()2ip x3-2 某信源发送端有2 个符号，i

38、x，i1，2；()ip xa，每秒发出一个符号。接受端有3种符号iy，j1，2，3，转移概率矩阵为1/ 21/ 201/ 21/ 41/ 4P。（1）计算接受端的平均不确定度；（2）计算由于噪声产生的不确定度(|)H YX；（3）计算信道容量。解：1/ 21/ 201/ 21/ 41/ 4P联合概率(,)ijp xyX Y 1y2y3y1x/ 2a/ 2a0 2x(1) / 2a(1)/ 4a(1) /4a则 Y的概率分布为Y 1y2y3y1/ 2(1) / 4a(1) / 4a（1）11+414( )log 2loglog24141aaH Yaa211161log 2loglog24141a

39、aaa211111log 2log16loglog244141aaaa23111log2loglog24141aaaa取 2 为底2223111( )(loglog)24141aaH Ybitaa（2）11111111(|)logloglogloglog2222224444aaaaaH YX3(1)log 2log 22aa3log22a取 2 为底3(|)2aH Y Xbit2()()()111max(;)max()(|)maxlog 2loglog24141iiip xp xp xaaacI X YH YH YXaa取e为底2111(ln 2lnln)24141aaaaaa21121111

40、ln 2ln()24 141411aaaaaaa221112ln 2ln22(1)4141aaaaaa111ln2ln241aa= 0 1114aa35a9251311131log 2loglog2541454c312531log 2loglog104162043153log 2loglog 210241015log243.3 在有扰离散信道上传输符号0 和 1，在传输过程中每100个符号发生一个错误， 已知P(0)=P(1)=1/2 ，信源每秒内发出1000 个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：0.990.010.010.99P为一个 BSC信道所以由 BS

41、C 信道的信道容量计算公式得到：211log( )log2log0.92/11000920/seciiitCsH Ppbit signpCCCbitt3.4 求图中信道的信道容量及其最佳的输入概率分布. 并求当e=0 和 1/2 时的信道容量C的大小。解: 信道矩阵 P=e1e0ee10001, 此信道为非奇异矩阵 , 又 r=s, 可利用方程组求解31(|)jijjP ba b=?=31(|)log(|)jijijP baP ba=? (i=1,2,3) 123230(1)(1)log(1)log(1)log(1)log(1)be bebeeeeebe beeee=?-+=-+?+-=+-?

42、 ?解得10b =23(1)log(1)logbbeeee=-+所以C=log2jjb?=log20+22(1-e)log(1-e)+logee =log1+21-H(e)=log1+2(1)(1)ee-ee X 0 Y 0 1 1 1 2 2 1e1eee2311(1)1( )2(1)3211()2212(1)12(1)()212(1)()2()CCHCCP bP bP bP beeeeebeebbeeeeee-?=?+-+?-?=?+-?=? ?而31()()(|)jijiiP bP a P ba=? (j=1,2,3) 得11223323()()()()(1)()()()()(1)P b

43、P aP bP aP aP bP aP aeeee=?=-+?=+-? ?所以P(a1)=P(b1)=(1)112(1)eeee-+-2323(1)(1)()()()()12(1)P aP aP bP beeeee eee-=+-当e=0 时, 此信道为一一对应信道,得 C=log3, 1231()()()3P aP aP a=当e=1/2 时, 得 C=log2, 11()2P a=,231()()4P aP a=3.5 求下列二个信道的信道容量，并加以比较（1）22pppp（2）2002pppp其中 p+p=1 解：（1）此信道是准对称信道， 信道矩阵中 Y可划分成三个互不相交的子集由于集

44、列所组成的矩阵pppp,22而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计算。C1=logr-H(p1 p2 p3 )-MkkNklog21其中 r=2,N1=M1=1-2 N2=2 M2=4所以C1=log2-H(p,p- ,2 )-(1-2)log(1-2)-2log4=log2+(p)log(p)+(p- )log(p-)+2log2 -(1-2 )log(1-2)-2log4 =log2-2 log2-(1-2)log(1-2)+(p)log(p)+(p- )log(p-) =(1-2 )log2/(1-2)+(p)log(p)+(p-)log(p-) 输入等概

45、率分布时达到信道容量。（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为pppp，2002这两矩阵为对称矩阵其中r=2,N1=M1=1-2 N2=M2=2 ，所以C=logr-H(p-,p- ,2 ,0)-21logkMkNk=log2+(p-)log(p-)+(p- )log(p-)+2log2 -(1-2 )log(1-2)-2 log2 =log2-(1-2)log(1-2)+( p-)log(p-)+(p- )log(p-) =(1-2 )log2/(1-2)+2log

46、2+(p-)log(p-)+(p- )log(p-) =C1+2 log2 输入等概率分布（ P（a1）=P （a2）=1/2）时达到此信道容量。比较此两信道容量，可得 C2=C1+2 log2 3-6 设有扰离散信道的传输情况分别如图317 所示。求出该信道的信道容量。XY1/21/21/21/21/21/21/21/2图3-17解：112211221122112200000000对称信道log(|)iCmH Y a1log 42log 22取 2 为底1Cbit/符号3-7 (1) 条件概率，联合概率，后验概率，（2）H(Y/X)= （3）当接收为 y2，发为 x1 时正确，如果发的是x1

47、 和 x3 为错误，各自的概率为：P(x1/y2)= ，P(x2/y2)= ，P(x3/y2)= 其中错误概率为：Pe=P(x1/y2)+P(x3/y2)= （4）平均错误概率为（5）仍为 0.733 （6）此信道不好原因是信源等概率分布，从转移信道来看正确发送的概率x1-y1 的概率 0.5 有一半失真 x2-y2的概率 0.3 有失真严重 x3-y3的概率 0 完全失真（7）H(X/Y)= 16Log 2( )110Log 5( )115Log52215Log52110Log 5( )110Log53130Log 10()310Log531.3013. 8 设加性高斯白噪声信道中，信道带宽

48、3kHz，又设 ( 信号功率 +噪声功率 )/ 噪声功率=10dB。试计算该信道的最大信息传输速率Ct。解：3. 9 在图片传输中，每帧约有2.25 106个像素，为了能很好地重现图像，能分16 个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为 30dB） 。解：sbittICbitNHIsymbolbitnHt/101.5601091010941025.2/416loglog566622z15049)10001(log105 .11log1log25HPPCWPPWCNXtNXt3-10 一个平均功率受限制的连续信道，其通频带为1MHZ ，信道上存在白

49、色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？解： （1）2log (1)CWSNR621 10 log (1 10)3.159Mbps（2）222log (15)3.459CWMbps223.1591.338log 6MWMHZ（3）332log (1)3.459CWSNRMbps23.459log (1)0.5SNR120SNR欢迎下载！第四章第五章5-1 将下表

50、所列的某六进制信源进行二进制编码，试问：消息概率1C2C3C4C5C6Cu1 u2 u3u4u5u6 1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 110 1110 11110 111110 0 10 1101 1100 1001 1111 1 000 001 010 110 110 01 001 100 101 110 111 (1)这些码中哪些是唯一可译码？(2)哪些码是非延长码？(3)对所有唯一可译码求出其平均码长和编译效率。解：首先，根据克劳夫特不等式，找出非唯一可译码31123456231244135236: 62163: 22222216463:164: 22421: 25 21: 25 21CCCCCC5C不是唯一可译码，而4C：又根据码树构造码字的方法1C，3C，6C的码字均处于终端节点他们是即时码5-2 (1) 因为 A,B,C,D 四个字母 , 每个字母用两个码, 每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时 , 信源熵为 H(X)=log(4)=2 平均信息传递速率为bit/ms=200bit/s (2) 信源熵为 H(X)= =0