信息论与编码(第二版)曹雪虹(最全版本)答案

信息论与编码（第二版） 曹雪虹答案 第二章 2.1 一个马尔可夫信源有3 个符号1,23,u u u，转移概率为：11|1/ 2p uu，21|1/ 2p uu， 31 |0p uu， 12 |1/3p uu， 22 |0p uu， 32 |2/3p uu， 13 |1/3p u u， 23 |2/3p uu， 33 |0p uu，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/ 21/ 20 1/ 302 /3 1/ 32/30 p 设状态 u1，u2，u3稳定后的概率分别为W 1，W2、W3 由 123 1 WPW WWW 得 1231 132 23 123 111 233 12 23 2 3 1 WWWW WWW WW WWW 计算可得 1 2 3 10 25 9 25 6 25 W W W 2.2 由符号集 0，1组成的二阶马尔可夫链，其转移概率为：(0 |00)p=0.8，(0 |11)p=0.2， (1|00)p=0.2，(1|11)p=0.8，(0 | 01)p=0.5，(0 |10)p=0.5，(1|01)p=0.5，(1|10)p=0.5。画出状态 图，并计算各状态的稳态概率。 解：(0 | 00)(00 | 00)0.8pp(0 |01)(10 |01)0.5pp (0 |11)(10 |11)0.2pp(0 |10)(00 |10)0.5pp (1| 00)(01| 00)0.2pp(1| 01)(11| 01)0.5pp (1|11)(11|11)0.8pp(1|10)(01|10)0.5pp u1u2 u3 1/2 1/2 1/3 2/3 2/3 1/3 于是可以列出转移概率矩阵： 0.80.200 000.50.5 0.50.500 000.20.8 p 状态图为： 0001 1011 0.8 0.2 0.5 0.5 0.5 0.5 0.2 0.8 设各状态 00，01，10，11 的稳态分布 概率为 W1,W2,W3,W4 有 4 1 1 i i WPW W 得 131 132 243 244 1234 0.80.5 0.20.5 0.50.2 0.50.8 1 WWW WWW WWW WWW WWWW 计算得到 1 2 3 4 5 1 4 1 7 1 7 5 1 4 W W W W 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6 ，求： (1) “3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, , , 12构成的子集）的熵； (5) 两个点数中至少有一个是1 的自信息量。 解：(1) bitxpxI xp ii i 170.4 18 1 log)(log)( 18 1 6 1 6 1 6 1 6 1 )( (2) bitxpxI xp ii i 170.5 36 1 log)(log)( 36 1 6 1 6 1 )( (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有 21 种组合： 其中 11，22，33，44，55，66 的概率是 36 1 6 1 6 1 其他 15 个组合的概率是 18 1 6 1 6 1 2 symbolbitxpxpXH i ii /337.4 18 1 log 18 1 15 36 1 log 36 1 6)(log)()( (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbolbit xpxpXH XP X i ii /274.3 6 1 log 6 1 36 5 log 36 5 2 9 1 log 9 1 2 12 1 log 12 1 2 18 1 log 18 1 2 36 1 log 36 1 2 )(log)()( 36 1 12 18 1 11 12 1 10 9 1 9 36 5 8 6 1 7 36 5 6 9 1 5 12 1 4 18 1 3 36 1 2 )( (5) bitxpxI xp ii i 710.1 36 11 log)(log)( 36 11 11 6 1 6 1 )( 2-4 2.5 居住某地区的女孩子有25% 是大学生，在女大学生中有75% 是身高 160厘米以上的， 而女孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高160 厘米以上的某 女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高 160cm） y2（身高 160cm） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高 160 厘米以上的 即：bitxyp75.0)/( 11 求：身高 160厘米以上的某女孩是大学生的信息量 即：bit yp xypxp yxpyxI415.1 5.0 75.025.0 log )( )/()( log)/(log)/( 1 111 1111 2.6 掷两颗骰子，当其向上的面的小圆点之和是3 时，该消息包含的信息量是多少？当 小圆点之和是 7 时，该消息所包含的信息量又是多少？ 解： 1）因圆点之和为 3 的概率 1 ( )(1,2)(2,1) 18 p xpp 该消息自信息量 ( )log( )log184.170I xp xbit 2）因圆点之和为 7 的概率 1 ( )(1,6)(6,1)(2,5)(5, 2)(3,4)(4,3) 6 p xpppppp 该消息自信息量( )log( )log62.585I xp xbit 2.7 设有一离散无记忆信源，其概率空间为 1234 0123 3/81/ 41/ 41/8 Xxxxx P （1）求每个符号的自信息量 （2）信源发出一消息符号序列为202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量 解： 122 1 18 ()loglog1.415 ()3 I xbit p x 同理可以求得 233()2, ()2, ()3I xbit I xbit I xbit 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有： 1234 14 ()13 ()12 ()6 ()87.81II xI xI xI xbit 平均每个符号携带的信息量为 87.81 1.95 45 bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4 个不同的消息，例如： 0, 1, 2, 3 八进制脉冲可以表示8 个不 同的消息，例如： 0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2 个不同的消息，例如： 0, 1 假设每个消息的发出都是等概率的，则： 四进制 脉冲的 平均 信息 量symbolbitnXH/24loglog)( 1八进 制脉 冲的 平均信 息量 symbolbitnXH/38loglog)( 2 二进制脉冲的平均信息量symbolbitnXH/12loglog)( 0 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和 3 倍。 2-9 “” 用三个脉冲“”用一个脉冲 (1) I()= Log 4( )2 I() Log 4 3 0.415 (2) H= 1 4 Log 4( ) 3 4 Log 4 3 0.811 2-10 (2) P(黑/黑)= P(白/黑)= H(Y/ 黑)= (3) P(黑/白)= P(白/白)= H(Y/ 白 )= (4) P(黑 )= P(白)= H(Y)= 2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38 份，用 1，38 的数字标示，其 中有两份涂绿色， 18 份涂红色， 18 份涂黑色，圆盘停转后，盘面上的指针指向某一数字 和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵 解：令 X 表示指针指向某一数字，则X=1,2,.,38 Y 表示指针指向某一种颜色，则Y=l 绿色，红色，黑色 Y 是 X 的函数，由题意可知()() iji p x yp x （1） 3 1 12381838 ( )()loglog2log1.24 ()3823818 j j j H Yp y p y bit/符号 （2） 2(,)()log 385.25H X YH Xbit/符号 （3）(|)(,)()()( )1H XYH X YH YH XH Ybit/符号 2.12 两个实验 X 和 Y，X=x1 x2x3,Y=y1y2 y3,l 联合概率, ijij r x yr为 11 1213 212223 313233 7/ 241/ 240 1/ 241/ 41/ 24 01/ 247/ 24 rrr rrr rrr （1）如果有人告诉你 X 和 Y 的实验结果，你得到的平均信息量是多少？ （2）如果有人告诉你 Y 的实验结果，你得到的平均信息量是多少？ （3）在已知 Y 实验结果的情况下， 告诉你 X 的实验结果，你得到的平均信息量是多少？ 解：联合概率( ,) ijp x y为 2 222 1 (,)( ,)log ( ,) 72411 2log4log 24log 4 247244 ij ij ij HX Yp x y p x y =2.3bit/符号 X 概率分布 2 1 ( )3log 31.58 3 H Ybit/符号 (|)(, )( )2.31.58H X YHX YH YY概 率 分 布 是 =0.72bit/符号 Y y1 y2 y3 P 8/24 8/24 8/24 2.13 有两个二元随机变量X和Y，它们的联合概率为 Y X x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 Y X y1 y2y3 x17/24 1/24 0 x21/24 1/4 1/24 x30 1/24 7/24 X x1 x2 x3 P 8/24 8/24 8/24 并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1) symbolbitypypYH yxpyxpyp yxpyxpyp symbolbitxpxpXH yxpyxpxp yxpyxpxp j jj i ii /1)(log)()( 2 1 8 1 8 3 )()()( 2 1 8 3 8 1 )()()( /1)(log)()( 2 1 8 1 8 3 )()()( 2 1 8 3 8 1 )()()( 22212 12111 22122 21111 Z = XY 的概率分布如下： symbolbitzpZH zz ZP Z k k /544.0 8 1 log 8 1 8 7 log 8 7 )()( 8 1 8 7 10 )( 2 21 symbolbitzxpzxpXZH zpzxp zxpzxpzp zxpzpzxp zxpzxpzp xpzxp zxp zxpzxpxp ik kiki /406.1 8 1 log 8 1 8 3 log 8 3 2 1 log 2 1 )(log)()( 8 1 )()( )()()( 8 3 5.0 8 7 )()()( )()()( 5 .0)()( 0)( )()()( 222 22212 11112 12111 111 21 21111 symbolbitzypzypYZH zpzyp zypzypzp zypzpzyp zypzypzp ypzyp zyp zypzypyp jk kjkj /406.1 8 1 log 8 1 8 3 log 8 3 2 1 log 2 1 )(log)()( 8 1 )()( )()()( 8 3 5. 0 8 7 )()()( )()()( 5. 0)()( 0)( )()()( 222 22212 11112 12111 111 21 21111 symbolbit zyxpzyxpXYZH yxpzyxp yxpzyxpzyxp zyxp yxpzyxp yxpzyxpzyxp zyxpzxpzyxp zxpzyxpzyxp yxpzyxp yxpzyxpzyxp zyxp zyxp zyxp ijk kjikji /811.1 8 1 log 8 1 8 3 log 8 3 8 3 log 8 3 8 1 log 8 1 )(log)()( 8 1 )()( )()()( 0)( 8 3 )()( )()()( 8 3 8 1 2 1 )()()( )()()( 8/1)()( )()()( 0)( 0)( 0)( 2 22222 22222122 122 12112 12212112 11111121 11111121 11111 11211111 212 221 211 (2) symbolbitXYHXYZHXYZH symbolbitXZHXYZHXZYH symbolbitYZHXYZHYZXH symbolbitYHYZHYZH symbolbitZHYZHZYH symbolbitXHXZHXZH symbolbitZHXZHZXH symbolbitXHXYHXYH symbolbitYHXYHYXH symbolbityxpyxpXYH ij jiji /0811.1811.1)()()/( /405.0406.1811.1)()()/( /405.0406. 1811.1)()()/( /406.01406.1)()()/( /862. 0544. 0406.1)()()/( /406.01406.1)()()/( /862.0544.0406.1)()()/( /811.01811.1)()()/( /811. 01811.1)()()/( /811.1 8 1 log 8 1 8 3 log 8 3 8 3 log 8 3 8 1 log 8 1 )(log)()( 2 (3) symbolbitYZXHYXHYZXI symbolbitXZYHXYHXZYI symbolbitYZXHZXHZYXI symbolbitZYHYHZYI symbolbitZXHXHZXI symbolbitYXHXHYXI /406.0405.0811.0)/()/()/;( /457.0405.0862.0)/()/()/;( /457.0405.0862.0)/()/()/;( /138.0862.01)/()();( /138.0862.01)/()();( /189.0811.01)/()();( 2-14 (1) P(ij)=P(i/j)= (2) 方法 1: = 方法 2: 2-15 P(j/i)= 2.16 黑白传真机的消息元只有黑色和白色两种，即X= 黑，白，一般气象图上，黑色的 出现概率 p(黑)0.3，白色出现的概率p(白)0.7。 （1）假设黑白消息视为前后无关，求信源熵H(X) ，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)0.9143，P(黑|白) 0.0857，P(白|黑)0.2，P(黑|黑)0.8，求这个一阶马尔可夫信源的信源熵，并画出该信 源的香农线图。 （3）比较两种信源熵的大小，并说明原因。 解： （1） 22 1010 ()0.3log0.7log0.8813 37 H Xbit/符号 P(黑|白)=P(黑) P(白|白)P(白) 黑白 0.7 0.3 0.70.3 P(黑|黑)P(黑) P(白|黑)P(白) （2）根据题意，此一阶马尔可夫链是平稳的（P(白)0.7 不随时间变化， P(黑)0.3 不 随时 间变化） 212 222 2 1 ()(|)(,)log ( ,) 111 0.91430.7log0.08570.7log0.20.3log 0.91430.08570.2 1 0.80.3log 0.8 ij ij ij HXH XXp x y p x y 0.512bit/符号 2.17 每帧电视图像可以认为是由310 5 个像素组成的，所有像素均是独立变化，且每像 素又取 128个不同的亮度电平， 并设亮度电平是等概出现， 问每帧图像含有多少信息量？ 若有一个广播员，在约10000 个汉字中选出 1000 个汉字来口述此电视图像，试问广播员 描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若 要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解：1) symbolbitXNHXH symbolbitnXH N /101.27103)()( /7128loglog)( 65 22 2) symbolbitXNHXH symbolbitnXH N /13288288.131000)()( /288.1310000loglog)( 22 3)158037 288.13 101. 2 )( )( 6 XH XH N N 2.20 给定语音信号样值X 的概率密度为 1 ( ) 2 x p xe,x,求 Hc(X)，并证明它小于 同样方差的正态变量的连续熵。 解 0 0 2 0 1 ()( )log( )( )log 2 1 ( )log( )()log 2 11 loglog() 22 111 loglog()log() 222 11 log2log 22 x cxxx xx x xx HXp xp x dxp xedx p xdxp xxedx eex dx eex dxex dx exe 0 1 loglog(1) 2 12 logloglog 2 x x dx ex e e e 2 2 ()0,()E XD X , 22 121422 ()log2logloglog() 22 eee e HXeH X 2.24 连续随机变量X和Y的联合概率密度为： 其他0 1 ),( 222 2 ryx ryxp， 求H(X), H(Y), H(XYZ)和I(X;Y) 。 （提示： 2 0 22 2log 2 sinlogxdx） 解： 2 0 2 0 2 0 2 2 0 2 2 0 2 0 2 22 2 0 2 2 0 2222 2 22 2 22 22 22 2 2 22 2 22 2 2 22 2 22 2 sinlog 2 2cos14 2 2cos1 log 4 sinlogsin 4 logsin 4 sinlogsin 4 sinlogsin 4 )cos(sinlogsin 4 cos log 4 log 2 log)( /log 2 1 log log 2 1 1log 2 log log)( 2 log log)( 2 log)( 2 log)( )(log)()( )( 21 )()( 22 22 22 22 ddr drd dr drr r rdrr r rx dxxrxr r dxxr r xr dxxrxp symbolbiter er r dxxrxp r dxxrxpdx r xp dx r xr xp dxxpxpXH rxr r xr dy r dyxypxp r r r r r r r r r r r r r r r c xr xr xr xr 令 其中： e ee dede de de d e d d d er dr ddrr dddrdr 2 2 0 22 2 0 2 2 0 2 2 0 2 2 0 2 2 2 0 2 2 0 2 0 2 0 2 0 2 2 0 2 0 2 2 0 2 0 2 0 2 0 2 0 log 2 1 2sinlog 2 1 log 2 1 2coslog 1 log 1 2 2cos1 log 2 coslog 2 sin logcos cossin2 1 sinlog2sinsinlog2sin 1 2sinsinlog 1 sinlog2cos 2 log 2 1 1log sinlog2cos 2 1log sinlog2cos 2 )2log 2 ( 2 2sinlog 1 log sinlog2cos 2 sinlog 2 2coslog 2 log 2 其中： bit/symbole rer XYHYHXHYXI bit/symbolr dxdyxypr dxdy r xyp dxdyxypxypXYH bit/symbolerXHYH xpyp ryr r yr dx r dxxypyp cccc R R R c CC yr yr yr yr loglog logloglog2 )()()();( log )(log 1 log)( )(log)()( log 2 1 log)()( )()( )( 21 )()( 22 2 22 2 2 2 2 22 2 22 2 22 22 22 22 2.25 某一无记忆信源的符号集为0, 1，已知P(0) = 1/4 ，P(1) = 3/4 。 (1) 求符号的平均熵； (2) 有 100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1” ） 的自信息量的表达式； (3) 计算(2) 中序列的熵。 解： (1)symbolbitxpxpXH i ii /811.0 4 3 log 4 3 4 1 log 4 1 )(log)()( (2) bitmxpxI xp m ii m mm i 585.15.41 4 3 log)(log)( 4 3 4 3 4 1 )( 100 100 100 100 100 (3) symbolbitXHXH/1.81811.0100)(100)( 100 2-26 P(i)=P(ij)= H(IJ)= 2.29 有一个一阶平稳马尔可夫链 1,2, , r XXX,各 Xr取值于集合 1,2,3 Aa a a,已知起始概 率 P(X r)为 123 1/ 2,1/ 4ppp，转移概率如下图所示 j i 1 2 3 1 2 1/2 2/3 1/4 0 1/4 1/3 3 2/3 1/3 0 (1)求 123 (,)XXX的联合熵和平均符号熵 (2)求这个链的极限平均符号熵 (3)求 012 ,HHH和它们说对应的冗余度 解： （1） 12312132,1 12132 (,)()(|)(|) ()(|)(|) HXXXH XH XXHXXX HXH XXH XX 1 111111 ()logloglog1.5/ 224444 HXbit符号 X1，X2的联合概率分布为 2 12 ()() j ij i p xp x x X2的 概 率分布为 那么 21 111131131 (|)log 4log 4log 4loglog 3loglog 3 48862126212 HXX =1.209bit/符号 X2X3的联合概率分布为 23 () ij p x x 1 2 3 1 7/24 7/48 7/48 2 5/36 0 5/12 3 5/36 5/12 0 那么 32 771535535 (|)log 2log 4log 4loglog 3loglog 3 244883627236272 HXX =1.26bit/符号 12 () ij p x x 1 2 3 1 1/4 1/8 1/8 2 1/6 0 1/12 3 1/6 1/12 0 1 2 3 14/24 5/24 5/24 123 (,)1.51.2091.263.969HXXXbit/符号 所以平均符号熵 3123 3.969 (,)1.323 3 HXXXbit符号 （2）设 a1,a2,a3稳定后的概率分布分别为W1,W2,W3, 转移概率距阵为 111 244 21 0 33 21 0 33 P 由 1 i WPW W 得到 123 132 123 122 1 233 11 43 1 WWW WWW WWW 计算得到 1 2 3 4 7 3 14 3 14 W W W 又满足不可约性和非周期性 3 1 41 1 132 1 ()(|)(,)2(,0)1.25 72 4 4143 3 ii i HXW H XWHHbit/符号 (3) 0log31.58Hbit/符号11 . 5Hb i t/符号2 1 . 51 . 2 0 9 1 . 3 5 5 2 Hb i t/符号 00 1.25 110.21 1.58 11 1.25 110.617 1.5 22 1.25 110.078 1.355 a1 a3a2 1/2 2/3 1/4 1/3 1/3 2/3 1/4 2-30 (1) 求平稳概率P(j/i)=解方程组得 到 (2) 信源熵为 : 2-31 P(j/i)=解方程组得到 W1= , W2= , W3= 2.32 一阶马尔可夫信源的状态图如图213 所示，信源 X 的符号集为（ 0，1，2） 。 （1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵 （3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X) 并与H进行比较 01 2 1-p p/2 1-p p/2 p/2 p/2 p/2 p/2 1-p 图2-13 解:根据香农线图 ,列出转移概率距阵 1/ 2/2 /21/2 /2/ 21 ppp Pppp ppp 令状态 0,1,2平稳后的概率分布分别为W1,W2,W3 3 1 1 i i WPW W 得到 1231 1232 123 (1) 22 (1) 22 1 pp p WWWW pp Wp WWW WWW 计算得到 1 3 1 3 1 3 W W W 由齐次遍历可得 112 ()(|)3(1,)(1)loglog 3221 ii i pp HXWH X WHppp pp , ()log31.58/H Xbit符号由最大熵定理可知()HX存在极大值 或者也可以通过下面的方法得出存在极大值: ()12 1 log(1)( 1)loglog 1222(1) HXppp pp pppp 11 2(1)22(1) p pp 又01p所以0, 2(1) p p 当 p=2/3 时1 2(1) p p 0p2/3 时 () log0 2(1) HXp pp 2/3p1(;)I X Y 所以第二个实验比第一个实验好 P(y2|x) 0 1 0 1 2 1 1 0 0 0 1 Y2 X 0 1 0 1/4 0 1 1/4 0 2 0 1/2 （2）因为 Y1和 Y2相互独立，所以1212(| )(| )(| )p y yxp yx p yx y1y200 01 10 11 p 1/4 1/4 1/4 1/4 121212 111 (;)(,)(|)log 4log1log12log 2 444 I X Y YH Y YH Y YX bit/符号 =1.5bit/符号 由此可见，做两个实验比单独做Y1可多得 1bit 的关于 X 的信息量，比单独做 Y2多得 0.5bit 的关于 X 的信息量。 （3） 12112 212 212 122 (;|)(|)(|,) (,)()()(;,) ()(;)()(;,) (;,)(;) I X YYH X YH X Y Y H X YH XH XI X Y Y H XI X YH XI X Y Y I X Y YI X Y =1.5-1=0.5bit/符号 表示在已做 Y2 的情况下，再做Y1 而多得到的关于X 的信息量 同理可得 21121(;|)(;,)(;)I X YYI X Y YI X Y=1.5-0.5=1bit/符号 表示在已做 Y1 的情况下，再做Y2 而多得到的关于X 的信息量 P(y1y 2x) 00 01 10 11 0 1/4 0 0 0 1 0 0 1/4 0 2 0 1/4 0 1/4 P(y1y2 |x) 00 01 10 11 0 1 0 0 0 1 0 0 1 0 2 0 1/2 0 1/2 欢迎下载！ 第三章 3.1 设二元对称信道的传递矩阵为 3 2 3 1 3 1 3 2 (1) 若P(0) = 3/4, P(1) = 1/4 ，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbolbitYXHXHYXI symbolbitXYHYHXHYXH XYHYHYXHXHYXI symbolbitypYH xypxpxypxpyxpyxpyp xypxpxypxpyxpyxpyp symbolbit xypxypxpXYH symbolbitxpXH j j ij ijiji i i /062. 0749.0811.0)/()();( /749.0918.0980. 0811.0)/()()()/( )/()()/()();( /980. 0)4167.0log4167.05833.0log5833.0()()( 4167.0 3 2 4 1 3 1 4 3 )/()()/()()()()( 5833. 0 3 1 4 1 3 2 4 3 )/()()/()()()()( /918.0 10log) 3 2 lg 3 2 4 1 3 1 lg 3 1 4 1 3 1 lg 3 1 4 3 3 2 lg 3 2 4 3 ( )/(log)/()()/( /811.0) 4 1 log 4 1 4 3 log 4 3 ()()( 22 22212122212 21211112111 2 22 2) 222 1122 max (;)loglog 2(lglg)log 100.082 / 3333 mi CI X YmHbitsymbol其最佳输入分 布为 1 () 2 i p x 3-2 某信源发送端有2 个符号， i x，i1，2；() i p xa，每秒发出一个符号。接受端有3 种符号 i y，j1，2，3，转移概率矩阵为 1/ 21/ 20 1/ 21/ 41/ 4 P。 （1）计算接受端的平均不确定度； （2）计算由于噪声产生的不确定度(|)H YX； （3）计算信道容量。 解： 1/ 21/ 20 1/ 21/ 41/ 4 P 联合概率(,) ij p xy X Y 1 y 2 y 3 y 1 x / 2a/ 2a0 2 x (1) /2a(1) / 4a(1) / 4a 则 Y 的概率分布为 Y 1 y 2 y 3 y 1/ 2 (1)/ 4a(1) /4a （1） 11+414 ( )log 2loglog 24141 aa H Y aa 2 11161 log 2loglog 24141 aa aa 2 11111 log 2log16loglog 244141 aa aa 2 3111 log 2loglog 24141 aa aa 取 2 为底 22 2 3111 ( )(loglog) 24141 aa H Ybit aa （2） 11111111 (|)logloglogloglog 2222224444 aaaaa H YX 3(1) log 2log 2 2 a a 3 log 2 2 a 取 2 为底 3 (|) 2 a H YXbit 2 ()()() 111 max(;)max()(|)maxlog 2loglog 24141 iii p xp xp x aaa cI X YH YH YX aa 取e为底 2 111 (ln 2lnln) 24141 aaa aa a 2 1121111 ln 2ln() 24 141411 aaa aaaa 22 1112 ln 2ln 22(1)414 1 aaa aaa 111 ln 2ln 241 a a = 0 11 14 a a 3 5 a 9 25 1311131 log 2loglog 2541454 c 312531 log 2loglog 10416204 3153 log 2loglog 2 102410 15 log 24 3.3 在有扰离散信道上传输符号0 和 1，在传输过程中每100个符号发生一个错误， 已知 P(0)=P(1)=1/2 ，信源每秒内发出1000 个符号，求此信道的信道容量。 解： 由题意可知该二元信道的转移概率矩阵为： 0.990.01 0.010.99 P为一个 BSC信道 所以由 BSC信道的信道容量计算公式得到： 2 1 1 log( )log2log0.92/ 1 1000920/sec i ii t CsH Ppbit sign p CCCbit t 3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当e=0 和 1/2 时的信道容量C 的大小。 解: 信道矩阵 P= e1e0 ee10 001 ,此信道为非奇异矩阵 ,又 r=s,可利用方程组求解 3 1 (|) jij j P ba b = ? = 3 1 (|)log(|) jiji j P baP ba = ? (i=1,2,3) 1 23 23 0 (1)(1)log(1)log (1)log(1)log(1) b e bebeeee ebe beeee =? ? ? -+=-+ ? ? +-=+-? ? ? 解得 1 0b = X 0 Y 0 1 1 1 2 2 1e 1e e e 23 (1)log(1)logbbeeee=-+ 所以 C=log2 j j b ? =log2 0+22(1-e)log(1-e)+logee =log1+2 1-H(e)=log1+2(1) (1) e e - - e e 2 3 1 1(1)1( ) 2(1) 32 11 ()22 12(1)12 (1) ()2 12(1) ()2() CC H C C P b P b P bP b eee ee b ee b b ee ee ee - - - - - ? ? = ? ?+-+ ? ? ? -? ? = ? +- ? ? ? = ? ? ? ? ? ? 而 3 1 ()()(|) jiji i P bP a P ba = = ? (j=1,2,3) 得 11 223 323 ()() ()()(1)() ()()()(1) P bP a P bP aP a P bP aP a ee ee =? ? ? =-+ ? ? =+-? ? ? 所以P(a1)=P(b1)= (1) 1 12(1) ee ee - +- 2323(1) (1) ()()()() 12(1) P aP aP bP b ee ee e e ee - - = +- 当e=0 时,此信道为一一对应信道 ,得 C=log3, 123 1 ()()() 3 P aP aP a= 当e=1/2 时,得 C=log2, 1 1 () 2 P a=, 23 1 ()() 4 P aP a= 3.5 求下列二个信道的信道容量，并加以比较 （1） 2 2 pp pp （2） 20 02 pp pp 其中 p+p=1 解： （1）此信道是准对称信道，信道矩阵中Y 可划分成三个互不相交的子集由于集列所 组成的矩阵 pp pp , 2 2 而这两个子矩阵满足对称性，因此可直接利用准对 称信道的信道容量公式进行计算。 C1=logr-H(p1 p2 p3 )-MkkN k log 2 1 其中 r=2,N1=M1=1-2N2=2M2=4所以 C1=log2-H(p,p- ,2 )-(1-2)log(1-2 )-2log4 =log2+(p)log(p)+(p- )log(p- )+2 log2 -(1-2 )log(1-2 )-2 log4 =log2-2 log2-(1-2 )log(1-2 )+(p)log(p)+(p- )log(p- ) =(1-2 )log2/(1-2 )+(p)log(p)+(p-)log(p- ) 输入等概率分布时达到信道容量。 （2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称 信道的信道容量公式进行计算，此信道矩阵中Y 可划分成两个互不相交的子集， 由子集列所组成的矩阵为 pp pp ， 20 02 这两矩阵为对称矩阵其中 r=2,N1=M1=1-2N2=M2=2，所以 C=logr-H(p-,p- ,2 ,0)- 2 1 log k MkNk =log2+(p-)log(p-)+(p- )log(p- )+2 log2 -(1-2 )log(1-2 )-2 log2 =log2-(1-2 )log(1-2 )+( p- )log(p- )+(p- )log(p- ) =(1-2 )log2/(1-2 )+2 log2+(p- )log(p-)+(p- )log(p- ) =C1+2 log2 输入等概率分布（ P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量， 可得 C2=C1+2 log2 3-6 设有扰离散信道的传输情况分别如图317 所示。求出该信道的信道容量。 XY 1/2 1/2 1/2 1/2 1/2 1/2 1/2 1/2 图3-17 解： 11 22 11 22 11 22 11 22 00 00 00 00 对称信道 log(|) i CmH Y a 1 log 42log 2 2 取 2 为底1Cbit/符号 3-7 (1) 条 件 概 率， 联 合 概 率， 后 验 概 率 p y0() 1 3 ， p y1() 1 2 ， p y2() 1 6 （2） H(Y/X)= （3） 当接收为 y2，发为 x1 时正确，如果发的是x1 和 x3 为错误，各自的概率为： P(x1/y2)= 1 5，P(x2/y2)= 1 5，P(x3/y2)= 3 5 其中错误概率为： Pe=P(x1/y2)+P(x3/y2)= 1 5 3 5 0.8 （4）平均错误概率为 （5）仍为 0.733 （6）此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率 0.5有一半失真 x2-y2 的概率 0.3有失真严重 x3-y3 的概率 0 完全失真 （7） H(X/Y)= 1 6 Log 2( ) 1 10 Log 5( ) 1 15 Log 5 2 2 15 Log 5 2 1 10 Log 5( ) 1 10 Log 5 3 1 30 Log 10() 3 10 Log 5 3 1.301 3. 8 设加性高斯白噪声信道中，信道带宽3kHz，又设 ( 信号功率 +噪声功率 )/ 噪声功 率=10dB。试计算该信道的最大信息传输速率Ct。 解： 3. 9 在图片传输中，每帧约有2.2510 6 个像素，为了能很好地重现图像，能分16 个亮 度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪 功率比为 30dB） 。 解： sbit t I C bitNHI symbolbitnH t /101.5 60 109 10 10941025.2 /416loglog 5 6 66 22 z15049 )10001(log 105.1 1log 1log 2 5 H P P C W P P WC N X t N X t 3-10 一个平均功率受限制的连续信道，其通频带为1MHZ ，信道上存在白色高斯噪声。 （1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量； （2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带 应为多大？ （3）若信道通频带减小为0.5MHZ 时，要保持相同的信道容量，信道上的信号与噪声的 平均功率比值应等于多大？ 解： （1） 2 log (1)CWSNR 6 2 1 10 log (1 10) 3.159Mbps （2） 222 log (1 5)3.459CWMbps 2 2 3.159 1.338 log 6 M WMHZ （3） 332 log (1)3.459CWSNRMbps 2 3.459 log (1) 0.5 SNR 120SNR 欢迎下载！ 第四章 第五章 5-1 将下表所列的某六进制信源进行二进制编码，试问： 消息概率1 C 2 C 3 C 4 C 5 C 6 C u1 u2 u3 u4 u5 u6 1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 110 1110 11110 111110 0 10 1101 1100 1001 1111 1 000 001 010 110 110 01 001 100 101 110 111 (1)这些码中哪些是唯一可译码？ (2)哪些码是非延长码？ (3)对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码 3 1 123456 2 3 124 4 13 5 23 6 : 621 63 : 2222221 64 63 :1 64 : 22421 :25 21 : 25 21 C C C C C C 5 C不是唯一可译码，而 4 C： 又根据码树构造码字的方法 1 C， 3 C， 6 C的码字均处于终端节点 他们是即时码 5-2 (1) 因为 A,B,C,D 四个字母 ,每个字