信息论与编码 曹雪虹 课后习题答案

1、 信息论与编码-曹雪虹-课后习 题答案 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1) 11111p(x)? i666618 1bit170 log?4.x)?logp()?xI( ii18(2) 111p(x)? i6636 1bit .log?5170?)xp?)xI(?log(? ii36(3) 两个点

2、数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 111 的概率是44，55，66其中11，22，33，? 6636111 个组合的概率是其他15?2? 66181111? ?symbolbit/4.337 ?log?15?log?X)?)p(x)logp(x?6H(? ii36181836?i(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： 35678910111224?X

3、?11111151511?)XP(? 3618369361293661812?p(x)logp(HX)?x)iii111111115511? ?2?log?2?log?2?log?2?log?2?log?log? 36181812129936366636? ?3.274 bit/symbol(5) 1111p(x)?11? i6636 11bit 7101?)xp?)xI(?log(?log?. ii362-4 是大学生，在女大学居住某地区的女孩子有25%2.5 厘米以上的，而女孩子中身高是身高160生中有75%厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，

4、问获得多160 少信息量？ 解： 代表女孩子学历设随机变量XxxX （不是大学（是大学21 生）生）P(X) 0.25 0.75 代表女孩子身高设随机变量YyyY （身高（身21 ）160cm高P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即： bit75 )?0.p(y/x11求：身高160厘米以上的某女孩是大学生的信息量 p(x)p(y/x)0.25?0.75 即：111bit 1.?/yI(x/)?logp(xy)?loglog415? 11110(py).51 2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时

5、，该消息所包含的信息量又是多少？ 解： 1 的概率）因圆点之和为31?p(2,1)?p(1,2)?p(x 18该消息自信息量 bit?4.170x)?log18pI(x)?log(2）因圆点之和为7的概率 1 ?p(4,3)?(2,5)?p(5,2)p(3,4)pp(x)?p(1,6)?(6,1)?p 6该消息自信息量 bit2.585log6?p(x)?I(x)?log 2.7 设有一离散无记忆信源，其概率空间为Xx?0x?1x?2x?3? 4321?1/41/41/8P3/8? （1）求每个符号的自信息量 （2）信源发出一消息符号序列为202 120 130 213 001 203 210

6、 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量 18 解：bit1.415?)?loglog?xI(212 p(x)31同理可以求得 bit3)?,I(x,2bitI(x)?2bitI(x)?323因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有： bit?87.81(x)I(x)?6IxII?14(x)?13I()?12123487.81bit/符号平均每个符号携带的信息量为 1.95? 452.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如

7、：0, 1, 2, 3 八进制脉冲可以表示8个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2个不同的消息，例如：0, 1 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 symbol/2 bit?)?logn?log4XH(1八进制脉冲的平均信息量 symbol/3 bitlog?)logH(Xn?8?2 二进制脉冲的平均信息量symbol(HX/ ?logn?)log?21bit0 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9 “” 用三个脉冲 “”用一个脉冲 4? )= I()(1) I(0.415Lo

8、g?2Log(4)? ?3134? (2) H= 0.8114Log()?Log? ?344 2-10 )= 白/黑 (2) P(黑/黑)= P( )= H(Y/黑 )= 白/白 P()= 白/黑 (3) P( H(Y/白)= )= P(黑 (4) P()= 白 H(Y)= 有一个可以旋转的圆盘，盘面上被均匀的分成2.11 其中有两份涂绿色，份，38，38的数字标示，1用份涂黑色，圆盘停转后，盘面上的18份涂红色，18 指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度）如果仅对颜色和数字感兴趣，则计算平均不确（2 定度 （3）如果颜色已知时，则计算条件熵 解：令X表示指针

9、指向某一数字，则X=1,2,.,38 Y表示指针指向某一种颜色，则Y=l绿色，红色，黑色 Y是X的函数，由题意可知 )xp(xy)?p(iji312381838bit/符号（1） ?1.24?log?log?H(Y)?p(y)log?2j p(y)3823818j1?j（2）bit/符号 5.2538?X?H()?logH(X,Y)2（3）bit/符4.011.24?Y)?5.25?H(Y)?(X)?H(Y|H(XY)?H(X,)?H号 2.12 两个实验X和Y，X=xx x,Y=y yy,l3311 2 2联合概率为 ?rx,yr?ijijrrr7/241/240?111312? 241/1

10、/4rrr?1/24?232122?0/241/24rr7r?333132（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ （3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：联合概率为 )yxp(,ij y y3 y1 2 1Y ?)log,?yp(xH(X,Y)2ji )yx,p( jiijX 117244log?log24?log?4?2222 4242470 x 7/24 1/24 1 =2.3bit/符号1/24 x1/24 1/4 2 1/24 7/24 x 0 3

11、X概率分布 1bit/符 xX xx1.58?log3YH()?32 31 2 3号 8/24 8/24 8/24 P H(X|Y)?H(X,Y)?H(Y)?2.3?1.58概 Y率分布是 =0.72bit/符号 y3 y2 Y y1 8/24 P 8/24 8/24 YX ，它们的联合概率为和有两个二元随机变量2.13 Y=1 x=0 x21X 3/8 1/8 y=01/83/8=12Z = XY ，试计算：（一般乘积）并定义另一随机变量H(XYZ)H(Y), H(Z), H(XZ), H(YZ)H(X) (1) 和, ；H(Y/Z), H(Z/X), H(Y/X), H(X/Z), H(X

12、/Y), (2) H(Z/XY)H(Z/Y), H(X/YZ), H(Y/XZ) ；和I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)(3) I(X;Z/Y) 。和 解：(1) 131?xy)?p(xy)?p(xp()? 21111288113?y)?)?y)xp(xp(x?p 22212288?symbol bit/p(x)?1H(X)?p(x)logii i113?p(xyy)x)?p(y)?p( 11112288113?y(x)?)?y)(pyp(xp 21222288?symbolbit/(y)?1 )H(Y?)p(ylogpjjjZ = XY 的概

13、率分布如下：1?z?0z?Z?12?17?)PZ(? ? 88?21771?symbol544 bit/.?logz?)(HZ?p(log?)?0? k8888?k p(x)?p(xz)?p(xz)21111p(xz)?021p(xz)?p(x)?0.5111p(z)?p(xz)?p(xz)1121173?0.z)?5?(z)?pz)?p(xp(x 1121188)(xz)?p(xz)p(z?p222121?z)z)?p(p(x 2228133111?p(xz)logp(xz)?log?(XZ)?log?log?1.406 bit/symbolH? kiki288882?ik p(y)?p(y

14、z)?p(yz)21111p(yz)?021p(yz)?p(y)?0.5111p(z)?p(yz)?p(yz)1112173?0.5?p)?(yz)?)p(yz?p(z 1121188)zyyp(z)?p(z)?p(212221?p(y)(z?z)p 2228133111?p(yz)logp(yz)?log?log?log?1.406?YZH()? bit/symbol? kkjj288882?jk p(xyz)?0211p(xyz)?0212p(xyz)?0221p(xyz)?p(xyz)?p(xy)11121111p(xyz)?p(xy)?1/811111p(xyz)?p(xyz)?p(x

15、z)11111211113?yz)?p(xz)?p(xp(xyz)? 11111112288)yz)?p(xyp(xyz)?p(x121121223?y)?p(xp(xyz) 1211280?xyz)p(122)p(xyxp(yz)?p(xyz)?221222221?y)pp(xyz)?(x 222228?)zyp(xzp(xy)log?H(XYZ)?kkjii2j kji11133313?symbol/811 bitlog?log?1. ?log?log? 88888888?(2) 13333111?p(xy)logp(xy)?log?log?log?logH(XY)?1.811 bit/s

16、ymbol? j2jii88888888?ijH(X/Y)?H(XY)?H(Y)?1.811?1?0.811 bit/symbolH(Y/X)?H(XY)?H(X)?1.811?1?0.811 bit/symbolH(X/Z)?H(XZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/X)?H(XZ)?H(X)?1.406?1?0.406 bit/symbolH(Y/Z)?H(YZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/Y)?H(YZ)?H(Y)?1.406?1?0.406 bit/symbolH(X/YZ)?H(XYZ)?H(

17、YZ)?1.811?1.406?0.405 bit/symbolH(Y/XZ)?H(XYZ)?H(XZ)?1.811?1.406?0.405 bit/symbolH(Z/XY)?H(XYZ)?H(XY)?1.811?1.811?0 bit/symbol (3) I(X;Y)?H(X)?H(X/Y)?1?0.811?0.189 bit/symbolI(X;Z)?H(X)?H(X/Z)?1?0.862?0.138 bit/symbolI(Y;Z)?H(Y)?H(Y/Z)?1?0.862?0.138 bit/symbol I(X;Y/Z)?H(X/Z)?H(X/YZ)?0.862?0.405?0.4

18、57 bit/symbolI(Y;Z/X)?H(Y/X)?H(Y/XZ)?0.862?0.405?0.457 bit/symbolI(X;Z/Y)?H(X/Y)?H(X/YZ)?0.811?0.405?0.406 bit/symbol2-14 (1) P(i/j)= P(ij)= = 1: (2) 方法 2: 方法 2-15 P(j/i)= 2.16 黑白传真机的消息元只有黑色和白色两种，即X=黑，白，一般气象图上，黑色的出现概率p(黑)0.3，白色出现的概率p(白)0.7。 （1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概

19、率为：P(白|白)0.9143，P(黑|白)0.0857，P(白|黑)0.2，P(黑|黑)0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。 （3）比较两种信源熵的大小，并说明原因。 1010bit/符号 ）解：（10.8813?0.3log0.7log?H(X)?22 37) 黑|白)=P(黑P(0.7 0.70.3白黑 )|白P(白) P(白0.3) P(黑|P(黑黑) 白P(|黑)P(白（2）根据题意，此一阶马尔可夫链是平稳的（P(白)0.7不随时间变化，P(黑)0.3不随时 间变化） 1?)logy(xX)?,p|H(X)?H(X212ji? p(x,y)jiij111

20、?0.0857?0.7log?0.2?0.9143?0.7log?0.3log222 0.91430.08570.210.3log?0.8?2 0.80.512bit/符号 5个像素组成?102.17 每帧电视图像可以认为是由3的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： 1) H(X)?logn?log128?

21、7 bit/symbol 226N5symbolbit/?7?2.110 ?X)H(X?NH()?310 2) H(X)?logn?log10000?13.288 bit/symbol 22Nsymbolbit13288288131000)(?XH()NHX?.? / 3) N610?2.H(X1) 158037?N? 28813.H(X) 为密度X样值的概率2.20 给定语音信号1并证明它小于同样方差(X)，,求H? x?xep(x)?c 2 的正态变量的连续熵。 解：?1? x?dx)log)dx?ep(XH()?xp(x)logp(xxxcx 2?1? edxx)log(?xp(x)lo

22、g)(dx?pxx 2?11?x? ? dx(?logloge)xe 22?0111 ?xx?dxee(?x(?)dx?log?loge?log)x 2220?11?x2?dx?2logxeelog? 2201?x?ex)log?e?log(1? 20e12?log?log?e?log ?22 ?)(X)E(X?0,D 2? ?e?2e2e1214e ,?)?XH()?H(Xloglog?2logelog? 22?22 XY的联合概率密度为：和连续随机变量2.24 1?222ry?x?H(X)H(Y), H(XYZ)和，求, 2?y),(px?r?其他0?I(X;Y)。 ?）（提示： ? 2?

23、log?sinlogxdx2 2220 解： 22x2r?12222xrr?x?dy? (?p(x)?r?x?rp(xy)dy?) 22?2222rrxr?x?r?r?p(x)logp(x)(HX)?dxc?r22xr?2r?p(x) ?logdx 2?rr?2rr22?dx?xx)logx)logdx?rp( ?p( 2?rr?r2?rr22?dx?)logr?log?xp(x 2r?2?1r ?log?logr?1?loge 2221?r?loge bit ?log/symbol 222其中：r22?dxrx?p(x)logr?22x2r?r22?logr?x?dx 2?rr?4r2222

24、?dxxx?logr?r? 2?r040?)rcoscosd(rsinsinlogr令x?r? 2?r 24022?d?rlogsinrsin? 2?r 2?42? ?dsinsin?logr2 ?0?4422? ?d?sinlogsinlogrdsin22 ?00?2cos414cos1?2? d?logsindrlog?22 ?2200 ?2222? ?dlog?sinlogrdcos?dlogr2cos2d?sinlog2222 ?0000?221? d2)?2logr?logrsindsin2log?cos(?log?22 2?200?2 ?d1?logsin2cos?logr?2 ?

25、01?logr?1?loge 22其中：?2 ?dlogsincos22 ?0?1? ?2sindlogsin?2 ?0?1? ?sinsin2dlogsin2?log?sin22? ?00?logecos1?2? d?cos2sin2 ?sin0?22? d?cosloge2 2?0?2?cos21 ?elogd?2 2?20?11? ?d2?logedlog?ecos22 22?00?11?2esin?logelog2 22?0221e?log 22 22y?2r12222y?yrr?dx?p(xy)dx? (?r?p(y)?y?r)22?rr2222y?y?r?rp(y)?p(x)1?r

26、?loge X)?logbit/symbol(H(Y)?H 2C2C2?p(xy)logp(xy)H(XY)?dxdycR 1?dxdy)logp(xy ? 2?rR2?p(rxy) ?logdxdyR2? r?logbit/symbol 2I(X;Y)?H(X)?H(Y)?H(XY)cccc2?rloger?log2 ?log?22?logelog bit/symbol? 22 P(0) = 已知1，0, 2.25 某一无记忆信源的符号集为P(1) = 3/4。， 1/4(1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例mm）个“1”100 - 如有个“0”和（）

27、的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) 1331? ?symbol/811 bit0?log?log?.)?)p(xlogp(x)?XH(? ii4444?i(2) m100?m100?m313?p(x)? i100444 ?m100?3I(x)?logp(x)? 41?.5?1.585mbit?log ii1004(3) 100symbol/1 bit0.811?81.H(XH)?100(X)?100? 2-26 P(ij)= P(i)=H(IJ)= ,各2.29 有一个一阶平稳马尔可夫链X取,XXX,rr1,2,已知起始概率集值于合P(X)为?aaA?a r32

28、,1,，转移概率如下图所示 4pp?1/2,?p1/312 1 3 2 j i 1/4 1/4 1 1/21/3022/301/332/3 的联合熵和平均符号熵 求(1),X,XX(312 求这个链的极限平均符号熵(2) 求和它们说对应的冗余度(3) HH,H,201 1）解：（)XX(X|(X|X)?H,H(XX,X)?H(X)?H 131121232,)X(X|X)?H?H(XX()?H23121111111 符号/?bitloglog?log?1.5H(X)1 442442 X的联合概率分布为X，21 3 2 1 ?)pxx( )x)(x?xp(p21j2jij1i2i1/8 1 1/4

29、 1/8 X2 1/12 2 1/6 0 3 1 2 的0 1/12 3 1/6 14/24 5/24 5/24 概 率分布为 那么111311113 log34log?loglog?log4?)|XH(Xlog?4?log3?12 12621282468 符号=1.209bit/ X的联合概率分布为X32 3 2 1 )p(xxj327/487/4817/245/12025/365/125/3630 那么533557715 log3logXH(|X)?log?log3?log2log4?log423 722723624488362 符号=1.26bit/ 符号/bit?1.26?3.969,

30、XX,X)?1.5?1.209H(3213.969 所以平均符号熵符号bit?1.323,H(X,XX)3231 3W1,W2,W3,a稳定后的概率分布分别为2）设a,a（312111? 424?12 转移概率距阵为?0?P? 33?12?0? 33?1422?WW?1W?W?1321? 7233?W?WP?311? 计算得到由 得到?W?WW?W?2213? 1?W4143?i?31W?W?W?321?W3? 14? 又满足不可约性和非周期性31312411 符号/?bit?1.25?)2?W?(HX)HW(X|)?H(,0)(H,i?i 334414721?i 符 号/符/号(3) bit

31、?Hlog31.58?bit1.5H?011.209?1.5 符号/bit?H1.355?2 2 1.251.25 ?0.617?1?0.21?1?1?11010 1.51.581.25 ?0.078?1?1?22 1.3551/11/42/32/31/41/3aa321/3 2-30 (1) 求平稳概率 P(j/i)= 解方程组 得到 (2) 信源熵为: 2-31 W1= 解方程组得到 P(j/i)= , W2= , W3= 所示，1322.32 一阶马尔可夫信源的状态图如图 。，12）的符号集为（信源X0，P(0),P(1),P(2) ）求信源平稳后的概率分布（1 2）求此信源的熵（）近似

32、认为此信源为无记忆时，符号的概率分布3（ 进行比较并与为平稳分布。求近似信源的熵H(X)H? 1-p1-pp/p/p/p/p/p/1-p 2-13图2/2p1?pp?列出转移概率距阵根据香农线图,解 :?2Ppp/21?p/?p1?/2p/2p?W1,W2,W3 平稳后的概率分布分别为令状态0,1,21pp?WWW?(1?p)W?W?1123? 322W?WP?pp1? 计算得到 得到 WW?W(1?p)W?W3?2312? 1W?322i?1?WW?W1i?1?312?W? 3? 由齐次遍历可得211pp ?log?p(1?p)log)?3?H(1?p,?(HX)?HW(X|W)ii? pp

33、1?322i存在极 由最大熵定理可知符号 ,/1.58(Xbit)?log3?H)XH(? 大值 : 或者也可以通过下面的方法得出存在极大值?pp21(X)1?p?H ?log?p?log(1?p)?(1)?log? )p22(1?p?p1?2p? p1p1时当所以p=2/3 又?0,?1?p?0 )2(12)?2(1p?2(1)p?p p 1? 2(1?p)?H(X)p 时0p2/3?0?log )pp?2(1? ?H(X)p 时2/3p )YX;I(1所以第二个实验比第一个实验好 （2）因为Y和Y 相互独立，所以 )|x)p(yx)?p(y|x|p(yy212211P(x) 0001101

34、101/4 000 1/4 0 0 0 1 1/4 1/4 0 0 2 P(yy|x) 00 01 10 11 210 1 0 0 0 0 1 0 0 1 1/2 0 2 1/2 0 yy 00 01 10 11 21p 1/4 1/4 1/4 1/4 111bit/2?log)|YYH)Y,(?)Y;(?IXYHY?(X?4log1log1?2log211122 444 符号 =1.5bit/符号 由此可见，做两个实验比单独做Y可多得1bit的关1于X的信息量，比单独做Y多得0.5bit的关于X的2信息量。 （3） I(X;Y|Y)?H(X|Y)?H(X|Y,Y)22111?H(X,Y)?H

35、(X)?H(X)?I(X;Y,Y) 221?H(X)?I(X;Y)?H(X)?I(X;Y,Y)221?I(X;Y,Y)?I(X;Y)221=1.5-1=0.5bit/符号 表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量 同理可得 =1.5-0.5=1bit/符号 );YX),()Y?IX;YY?I(|YXI(;11212表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量 欢迎下载！ 第三章 21? 33?21? 设二元对称信道的传递矩阵为3.1 33?P(0)P(1) H(X), H(X/Y), ，求= = 3/4, (1) 若1/4H(Y/X)I(X;Y)； 和(2) 求该信

36、道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 3311?p(x)?(?log?log)?0H(X)?.811 bit/symbol 2i24444i?p(x)p(y/x)logp(yH(Y/X)?/x)iijjiij322311111122 ?(?lg?lg?lg?lg)?log10 2433433433433 ?0.918 bit/symbol3211?0.5833p(y)?p(xy)?p(xy)?p(x)p(y/x)?p(x)p(y/x)? 21111112121343421134167.?0/)p(x)?p(xy?p()py/x)?(xp(yx)x)p(y?p(y 2112

37、22222213434?symbol?0./ 0.980bit04167?log.4167)?5833log0)H(Y?p(y?(.5833?0.22jjI(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbol symbolbit/.062 811?0.749?0Y(;Y)?HX)?H(X/)?0.I(X 2) 2211symbolbit/log10?0.082 ?log2(lg?lg)?m)(C?maxIX;Y?log?H 222mi33331 其最佳输入分布为?x)p(

38、i2i1，2；，某信源发送端有3-22个符号，a?x)(pxiij，种符号每秒发出一个符号。接受端有312yi 1/21/20? ，转移概率矩阵为。3?P?421/41/1/?（1） 计算接受端的平均不确定度； （2） 计算由于噪声产生的不确定度； )XH(Y|（3） 计算信道容量。 1/21/20? 解：?P?1/21/41/4?联合概率 ),yp(xji Y X yyy123 0 x2a/2/a1 x4(1?a)a)/2/(1?a)/4(1?2 则Y的概率分布为 Y yyy123 4(1?a)a)/4/(1?21/4a11+a41? （1）log?H(Y)?loglog2 241?a41?

39、aa?116a11 log?log2?log? 2a?a41241a1a1?111 log?log?log2?log16 2a?42441?a1a1a?311 loglog?log2? 2a1?241?a4取2为底 311a1?a bit)log?log(Y)?(?H 22241a?a241?a1a11?a11?a11?a1? ）（2?)?(log?log?logY|XHloglog? 2222224444?3(1?a) 2?logalog2? 23?a 2log? 2取2为底 3?a bitX(Y|)?H 211a1?aa?maxlog2)?log?logXH?XmaxI(;Y)max(HY

40、)?(Y|?c? 241?a?41a2?)(px)pxp)(x(iii a11a1?a?(ln2?ln?ln) 2为底 取ea?41241?a ?a112a11?aa11 )?ln?(?ln2? 2241?a41?a41?a1?a1a11?aa2 ?ln?ln2? 2222(1?a)41?a41?a111?a ?ln2?ln 241?a= 0 1?a1 ? 1?a43 ?a? 51311131 log?log2?log?c? 2541?4549 25312531 log?2?log?log 104162043153 2?loglog?2?log 10241015 log? 24 3.3 在有扰

41、离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。 解： 由题意可知该二元信道的转移概率矩阵为： 0.990.01? 为一个BSC信道 ?P?0.990.01?所以由BSC信道的信道容量计算公式得到： 21?sign/2?plog0.92bitlogC?s?H(P)?log ip 1i?i1secbit/?C1000C?920C tt求图中信道的信道容量及其最佳的输入概率分3.4 时的信道容量C的大小。布.并求当=0和1/2e Y X 1 1 e1 1 e e 2 2 1 e 100?P=信道矩阵

42、解: ,此信道为非奇异矩ee01?0e1e? 可利用方程组求解,又r=s,阵33 (i=1,2,3) =?)a)logP(b)P(b|ab|aP(b|ijijjji1=j=1j=0b?1? elog)log(1-e+ee=b(1-e)+eb(1-32?)log(1e-e-+log=be(1+eb-)ee(1?32 解得0b=1 eelog-e)+=b=(1-e)log(1b32所以 elogeee)+)log(1-0(1- =log2C=log+22?b2jje)1-H(=log1+2=log1+2 )-e(1e)(1-ee11?CC-1-P(b)=2b=2=? 1(1-e)e1-H(e)?+

43、-+2e)2(1e11 ?ee(1-e)e?b-C=2P(b)2 2?e)(1-e1+2(1-e)e?b-C=P()=2b)P(b?3?23?3而 (j=1,2,3) ?)ab|(a)PP(b)=(Pijjii=1=P(a)P(b)?11? 得ea)+P()b=P(a)(1-eP(322?P(b)=P(a)e+P(a)(1-e)?3321 )=P(b)=所以 P(a11 ee)(1-e1+2(1-e)eee-e)(1 P(a)=P(a)=P(b)=P(b)= 3322(1-e)ee)2(1-e1+当=0时,此信道为一一对应信道,得 e1 C=log3, =)=P(a(P(a)=Pa) 1233

44、当=1/2时,得 C=log2, e11 ,=(aP(a)=)PP(a)= 31242 3.5 求下列二个信道的信道容量，并加以比较 ? ?0p?p?22pp? ） ）2 （1（? ?2?pp?02p?p?其中p+=1 p解： （1）此信道是准对称信道，信道矩阵中Y可划分 成三个互不相交的子集 由于集列所组成的? 2?pp?,矩阵而这两个子矩阵满足对称? 2?p?p?性，因此可直接利用准对称信道的信道容量公式进行计算。 2 )- p2 p3C1=logr-H(p1?MklogNk1k?其中r=2, N2= M2=4 所以 ?2N1=M1=1-2C1=log2-H(,p-,2)-(1-2)log

45、(1-2 ?p)-2log4 ?=log2+()log()+(p-)log(p-)+ ?p?p2log2-(1-2)log(1-2)-2log4 =log2-2log2-(1-2)log(1-2)+( ?p)log()+(p-)log(p-) ?p=(1-2)log2/(1-2)+()log()+( ?ppp-)log(p-) ?输入等概率分布时达到信道容量。 （2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组? ?02?pp?这两矩阵为对成的矩阵为，? ?20?p?p?称矩阵 其中r=

46、2,N1=M1=1-2 N2=M2=2，所?以 2 ,0)-C=logr-H(,p-,2? ?MkNklogp1?k=log2+(-)log(-)+(p-)log(p-)+2 ?pp log2-(1-2)log(1-2)-2log2 =log2-(1-2)log(1-2)+( -)log(- ?pp)+(p-)log(p-) =(1-2)log2/(1-2)+2log2+(-)log( ?p-)+(p-)log(p-) ?p=C1+2log2 输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2log2 3-6 设有扰离散信道的传输情况分别如图

47、317所示。求出该信道的信道容量。 1/2YX 1/21/21/21/21/21/21/2图3-17 0011? 22?0011解： ? 22?0011 22?0011? 22对称信道 )|a?H(YmC?logi1 2?2log?log4 2取2为底 bit/符号 1C? 3-7 (1) ，后验概 条件概率，联合概率 率 111 ， ，?)pp(y1)?(y2(py0)? 623 （2） H(Y/X)= （3）x1x1时正确，如果发的是当接收为y2，发为 为错误，各自的概率为：x3和113 ，P(x1/y2)=P(x2/y2)=P(x3/y2)= 555 其中错误概率为：13 Pe=P(x1

48、/y2)+P(x3/y2)=0.8? 55 （4）平均错误概率为 （5）仍为0.733 （6）此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真 （7） H(X/Y)= 111213515155? 1.301?10)?LogLog(?Log?Log(2)Log(5)Log?Log5)?Log?(? ?3323010610101021515 3. 8 设加性高斯白噪声信道中，信道带宽3kHz，又设(信号功率+噪声功率)/噪声功率=10dB。试计算该信道的最大信息传输速率C。 t解： 6个像素，为?102.253. 9 在图片传输中，每帧约有了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。 解： H?logn?log16?4 bit/symbol2266 10bit?9102.25?4I?NH?106109?I5 bit/?10sC?1.5 t60t?P?X?log