信息论与编码-曹雪虹-课后习题答案

#/52练习题：有一离散无记忆信源，其输出为X£{0,1,2},相应的概率为p/1/4,v1/4,%=1/2，设计两个独立的实验去观察它，其结果分别为y1.{0,1},Y2.{。，上已知条件概率:P(y1|x)P(y1|x)01012101/2111/2⑴ 求i(x；y1)和I(x；Y2)，并判断哪一个实验好些P(y2|x)01012110001(2)求IXYY)，并计算做丫和Y两个实验比做Y和I(X;Y1Y2) 1 2 1Y2中的一个实验可多得多少关于X的信息⑶求I(XY|Y)和I(XY|Y)，并解释它们的含义I(X;Y1|Y2)I(X;Y2|Y1)解:(1)由题意可知

=0.5bit/符号I(X；Y2)=H(Y2)-H(Y2IX)=log2—Jog1—1l0g1-1l°g1=仍力/I I 乙号＞I(X;Y1)所以第二个实验比第一个实验好(2)因为Y1和Y2相互独立，所以p(y1y2|、)=p(y1x)p(y2|x)P(y1y2x)0001101101/40001001/40201/401/4p(y)2x)000110110100010010201/201/2y1y200011011p1/41/41/41/4・•・I(X；Y1y2)=H(Y1Y2)-H(Y1Y21X)=log4-；log1-；log1-；x2log2 bit/

符号=1.5bit/符号由此可见，做两个实验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。I(X；Y11Y2)=H(XIY1)-H(XIY1,Y2)=H(X,Y2)-H(X)-[H(X)-1(X;Y1,Y2)]=[H(X)-1(X;Y2)]-[H(X)-1(X;Y1,Y2)]=I(X;Y1,Y2)-1(X;Y2)=1.5-1=0.5bit/符号表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量同理可得表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量II(X;Y2IY1)=I(X;Y1,Y2)-1(X;Y1)=1.5-0.5=1bit/符号欢迎下载！第三章

设二元对称信道的传递矩阵为［33」(1)若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)TOC\o"1-5"\h\z3 31 1H(X)=一乙p(x)=-(—xlog +xlog )=0.811bit/symboli4 24 4 24ijiijjiH(Y/X)=’np(x)p(y/x)logp(y/x)ijiijji=-(3x2lg2+3x1lg1+-x1lg1+-x2lg2)xlog10

433433433433 2=0.918bit/symbol1 11 21 1 1 1 2 1 2P(y)=P(xy)+p(xy)=p(x)p(y/x)+p(x)p(y/x)=1 11 21 1 1 1 2 1 23211-x-+-x-=0.583343432 12 22 1 2 1 2 2 2p(y)=p(xy)+p(xy)=p(x)p(y/x)+p(x)p(y/3211-x-+-x-=0.583343432 12 22 1 2 1 2 2 23112—x—+—x—=0.41674343H(Y);二p(y)=-(0.5833xlog0.5833+0.4167xlog0.4167)=0.980bit/symbol3112—x—+—x—=0.41674343I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)H(X/Y)=H(X)-H(Y)+H(Y/X)=0.811-0.980+0.918=0.749bit/symbolI(X;Y)=H(X)-H(X/Y)==0.811-0.749=0.062bit/symbol2)1122C=maxI(X;Y)=logm-H=log2+(—lg-+—lg—)xlog10=0.082bit/symbol2mi2 3 3 3 3其最佳输入分布为，),1p(x)——3-2某信源发送端有2个符号3-2某信源发送端有2个符号，x,i=1,每秒发出一个符号。接受端有3种符号y,2；p(x)—a，

j=1,i2,3,转移概率矩阵为P.1/21/201/21/41/4（1）（2）（3）计算接受端的平均不确定度；计算由于噪声产生的不确定廉6X）;计算信道容量。解：1/21/21/21/4联合概率01/4X—— Yy1y2y3X1a/2a/20Xq* ，.r一、•.(1—a)/2(1—a)/4(1—a)/4则Y的概率分布为Yy1y2y31/2(1+a)/4(1—a)/4p(x,y)i/(1) 1 1+aH(Y)—-log2+—2 41 1 16a—-log2+Tlog +:l0g2 4 1-a2 44 1-a4一log +log一1+a4 1—a1-a1 1 1 1a1-a—xlog2+-log16+-log +log-——2 4 4 1—a24 1+a3 1 1a 1-a—210g2+410K+4logna取2为底H(YX(2+410g2占+刎2壬)bit(2)J，H(YIX)=a1 1 an1 1—an11—an1 1—a n1- -log-+-log-+ log-+ log-+ log-2 2 2 2 2244 4 43(1-a)——alog2+ log223-a1°-2-lOg2取2为底3-aH(YIX)—-2-bit，c=maxI(X;Y)=maxH(Y)-H(YIX)]p(xi)p(xi)(a、i1.—max-log2+-log

p(兀.)I2 41a1-a) +-log 1-a2 4 1+aJa1] 1a、1-a、取㊀为底a(2ln2+4ln匚益+4lE)1_12a 1,1—aa, 1=—In2+ +—In +一(——2 41—a241+a41—a1+a1 a1 1—aa2二—1n2+ +—1n - 2 2(1-a2)41+a41-a2=-ln2+11nx1一a11+a43:.a=—5TOC\o"1-5"\h\z13 1 1 13 1c——义一log2+—log +—义一log—5 4 1-945 4251 253 1——1og2+-log—+——log—10 4 1620 43 1 53——log2+—log--—log210 2 410_1.5 10g—2 4在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2,信源每秒内发出1000个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：P」。99。.叫为一个BSC信道[0.010.99_所以由BSC信道的信道容量计算公式得到：

C=logs—H(P)=log2-22jplog—=0.92bit/signipi-1 iC-1C-1000C-920bit/sectt求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道容量C的大小。C-X YX Y0 1 00解：信道矩阵P=0ife0,此信道为非奇异矩0e1-e阵，又r=s,可利用方程组求解卜，1+

7^一

玖a1-

3J卜，1+

7^一

玖a1-

3J1S(,

二.，。J-eclto-ooiftpg(b|a)

ji(i=1,2,3)23所以C=log(1)log(1log2=log[2o+2X2(i-)log(1-)+10g一j 「一L 」=log[1+2i-H(G]=log[1+2(1)a)J已P(b) 21C2C11 2(1 )(1) 23所以C=log(1)log(1log2=log[2o+2X2(i-)log(1-)+10g一j 「一L 」=log[1+2i-H(G]=log[1+2(1)a)J已P(b) 21C2C11 2(1 )(1) 1 21h()ueE)22C2— —2= 0=+1天小）=而P(b)jP(b3)—2;CP(=J+一3—,、八£■ 、£P(a)P(bIa)—i_ ji~i1一(j=1,2,3)得P(b)2P(b3)P竺 p(“P((a)(1 )P(a)2 3P(a) P(a)(1 )2 3所以T(a)=P(b)=e1J1—J 2(1~~)(HP(a)P(a)P(b)P(b)当=0时,此信道为(1 )1 2(1+3)一对应信道，得g£-C=log3,1=1/2C=log2,P(a)P(a)3.5球下列二个信道的信道容量，并加以比较（1）(_ _ 一 c一p-8 p-8 28—Ip-8 p-8 28（2）f- - cp-8 p-828 0—IP-8p-80 28其中p+p=1解：（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集由于集列所组成的矩阵仅TP-口/利而这两个子矩阵满足对称性，因、p-8P-8)”£)此可直接利用准对称信道的信道容量公式进行计算。C1=logr-H(P1p2‘P3')-£NklogMkk=1其中lZ,,—8N2=28M2=48所以C1=log2-H]；；：p-£,2£)-(1-28)log(1-28)P—8 8 8-28log48=log2+(p-8)log(p-8)+(p-£)log(p-£)+2£log2£-(1-2£)log(1-2e)-2elog4£=log2-2£log2-(1-2£)log(1-2£)+(-8)P8log(-_8)+(p-£)log(p-£)p8=(1-2£)log2/(1-2£)+(--8)log(--8)+(pp-8p-8-8)log(p-8)输入等概率分布时达到信道容量。(2)此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为伍-8£-81[280]这两矩阵为对称矩阵其[p-8p-8J1028)中r=2,N1=M1=1-2N2=M2=4,所以C=logr-H(p-8,p-£，2£，0)-XNklogMk=log2+(p-8)log(p-8)+(p-旨1)log(p-£)+2£log2£-(1-2£)log(1-2£)-2£log2£

=log2-(1-2£)log(1-2£)+(p-s)log(p-g)+(p-£)log(p-£)二(1-2£)log2/(1-2£)+2£log2+(p-g)log(--g)+(p-£)log(p-£)=C1+2£log2输入等概率分布(P(a1)=P(a2)=1/2)时达到此信道容量。比较此两信道容量，可得C2=C1+2£log23-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。X 1Z2 辱Y1/21/2_1/21/21/21/21/2~~2T2图3-17解：+220+2解：+220+2004002+20对称信2道00212C=logm-H(YIa)i=log4-—x2log2取2为底C_1bit/符号一3-7(1)条件概率、，联合概率咫Vo.l0.9「1621k301101103101IIJ_10，后验概1p(y0):=31p(y1)=2，乙1p(y2)=6H(Y)=A氏£司+g反度勾+；Lcig(与=1.4J9(2)H(Y/X)二二Lcig(0十—Log—+—Log(5)+—Log-o 1UI3J1$ 1^610(3)当接收为y2,发为x1时正确，如果发的是x1和x3为错误，各自的概率为：P(x1/y2)=1，P(x2/y2)=1，P(x3/y2)=3555其中错误概率为：Pe=P(x1/y2)+P(x3/y2)=1+3=0855（4）平均错误概率为（5）—+—+—+—+—+—=0.73315 30 10 10 15 10（5）仍为0.733（6）此信道不好（6）原因是信源等概率分布，从转移信道来看正确发送的概率Xl-yl的概率0.5有一半失真x2-y2的概率0.3有失真严重x3-y3的概率0完全失真（7）H(X)=E©=1.如H(X/Y)二1-Log(2)6—Log(5)+—Log—10 15 V2710152r1r1-Log(2)6—Log(5)+—Log—10 15 V2710152r1r三Log~+~Log(5)+Log~+~Log(10)151010V3730—Log—10V37=1.3013.8设加性高斯白噪声信道中，信道带宽3kHz，又设｛（信号功率+噪声功率）/噪声功率｝=10dB。试计算该信道的最大信息传输速率C。解： t3.9在图片传输中，每帧约有2.25X106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。解：

H=logn=log16=4bit/symbol22I=NH=2.25x106义4=9x106bit=10I9x106C=-=-- =1.5x105bit/stt60C=Wlogfl+tvW=C~~r^log1+P]1.5W=C~~r^log1+P]1.5x105log(1+1000)2=15049HzPN73-10一个平均功率受限制的连续信道，其通频带为1MHZ,信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？解：（1）C=Wlog（1+SNR）2=1x106log（1+10）2=3.159Mbpss,C=Wlog(1+5)=3.459Mbps2 223.159M:.W=——--=1.338MHZ2log623,c=Wlog(1+SNR)=3.459Mbps3 323.459log(1+SNR')=2 0.5:SNR=120

欢迎下载!第四章TOC\o"1-5"\h\z一X1[0 1]某二元信源[P(X)]11/21/2/其失真矩阵为D=求这信源的D和D•和R(D周数。\o"CurrentDocument"解： maxiD=minD=min£p(x)d(x,y)=—xa+—x0=—max jj iij2 2 2iD=£p(x)mind(x,y)=—x0+—x0=0min i Ij2 2因为二元等概信源率失真函数：(D\R(D)=lnn—H一IIa)其中n=2,所以率失真函数为:RR(D)=ln2—D.D—ln—十aa「X1[0 1 2 3〕一个四元对称信源.P(X)]-11/41/41/41/4!，接收符-011110111101号Y={0,1,2,3}，其失真矩阵为1110，求Dmax和%「及信源的R(D)函数，并画出其曲线(取4至5个点)。解：

TOC\o"1-5"\h\z1111 3D=minD=min乙p(x)d(x,y)=x1+—x1+—x1+—x0=—max jj iij4444 4i1111D=乙p(x)mind(x,y)=x0+—x0+—x0+—x0=0min ijij4 4 4 4因为n元等概信源率失真函数：DR(D)=lnn+DIn-a-+fl-D]Infl-D]an-1Ia)\a)其中a=1,n=4,所以率失真函数为:R(D)=ln4+DInD+G-D)lnG-D)函数曲线：3DD=0,DD=0,R(0)=ln4nat/symbolnat/symbolnat/symbolD=4,R(D)nat/symbolnat/symbolD=1,R(D)=ln4-11n12223D=4,R(D)=0nat/symbol4-3[0111]1011d二110111110)信源熵为H(x)=Log(4)=2Dmax=min{当当。，3}R(Dmax)=04444Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2p(y1),p(y2),p(y3),p(y4)p(y1)+p(y2)+p(y3)+p(y4)=1在［0,1］区间可以任意取值。欢迎下载！第五章5-1将下表所列的某六进制信源进行二进制编码，试问：消息概率C1C2C3C4C5C6u11/20000001011uo1/40010110100000012uQ1/1601001111011010011003uA1/160110111111011000101014ur1/16100011111111010011101105u6✓\、1/161010111111111101111110111⑴二这些码中哪些是唯可译码？(2)哪些码是非延长码？(3)对所有唯一可译码求出其平均码长和编译效率。解：首先，根据克劳夫特不等式，找出非唯一可译码C:6X2-3<1163C:2T+2-2+2-3+2-4+2-5+2-6=—<12 64C3：63<1C:2-i+2-2+4x2-4=14C:2-1+5x2-3>15C:2-2+5x2-3<1IC不是唯一可译码，而C：54又根据码树构造码字的方法C，C，C的码字均处于终端节点136他们是即时码⑴C1,C2,C3,CE⑵ClrC3,C6⑶H(X)=iLog(2)+-Log(4)+4—Log(10=22 4 165-2(1)因为48,配0四个字母，每个字母用两个码，每个码为0.5ms,所以每个字母用10ms当信源等概率分布时,信源熵为H(X)=log(4)=2

平均信息传递速率为鳖=cnbit/ms=200bit/s10(2)信源熵为鳖=0.198bit/ms=198bit/s105-5(1)11111111248163264128128H(U)=1111 1 1 1 1一Log(2)+-Log(4)+-Log(8)+—Log(16)+—Log(32)+—Log(64)+Log(128)+Log(128)=1.9842 4 8 16 32 64 128 128(2)每个信源使用3个二进制符号,出现0的次数为出现1的次数为1—F1 F2—+1—十1 F2 F3 =03吕64S16 32 64 12S 12SP(0)= —=0,042.39S+0.斑P(1)二 口g=11M2.393+0.JS6(3)——=0.^1(4)相应的香农编码(4)相应的香农编码信源符号累加-Logp(xi)码长码字符号xi概率pi概率PiKix11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.98477x81/1280.99277相应的费诺码信符号第第第第第第第二元码源概率一二三四五六七符pi次次次次次次次号分分分分分分分xi组组组组组组组x11/200x21/4010x31/810110x41/161101110x51/321011110

x61/6410111110x71/12810x81/1281(5)香农码和费诺码相同平均码长为口丁—1-I---J+—■j!+—4-I--5+--6+ -7+ 7=1.9y42 4 3 16 32 64 L23 123编码效率为：艮；胆=㈣=1

K1,SS45-11(1)信源熵H(X)=-0.32Log(0.3Z)-0.22Log(0.22)-O.lSLogfO.lS^-0.16Log(0.16)-0.0SLog(0.0g?i-0.04Lo^0,04)=2.352(2)香农编码：信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x10.3201.644200x20.220.322.1843