信息论基础B卷及答案

《信息论基础》（《信息论基础》（B卷），第2页，共6页《信息论基础》（《信息论基础》（B卷），第#页，共6页《信息论基础》《信息论基础》（B卷），第5页，共6页:号座:fe教te考解：(1)编码过程如下图码字：a。：ool,J：010,a2：on，3：100,作：10b《：11a“：oooo,①：oooio67⑵平均码长'=5x0.1x3+0.4x2+2x0.05x4=2.7码兀/信源符号:级班:级班3.某信道的转移矩阵戶=

‘1/31/31/61/6、J/61/31/61/3丿试求：该信道的信道容量及达到容量时的输出概率。解：设输出概率为该信道是准对称信道，当输入等概率时达到信道容量，可计算相应的输出概率为Q——(1/3+1/6)=1/4,q=—(1/3+1/3)=1/3,1222%=—(1/6+1/6)=1/6,——(1/6+1/3)=1/4o所以信道容量为C二—H(1/3,1/3,1/6,1/6)二H(l/4,l/3,l/6,l/4)—H(l/3,l/3,l/6,l/6)线=2x(-l/41ogl/4)-l/31ogl/3-l/61ogl/6+2xl/31ogl/3+2xl/61ogl/6:二1+l/31og1/3+l/61ogl/6(比特/符号).4.设一离散无记忆信道的转移概率矩阵为‘0.50.30.2、P=0.20.30.5、0.20.40.4丿其中输入符号集A={a,a,a},输出符号集B={b,b,b},且P(a)=1/2,1231231P(a)=P(a)=l/4,利用MAP准则求最佳判决函数和平均错误率。23业专、级年:名姓:号学解：由〃（厂）二|力可得联合概率矩阵:号座<0.250.150.100.050.0750.125少050.100.10丿:fe教te考根据MAP准则，最佳判决函数为:g(y=b)=a,11g(y=b)=a,21g(y=b)=a32.平均错误率：p=1-p(a,b)_p(a,b)-p(a,b)EXY11XY12XY23=1-0.25-0.15-0.125=0.475.:级班、业专、级年:名姓5.二元对称信源/0]、J/21/2丿解：根据对称性，设信道转移概率矩阵为（〃•）=IJ3、。丿1一。\令D=E[d(x,y)]=ppd=3(1—6?)=Z),可得ci=1—D/3,iijijij由于输入是等概率，且信道是强对称信道，所以输出也等概率，即9]=%=〃2,所以可得R(D)=H(Y)-H(Y\X)二H(l/2,l/2)—2x1/2H(a,l—a)=log2—H(l—D/3Q/3).得分评卷人五、综合应用题（本大题共1小题，共12分）:号学:号学1.在某城市，下雨和晴天的时间各占一半，而天气预报无论在雨天还是在晴天都有2/3的准确率。甲先生每天上班这样处理带伞问题：如果预报有雨，他就带伞上班;如果预报无雨，他也有1/3的时间带伞上班。仃）求事件“在雨天条件下甲先生未带伞”所含的信息量;求“甲先生带伞条件下没有下雨”的信息量；求天气预报所得到的关于天气情况的信息量；求通过观察甲先生是否带伞所得到的关于天气情况的信息量。解：设天气情况：X={0(有雨),1(无雨)}；天气预报：丫={0(有雨)，1(无雨)}；带伞情况：Z={0(带伞),1(未带伞)}。根据题意有"2/31/3、J/32/3丿62/31/3"2/31/3、J/32/3丿62/31/3、J/32/3丿X-Y的条件概率矩阵为X-z的条件概率矩阵为x(1J/32/3,丫―Z的条件概率矩阵为/10、J/32/3丿‘7/92/9、Q/94/9丿(1)由于〃(z=lx=0)=2/9,所以事件“在雨天条件下甲先生未带伞”所含的信息量为/(z=1x=0)=-log2/9bit.⑵由于(工=]比=0)=#(兀=1)处=0卜=1)#(兀=1)处=0卜=1)p(z=0)p(x=0)#(z=0|x=0)+p(x=l)p(z=0|x=1)0.5x5/95_0.5x7/9+0.5x5/9_12'所以“甲先生带伞条件下没有下雨”的信息量为/(%=l|z=0)=Tog5/12bit.<2/31/3、⑶处=0)；7(y=l)]=(0.50.5)x冲2/3=(0.50.5),I丿所以天气预报所得到的关于天气情况的信息量为I(X;Y)=H(Y)-H(Y\x)=H(Q.5,0.5)-2x0.57/(273,1/3)(比特/消息符号).[p(z=0)火=1)]=(0.50.5)<7/9[p(z=0)火=1)]=(0.50.5)<7/95/92/9]4/9=(2/3