信息论第2章课后习题

2023/1/141习题课2.3掷一对无偏的骰子，若告诉你得到的总的点数为：(a)7；(b)12。试问各得到了多少信息量?[2.3的解答]这是求事件的自信息量。记随机变量X=“总的点数”，则所以，事件“X=7”的自信息量为log2(36/6)；事件“X=12”的自信息量为log2(36)。2023/1/142习题课2.4经过充分洗牌后的一付扑克(含52张牌)，试问：(a)任何一种特定排列所给出的信息量是多少?(b)若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?[2.4的解答]这是求事件的自信息量。(a)任一特定排列的概率都是(1/52!)，所以自信息量为log2(52!)；(b)从52张牌中抽取13张牌，共有种抽取方法。而使得所给出的点数都不相同的抽取方法有种。所以事件“点数都不相同”的概率为，自信息量为。2023/1/143习题课2.6园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?[2.6的解答]共有12！种不同的排列。满足“没有两棵梧桐树相邻”的排列个数为8×1+7×2+6×3+5×4+4×5+3×6+2×7+1×8=120（为什么？）记X=“树的排列情况”，Y=“梧桐树有无相邻位置”。则本题要求半平均互信息量2023/1/144习题课X有12！个不同的事件x，每个事件x的概率为1/(12！)。Y有2个不同的事件，“Y=无”的概率为120/(12！)，“Y=有”的概率为(12！-120)/(12！)。以下要计算：在“Y=无”的条件下，X=x（x为某个特定排列）的条件概率P(X=x|Y=无)。若在x这个特定排列中，梧桐树有相邻位置，则P(X=x|Y=无)=0；若在x这个特定排列中，梧桐树无相邻位置，则2023/1/145习题课2023/1/146习题课2.7某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10％来自本市。所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。(a)当己知考生来自本市时，给出多少关于考生是否被录取的信息?(b)当已知考生学过英语时，给出多少有关考生是否被录取的信息?(c)以x表示是否被录取，y表示是否为本市学生，z表示是否学过英语，x、y和z取值为0或1。试求H(x)，H(y|x)，H(z|y)。2023/1/147[2.7的解答](a)是求事件“来自本市”与随机变量“是否被录取”的半平均互信息量。(b)是求事件“学过英语”与随机变量“是否被录取”的半平均互信息量。以x表示是否被录取（0表示被录取，1表示未被录取），y表示是否为本市学生（0表示本市学生，1表示非本市学生），z表示是否学过英语（0表示学过英语，1表示未学过英语），则P(xyz=000)=(1/4)×(50%)×1=12.5%；P(xyz=001)=(1/4)×(50%)×0=0；P(xyz=010)=(1/4)×(50%)×(40%)=5%；P(xyz=011)=(1/4)×(50%)×(60%)=7.5%；P(xyz=100)=(3/4)×(10%)×1=7.5%；P(xyz=101)=(3/4)×(10%)×0=0；P(xyz=110)=(3/4)×(90%)×(40%)=27%；P(xyz=111)=(3/4)×(90%)×(60%)=40.5%。2023/1/148各个边际分布(xy)联合分布P(xy=00)=12.5%；P(xy=01)=12.5%；P(xy=10)=7.5%；P(xy=11)=67.5%。(xz)联合分布P(xz=00)=17.5%；P(xz=01)=7.5%；P(xz=10)=34.5%；P(xz=11)=40.5%。x概率分布P(x=0)=25%；P(x=1)=75%。y概率分布P(y=0)=20%；P(y=1)=80%。z概率分布P(z=0)=52%；P(z=1)=48%。(yz)联合分布P(yz=00)=20%；P(yz=01)=0；P(yz=10)=32%；P(yz=11)=48%。2023/1/149习题课2023/1/1410习题课2023/1/1411习题课2.8在A、B两组人中进行民意测验，组A中的人有50%讲真话(T)，30%讲假话(F)，20%拒绝回答(R)。而组B中有30%讲真话，50%讲假话和20%拒绝回答。设选A组进行测验的概率为p，若以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组B的平均信息量，试求I(p)的最大值。[2.8的解答]I(p)是什么信息量？记X=“选择的组号”，X的事件有A和B；Y=“得到的回答”，Y的事件有T、F、R。则I(p)=I(X;Y)。2023/1/1412习题课计算X的概率分布：P(X=A)=p；P(X=B)=1-p。计算Y的概率分布：P(Y=T)=p×50%+(1-p)×30%=30%+p×20%；P(Y=F)=p×30%+(1-p)×50%=50%-p×20%；P(Y=R)=p×20%+(1-p)×20%=20%。计算联合概率分布：P(XY=AT)=50p/100；P(XY=BT)=30(1-p)/100；P(XY=AF)=30p/100；P(XY=BF)=50(1-p)/100；P(XY=AR)=20p/100；P(XY=BR)=20(1-p)/100。2023/1/1413习题课2023/1/1414习题课2.9随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。[2.9的解答]求H(Z|Y)，必须先求(YZ)的联合概率分布和Y的概率分布；求H(X|Y)，必须先求(XY)的联合概率分布和Y的概率分布；求H(Z|X)，必须先求(XZ)的联合概率分布和X的概率分布；求H(Z|XY)，必须先求(XYZ)的联合概率分布和(XY)的联合概率分布；求H(XZ|Y)，必须先求(XYZ)的联合概率分布和Y的概率分布。2023/1/1415(XYZ)的联合概率分布为：

P((XYZ)=(x,y,z))=1/216；x=1~6，y=x+1~x+6，z=y+1~y+6。

(XY)的联合概率分布为：

P((XY)=(x,y))=1/36；x=1~6，y=x+1~x+6。2023/1/1416习题课(YZ)的联合概率分布为：P((YZ)=(2,3))=1/63，P((YZ)=(2,4))=1/63，…，P((YZ)=(2,8))=1/63，P((YZ)=(3,4))=2/63，P((YZ)=(3,5))=2/63，…，P((YZ)=(3,9))=2/63，…，P((YZ)=(6,7))=5/63，P((YZ)=(6,8))=5/63，…，P((YZ)=(6,12))=5/63，P((YZ)=(7,8))=6/63，P((YZ)=(7,9))=6/63，…，P((YZ)=(7,13))=6/63，P((YZ)=(8,9))=5/63，P((YZ)=(8,10))=5/63，…，P((YZ)=(8,14))=5/63，…，P((YZ)=(11,12))=2/63，P((YZ)=(11,13))=2/63，…，P((YZ)=(11,17))=2/63，P((YZ)=(12,13))=1/63，P((YZ)=(12,14))=1/63，…，P((YZ)=(12,18))=1/63。2023/1/14172023/1/1418习题课(XZ)的联合概率分布为：P((XZ)=(1,3))=1/63，P((XZ)=(1,4))=2/63，…，P((XZ)=(1,7))=5/63，P((XZ)=(1,8))=6/63，P((XZ)=(1,9))=5/63，…，P((XZ)=(1,12))=2/63，P((XZ)=(1,13))=1/63；P((XZ)=(2,4))=1/63，P((XZ)=(2,5))=2/63，…，P((XZ)=(2,8))=5/63，P((XZ)=(2,9))=6/63，P((XZ)=(2,10))=5/63，…，P((XZ)=(2,13))=2/63，P((XZ)=(2,14))=1/63；…，P((XZ)=(6,7))=1/63，P((XZ)=(6,8))=2/63，…，P((XZ)=(6,12))=5/63，P((XZ)=(6,13))=6/63，P((XZ)=(6,14))=5/63，…，P((XZ)=(6,17))=2/63，P((XZ)=(6,18))=1/63。2023/1/1419习题课2023/1/1420习题课X的概率分布：P(X=x)=1/6，其中x=1~6。Y的概率分布：当y=2~7时，P(Y=y)=(y-1)/36；当y=8~12时，P(Y=y)=(13-y)/36。Z的概率分布：

P(Z=3)=1/216，P(Z=4)=3/216，P(Z=5)=6/216，P(Z=6)=10/216，P(Z=7)=15/216，P(Z=8)=21/216，P(Z=9)=25/216，P(Z=10)=27/216，P(Z=11)=27/216，P(Z=12)=25/216，P(Z=13)=21/216，P(Z=14)=15/216，P(Z=15)=10/216，P(Z=16)=6/216，P(Z=17)=3/216，P(Z=18)=1/216。2023/1/1421习题课X值123456概率1/61/61/61/61/61/6Y值23456789101112概率1/362/363/364/365/366/365/364/363/362/361/36Z3456789101112131415161718概率13610152125272725211510631636363636363636363636363636363632023/1/1422将以上的概率分布代入以下的计算公式：2023/1/1423习题课2023/1/14242023/1/1425习题课2.10设有一个系统传送10个数字：0,1,…,9。奇数在传送时以0.5的概率错成另外的奇数（？！），而偶数总能正确接收。试求收到一个数字平均得到的信息量。[2.10的解答]问题一：这是什么信息量？“收到一个数字平均得到的信息量”似乎指的是“收到的数字”这个随机变量的平均自信息量（熵）：H(收到的数字)。“发送一个数字x时，所给出的收到数字的平均信息量”应该指的是半平均互信息量：I(发送的数字=x；收到的数字)。“发送数字时，所给出的收到数字的平均信息量”应该指的是平均互信息量：I(发送的数字；收到的数字)。2023/1/1426习题课问题二：既然是求“收到的数字”这个随机变量的平均自信息量（熵），那么“收到的数字”的概率分布如何计算？假设“发送的数字”服从等概分布：P(发送的数字=j)=1/10，j=0~9则P(收到的数字=偶数x)=P(发送的数字=偶数x)=1/10；P(收到的数字=奇数x)=P(发送的数字=奇数x)×0.5+P(发送的数字=另个奇数u1)×0.125+P(发送的数字=另个奇数u2)×0.125+P(发送的数字=另个奇数u3)×0.125+P(发送的数字=另个奇数u4)×0.125=1/10(bits)2023/1/1427习题课这就是说，当假设“发送的数字”服从等概分布时，“收到的数字”服从等概分布。H(收到的数字)=log10。I(发送的数字；收到的数字)2023/1/1428习题课2.11令{ul,u2,…,u8}为一等概消息集，各消息相应被编成下述二元码字:ul=0000，u2=0011，u3=0101，u4=0110u5=1001，u6=1010，u7=1100，u8=1111码字通过转移概率为p的BSC传送。试求(a)接收的第一个数字0与ul之间的互信息量。(b)接收的前二个数字00与ul之间的互信息量。(c)接收的前三个数字000与ul之间酌互信息量。(d)接收的前四个数字0000与ul之间的互信息量。[2.11的解答]显然是求事件之间的（非平均）互信息量。首先什么是“转移概率为p的BSC”？解释如下（详见第四章）。2023/1/1429习题课“转移概率为p的BSC”是这样一种输入/输出机制：（1）在一个固定时刻，P(输出0|输入0)=P(输出1|输入1)=1-pP(输出1|输入0)=P(输出0|输入1)=p（2）在不同时刻的输入/输出操作是相互独立的：P(t1t2…tn时刻输出v1v2…vn|t1t2…tn时刻输入u1u2…un)=P(t1时刻输出v1|t1时刻输入u1)×P(t2时刻输出v2|t2时刻输入u2)×…×P(tn时刻输出vn|tn时刻输入un)2023/1/1430习题课(a)P(接收的第一个数字为0)=P(发送的第一个数字为0)×P(接收的第一个数字为0|发送的第一个数字为0)+P(发送的第一个数字为1)×P(接收的第一个数字为0|发送的第一个数字为1)=P(发送的第一个数字为0)×(1-p)+P(发送的第一个数字为1)×p=P(发送ul或u2或u3或u4)×(1-p)+P(发送u5或u6或u7或u8)×p=(1/2)×(1-p)+(1/2)×p=1/2。2023/1/1431习题课P(发送ul)=1/8。P(发送ul，且接收的第一个数字为0)=P(发送ul)×P(接收的第一个数字为0|发送ul)=P(发送ul)×P(接收的第一个数字为0|发送的第一个数字为0)=(1/8)×(1-p)。因此，I(发送ul；接收的第一个数字为0)2023/1/1432(b)P(接收的前两个数字为00)=P(发送的前两个数字为00)×P(接收的前两个数字为00|发送的前两个数字为00)+P(发送的前两个数字为01)×P(接收的前两个数字为00|发送的前两个数字为01)+P(发送的前两个数字为10)×P(接收的前两个数字为00|发送的前两个数字为10)+P(发送的前两个数字为11)×P(接收的前两个数字为00|发送的前两个数字为11)=P(发送ul或u2)×(1-p)2+P(发送u3或u4)×(1-p)p+P(发送u5或u6)×p(1-p)+P(发送u7或u8)×p2=1/42023/1/1433习题课P(发送ul，且接收的前两个数字为00)=P(发送ul)×P(接收的前两个数字为00|发送ul)=P(发送ul)×P(接收的前两个数字为00|发送的前两个数字为00)=(1/8)×(1-p)2。因此，I(发送ul；接收的前两个数字为00)2023/1/1434(c)P(接收的前三个数字为000)=P(发的前面为000)×P(收的前面为000|发的前面为000)+P(发的前面为001)×P(收的前面为000|发的前面为001)+P(发的前面为010)×P(收的前面为000|发的前面为010)+P(发的前面为011)×P(收的前面为000|发的前面为011)+P(发的前面为100)×P(收的前面为000|发的前面为100)+P(发的前面为101)×P(收的前面为000|发的前面为101)+P(发的前面为110)×P(收的前面为000|发的前面为110)+P(发的前面为111)×P(收的前面为000|发的前面为111)=P(发u1)×(1-p)3+P(发u2)×p(1-p)2+P(发u3)×p(1-p)2+P(发u4)×p2(1-p)+P(发u5)×p(1-p)2+P(发u6)×p2(1-p)+P(发u7)×p2(1-p)+P(发u8)×p3=1/82023/1/1435习题课P(发送ul，且接收的前三个数字为000)=P(发送ul)×P(接收的前三个数字为000|发送ul)=P(发送ul)×P(接收的前三个数字为000|发送的前三个数字为000)=(1/8)×(1-p)3。因此，I(发送ul；接收的前三个数字为000)2023/1/1436(d)P(接收的前四个数字为0000)=P(发u1=0000)×P(接收的前四个数字为0000|发0000)+P(发u2=0011)×P(接收的前四个数字为0000|发0011)+P(发u3=0101)×P(接收的前四个数字为0000|发0101)+P(发u4=0110)×P(接收的前四个数字为0000|发0110)+P(发u5=1001)×P(接收的前四个数字为0000|发1001)+P(发u6=1010)×P(接收的前四个数字为0000|发1010)+P(发u7=1100)×P(接收的前四个数字为0000|发1100)+P(发u8=1111)×P(接收的前四个数字为0000|发1111)=(1/8)×(1-p)4+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p4=(1/8)×{(1-p)4+6p2(1-p)2+p4}2023/1/1437习题课P(发送ul，且接收的前四个数字为0000)=P(发送ul)×P(接收的前四个数字为0000|发送ul=0000)=(1/8)×(1-p)4。因此，I(发送ul；接收的前四个数字为0000)2023/1/1438习题课2.13令X、Y、Z是概率空间（即随机变量），试证明下述关系式成立。(a)H(YZ|X)≤H(Y|X)＋H(Z|X)，给出等号成立的条件。(b)H(YZ|X)=H(Y|X)＋H(Z|XY)。(c)H(Z|XY)≤H(Z|X)，给出等号成立的条件。[2.13的解答]2023/1/1439(a)在以下的推导式中，不等号成立的理由来自于引理2。2023/1/1440(b)2023/1/1441(c)在以下的推导式中，不等号成立的理由来自于引理2。不等号变成等号的充要条件是：对任何(xyz)恒有

P(Z=z|XY=xy)=P(Z=z|X=x)。2023/1/1442习题课2.18若三个随机变量有如下关系：X＋Y=Z，其中X和Y相互独立。试证明：H(X)≤H(Z