信息论与编码习题参考答案(全)

1、信息论和编码练习的参考答案第1章单符号离散源1.1同时扔给一对制服小孩，试着问：(1)事件的自我信息量“2和6同时出现”；(2)“两个5s同时出现”事件的自我信息量；(3)两点的各种组合的熵；(4)两点之和的熵；(5)“两点中至少有一点是1”。解决方案：(3)源空间：x(1，1)(1，2)(1，3)(1，4)(1，5)(1，6)p(x)1/362/362/362/362/362/36x(2，2)(2，3)(2，4)(2，5)(2，6)p(x)1/362/362/362/362/36x(3，3)(3，4)(3，5)(3，6)p(x)1/362/362/362/36x(4，4)(4，5)(4，6)

2、p(x)1/362/362/36x(5，5)(5，6)(6，6)p(x)1/362/361/36(4)源空间：x23456789101112p(x)1/362/363/364/365/366/365/364/363/362/361/36(5)1.2如果有6行8列的国际象棋方块，如果有两个粒子a和b，它们将以相等的概率落入任何方块，它们的坐标是(xa，ya)，(xb，yb)，但是a和b不能同时落入同一个方块。(1)如果只有粒子a，求a落入任何正方形的平均信息量；(2)如果知道甲已经下跌，找出乙已经下跌的平均信息量；(3)如果a和b是可识别的，找出a和b的平均信息量。解决方案：1.3从大量统计数据

3、来看，已知红绿盲的发病率男性为7%，女性为0.5%。如果你问一个男人，“你是红绿盲吗？”他的回答可能是“是”或“不是”。询问这两个答案中包含了多少信息。每个答案平均包含多少信息？如果你问一个女人，她回答中的平均信息量是多少？解决方案：1.4无记忆源的符号集是0，1，这是已知的(1)找出符号的平均信息量；(2)对于由1000个符号组成的序列，找出某个序列的置信度表达式(例如，有m个“0”和(1000-m)“1”)；(3)计算(2)中序列的熵。解决方案：1.5让源x的源空间为：找到源熵并解释为什么h(x)log6不满足源熵的极值。解决方案：1.6为了获得电视图像的良好清晰度和规定对比度，需要使用5

4、105个像素和10个不同的亮度等级，假设每秒传输30帧图像，所有像素都是独立的，并且所有亮度等级几乎都会出现。找到传输此图像所需的信息速率(位/秒)。解决方案：1.7要设置彩色电视系统，除了满足上述黑白电视系统的要求外，还必须有30种不同的颜色。实践证明，这种彩色电视系统的信息传输速率比黑白电视系统高2.5倍左右。证书：1.8每帧电视图像可视为由3105个像素组成，因此像素独立变化，每个像素取128个不同的亮度等级，假设亮度等级相等。每个图像包含多少信息？如果有一个广播员从大约10000个汉字中选择1000个单词来口述这个电视图像，那么该广播员至少需要多少个汉字来恰当地描述这个图像？解决方案：

5、1.9给定一个概率分布和一个整数m，定义，证明：并解释等式成立的时间。证书：1.10找出两个特殊分布：p1p2p3pn，p1p2p3pm，因此h (p1、p2、p3、pn)=h (p1、p2、p3、pm)。解决方案：1.15两个离散随机变量x和y，其和为z=x和y，如果x和y在统计上是独立的，验证：(1)氢(x)氢(z)，氢(y)氢(z)(2)高(xy)高(z)证据：第二章单符号离散信道2.1让信号源通过一个通道，并输出该通道的随机变量y的符号集，通道矩阵：试着问：(1)包含在源x中的符号a1和a2中的自信息量；(2)在接收到消息y=b1和y=b2之后，获得关于a1和a2的信息：i(a1；b1

6、)、i(a1；b2)、i(a2；b1)、i(a2；b2)；(3)源点x和目的点y的信息熵；(4)信道模糊度和噪声熵；(5)接收消息y后获得的平均信息i(x)；y).解决方案：2.2一个二进制对称信道，其信道矩阵是：让该通道以每秒1500个二进制符号的速度传输输入符号。现有消息序列中有14000个二进制符号，在此消息中p(0)=p(1)=0.5。从信息传输的角度来看，这个信息序列能在10秒内无失真地传输吗？解决方案：2.3有两个二元随机变量x和y，它们的联合概率是px=0，y=0=1/8，px=0，y=1=3/8，px=1，y=1=1/8，p x=1，y=1定义另一个随机变量z=xy，试着计算：

7、(1)氢(x)、氢(y)、氢(z)、氢(xz)、氢(yz)、氢(xyz)；(2)高(x/y)、高(y/x)、高(x/z)、高(z/x)、高(y/z)、高(z/y)、高(x/yz)、高(y/xz)、高(z/xy)；(3)一(十)；我(x；我(是；我(x；y/z)，i(y；z/x)，i(x；z/y).解决方案：2.4已知源x的源空间为信道的信道矩阵是：b1 b2 b3 b4试着问：(1)“输入a3和输出b2的概率”；(2)“输出概率b4”；(3)“假设b3条件下输入a2”的概率。解决方案：2.5已知从符号b获得的关于符号a的信息是1比特。当符号a的先验概率p(a)为下列值时，分别计算接收b后测量a

8、的后验概率。(1)p(a)=10-2；(2)p(a)=1/32；(3) p(a)=0.5 .解决方案：2.6某个来源发出8种消息，其先验概率和对应的码字如下表所示。以a4为例，尝试：消息第一等的主动脉第二声a3a4a5a6a7a8概率；可能性1/41/41/81/81/161/161/161/16密码子000001010011100101110111(1)在w4=011中，在接收到第一码字“0”之后，获得关于a4的信息量i(a4；0)；(2)在接收“0”的前提下，从第二码字符号“1”(a4；1/0)；(3)在接收“01”的前提下，从第三码字符号“1”(a4)中获取关于a4的信息i；1/01)；

9、(4)从码字w4=011(a4；011).解决方案：2.13如果n个二进制对称信道串联，并且每个二进制对称信道的错误传输概率为p(00)，则每个j=1，2，r:(详见：p171175)3.6假设齐次马尔可夫链的第一步转移概率矩阵为：试着问：(1)马尔可夫链的两步转移概率矩阵；(2)稳定后状态“0”、“1”和“2”的极限概率。解决方案：3.7假设某一信息源在开始时的概率分布为p x0=0 =0.6p x0=1=0.3。p x0=2=0.1 .每单位时间的第一个条件概率分布是：p x1=0/x0=0 =1/3；p x1=1/x0=0 =1/3；p x1=2/x0=0 =1/3；p x1=0/x0=

10、1 =1/3；p x1=1/x0=1 =1/3；p x1=2/x0=1 =1/3；p x1=0/x0=2 =1/2；p x1=1/x0=2 =1/2；p x1=2/x0=2=0。稍后发出的xi概率只与xi-1有关，用p(xi/xi-1)=p(x1/x0)(i2)，试画出源的香农图，并计算源的极限熵h值。解决方案：香农图如下：2011/21/21/31/31/31/31/31/33.8某阶马尔可夫源的状态转移如下图所示，源符号集为x: 0，1，2，已定义012p/2p/2p/2p/2p/2p/2(1)在源稳定后，尝试寻找状态“0”、“1”和“2”的概率分布p(0)、p(1)和p(2)；(2)寻找

11、信息源的极限熵h 值；(3)当p取任意值时，h最大。解决方案：3.9某阶马尔可夫源的状态转移如下图所示，源符号集为x: 0，1，2。试着问：(1)在源稳定后，尝试寻找状态“0”、“1”和“2”的概率分布p(0)、p(1)和p(2)；(2)寻找信息源的极限熵h 值；(3)找出p=0和p=1时的信息熵，并加以解释。ppp012解决方案：3.10设马尔可夫源的状态集s为 s1s2s3 ，符号集x为 1 2 3。在一定的状态si(i=1，2，3)下，概率p(k/si) (i=1，2，3；k=1，2，3)标记在相应的线段旁边，如下图所示。(1)找出状态的极限概率，找出符号的极限概率；(2)计算处于sj(j=1，2，