信息论与编码第三章曹雪虹习题答案

1、第三章3.1让二元对称信道的转移矩阵为(1)如果p (0)=3/4，p (1)=1/4，求h(x)，h(x/y)，h(y/x)和i(x)；y)；(2)当达到信道容量时，计算信道的信道容量和输入概率分布；解决方案：1)2)最佳输入分布如下3-2在某个信息源的发送端有2个符号，i=1，2；每秒发射一个符号。接收端有三个符号，j=1，2，3，转移概率矩阵为。(1)计算接收端的平均不确定度；(2)计算噪声引起的不确定性；(3)计算信道容量。解决方案：联合概率正常男性染色体组型0那么y的概率分布是y(1)以2为基数(2)以2为基数以e为基数=03.3当符号0和1在受干扰的离散信道上传输时，传输过程中每1

2、00个符号就会出现一个错误。众所周知，p(0)=p(1)=1/2，信源每秒发送1000个符号来计算这个信道的信道容量。解决方案：根据问题的含义，二进制信道的转移概率矩阵为：是一个平衡计分卡渠道因此，从bsc信道的信道容量计算公式来看：3.4在图中找出信道的信道容量及其最优输入概率分布，当=0和1/2时，找出信道容量c的大小。x0y0111221-1-求解：通道矩阵p=，该通道是非奇异矩阵，且r=s，可通过方程求解=(i=1，2，3)我能理解。因此c=log=log20 22(1)-log(1-)=log1 21-h()=log1 2和(j=1，2，3)必须所以p(a1)=p(b1)=当=0时，

3、该通道是一对一的对应通道，因此c=log3，当=1/2，c=log2，3.5找出以下两个通道的通道容量并进行比较(1) (2)其中p=1解决方案：(1)该信道是准对称信道，信道矩阵中的y可以被分成三个不相交的子集。由于矩阵由集合和列组成，这两个子矩阵满足对称性，准对称信道的信道容量公式可以直接用于计算。c1=logr-h(p1 p2 p3)-其中r=2，n1=m1=1-2，n2=m2=4，所以c1=log2-h(，p-，2)-(1-2)log(1-2)-2log4=log 2()log()(p-)log(p-)2log 2-(1-2)log(1-2)-2log 4=log 2-2log 2-(

4、1-2)log(1-2)()log()(p-)log(p-)=(1-2)log 2/(1-2)()log()(p-)log(p-)当输入等概率分布时，达到信道容量。(2)该信道也是准对称信道，也可以通过上述两种方法之一来计算。首先，利用准对称信道的信道容量公式进行计算。这个信道矩阵中的y可以分成两个不相交的子集。由子集列组成的矩阵是，这两个矩阵是对称矩阵，其中r=2，n1=m1=1-2，n2=m2=2，所以c=logr-h(-，p-，2，0)-=log 2(-)log(-)(p-)log(p-)2log 2-(1-2)log(1-2)-2log 2=log 2-(1-2)log(1-2)(-)

5、log(-)(p-)log(p-)=(1-2)log 2/(1-2)2log 2(-)log(-)(p-)log(p-)=c1 2log2当输入相等的概率分布(p(a1)=p(a2)=1/2)时，就达到了这个信道容量。比较这两个信道的容量，可以得到c2=c1 2log2有干扰的3-6个离散信道的传输情况分别如图3-17所示。并计算信道的信道容量。解决方案：对称信道将2作为基本位/符号3-7(1)条件概率、联合概率、后验概率，(2)高(y/x)=(3)当y2被接收，x1被发送时，它是正确的。如果x1和x3作为错误发送，它们各自的概率为：p(x1/y2)=，p(x2/y2)=，p(x3/y2)=错

6、误概率为：pe=p(x1/y2) p(x3/y2)=(4)平均误差概率为(5)仍然是0.733(6)这个渠道不好原因是源的概率分布相等。从传输通道的角度来看，正确传输x1-y1的概率是0.5的一半失真x2-y2的概率为0.3，严重失真x3-y3的概率0是完全扭曲的(7)高(x/y)=3.8在加性高斯白噪声信道中，信道带宽为3千赫，并且(信号功率噪声功率)/噪声功率=10db。尝试计算该信道的最大信息传输速率ct。解决方案：3.9在图像传输中，每帧大约有2.25106个像素。为了很好地再现图像，可以将其分成16个亮度级，并且假设亮度级是均匀分布的。尝试计算每分钟传输一帧图像所需的信道带宽(信噪比为30db)。解决方案：3-10平均功率有限的连续信道通带为1兆赫兹，信道上有高斯白噪声。(1)已知信道上的平均信噪比为10，计算信道的信道容量