信息论与编码理论信道容量习题解答

1、第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为解: (1) 若，求和。(2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量BSC信道达到信道容量时，输入为等概率分布，即：0.5，0.5注意单位3-4 设BSC信道的转移概率矩阵为1）写出信息熵和条件熵的关于和表达式，其中。2）根据的变化曲线，定性分析信道的容道容量，并说明当的信道容量。解：（1）设输入信号的概率颁布是p,1-p（2）的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。由于函数H（）是一个凸函数，有一个性质：可知：假设时此信道是一个二元对称信道，转移概率分布为：信道容量：3-

2、10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。解：1秒内可以传送的信息量为：3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度WHz的加性高斯白噪声的干扰，信息传输速率kbit/s，信号功率W。1）若信道带宽无约束，求信道容量；解：带限的加性高斯白噪声波形信道的信道容量为无带宽约束时：2）若信道的频率范围为0到3KHz，求信道容量和系统的频带利用率（b

3、ps/Hz）(注：为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的最小是多少dB？W=3KHZ 在最大信息速率条件下，每传输1比特信息所需的信号能量记为Eb3）若信道带宽变为100KHz，欲保持与2）相同的信道容量，则此时的信噪比为多少dB？信号功率要变化多数dB?第4章 无失真信源编码习题参考答案4-1：(1) A、B、C、E编码是唯一可译码。(2) A、C、E码是及时码。(3) 唯一可译码的平均码长如下： 码元/信源符号码元/信源符号码元/信源符号码元/信源符号4-3：(1)(2) 平均码长：码元/信源符号所以编码效率：(3) 仙农编码：信源符号符号概率加概率码长码字S1010S2

4、210S33110S441110S5511110S66111110S771111110S871111111费诺码：信源符号符号概率编码码字码长S1001S210102S3101103S41011104S510111105S6101111106S71011111107S81111111174-5：(1) 霍夫曼编码：对X的霍夫曼编码如下：信源符号符号概率编码过程码长码字S10.20.20.260.350.390.610102S20.190.190.20.260.3500.391112S30.180.180.190.200.2610003S40.170.170.1800.1910013S50.15

5、0.1500.1710103S60.10010.11101104S70.0101114码元/信源符号 码元/符号Y的二元霍夫曼编码：信源符号符号概率编码过程码字码长S10.490.490.490.490.490.490.490.51011S20.140.140.140.140.140.230.2800.4910003S30.140.140.140.140.140.1400.2310013S40.070.070.070.090.1400.14101004S50.070.070.070.0700.09101014S60.040.040.0500.07101114S70.020.0300.04101

6、1015S80.0200.0210110006S90.0110110016平均码长：码元/信源符码元/符号编码效率：(2) 仙农编码：对X的仙农编码：信源符号符号概率和概率码长码字S10.203000S20.190.23001S30180.393011S40.170.573100S50.150.743101S60.100.8941110S70.010.9971111110平均码长：码元/信源符对Y的仙农编码：信源符号符号概率和概率码长码字S10.490200S20.140.493011S30.140.633101S40.070.7741100S50.070.8441101S60.040.915

7、11101S70.020.956111100S80.020.976111110S90.010.9971111110平均编码长度：码元/信源符编码效率：(3) 费诺编码：对X的费诺编码：信源符号符号概率编码码字码长S10.200002S20.19100103S30.1810113S40.1710102S50.15101103S60.101011104S70.01111114平均编码长度：码元/信源符号编码效率：对Y进行费诺编码：信源符号符号概率编码码字码长S10.49001S20.141001003S30.1411013S40.0710011004S50.07111014S60.04101110

8、4S70.0210111105S80.02101111106S90.0111111116平均码长：码元/信源符号编码效率：(4) 由三种编码的编码效率可知：仙农编码的编码效率为最低，平均码长最长；霍夫曼编码的编码长度最短，编码效率最高，费诺码居中。4-7： 由三元编码方式可知：R=DB=RD-1(K2)+2由本题可知D=3，K=8，R=2，所以，首先合并最后两个信源概率，其中一种编码方式如下：信源符号符号概率编码码字码长S10.40.40.40.4001S20.20.20.20.4121S30.10.10.200.22112S40.10.10.11122S50.050.100.121013S6

9、0.050.0511023S70.0500.05210004S80.051100144-21：(1)符号概率分布区间00.2510.75由题目可知信源符号为：1011 0111 1011 0111算术码的码长由序列S的分布函数F（S）由二元整树图来计算： 所以算术编码为：0100 0011 0011平均码长及编码效率如下：码元/符号 bit/符号(2) 由于信源符号集中共有2个元素，因此只需要位二进制数就可以表示其编码，该符号集的编码表如下：符号01编码01按照分段规则，分段为：1 0 11 01 111 011 0111短语数为7，可用位来表示段号；每个信源符号编码长度为1，所以短语长度为：

10、3+1=4，具体编码过程如下：段号短语编码110001200000311001140101015111011160111001701111101平均编码长度：码元/符号编码效率为：5.2失真矩阵：，第6章 信道编码概述 习题答案6-2极大似然译码规则译码时，由转移概率矩阵可知：第一列中，第二列中，第三列中为转移概率的最大值，所以平均错误概率为：最小错误概率译码，输入x与输出y的联合概率分布为：由于可以看出最佳译码为最小错误概率译码，平均错误概率为6-4(1) 求信息传输率； bit/符号(2) 求平均错误译码概率。 根据信道的传输特性，可知可以输出24=16种序列，可以分成4个子集，分别为：

11、传输信道如下所示： 译码规则为：每个码字引起错误的概率： i=1、2、3、4所以 第7章 线性分组码习题答案1. 已知一个(5, 3)线性码C的生成矩阵为：（1）求系统生成矩阵；（2）列出C的信息位与系统码字的映射关系；（3）求其最小Hamming距离，并说明其检错、纠错能力；（4）求校验矩阵H；（5）列出译码表，求收到r=11101时的译码步骤与译码结果。解：（1）线性码C的生成矩阵经如下行变换：得到线性码C的系统生成矩阵为（2）码字的编码函数为生成了的8个码字如下信息元系统码字000000000010011101001010011011011001001110110100110110011

12、1111110(3) 最小汉明距离d=2，所以可检1个错，但不能纠错。(4) 由，得校验矩阵(5) 消息序列m=000,001,010,011,100,101,110,111，由c=mGs 得码字序列c0=00000, c1=00111,c2=01010, c3=01101,c4=10011, c5=10100,c6=11001, c7=11110则译码表如下：0000000111010100110110011101001100111110100001011111010111010001100100010010111001000011110001000101110111110010001101

13、100000100110010110110010010101011100011111当接收到r =(11101)时，查找码表发现它所在的列的子集头为(01101)，所以将它译为c=01101。2设（7, 3）线性码的生成矩阵如下（1）求系统生成矩阵；（2）求校验矩阵；（3）求最小汉明距离；（4）列出伴随式表。解：（1）生成矩阵G经如下行变换得到系统生成矩阵：（2）由，得校验矩阵为（3）由于校验矩阵H的任意两列线性无关，3列则线性相关，所以最小汉明距离d=3。（4）（7, 3）线性码的消息序列m=000,001,010,011,100,101,110,111，由c=mGs 得码字序列：c0=00

14、00000，c1=0010111，c2=0101010，c3=0111101，c4=1001101，c5=1011010，c6=1100111，c7=1110000。又因伴随式有24=16种组合，差错图样为1的有，差错图样为2的有，而由，则计算陪集首的伴随式，构造伴随表如下：伴随式陪集首伴随式陪集首000000000000101100100011011000000100110001001010010000011110011000011100100001100000110010000001000111001001000100000010010110100001001000000100011001

15、010000010000001011000001103已知一个(6, 3)线性码C的生成矩阵为：（1） 写出它所对应的监督矩阵H；（2） 求消息M=(101)的码字；（3） 若收到码字为101010，计算伴随式，并求最有可能的发送码字。解：（1）线性码C的生成矩阵G就是其系统生成矩阵GS，所以其监督矩阵H直接得出：（2）消息M=(m0,m1,m2)=(101)，则码字c为：（3）收到码字r=(101010)，则伴随式又（6, 3）线性码的消息序列m=000,001,010,011,100,101,110,111，由c=mGs 得码字序列：c0=000000，c1=001110，c2=010011，c3=011101，c4=100101，c5=101011，c6=110110，c7=111000。伴随式有23=8种情况，则计算伴随式得到伴随表如下：伴随式陪集首000000000101100000011010000110001000100000100010000010001000001111100010伴随式（001）对应陪集首为（000001），而