西电《信息与编码理论》习题答案(高教-王育民-李晖-梁传甲)

1、.信息与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:秒 每个符号的熵为比特/符号所以信息速率为比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以信息速率为比特/秒2.3 解:(a)一对骰子总点数为7的概率是 所以得到的信息量为 比特 (b) 一对骰子总点数为12的概率是 所以得到的信息量为 比特2.4 解: (a)任一特定排列的概率为,所以给出的信息量为 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 所以得到的信息量为 比特.2.5 解:易证每次出现i点的概率为,所以2.6 解: 可能有的排列总数为没有两棵梧

2、桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽种的位置，它有种排法，所以共有*=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822 比特2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得2.8 解:令，则2.9 & 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2.585比

3、特 H(Y)= H(X2+X3)= = 3.2744比特H(Z)= H(X1+X2+X3)= = 3.5993比特所以 H(Z/Y)= H(X3)= 2.585 比特H(Z/X) = H(X2+X3)= 3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H

4、(Z/X)=3.5993- 3.2744=0.3249比特I(XY;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X等概,接收数字为Y,显然H(Y)=log10所以I(X;Y)= 比特2.11 解:（a）接收前一个数字为0的概率 （b）同理 （c）同理 （d）同理 2.12 解:见2.92.13 解: (b)(c)（由第二基

5、本不等式）或（由第一基本不等式）所以(a) 等号成立的条件为,对所有,即在给定X条件下Y与Z相互独立。2.14 解: (a) (b) 注：2.15 解: (a) (b) (c)2.16 解:(a) 又由互信息的非负性，即有，所以(b) (c) 当且仅当X和Y独立时，I（X；Y）=0，所以当且仅当X和Y独立时，。2.23 解:(a) (b) 令(c)令2.28 解:(a) 由已知，（b）(c)由可求得V的分布为再由及可求得V的条件分布为第三章 离散信源无失真编码3.1解:长为n码字的数目为Dn ,因此长为N的D元不等长码至多有： 3.2 解: 3.3 解:3.4 解:3.5解:（a）二元Huff

6、man编码（b）三元Huffman编码注意：K=10为偶数，需要添一个概率为零的虚假符号3.6解:二元Huffman编码（a）二元Huffman编码（b）（c）3.10 傅P186【5.11】3.11 解:3.12 解:对3.13 解: (a)根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以它是唯一可译码。 比特(b)因为信源是二元无记忆信源，所以有 其中可计算每个中间数字相应的信源数字的平均长度 信源符号/中间数字(c) 根据表有可计算每个中间数字所对应的平均长度二元码/中间数字由 二元码/信源符号编码效率为0.4756/0.469=98.6%精选题1.傅P191【5.15】2.傅

7、P192【5.16】信道及其容量作业：4.1 4.3 4.5 4.8 4.9 4.10 4.12 4.144.1解：(a) 对称信道(b) 对称信道(c) 和信道(课堂教学例题)!4.3解： (a): 可先假设一种分布,利用信道其容量的充要条件来计算(课堂教学例题) (b): 准对称信道！4.5解：课堂教学例题4.8解：该题概率有误，应把1/32改为1/64。每个符号的熵为采样频率Fs为Fs=2W=8000 Hz所以信息速率R为4.9解：每象点8电平量化认为各级出现的概率相等，即H(U)=3 bits所以信息速率R为4.10解：4.12解：高斯信道的信道容量为4.14解：第五章 离散信道编码定

8、理习题5.1解：DMC信道有因为所以最大后验概率译码为： 。译码错误概率为：若按最大似然译码准则译码为：译码错误概率为：可见,最大似然译码的译码错误概率大于最大后验概率译码的译码错误概率。第七章 信道编码1. 设(7,3)码的生成矩阵为(1) 写出该码的一致校验矩阵H；(2) 写出该码的所有许用码字；(3) .写出该码的“译码表”-标准译码表或简化(伴随式)译码表；(4) 写出接收矢量R=1000001的错误图样,并译相应的许用码字；(5) 写出该码在BSC(错误转移概率为p)中传输的(平均)正确译码概率pc的表达式；(6) 写出该码在BSC(错误转移概率为p)中传输的漏检概率Pud(也称不可

9、检测错误概率)的表达式.解: (1) G不为系统码形式,我们通过初等行变换变为系统码形式 因此(2) 由C=MG得该码的许用码字为0000000,0111001,1101010,1010011,1011100,1100101,0110110,0001111该码的最小汉明距离为4。(3) 该码的标准阵由16个陪集构成, 在BSC(错误转移概率为p1/2)应将重量最小的错误图样选作陪集首, 故该码的标准译码表为许用码字0000000(陪集首)0111001110101010100111011100110010101101100001111禁用码字00000010111000110101110100

10、101011101110010001101110001110000001001110111101000101000110111101100111011010000011010000100011110111011101010111101100011000010110010000101100010000110001110001010110111010100110110101111100000111001000001010011111010100001110011001110101010011000111110100000001100110010101110011111110010001010010

11、110010111110000001111001010101000100110011100010010111101101001111000001101110101101001101000010111111100110011010100011000000101011110011011111010110101100111000000110011000101000010010110000110001110110101010101110110001111110000110001000101010001111011100001010011011110100010011100111100100001001

12、1000100101111100101111101100010000101110101110100000111110000101011001001000111010100100111011110011101001000111000101000100011011001010001011011111110100011111100001001001001101001000110101100001010110001101111111译码规则为若接收矢量在第i列出现,则译码输出为对应列中的码字,也就是陪集首为可纠正错误图样.伴随式译码表为伴随式陪集首00000000000011100000011101000001010110000100000100010000010001000001000100000100010000001010000001111000000101011000010010101001000100110100001111110000011001100100011101110000(4