信息理论与编码总复习

1、一、填空一、填空1.在对信源进行观察之前，对认识主体来说，信源存在在对信源进行观察之前，对认识主体来说，信源存在 ，它与信源的它与信源的 有关。有关。3. 是自信息量的统计平均，对数以是自信息量的统计平均，对数以2为底时，单位是为底时，单位是 。2. 考虑任意考虑任意N个相邻时刻输出的随机变量，将其看成一个新的离个相邻时刻输出的随机变量，将其看成一个新的离散无记忆信源的输出，则称为散无记忆信源的输出，则称为 。4. 一般衡量一个信息传递系统的好坏，有两个主要指标，其一，一般衡量一个信息传递系统的好坏，有两个主要指标，其一，信息率信息率R，即，即 ，其二，平均差错率，即，其二，平均差错率，即 。

2、5. 设的取值受限于有限区间设的取值受限于有限区间a,b，则，则X服从服从 分布时，其分布时，其熵达到最大。熵达到最大。9. 最小码间距离是衡量码的性能的重要参数，信道编码在选最小码间距离是衡量码的性能的重要参数，信道编码在选择码字组成一个码时，只要条件允许，尽量使码的最小码间择码字组成一个码时，只要条件允许，尽量使码的最小码间距离距离 一些为好。一些为好。8. 两个等长符号序列之间的汉明距离，是它们之间两个等长符号序列之间的汉明距离，是它们之间 。7. 使平均差错率达到最小的译码规则称为使平均差错率达到最小的译码规则称为 。()R D( )RR D，若，若，则无论采用什么样的编码方法，其译码

3、失真，则无论采用什么样的编码方法，其译码失真10. 设离散无记忆平稳信源的信息率失真函数为设离散无记忆平稳信源的信息率失真函数为必大于必大于 。6. 变长码采用非续长码，力求使变长码采用非续长码，力求使 最小，此时最小，此时 最高，信源最高，信源的冗余度得到最大程度的压缩。的冗余度得到最大程度的压缩。()R DD是关于是关于的的 函数。函数。13. 信息率失真函数信息率失真函数( ;)ijd u v是是 实值函数。实值函数。14.14.失真度（或失真函数）失真度（或失真函数）15. 物理量物理量H(X)、H(X|Y)、I(X;Y)、I(yj;xi)、I(xi|yj)、I(xi)中，中，只有只有

4、 不具有非负的性质。不具有非负的性质。 11. 在加性高斯噪声信道中传输信息，在加性高斯噪声信道中传输信息， 分布的输入信号是分布的输入信号是最有效的。最有效的。12. 将一个码标在码树上，如果其所有码字均处于将一个码标在码树上，如果其所有码字均处于 节点上节点上，则该码为非续长码。，则该码为非续长码。二、简答题二、简答题1.分析连续信源熵和离散信源熵的异同点。分析连续信源熵和离散信源熵的异同点。2. 简述唯一可译性和非奇异性的区别与联系。简述唯一可译性和非奇异性的区别与联系。3. 简述信源的信息率、信息速率、信息含量效率和信息冗余简述信源的信息率、信息速率、信息含量效率和信息冗余度的概念。度

5、的概念。 4. 设设DMC的转移矩阵为的转移矩阵为 ，求该信道的，求该信道的2次次扩展信道的转移矩阵。扩展信道的转移矩阵。 21|9 . 01 . 01 . 09 . 0aaPXY1b2b三、设有离散无记忆信源三、设有离散无记忆信源02005008010015018020022087654321.ssssssssPS试对信源进行四元试对信源进行四元Huffman编码，求信源熵编码，求信源熵H(S)，平均码长，平均码长和编码效率。（编码时码树各分枝概率从大到小分别编和编码效率。（编码时码树各分枝概率从大到小分别编0至至3码）码）四、设离散无记忆信源四、设离散无记忆信源X通过离散无记忆信道通过离散

6、无记忆信道 传送信传送信息，设信源的概率分布和信道的线图分别为，息，设信源的概率分布和信道的线图分别为，求：求：1）信源）信源X和信道输出和信道输出Y的熵；的熵；2）信道疑义度）信道疑义度H(X|Y)和噪声熵和噪声熵H(Y|X)。3）信源）信源X的符号的符号a1和和a2分别含有的自信息；分别含有的自信息；4）从输出符号）从输出符号 分别所获得的关于输入符号分别所获得的关于输入符号 的信息量；的信息量；4 . 06 . 021aaPX)2 , 1( jbj,|YPXXYa1a2b1b20.80.10.20.91a五、三个特殊的五、三个特殊的DMC的转移矩阵如下：的转移矩阵如下：分别判断各信道属何种信道（无损、确定、无损确定、对称、分别判断各信道属何种信道（无损、确定、无损确定、对称、准对称、一般），求出各信道的最佳输入分布和信道容量。准对称、一般），求出各信道的最佳输入分布和信道容量。（注：（注： , , ） 585. 13log101001000001|XYP3/16/13/16/16/13/16/13/1|XYP10004/3004/10001|XYP322. 25log585. 26log若信道输入概率为若信道输入概率为 ，试确定最佳译，试确定最佳译码规则，并计算出相