信息论与编码技术复习题.doc

信息论与编码技术复习题（1）一、（32分）综合概念题1. 什么是对偶码和缩短码？2. 信息的量是可以测量的，与信息的大小有关的是：a. 事物的重量，b. 事件的不确定性，c. 讲话的声音音量，d. 描述事物的文字多少。3. 即时码在收到 的码符号序列时，就能直接把它译成对应的信源符号。a. 两个完整码字，b. 一个完整码字，c. 三个完整码字，d. 完整码字及后一个码字的第一个码元。4. 离散信源的熵的含义是：在信源输出之前，它表示 ；在信源输出之后，它表示 ；它的单位是： 。5. 离散平稳信源（有记忆）的各维联合概率分布与 时间无关。6. 叙述信源符号的相关程度与信源的符号熵及信源的剩余度之间的关系。7. 简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？8. 当信道带宽为5000Hz、信噪比为30dB时，求其信道容量。二、（15分）设信源通过一个干扰信道，输出信号为Y=y1,y2，其信道矩阵为。求：（1）X、Y的联合概率矩阵p(xy)和后向概率矩阵p(x|y)；（2）噪声熵H(X|Y)和信道疑义度（或损失熵）H(X|Y)；（3）平均互信息I(X;Y)。三、（16分）设有一个离散无记忆信源，（1）求该信源的熵H(X)；（2）对信源进行二元霍夫曼编码，计算其平均码长和编码效率；（3）对信源进行四元霍夫曼编码，计算其平均码长和编码效率。四、（15分）设线性分组码的生成矩阵，求：（1）此(n,k)码的n=？k=？写出此(n,k)码的所有码字。（2）对应的一致校验矩阵H，确定最小码距，问此码能纠几位错？（3）若接收码字为(000110)，假定接收码字只有一位错误，用伴随式法求译码的结果。五、（10分）设对称离散信道矩阵，求其信道容量C。六、（12分，电子信息专业）请根据给出的系统汉明码的监督矩阵写出该编码器在输入信息序列为11111010时输出的汉明码序列。七、（12分，通信工程专业）已知(2,1,2)卷积码的单位脉冲响应是G1=(111)和G2=(101)，请根据G1和G2画出该卷积码的编码电路图和网格图。信息论与编码技术复习题（2）一、（32分）综合概念题1. 什么是系统码和典型矩阵？写出常用的典型生成矩阵的两种形式。2. 根据平均互信息定义的信道容量是指：a. 信道固定时的最大平均互信息；b. 信道固定时的最小平均互信息；c. 信源固定时的信道的最小平均互信息；d. 信源固定时的信道的最大平均互信息。3. 什么是离散平稳信源？a. 任意两个不同时刻随机矢量的各维概率分布都相同；b. 任意两个不同时刻随机矢量的各维概率分布都不相同；c. 任意两个不同时刻随机矢量的各维概率密度函数都相同；d. 任意两个不同时刻随机矢量的各维概率密度函数都不相同。4. 设计一个信道容量为22 kbit/s的电话信道，若信道上的信号与噪声的平均功率比值为20 dB，请问该信道的通频带应该为多少？5. 设信源有q个符号，则当信源 分布时熵最大，其最大值为 。6. 当信道固定时，平均互信息是输入分布的 函数；当信源固定时，平均互信息是信道转移概率的 函数。7. 信源编码是通过压缩信源冗余度来提高 ，而信道编码是增加冗余度来提高 。8. 请判断具有下列码长1, 2, 3, 3, 3, 4的二进制码是否可构成唯一可译码。二、（10分）设有对称信源(s = r = 4)，信源X = a1, a2, ., ar = 0, 1, 2, 3，信宿Y = b1, b2, ., bs = 0, 1, 2, 3。若失真度定义为：d(ai, bj) = (bj-ai)2，求其失真矩阵D。三、（15分）某离散无记忆信源，通过图1的信道传输，求：图1 离散信道（1）该信源中a1和 a2分别含有的自信息；（2）X和Y的信息熵；（3）信道的疑义度H(X|Y)；（4）接收到信息Y后获得的平均互信息量。四、（16分）设有一个离散无记忆信源，（1）对该信源进行二元费诺编码，计算其平均码长和编码效率；（2）对信源进行二元霍夫曼编码，计算其平均码长和编码效率。五、（15分）已知(7, 4)循环码的生成多项式，求：（1）该码的编码效率；（2）该码的生成矩阵和校验矩阵；（3）若消息码多项式为，求其码字。六、（12分，电子信息专业）二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问： （1）能否在10秒内将信源消息序列无失真传送完毕？（2）若信源概率分布为p(0)=0.7，p