武汉理工信息理论编码试卷(07电信科)

武汉理工大学考试试题纸（ A 卷） 课程名称 信息理论与编 码 专业班级电信科0701 0702 题 号 一 二三四五六 七 八九十总分 题 分 20 241046 100 备注: 学生不得在试题纸上答题(含填空题、选择 题等客观题 一、填空题（共20分，每小题2分） 1. 输出的是单个符号的消息，不同时刻发出的符号之间彼此统计 独立，而且符号集中的符号数目是有限的或可数的信源是 _信源。 2. 当信道给定，平均互信息量是信源概率分布的_函 数。 3. 在一组码字集合中所有的码字长度都相同，称这组码为 _码。 4. 对于给定信源，使平均码长达到最小的编码方法，称为最佳编 码，得到的码集称为_。 5. 一个号码锁有3个数字，每个数字可设置为099（含0和99）中 的任何一个整数值，打开该锁所需的信息量为_bit。 6. 掷5次均匀的钱币，当被告之结果是“正反正反反”时，所获的信 息量_bit。 7. 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6， 则“两个1同时出现”这一事件的自信息量为 比特。 8. 若有一信源，其符号集的元素个数为n，此信源通过一个具有 一一对应关系的无噪信道，这个信道的信道容量为 _。 9. 如果对一个单符号离散无记忆信道进行N次扩展，则扩展后的 信道容量与原来信道的信道容量C之间的关系是_。 10. 将循环码0010111循环左移3位后的码字为 。 二、简答题（共24分） 二、简答题（共24分） 1. 在通信系统中信源编码的主要功能是什么?（6分） 2. 写出Fano不等式，并说明其物理含义。（6分） 3. 目前对卷积码有哪些描述方法？这几种描述方法各从什么角度 考虑的？（6分） 4. 试阐述变长编码定理。（6分） 三、证明题（10分） 设两个信源分布q1(x)和q2(x)，分别对应的平均互信息量为I1(X ; Y)和I2(X ; Y)，记概率分布 q(x)=q1(x)+(1-)q2(x) （式中0 1），对应平均互信息量I(X ; Y)，若 I(X ; Y)是信源概率分布的n型凸函数，证明I1(X ; Y)+(1-) I2(X ; Y) I(X ; Y) 。 四、计算题（共46分） 1. 设某班学生在一次考试中获优（A）、良（B）、中（C）、及格 （D）和不及格（E）的人数相等。当教师通知某甲：“你没有不 及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要 多少信息量？（8分） 2给定信源分布，失真测度矩阵，求R(D)的定义域和值域。（8 分） 3设二元对称信道的转移矩阵为， （1）若信源分布，求，和 （2）求该信道的信道容量及其达到信道容量时的输入概率分布。（10 分） （注：，） 4、设线性分组码的生成矩阵，求： （1）此（n,k）码的n=?k=?，写出此（n,k）码的所有码字； （2）求其对应的校验矩阵H。 （3）确定最小码距，问此码能纠正几位错？列出其能纠错的所有错误 图样和对应的伴随式； （4）若接收码字为000110，用伴随式法求译码结果。 （10分） 5、设信源。 （10分） 1）求信源熵； 2）编二进制香农码和二进制费诺码，计算二进制香农码和费诺码的 平均码长和编码效率； 武汉理工大学教务处 试题标准答案及评分标准用纸 课程名称 信息理论与编码 （ A卷） 一、填空题（共20分，每小题2分） 1 离散无记忆 2 上凸 3 等长 4 最佳码 5 6 5 7 Log36或者5.17 8 logn 9 10. 0111001 二、简答题（共24分） 1.（6分）答：信源编码主要实现以下两个功能： 将信源符号变换成适合信道传输的符号； 压缩信源冗余度，提高传输率。 2（6分）答：设信道输入符号X和输出符号Y取自同一符号集A = a1, a2, , ak ，则传输过程中的错误概率pe和信道疑义度H (XY )之间满 足下列关系式 H (XY ) H2 (pe) + pe log (k-1)；Fano不等式的物理意 义：（1）H2 (pe)为是否判对的疑义度；（2）如果判决出错（概率为 pe），错在k-1中的符号中的一个，疑义度不会超过log(k-1). 3（6分）答：卷积码的描述方法有：转移函数矩阵、状态流图、网格 图。转移函数矩阵描述方法将矩阵、多项式与编码器结构的关系描述的 很清楚，状态流图揭示了卷积码的内在特性，网格图将状态转移展开于 时间轴上，使编码的过程显示的很清楚。 4（6分）答：答：给定熵为H（X）的离散无记忆信源 ，其L次扩展信 源 的熵记为H（X），给定有D个元素的码符号集，对扩展信源进行编 码，总可以找到一种惟一可译码，使码长满足，L为信源序列长度。 三、证明题（10分） 因为 （4分） （6分） 四、计算题（共46分） 1、（共8分）解：根据题意，“没有不及格”或“pass”的概率为 因此当教师通知某甲“没有不及格”后，甲获得信息 在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及 格”（D）的概率相同： 为确定自己的成绩，甲还需信息 （评分标准：每问计算正确得4分） 2（8分）解：定义域 Dmin=0 (4分) 值域Rmin(D)=0， （4分） 3（10分）解：1）p(y1=0)=；p(y2=1)= ； （6分） 2） 输入概率分布p(x1)=p(x2)=0.5 （4分） 4解：（1）n=6,k=3，由C=mG可得所有码字为： 000000，001011，010110，011101，100101，101110，110011，111000 （3分） 2）此码是系统码，由G知，P=，得 （3分） 3）由H可知，其任意两列线性无关，而有3列线性相关，故dmin=3，能 纠正一位错误。 错误图样e 伴随式 000001 001 000010 010 000100 100 001000 011 010000 110 100000 101 （2分） (4)由知e=010000，则译码结果c=y+e=010110 （2分） 5（10分）（1）H(X)=-=1.98(b/s) （2分） （2）二进制香农码 x1 x2 x3 x4 x5 x6 x7 x8 0 10 110 1110 11110 111110 1111110 11111111 （3分） 二进制费诺码 x1