信息论总复习

1、精选优质文档-倾情为你奉上第一章作业题1. 设二元对称信道的传递矩阵为(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解：(1)2) 2. 设有一批电阻，按阻值分70%是2K，30%是5 K；按瓦分64%是0.125W，其余是0.25W。现已知2 K阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？解：对本题建立数学模型如下：以下是求解过程：3. 试求以下各信道矩阵代表的信道的容量： 解：(1) 这个信道是无噪无损信道：(2) 这个信

2、道是无噪有损信道(3) 这个信道是对称的离散信道(4) 这个信道是对称的离散信道4. 有一个二元对称信道，其信道矩阵为设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？解：信道容量计算如下：也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是：现在需要传送的符号序列有14000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是要求10秒钟传完，也就

3、是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。第一章作业题1. 试说明信息、消息和信号三者的联系与区别.A. 区别：(1).概念: 信息是事物运动状态或存在方式的不确定性描述；消息是指能被人的感觉器官所感知的事物运动状态或存在方式的表现形式；信号是消息的物理表现形式；(2). 信息是抽象的概念，消息是具体的概念，而信号则是物理性的概念B. 联系：消息中包含信息，是信息的载体，信息是消息中隐含的本质内容；信号是消息的表现形式，消息是信号的具体内容；信号是信息的物理载体，消息是信号中携带的内容 2. 从你的

4、实际生活中列举出三种不同类型的通信系统模型，并说明它们各自包括的主要功能模块及其作用. 答案很多。第二章作业题1. 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的，则任一特定排列所给出的信息量是：； (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：2. 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，

5、问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士：女士：3. 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：求：身高160厘米以上的某女孩是

6、大学生的信息量即：第6章 信道编码概述 习题答案1计算码长n=5的二元重复码的平均译码错误概率。假设无记忆二元对称信道错误传递概率为p。此码能检测出多少位错误？又能纠正多少位错误？如令p =0.01,平均译码错误概率是多大？解：码长n=5的二元重复码是（00000，11111），码间最短距离为5，dmin=5=e+1 e=4 可以检测出小于等于4位以下的错误。dmin=5=22+1=2t+1 t=2 可以纠正2位及2位以下的错误。2 设有一个离散无记忆信道，其信道矩阵为若信源概率分布为p(x1)=1/2，p(x2)=p(x3)=1/4，求最佳译码时的平均错误译码概率。解：极大似然译码规则译码时

7、，由转移概率矩阵可知：第一列中，第二列中，第三列中为转移概率的最大值，所以平均错误概率为：最小错误概率译码，输入x与输出y的联合概率分布为：由于可以看出最佳译码为最小错误概率译码，平均错误概率为3 将M个消息编成长为n的二元数字序列，此特定的M个二元序列从2n个可选择的序列中独立地等概率地选出。设采用最大似然译码规则译码，求在图6-8中(a)、(b)、(c)三种信道下的平均错误译码概率。(a)pp1- p001- p111001- p11p(b)E1- p001- p11 pp(c)图6-8 三个信道解：（1）由图可知，其转移概率矩阵为：该信道任意一个序列译码错误概率为：平均译码错误概率为：（

8、2）由图可知，其转移概率矩阵为：任意一个序列译码错误的概率为：平均译码错误概率为：（3）由图可知，其转移概率矩阵为：一个序列错误译码的概率为：平均译码错误概率为：4某一个信道输入X的符号集为0, 1/2, 1，输出Y的符号集为0, 1，信道矩阵为现有4个消息的信源通过该信道传输，设每个消息等概出现。若对信源进行编码，选用的码为C=(0, 0, 1/2, 1/2)，(0, 1, 1/2, 1/2)，(1, 0, 1/2, 1/2)，(1,1, 1/2, 1/2) 。译码规则为解：(1) 求信息传输率； bit/符号(2) 求平均错误译码概率。 根据信道的传输特性，可知可以输出24=16种序列，可

9、以分成4个子集，分别为： 传输信道如下所示： 译码规则为：每个码字引起错误的概率： i=1、2、3、4所以 第7章 线性分组码习题答案1. 已知一个(5, 3)线性码C的生成矩阵为：（1）求系统生成矩阵；（2）列出C的信息位与系统码字的映射关系；（3）求其最小Hamming距离，并说明其检错、纠错能力；（4）求校验矩阵H；（5）列出译码表，求收到r=11101时的译码步骤与译码结果。解：（1）线性码C的生成矩阵经如下行变换：得到线性码C的系统生成矩阵为（2）码字的编码函数为生成了的8个码字如下信息元系统码字00000000001001110100101001101101100100111011

10、01001101100111111110(3) 最小汉明距离d=2，所以可检1个错，但不能纠错。(4) 由，得校验矩阵(5) 消息序列m=000,001,010,011,100,101,110,111，由c=mGs 得码字序列c0=00000, c1=00111,c2=01010, c3=01101,c4=10011, c5=10100,c6=11001, c7=11110则译码表如下：000000011101010011011001110100110011111010000101111101011101000110010001001011100100001111000100010111011

11、1110010001101100000100110010110110010010101011100011111当接收到r =(11101)时，查找码表发现它所在的列的子集头为(01101)，所以将它译为c=01101。2设（7, 3）线性码的生成矩阵如下（1）求系统生成矩阵；（2）求校验矩阵；（3）求最小汉明距离；（4）列出伴随式表。解：（1）生成矩阵G经如下行变换得到系统生成矩阵：（2）由，得校验矩阵为（3）由于校验矩阵H的任意两列线性无关，3列则线性相关，所以最小汉明距离d=3。（4）（7, 3）线性码的消息序列m=000,001,010,011,100,101,110,111，由c=mG

12、s 得码字序列：c0=，c1=，c2=，c3=，c4=，c5=，c6=，c7=。又因伴随式有24=16种组合，差错图样为1的有，差错图样为2的有，而由，则计算陪集首的伴随式，构造伴随表如下：伴随式陪集首伴随式陪集首00000101110110011010111101111100100011100100101100100011000101103已知一个(6, 3)线性码C的生成矩阵为：（1） 写出它所对应的监督矩阵H；（2） 求消息M=(101)的码字；（3） 若收到码字为，计算伴随式，并求最有可能的发送码字。解：（1）线性码C的生成矩阵G就是其系统生成矩阵GS，所以其监督矩阵H直接得出：（2）消息M=(m0,m1,m2)=(101)，则码字c为：（3）收到码字r=()，则伴随式又（6, 3）线性码的消息序列m=000,001,010,011,100,101,110,111，由c=mGs 得码字序列：c0=，c1=，c2=，c3=，c4=，c5=，c6=，c7=。伴随式有23=8种情况，则计算伴随式得到伴随表如下：伴随式陪集首000101011110100010001111伴随式（001）对应陪集首为（），而c=r+e，则由收到的码字r=()，最有可能发送的码字c为：c=（）。4设(6,