信息论与编码习题

信息论与编码习题小桔灯这是十几年以前的事了。在一个春节前一天的下午，我到重庆郊外去看一位朋友。她住在那个乡村的乡公所楼上。走上一段阴暗的仄仄的楼梯，进到一间有一张方桌和几张竹凳、墙上装着一架电话的屋子，再进去就是我的朋友的房间，和外间只隔一幅布帘。她不在家，窗前桌上留着一张条子，说是她临时有事出去，叫我等着她。我在她桌前坐下，随手拿起一张报纸来看，忽然听见外屋板门吱的一声开了，过了一会儿，又听见有人在挪动那竹凳子。我掀开帘子，看见一个小姑娘，只有八九岁光景，瘦瘦的苍白的脸，冻得发紫的嘴唇，头发很短，穿一身很破旧的衣裤，光脚穿一双草鞋，正在登上竹凳想去摘墙上的听话器，看见我似乎吃了一惊，把手缩了回来。我问她：“你要打电话吗？”她一面爬下竹凳，一面点头说：“我要××医院，找胡大夫，我妈妈刚才吐了许多血！”我问：“你知道××医院的电话号码吗？”她摇了摇头说：“我正想问电话局……”我赶紧从机旁的电话本子里找到医院的号码，就又问她：“找到了大夫，我请他到谁家去呢？”她说：“你只要说王春林家里病了，她就会来的。”信息论与编码习题信息论与编码习题小桔灯这是十几年以前的事了。在一个春节前一天的下午，我到重庆郊外去看一位朋友。她住在那个乡村的乡公所楼上。走上一段阴暗的仄仄的楼梯，进到一间有一张方桌和几张竹凳、墙上装着一架电话的屋子，再进去就是我的朋友的房间，和外间只隔一幅布帘。她不在家，窗前桌上留着一张条子，说是她临时有事出去，叫我等着她。我在她桌前坐下，随手拿起一张报纸来看，忽然听见外屋板门吱的一声开了，过了一会儿，又听见有人在挪动那竹凳子。我掀开帘子，看见一个小姑娘，只有八九岁光景，瘦瘦的苍白的脸，冻得发紫的嘴唇，头发很短，穿一身很破旧的衣裤，光脚穿一双草鞋，正在登上竹凳想去摘墙上的听话器，看见我似乎吃了一惊，把手缩了回来。我问她：“你要打电话吗？”她一面爬下竹凳，一面点头说：“我要××医院，找胡大夫，我妈妈刚才吐了许多血！”我问：“你知道××医院的电话号码吗？”她摇了摇头说：“我正想问电话局……”我赶紧从机旁的电话本子里找到医院的号码，就又问她：“找到了大夫，我请他到谁家去呢？”她说：“你只要说王春林家里病了，她就会来的。”信道容量信道上每传送一个符号(每使用一次信道)所能携带的比特数，即比特/信道符号(bits/symbol或bits/channeluse)。如果已知信道符号传送周期是T秒，此时Ct=C/T，比特/秒(bits/s)22信道容量信道上每传送一个符号(每使用一次信道)所能携带的比特数，即比特/信道符号(bits/symbol或bits/channeluse)。如果已知信道符号传送周期是T秒，此时Ct=C/T，比特/秒(bits/s)22DMC信道的容量对称DMC信道的容量：当信道输入符号等概分布时，可达到其信道容量BSC信道的容量：m＝2准对称信道的容量33带限波形信道的容量条件：信道带宽W受限噪声为加性高斯白噪声（均值为零，功率谱密度为N0）输入信号平均功率受限PS若输入信号是平均功率受限的高斯白噪声信号，可达信道容量香农公式：香农限：－1.6dB44习题设二元对称信道的传递矩阵为(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；某信源发送端有2个符号Xi，i＝1，2；，每秒发出一个符号。接受端有3种符号yj，j＝1，2，3，转移概率矩阵为（1） 计算接受端的平均不确定度；（2） 计算由于噪声产生的不确定度；（3） 计算信道容量。其最佳输入分布为第6章信道编码复习概念：差错符号、差错比特差错图样：随机差错、突发差错

纠错码分类：检和纠错码、分组码和卷积码、线性码与非线性码、纠随机差错码和纠突发差错码

30矢量空间与码空间n维n重空间有相互正交的n个基底选择k个基底构成k维n重码空间C选择另外的(n-k)个基底构成空间HC和H是对偶的，正交的

CHT＝0,GHT=031

n维n重空间V

k维k重k维n重n-k维信息组码空间n重H

空间mC有扰离散信道的编码定理若传信率R<C，存在一种信道码（及解码器），可实现差错概率任意小的可靠通信。如果R>C，就不可能有任何一种编码能使差错概率任意小。32差错控制的途径从公式增大码长N增大可靠性函数E(R)：加大信道容量C

减小码率(传信率)R。从概念上利用冗余度（增强相关性）噪声均化(随机化)33最优译码与最大似然译码最佳译码＝MaxP(ci

/r)，性能优，实现难最大似然译码＝MaxP(r/ci)，性能次优，实现容易最佳译码等同最大似然译码：码集的码字以相同概率发送接收码等概分布34线性分组码线性分组码基本概念码元、码字、码集重量、重量分布、恒重码线性码（封闭性）基底、矢量正交、矢量空间正交、对偶空间、线性相关、线性无关35生成矩阵和校验矩阵生成矩阵G：C＝mG校验矩阵H：CHT＝0系统形式：G＝[Ik|P]，H＝[PT|In-k]差错图案E=R-C，伴随式S＝RHT＝EHT标准阵列译码表36码距与纠、检错能力码的总体性能取决于码距的分布特性（重量谱），而纠、检错能力取决于其中的最小者dmin

，dmin=min{w(Ci)

检、纠错能力：可检dmin–1个差错可纠t=INT[(dmin–1)/2]个差错校验矩阵H中有（dmin-1)列线性无关

dmin

(n-k+1)，极大最小距离码

37特殊的线性分组码完备码汉明码：t=1，(2m-1，2m-1-m)高莱（Golay）码：二进制（23，12）线性码，其最小距离dmin＝7，纠错能力t=3

38循环码循环码用多项式表示：C(x)=m(x)g(x)生成多项式：xn+1＝g(x)h(x)校验多项式：C(x)h(x)=0mod(xn+1)g(x)＝x

n-k

+gn-k-1x

n-k-1+…+g1x+1系统循环码：C(x)=