信息论与编码习题.ppt

1、第3章复习,信道参数：用转移概率表示信道 信道模型 二进制离散信道BSC 离散无记忆信道DMC 波形信道,1,1,9/24/2020,信道容量,信道上每传送一个符号(每使用一次信道)所能携带的比特数，即比特/信道符号(bits/symbol或bits/channel use)。 如果已知信道符号传送周期是T秒，此时Ct=C /T，比特/秒(bits/s),2,2,9/24/2020,DMC信道的容量,对称DMC信道的容量：当信道输入符号等概分布时，可达到其信道容量 BSC信道的容量：m2 准对称信道的容量,3,3,9/24/2020,带限波形信道的容量,条件： 信道带宽W受限 噪声为加性高斯白

2、噪声（均值为零，功率谱密度为N0） 输入信号平均功率受限PS 若输入信号是平均功率受限的高斯白噪声信号，可达信道容量 香农公式： 香农限：1.6dB,4,4,9/24/2020,习题,5,设二元对称信道的传递矩阵为 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；,6,9/24/2020,某信源发送端有2个符号Xi ，i1，2； ，每秒发出一个符号。接受端有3种符号yj ，j1，2，3，转移概率矩阵为 （1）计算接受端的平均不确定度； （2）计算由于噪声产生的不确定度

3、 ； （3）计算信道容量。,其最佳输入分布为,7,9/24/2020,解：,8,9/24/2020,9,9/24/2020,10,9/24/2020,11,9/24/2020,12,9/24/2020,13,9/24/2020,14,9/24/2020,15,9/24/2020,16,9/24/2020,17,9/24/2020,18,9/24/2020,19,9/24/2020,20,9/24/2020,21,9/24/2020,22,9/24/2020,23,9/24/2020,24,9/24/2020,25,9/24/2020,26,9/24/2020,27,9/24/2020,28,9

4、/24/2020,29,9/24/2020,第6章信道编码复习,概念： 差错符号、差错比特 差错图样：随机差错、突发差错 纠错码分类：检和纠错码、分组码和卷积码、线性码与非线性码 、纠随机差错码和纠突发差错码,30,9/24/2020,矢量空间与码空间,n维n重空间有相互正交的n个基底 选择k个基底构成k维n重码空间C 选择另外的(n-k)个基底构成空间H C和H是对偶的，正交的 CHT0, GHT=0,31,9/24/2020,有扰离散信道的编码定理,若传信率RC，就不可能有任何一种编码能使差错概率任意小。,32,9/24/2020,差错控制的途径,从公式 增大码长N 增大可靠性函数E(R)

5、：加大信道容量C 减小码率(传信率)R。 从概念上 利用冗余度（增强相关性） 噪声均化(随机化),33,9/24/2020,最优译码与最大似然译码,最佳译码 Max P(ci /r)，性能优，实现难 最大似然译码 Max P(r / ci)，性能次优，实现容易 最佳译码等同最大似然译码： 码集的码字以相同概率发送 接收码等概分布,34,9/24/2020,线性分组码,线性分组码基本概念 码元、码字、码集 重量、重量分布、恒重码 线性码（封闭性） 基底、矢量正交、矢量空间正交、对偶空间、线性相关、线性无关,35,9/24/2020,生成矩阵和校验矩阵,生成矩阵G：CmG 校验矩阵H：CHT0 系

6、统形式：GIk|P，HPT|In-k 差错图案E=R-C，伴随式SRHTEHT 标准阵列译码表,36,9/24/2020,码距与纠、检错能力,码的总体性能取决于码距的分布特性（重量谱），而纠、检错能力取决于其中的最小者dmin ，dmin = min w (C i ) 检、纠错能力： 可检dmin1个差错 可纠t= INT(dmin1)/2个差错 校验矩阵H中有（dmin-1)列线性无关 dmin (n-k+1)，极大最小距离码,37,9/24/2020,特殊的线性分组码,完备码 汉明码： t=1，(2m-1，2m-1-m) 高莱（Golay）码：二进制（23，12）线性码，其最小距离dmin

7、7，纠错能力t=3,38,9/24/2020,循环码,循环码用多项式表示： C(x)=m(x)g(x) 生成多项式： xn+1g(x)h(x) 校验多项式：C(x)h(x)=0 mod(xn+1) g(x)x n-k + gn-k-1 x n-k-1+ g1 x +1 系统循环码：C(x) = xn-k m(x) + r (x)， r (x) = xn-k m(x) mod g(x),39,9/24/2020,扩展码和缩短码,扩展码 校验矩阵He ,缩短码 生成矩阵G,40,H,9/24/2020,卷积码,(n,k,L) 表示：矩阵、多项式、结构图、状态图、网格图,41,9/24/2020,42,9/24/2020,43,9/24/2020,44,9/24/2020,45,9/24/2020,46,9/24/2020,47,9/24/2020,48,9/24/2020,49