信息论信道容量

1、3.1 信道模型与分类信道模型与分类3.2 离散无记忆信道离散无记忆信道3.3 离散无记忆扩展信道离散无记忆扩展信道3.4 连续信道连续信道3.5 信道编码定理信道编码定理第第3章章 信道容量信道容量3.1 信道模型与分类信道模型与分类3.1.1 信道模型信道模型3.1.2 信道的分类信道的分类P(Y/X)XY信道的数学模型信道的数学模型：X P(Y/X) Y3.1.1 信道模型信道模型信道的分类信道的分类无干扰信无干扰信道道有干扰信有干扰信道道有干扰信道有干扰信道：存在干扰或噪声，或两者都有的信道。：存在干扰或噪声，或两者都有的信道。无干扰信道无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略

2、不计的：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。信道。3.1.2 信道的分类信道的分类信道的分类信道的分类有记忆信有记忆信道道无记忆信无记忆信道道有记忆信道有记忆信道：信道输出不仅与当前输入有关，还与过去输入和：信道输出不仅与当前输入有关，还与过去输入和过去输出有关的信道。过去输出有关的信道。无记忆信道无记忆信道：信道输出仅与当前输入有关，而与过去输入无关：信道输出仅与当前输入有关，而与过去输入无关的信道。的信道。信道的分类信道的分类单符号单符号 信道信道多符号多符号信道信道单符号信道单符号信道：输入和输出端都只用一个随机变量表示。：输入和输出端都只用一个随机变量表示。多符号信道多符号

3、信道：输入和输出端用随机变量序列或随机矢量来表示。：输入和输出端用随机变量序列或随机矢量来表示。信道的分类信道的分类单用户信单用户信道道多用户信多用户信道道单用户信道单用户信道：只有一个输入和一个输出的信道：只有一个输入和一个输出的信道多用户信道多用户信道：有多个输入和多个输出的信道：有多个输入和多个输出的信道信道的分类信道的分类连续连续信道信道半离散信道半离散信道离散离散信道信道离散信道离散信道：输入和输出随机变量都取离散值的信道：输入和输出随机变量都取离散值的信道连续信道连续信道：输入和输出随机变量都取连续值的信道：输入和输出随机变量都取连续值的信道半离散信道半离散信道：输入变量取离散值而

4、输出变量取连续值，或反之：输入变量取离散值而输出变量取连续值，或反之nxxxX,21p(yj/xi)XYmxxxY,21单符号离散信道的数学模型单符号离散信道的数学模型 nmnnmmxyxyxyxyxyxyxyxyxyppppppppp,212222111211信道转移概率矩阵信道转移概率矩阵：信道容量信道容量)()(max )()(max );(max)()()(XYHYHYXHXHYXICiiixpxpxp);(max1)(YXItCixpt单位单位：比特：比特/秒秒1. 简单离散信道的信道容量简单离散信道的信道容量（1）一一对应的无噪无损信道）一一对应的无噪无损信道xn ynx1 y1x

5、2 y21.000.0.0100.100nxxxX,21nyyyY,21x1 y1x2 y2xn-1 yn-1xn yn00.10000.010.10.00001.000X、Y一一对应一一对应 CmaxI(X;Y)log np(xi)x1 y1 y2 y3（2）具有扩展性能的无损有噪信道）具有扩展性能的无损有噪信道x2 y4 y5 y6x3 y7 y8 38372625241312110000000000000000 xyxyxyxyxyxyxyabpppppppp此时，此时，H(X/Y)=0，H(Y/X) 0，且且 H(X) H(Y)。此时，此时，C = max H(X) = log n p

6、(xi)一个输入对应多个输出一个输入对应多个输出（3）具有归并性能的无噪有损信道）具有归并性能的无噪有损信道x1 y1x2 x3 y2x4100010010001001x5 y3C = max H(Y) = log mp(xi)H(X/Y) 0，H(Y/X) = 0多个输入变成一个输出多个输入变成一个输出（1）离散对称信道的信道容量）离散对称信道的信道容量矩阵中的每行都矩阵中的每行都 是集合是集合P = p1, p2, , pn中的诸元素的不同排列，称中的诸元素的不同排列，称矩阵的行是可排列的。矩阵的行是可排列的。矩阵中的每列都是集合矩阵中的每列都是集合Q = q1, q2, ,qm中的诸元素

7、的不同排列，称中的诸元素的不同排列，称矩阵的列是可排列的。矩阵的列是可排列的。2. 离散对称信道的信道容量离散对称信道的信道容量如果矩阵的行和列都是可排列的，称矩阵是可排列的。如果矩阵的行和列都是可排列的，称矩阵是可排列的。如果一个信道矩阵具有可排列性，则它所表示的信道如果一个信道矩阵具有可排列性，则它所表示的信道称为称为对称信道对称信道练习：判断下列矩阵表示的信道是否是对练习：判断下列矩阵表示的信道是否是对 称信道称信道 61316131616131313p 40.7 0.2 0.10.1 0.2 0.7p 31316161616131311p3121612161316131212pnxpi

8、1)(相应的相应的对称离散信道的信道容量对称离散信道的信道容量minimjijijinimjijijiHxypxypxpxypxypxpXYH )/(log)/()( )/(log)/()()/(1111mimixpHmHYHCilog)(max)(pnpnpnpnppnpnpnpp1111.1.111.11n X np：总体错误概率：总体错误概率nxxxX,21nxxxY,21（2）强对称信道的信道容量）强对称信道的信道容量niniininjijijininjijijiHnppppnppppxpxypxypxpxypxypxpXYH1log)1log()1(1log)1log()1)()/(

9、log)/()()/(log)/()()/(nxpi1)(相应的相应的ninxpxpxpHnHYHXYHYHYXICiiiilog )(max )/()(max );(max)()()(强对称信道与对称信道比较：强对称信道与对称信道比较： 强对称强对称 对称对称 n=m n与与m未必相等未必相等 矩阵对称矩阵对称 矩阵未必对称矩阵未必对称 P=Q P与与Q未必相等未必相等行之和，列之和均为行之和，列之和均为1行之和为行之和为1（3）准对称离散信道的信道容量）准对称离散信道的信道容量若信道矩阵的若信道矩阵的行是可排列行是可排列的，但的，但列不可排列列不可排列，如果把列，如果把列分成若干个不相交的

10、子集，且由分成若干个不相交的子集，且由n行行和各子集的诸列构成和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称的各个子矩阵都是可排列的，则称相应的信道为准对称信道。信道。8181214181814121miHXYH)/()(max)(mixpHYHCi可以证明达到信道容量的输入分布是等概率分布的。设准对称离散信道可以证明达到信道容量的输入分布是等概率分布的。设准对称离散信道矩阵可划分为矩阵可划分为r个互不相交的子集。个互不相交的子集。Nk是第是第k个子矩阵中的行元素之和，个子矩阵中的行元素之和，Mk是第是第k个子矩阵中列元素之和。经分析可计算出准对称离散信道容量为个子矩阵中列元素之和。经分析可计算出准对称离散信道容量为rkkkmMNpppHnC12212log),(log其中其中n是输入符号集的个数，是输入符号集的个数， 为准对称离散信道矩阵中的行元素。为准对称离散信道矩阵中的行元素。),(21mppp作业：作业：3.7 3.123.7 设二元对称信道的传递矩阵为32313132(1) 若p(0) = 3/4, p(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求该信