信息论与编码信道及其容量ppt课件

1、第3章 信道及其容量n信道的数学模型及分类n信道疑义度与平均互信息n信息传输率与信道容量n离散单个符号信道的信道容量n离散无记忆序列信道的信道容量n串联信道和并联信道的信道容量n延续信道及其容量n信源与信道的匹配n信道编码定理简介学习得来终觉浅，绝知此事要自悟3.1 信道的数学模型与分类 信道的分类 信道的数学模型与参数信道的分类 输入输出随机信号的特点：离散信道、延续信道和半离散/半延续信道； 输入输出随机变量个数的多少：单符号信道、多符号信道； 信道用户的多少输入输出个数：单用户信道、多用户信道； 输入端和输出端的关联：无反响信道、有反响信道；信道的分类 信道参数与时间的关系：固定参数恒参

2、、平稳信道和时变参数随参、非平稳，time-varying信道； 信道上有无干扰：有干扰信道、无干扰信道； 信道有无记忆特性：有记忆信道、无记忆信道； 还可以根据载荷音讯的介质和信号的方式不同进展分类。c1段，信号普通是延续的，所以该段为延续信道，调制信道c2为离散信道，编码信道；c3为半离散、半延续信道；c4为半延续、半离散信道。信源编码媒介译码信宿干扰C1C2C3C4AB通讯系统中广义信道的分类 调制信道； 编码信道。 信道的根本特征包括输入、输出以及输入和输出之间的关系。 假设输入矢量为 =(x1, x2, , xN)，输入的矢量分量选择于符号集 A=a1, a2, , ar，输出矢量

3、=(y1, y2, , yN)，输出的矢量分量选择于符号集 B=b1, b2, , bs信道的数学模型与参数XY无干扰无噪信道 由于没有噪声，所以输入可以决议输出，即存在确定的函数f，Y=f(X)。)(, 0)(, 1)/(xyxyXYffp单符号离散信道 输入单符号变量X，取自符号集 A=a1， a2， ， ar； 输出单符号变量Y，取自符号集 B=b1， b2， ， bs； 由于信道的干扰使输入符号x在传输中发生错误，这种错误是随机发生的，所以可以用条件概率转移概率来表示噪声的干扰：p(y|x)= P(y=bj|x=ai)=p(bj|ai)； 单个符号的离散信道的转移概率通常用信道转移概率

4、矩阵表示：普通为了简化，记pij= p(bj|ai)，那么信道转移概率矩阵可以表示为 )a|b( p)a|b( p)a|b( p)a|b( pPrsr11s11rsr11s11Ppppp二元对称信道(BSC)有干扰无记忆离散信道 信道无记忆指的是输出只与当前输入有关，而与非该时辰的输入信号、输出信号都无关。 有干扰无记忆信道有以下性质： 离散无记忆信道 ( DMC)1122111(,/,)(/)nnnnnkkkkkpYy YyYyXxXxpYyXx有干扰有记忆离散信道 在这一类信道中某一瞬间的输出符号不但与对应时辰的输入符号有关，而且还与此以前其他时辰信道的输入符号及输出符号有关，这样的信道称

5、为有记忆信道。由于有记忆信道的转移概率计算涉及到太多的参数，因此对它的分析和计算更加复杂。提倡采用两种方法进展简化处置： 1将记忆性较强的N个符号当作一个N维矢量进展整体的处置，而各个矢量之间当作无记忆的。 2把信源序列的转移概率当作马尔可夫链的方式，即假设信道为有限记忆的。以上方法都是进展了简化和近似处置，会带来一定误差。离散输入延续输出信道 离散时间无记忆信道中最重要的一种是加性高斯白噪声AWGN信道。22() /21()2iyxip y xe 波形信道 信道转移概率密度函数为 根据多维延续信道的转移概率密度函数能否满足独立性条件将其分为延续有记忆信道和延续无记忆信道。1212,()(,)

6、YYNNpy xpy yyx xx 1()()NYYlllpy xpy x 普通在这种信道中，噪声和信号通常相互独立，所以,( , )( , )( )( )X YX nX nnpx ypx npx p n,( , )( , )()( )( )( )X YX nYnXXpx ypx npy xpnpxpx 3.2 信道疑义度与平均互信息疑义度和平均互信息量是研讨信道的重要参数，相关的分析和性质参见第二章，在此不赘述。3.3 信息传输率与信道容量 信道的输入X x1,x2,xi,xn，输出Y y1,y2,yj,ym 将信道中平均每个符号所能传送的信息量定义为信道的信息传输率R，它的值就是平均互信息

7、量，即R=I(X;Y)= H(X)-H(X|Y) bit/符号 信道容量CChannel capacity：在信道中最大的信息传输速率，单位是比特/信道符号 单位时间的信道容量Ct：假设信道平均传输一个符号需求t秒钟，那么单位时间的信道容量为：()()maxmax (; )(/)iip xp xCRI X Y比特 信道符号3.4 离散单个符号信道的信道容量 3.4.1 特殊离散信道 3.4.2 对称DMC信道 3.4.3 准对称DMC信道 3.4.4* 具有可逆矩阵信道 3.4.5* 普通DMC信道3.4.1 特殊离散信道 1具有一一对应关系的无噪信道1 0 0000 0 10 1 0000

8、1 00 0 1001 0 00 0 0110 0 0 2具有扩展性能的离散有噪声信道1121314252627383(/)(/)(/)00000000(/)(/)(/)00000000(/)(/)p yxp yxp yxp yxp yxp yxp yxp yx 3具有归并性能的无噪信道100100010010001P 4输入输出独立信道 (全损信道 ) H(X|Y) = H(X)，H(Y|X) = H(Y) I(X;Y) = H(X)H(X|Y)，所以 I(X;Y) = 0， 信道的输入和输出没有依赖关系，信息无法传输，信道容量为0，称为全损信道。3.4.2 对称DMC信道 以下两个转移概率

9、矩阵即为对称信道3131616161613131216131312161613121那么条件熵显然这个值与信道输入符号的概率分布p(ai)无关，在信道的转移概率确定的情况下，这个值是一个确定值，所以信道容量为当Y是等概率分布的时候，其熵取最大值，即只需X的某一概率分布使得收到的符号Y是等概率，那么ijmjijppmYXHmCloglog|(log1）例3-2 知P矩阵，求C。解：1/3 1/3 1/6 1/61/6 1/6 1/3 1/31 1 1 14( , , , )0.082/3 3 6 6PClbHbit则符号对称信道有如下定理：定理3-1 对于单个音讯离散对称信道，当且仅当信道输入输

10、出均为等概率分布时，信道到达容量值。例3-3 求信道容量3131616161613131P符号/082. 0)61,61,31,31(4log2bitHC二进制对称信道的C值：1-1-ppPpplog2( ,1) 1( )CH ppH p 00.20.40.60.8100.20.40.60.81例3-4 设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量。所以有I(X;Y)=1-H()，I(X;Z)=1-H2 (1-)1121PP222221)1 ()1 (2)1 (2)1 (1111PPP与I的关系00.5100.20.40.60.81m=1 m=2 m=3 3.4.3 准

11、对称DMC信道 准对称DMC信道是对称信道的推行，例如：3 / 16/ 13 / 16/ 16/ 16/ 13 / 13 / 11P7 . 01 . 02 . 02 . 01 . 07 . 02P 准对称DMC信道的容量 它的信道容量直接求解较为复杂。有以下定理可以有助于求解信道容量。 定理3-2当输入分布为等概分布时，互信息到达最大值，所以对于单音讯，离散，准对称信道，当且仅当信道输入为等概率分布时，信道达容量值。ijmjijppmYXHmCloglog|(log1）例3-5 求信道容量。解：信道的输入符号有两个，可设p(a1)，p(a2)1，信道的输出符号有三个，用b1、b2、b3表示2

12、. 05 . 03 . 02 . 03 . 05 . 0P()( ) (/)jijiip bp a p ba 2 . 0)1 ( 2 . 02 . 0)(2 . 05 . 0)1 ( 5 . 03 . 0)(2 . 03 . 0)1 ( 3 . 05 . 0)(321bpbpbpjjijijijijI(X;Y) H(Y) H(Y/ X)p(b )lnp(b )p(a ) p(b /a )lnp(b /a )0)Y;X(I符号/bit036. 0)Y;X( ImaxC方法二当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/20.4C=H(Y)-H(Y/X)=0.036bit/符

13、号 方法三可以证明，假设将转移概率矩阵划分成假设干个互不相交的对称的子集，那么信道容量rkkksMNpppHnC121log) , , (log例3-6求信道容量3/ 16/ 13/ 16/ 16/ 16/ 13/ 13/ 11P符号/041. 0)6/16/1 (log6/1)3/13/1 (log3/1)6/13/1 (log)6/13/1 ()6/1 , 6/1 , 3/1 , 3/1 (2log2222bitHC3.4.4* 具有可逆矩阵信道 这类信道由于要求信道转移矩阵的逆存在，它必然要求信道输入输出具有一样数量的元素。即nm，P为方阵，且为正那么方阵。 具有可逆矩阵信道的信道容量为

14、jijikjijijiikRPPPPPRC)( , )( log explog13.4.5* 普通DMC信道 为使I (X;Y)最大化以便求取DMC容量，输入概率集p(xi)必需满足的充分和必要条件是：I (xi;Y)C，对于一切满足p(xi)0条件的i；I (xi;Y)C，对于一切满足p(xi)0条件的i。 当信道平均互信息到达信道容量时，输入符号概率集p(xi)中每一个符号xi对输出端Y提供一样的互信息，只是概率为零的符号除外。以上约束条件只是给出充分必要条件，但是并没有给出详细值。因此还需求采用计算机迭代的方法求解，普通情况下，最正确输入概率分布不一定是独一的。3.5 离散无记忆序列信道

15、的信道容量其他有记忆信道平稳，有记忆信道有记忆信道平稳无记忆信道一般无记忆信道无记忆信道离散序列信道 定义：多符号离散信源矢量 =X1X2XL在L个不同时辰分别经过单符号离散信道X， P(Y|X)，Y，那么在输出端出现相应的随机序列 =Y1Y2YL，这样构成一个新的信道称为离散序列信道 。由于新信道相当于单符号离散信道在L个不同时辰延续运用了L次，所以也称为单符号离散信道X P(Y|X) Y的L次扩展。XYY )X|YP( X， 假设信道输入序列为 ，输出序列 ，由于无记忆，可得相应转移条件概率为12( , ,)Nxx xx12(,)Nyy yy1( / )(/ )Niiip y xp y x

16、 离散无记忆序列信道的数学模型如下： 无记忆离散序列信道的输入矢量X的能够取值有个，而输出矢量Y的能够取值有个。其信道转移矩阵为：对于离散序列信道，可以证明：1、当信道无记忆的时候有上式在信源无记忆时等号成立。了解：假设信源有记忆，信道传送的信息必然存在冗余度，这使得整体传送的信息量减少。要极大传输信息，以上结论对于我们有什么启示？在编码中有什么运用？1()()NiiiI XYI XY ；2、当输入矢量的各个分量独立信道不一定无记忆时候有 上式在信道无记忆时等号成立。了解：假设信道有记忆，输出端接纳到的符号序列中，后面收到的符号带有前面符号的信息，可以将相关的符号作为一个整体编码来获取关于发送

17、的序列的信息，这种整体的编码使得我们可以获得输入符号序列的更多信息。这对于纠错编码具有什么启示？1()()NiiiI X YI XY ； 假设信道无记忆，并且输入矢量的各个分量独立信源也无记忆的时候有 对于离散无记忆序列信道，信道容量等于平均互信息量的最大值，所以1()()NiiiI X YI X Y ；( )( )1()11max (;)max(;)max (;)iNNiip xp xiNNiiip xiiCI XYI XYI XYC 所以，离散平稳无记所以，离散平稳无记忆忆N个符号的序列信个符号的序列信道的信道容量等于单道的信道容量等于单个符号的信道容量的个符号的信道容量的N倍。信源无记忆

18、时倍。信源无记忆时，信息传输率才干达，信息传输率才干达到信道容量。到信道容量。 例3-7 BSC信道的转移概率矩阵为 求BSC二次扩展信道？ 解：对应的转移概率矩阵：是一个对称DMC信道，当输入序列等概分布时，容量为：22222222(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)ppppppppppppPpppppppppppp1-pp1-pPp222log4(1) , (1), (1),)CHppp pp p3.6 串联信道和并联信道的信道容量 3.6.1 串联信道及其信道容量 3.6.2* 并联信道及其信道容量3.6.1 串联信道及其信道容量 音讯具有非增性，串接

19、的信道越多，其信道容量能够会越小，当串接信道数无限大时，信道容量就有能够趋于零。 ( /)1Zp z xy ( / )1Yp y x X Y Z 信道I p(y/x) 信道II p(z/xy) 例3-8 如今有两个信道串联，转移概率矩阵如下：100111213330113301222033和 例3-9 二进制对称信道转移概率矩阵如下：即串联信道的平均互信息量信道容量要低于其中的恣意一段，以及其中的一部分的信道容量。以此可以得出串联信道的信道容量也满足不增性。3.6.2* 并联信道及其信道容量 1.输入并接信道1 21211 2121231 21 21111 22()()(/ )(/)()(/

20、)(/)(/)()(/)(/)NNNNNNNNNNI X YYYI X YI X Y YI X Y YYYI X YI X Y YI X Y YYI X Y YYYI X YI X Y YI X YYYY Y ；( )max()p xCH X可以得出并联后的信道容量C要大于恣意的单个信道的信道容量，但是有小于信息的最大熵logmm为输入符号集中符号数目 2.并用信道所以并用信道的信道容量为即并用信道的信道容量为一切被并联的信道容量之和。当输入符号相互独立，且每一个信道的输入到达各自信道对应的最正确概率分布时，平均互信息量才干到达信道容量。( )( )11max ()max()NNiiip xp

21、 xiiCI XYI XYC ； 3.和信道 和信道的信道容量计算较为复杂，需求思索各个信道的利用率，限于其运用及价值，在这里不再赘述，有兴趣请参考曲炜，朱诗兵的。3.7 延续信道及其容量 3.7.1 延续单符号加性信道 3.7.2 多维无记忆加性延续信道 3.7.3 限时限频限功率的加性高斯白噪声信道3.7.1 延续单符号加性信道上图为延续单符号信道模型。定义：信源X等于某一概率密度函数p (x)时，信道平均互信息的最大值，即为延续信道的信道容量C( )max(; )p xCI X Y上图为加性噪声的干扰信道模型。加性延续信道的信道容量：加性噪声N和信源X相互统计独立，X的概率密度函数p(x

22、)的变动不会引起噪声熵Hc(N)的改动，所以加性信道的容量C就是选择p(x)，使输出熵Hc(Y)到达最大值，即：( )max( )()ccp xCHYHN高斯加性信道的信道容量：高斯噪声为N，均值为0，方差为 ，噪声功率为P；概率密度函数为pn(N)=N(0, )， 噪声的延续熵为高斯加性延续信道的容量等于22221()log22cHNe 22( )( )1max( )()max( )log 22cccp xp xCH YHNH Ye px(x)=N(0,S)，即输入X满足正态分布时，Hc(Y)到达最大值，到达信道容量。因此，高斯加性信道的信道容量为留意，由于是加性信道，2222( )11ma

23、x( )log 2()log 222cXYp xH YeeP 2222222211log 2log 22211log ()log (1)22CePeSS 2SP3.7.2 多维无记忆加性延续信道 由于信道无记忆，所以 根据加性信道的性质，噪声各个时辰是独立的，所以有L1lll)x|y(p)X|Yp(L1llnYn)(np)X|Y(p)n(p根据信道容量的定义，最终可得LlllpPIC12)()1log(21);(maxYXx对于多维无记忆加性延续信道，有以下结论： (留意n的下标为l，而非数字1)，那么有信道容量当且仅当输入矢量X各分量统计独立，且各分量都服从时，信息传输率到达最大。l=(0

24、,)xNSa)在噪声平均功率过大，甚至超越输出平均功率时，可以不给予功率，即不发送信号;b)在噪声平均功率较大，但还没有超越输出平均功率时，我们可以少给点输入平均功率;c)在噪声平均功率较小的时间里，我们可以多给点输入平均功率。3.7.3 限时限频限功率的加性高斯白噪声信道 波形信道的平均互信息量 信息传输率Rt 信道容量1lim(;)/BttBRI X Y bitst ( )1maxlim(; )/Btp xBI X Ybit stCt高斯白噪声信道容量假设信号的平均功率Pl受限于Ps，那么Pl每个信号样本值的平均功率为 。可得2211log (1)2LlllPC/ 2/ 2lsPPTWTPW 信道每秒传输2W个样点，所以单位时间的信道容量为： 香农公式20limlog (1)(/