信道与信道容量-3.ppt

1、信道与信道容量,第三章,2,3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量,内容,3,信道,设信道的输入X=(X1, X2 Xi, ), Xi a1 an 输出Y= (Y1, Y2 Yj,), Yj b1 bm 信道转移概率矩阵p(Y|X)： 描述输入/输出的统计依赖关系,反映信道统计关系,信 道,X,Y,p(Y|X),4,无干扰(无噪声)信道,无干扰(无噪声)信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就确知Y 转移概率:,5,有干扰无记忆信道,有干扰无记忆信道 信道的输出信号Y与输入信号X之

2、间没有确定的关系,但转移概率满足:,有干扰无记忆信道可分为: 二进制离散信道 离散无记忆信道 离散输入、连续输出信道 波形信道,6,离散无记忆信道DMC,信道输入是n元符号Xa1, a2, , an 信道输出是m元符号Yb1, b2, , bm 转移矩阵 已知X,输出Y统计特性,7,3.2 离散单个符号信道及其容量,8,信道容量,平均互信息I (X;Y)： 接收到符号Y后平均每个符号获得的关于X的信息量。,信道的信息传输率就是平均互信息,9,信道容量,信道容量C： 最大的信息传输率,单位时间的信道容量：,10,信道容量的计算,对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道：

3、离散信道可分成： 无干扰(无噪)信道 无嗓无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道,11,无干扰离散信道,无噪无损信道,有噪无损信道(一对多),无噪有损信道(多对一),12,3.2.1 对称DMC信道,对称离散信道： 对称性: 每一行都是由同一集p1, p2,pm 的诸元素不同排列组成输入对称 每一列都是由集q1, q2,qn的诸元素不同排列组成输出对称,满足对称性,所对应的信道是对称离散信道。,13,对称DMC信道,信道矩阵,不具有对称性,因而所对应的信通不是对称离散信道。,14,对称DMC信道,若输入符号和输出符号个数相同,都等于n,且信道矩阵为,此信道称为

4、强对称信道 (均匀信道) 信道矩阵中各列之和也等于1,15,对称DMC信道,对称离散信道的平均互信息为,16,对称DMC信道,对称DMC信道的容量：,上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1, p2,pm （第二项为矩阵任一行元素的信息熵 ）和输出符号集的个数m有关。,强对称信道的信道容量：,17,设二进制对称信道的输入概率空间 信道矩阵：,BSC信道容量,18,19,当p固定时,I (X;Y) 是的 型上凸函数。,I(X;Y),BSC信道容量,1-H(p),I (X;Y) 对存在一个极大值。,BSC信道容量,20,p,C,当固定信源的概率分布时,I (X;

5、Y) 是p的 型 下凸函数。,信道无噪声,当p = 0, C =10 = 1bit = H(X),当p =1/2,信道强噪声,BSC信道容量,BSC信道容量,21,信道容量,定理： 给定转移概率矩阵P后,平均互信息I (X;Y)是输入信源的概率分布p(ai)的 型上凸函数。,定理： 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。,信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。,22,离散无记忆模K加性噪声信道,X是信道输入，Z是信道干扰，Y为信道输出，取值空间均为同一整数集， X=Z=Y=0,1,K-1,Y=X Z mod K。 该信道称为离散无记忆模K加

6、性噪声信道。计算机系统和数字通信系统中有些情况下可用该模型描述。由信道的对称性及 可得该类信道的容量为,X,Z,Y,23,例3-3 离散无记忆模K加性噪声信道Y=X Z mod K，X和Y均取值于0,1,K-1, 求该信道容量。该信道可用右图表示，可明显看出对称DMC信道特征，信道转移概率矩阵为,0 1 K-1,0 1 2 K-1,24,利用 离散无记忆模K加性噪声信道容量公式 可得,25,当信源输入符号的速率为rs(符/秒),信道容量,BSC信道容量,实际信息传输速率Rt为,进入信道输入端的信息速率,等概分布,26,例BSC信道如图, rs=1000符号/秒,错误传递概率p=0.1 求:信道

7、容量, 0,Y,0.1, 1,0.9,输入符号等概时有最大信息传输速率,信道实际信息传输速率,0.1,0.9,1,0,x,27,串联信道,例3-4 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:,X0,0Z,Y,1,1,1-p,1-p,1-p,p,串联信道的转移矩阵为:,1-p,p,28,串联信道,X0,0Z,Y,1,1,求得:,在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。,p,p,1-p,1-p,1-p,1-p,29,串联信道,由信息不增原理,信道2,信道m,信道1,可以看出,串接的信道越多,其信道容量可

8、能会越小,当串接信道数无限大时,信道容量可能会趋于0,X,Y,Z,30,3.2.3 准对称DMC信道,准对称信道 转移概率矩阵P是输入对称而输出不对称 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵Pk是对称矩阵。,它们满足对称性,所以P1所对应的信道为准对称信道。,31,准对称信道的信道容量,准对称信道,由于转移概率矩阵中每行的元素相同，所以,32,准对称信道的信道容量,但每列的元素不相同，所以信道的输入和输出分布概率可能不等，此时H(Y)的最大值可能小于Y等概率时的熵。 因而准对称信道容量 因为I是输入符号概率的 型凸函数，根据信道容量的定义式，可引入拉格朗日乘子法求

9、解极值问题，便求得输入符号概率和最大互信息。,33,准对称信道的信道容量,例3-5 已知一个信道的信道转移矩阵为 由P可看出信道的输入符号有两个，可设 信道的输出符号有3个，用b1,b2,b3表示。由 得联合概率的矩阵为,34,恒定，与 的分布无关。,由,得,式中，,35,即输入符号分布等概率时，I(X;Y)达到最大值。 所以信道容量为,由,解得,此时输出符号的概率为,36,准对称信道的信道容量,求准对称信道的容量，可以通过如下方法来求，即将信道矩阵P划分成若干个互不相交的对称子集mk。,37,准对称信道的信道容量,当输入分布为等概率时，达到信道容量为：,其中n是输入符号集的个数， 为准对称信

10、道矩阵中的行元素。 设矩阵可划分成r个互不相交的子集。 Nk是第k个子矩阵Pk中行元素之和, Mk是第k个子矩阵Pk中列元素之和。,38,例：设信道传递矩阵为,计算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4,将它分成,39,40,例3-7,41,3.2.4 一般DMC信道,定理： 一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率p(ai)必须满足: I (ai;Y) = C 对于所有ai其p(ai)0 I (ai;Y) C 对于所有ai其p(ai) = 0,上式说明： 当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集p(ai)

11、中每一个符号ai对输出端Y提供相同的互信息,只是概率为0的除外。,42,3.2.4 一般DMC信道,43,3.3 离散序列信道及容量,前面讨论的信道输入输出均为单个符号的随机 变量，然而在实际应用中，信道的输入和输出 却是在空间或时间上离散的随机序列，有无记 忆的离散序列信道，当然更多的是有记忆的， 即序列的转移概率之间有关联性。,44,离散序列信道及容量,设信道的输入X=(X1, X2 Xi, XL), Xi a1 an 输出Y= (Y1, Y2 Yj, YL), Yj b1 bm,信 道,X,Y,p(Y|X),对于无记忆离散序列信道,其信道转移概率为,即仅与当前输入有关。若信道是平稳的,4

12、5,定理：若信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传递概率为,则存在,定理：若信道的输入和输出分别是L长序列X和Y,且信源是无记忆的,亦即输入矢量X中各个分量相互独立,则存在,46,离散序列信道及容量,若信源与信道都是无记忆的,L次扩展信道的信道容量,当信道平稳时:,一般情况下:,47,例3-9.BSC信道二次扩展,00,X,01,10,11,00,01,10,11,Y,转移概率矩阵,2次扩展信道的信道容量,若 p = 0.1 则 C2=(20.938)bit/序列 = 1.062bit/序列 C1 = 1-H(0.1)=0.531bit/序列,C2=2C1,48,独

13、立并联信道,设有L个信道,它们的输入、输出分别是： X1,X2XL； Y1,Y2YL,信 道,信 道,信 道,p(Y1|X1),p(YL|XL),p(Y2|X2),每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。 此时序列的转移概率,X1,X2,XL,Y1,Y2,YL,也是无记忆序列信道。,49,独立并联信道,独立并联信道的信道容量,所以,即联合平均互信息不大于各自信道平均互信息之和。,50,3.4 连续信道及其容量,51,连续信道及其容量,连续信道的容量不容易计算。 当信道为加性连续信道时,情况简单一些。 设信道的输入和输出信号是随机过程x(t) 和y(t) y(

14、t) = x(t) + n(t),n(t)：信道的加性高斯白噪声,一个受加性高斯白噪声干扰的带限波形信道的容量,由香农(1948)正式定义：,信 道,n(t),x(t),y(t),52,连续信道及其容量,高斯白噪声加性信道单位时间的信道容量,这就是著名的香农公式,信噪比SNR,53,3.5 信源与信道的匹配,54,信源发出消息(符号)一般要通过信道来传输，到达信宿，因此要求信源的输出与信道的输入匹配。 (1)符号匹配：信源输出的符号必须是信道能够传送的符号，可在信源与信道之间加入编码器来实现，也可以在信源压缩编码时一步完成。 (2)信息匹配：对于某一信道，只有当输入符号的概率分布p(x)满足一

15、定条件时才能达到其信道容量C。也就是说，只有特定的信源才能使某一信道的信息传输率达到最大。一般情况下，信源与信道连接时，其信息传输率R=I(X;Y)并未达到最大，即信道没有得到充分利用。当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配；否则认为信道有冗余。,55,信道冗余度定义为 信道绝对冗余度=C-I(X;Y) 其中C是信道容量，I(X;Y)是信道实际传输的平均信息量。 信道相对冗余度=1-I(X;Y)/C 冗余度大，说明信源与信道匹配程度低，信道的信息传递能力未得到充分利用； 冗余度小，说明信源与信道匹配程度高，信道的信息传递能力得到较充分利用； 冗余度为零，说明信源与信道完全匹配，信道的信息传递能力完全利用； 一般来说，实际信源的概率分布未必就是信道的最佳输入分布，所以冗余度不为零。 因此，要求信源与信道达到信息的完全匹配是不可能的，只要信道冗余度较小就可以了。,56,所以，对信源输出的符号进行信源编码可以达到两个目的： 一是将信源符号变换为信道能够传输的符号，即符号匹配； 二是变换后的符号分布概率能使信息传输率接近信道容量，即信息匹配。从而使信道冗余度接近于零，信源和信道达到匹配