第四章-信道(2).ppt

第四章信道(2),无噪无损信道（X,Y一一对应）,H(Y|X)=0噪声熵H(X|Y)=0疑义度I(X;Y)=H(X)=H(Y)输入等概率时，信道的传输能力达到信道容量C=maxI(X;Y)=logM,各种特殊信道的信道容量计算,1.几种极限情况,无损信道：无重叠输出的有噪声信道,H(Y|X)0H(X|Y)=0疑义度I(X;Y)=H(X）输入等概率时，信道的传输能力达到信道容量C=maxI(X;Y)=logM,nm无噪有损信道多个输入变成一个输出，如下图,噪声熵H(Y|X)=0疑义度H(X|Y)0H(X)H(Y)I(X,Y)=H(Y)-H(Y|X)I(X,Y)=H(X)-H(X|Y)信道容量C=maxI(X;Y)=maxH(Y)=logm,有噪声打印机信道信道输人以概率1/2在输出端无改变地被接收，或以概率1/2转变为下一个宇母。若输入端有26个字符。并以间隔的方式使用输入字符，那么在每次传输过程中可以毫无误差地传输其中的13个字符。因此，该信道的容量为log13比特。也可计算得到C=maxI(X;Y)=maxH(Y)-H(Y|X)=maxH(Y)-1=log26-1=log13,对称DMC信道（n个输入，m个输出）,对称信道转移概率矩阵中每行的元素相同，每列的元素也相同,则条件熵H(Y|X)=-p(xi)p(yj|xi)logp(yj|xi),p(yj|xi)logp(yj|xi),j,=H(Y|xi),上述条件熵与信道输入符号的概率p(xi)无关,j,i,如：,信道容量为：,C=maxI(X;Y)=maxH(X)-H(X|Y)=maxH(Y)-H(Y|X)=maxH(Y)-H(Y|X),p(xi),求信道容量，就是求最佳分布时的最大输出熵。由离散信源最大熵定理：输出分布等概率时，输出熵最大。关键是求输入如何分布时，输出等概率分布？,p(xi),p(xi),p(xi),若输入等概率分布p(xi)=1/n,则由于转移概率矩阵的列对称，所以,p(yj)=p(xi)p(yjxi)=p(yj|xi)/n,i,i,与j无关，即输出符号等概率分布。,由于信道的对称性，要使输出等概率分布，输入也为等概率分布。,所以，对称DMC信道的容量为：,输入符号等概率分布,输出符号等概率分布,因此要使I最大,需H(Y)最大,输出符号等概率分布,输入符号等概率分布,结论：对于对称的离散无记忆信道，当输入符号等概时，达到信道容量。,二元对称信道（BSC)容量：,例：信道转移概率矩阵为：,P,3,1,3,1,6,1,6,1,6,1,6,1,3,1,3,1,求其信道容量。,C=log2m-H(Y|xi)=log2m+pjilogpji=2-1/3log26-2/3log23=0.0817bit/符号,m=4,3、准对称DMC信道,再进一步放松条件若P(yj/xi)不满足对称条件，但是将信道矩阵按列分割为多个子矩阵：若所有子阵满足对称性条件，则称P为准对称信道。例：,显然子阵P1,P2满足对称性（行，列）,对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值:,准对称信道有下列定理：,NK是第k个子矩阵中行元素之和,MK是第k个子矩阵中列元素之和,r是不互相交的子集个数,4.二元对称删除信道,输入集合中只有两个消息,信道的输入消息集合中只有两个消息的情况信道的消息集合X中只有X1和X2两个消息，并设它们的概率为P(X1)，P(X2)1。根据给定的信道传输概率集合或信道矩阵，可求得各个联合概率P(xy)和各个信宿消息的概率P(y),它们都以为参变量的函数然后用公式I(X；Y)H(Y)H(Y|X)C是I(X；Y)对某个信源概率矢量P(P(X1),P(X2)的极大值,故可用偏导为零的方法,即，得出I(X；Y)极大值时的值，代入I(X；Y)中，可得CRmaxI(X；Y)max,可以分解成,可以分解成,解法二：利用准对称信道,当输入等概时，达到信道容量为：,其中n为输入符号集个数；Nk为第k个子矩阵中行元素之和；Mk为第k个子矩阵中列元素之和；r为子集个数,已知信道转移概率矩阵为,P,0.50.30.2,0.30.50.2,求其信道容量。,分解成：,n=2,N1=0.5+0.3=0.8,M1=0.5+0.3=0.8,N2=0.2,M2=0.2+0.2=0.4,r=2,（5）信道矩阵为非奇异方阵,若有扰离散信道矩阵为非奇异H，其逆矩阵中第j行第i列元素为qij（i,j=1,M),则有其信道容量为达到此信道容量的信道输入消息集合的概率分布,一般离散信道容量的计算由于上凸函数，故极大值存在。并且要满足非负且归一化的条件，因此，求信道容量归结为求有约束极值的问题。为了书写方便，记pi=p(x),pij=p(y|x),qj=q(y)。现求在约束下的极值。利用拉格朗日乘子法，求函数的极值。计算并使其为0并考虑到，,得：所以，有记因为，所以,有：,达到信道容量时分布的唯一性,达到信道容量C的时候，输入字母分布唯一吗？,最优输入分布不唯一,输出分布是唯一,达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。,串联信道和并联信道的信道容量串联信道（级联信道）串联信道的信道矩阵为信道1的信道矩阵1与信道2的信道矩阵2的乘积，即12根据矩阵乘法，中的i行第k列的元素P(zk|xi)为,串联信道的性质,数据处理定理：I(Y;Z)I(X;Z)随着串联信道数目的增多，其容量趋近于0将级联信道的i乘起来，得整个级联信道的，即可求解级联信道的容量。,例：两个交叉传输概率为的二进制对称信道相串联，求这串联信道的信道矩阵及信道上传输的最大平均信息量解：由题意有对称串联信道的等效信道仍为对称信道，但交叉传输概率变成了2(1-)，等效信道的信道容量为,并联信道当各信道相互独立时，联合条件概率为：平均联合互信息量为：一般来说，当N个相互独立的信道并联时，其总信道容量C为：当并联的各个信道相同时，,并联信道的性质,特点：输入相同的X，输出不同的Y1,Y2,，构成随机矢量Y性质：输入并联信道的容量大于任何一个单独的信道，小于MaxH(X)。思考：N个二元对称信道输入并联之后的信道容量，N越大，CN越大，越接近H(X）,信道编码定理,定理对离散平稳无记忆信道，其容量为C，输入序列长度为L。则，只要实际信息率RC，则对任何编码，Pe必大于零说明前者为正定理，后者为逆定理给出了信息传输率的极限只要RC，必为有失真传输存在性定理,译码方案译码时所用的准则在一般的信息传输系统中，信宿收到的集合Y不一定与信源发出的信息集合X相同，而信宿需要知道此时信源发出的是哪一个信源信息，故需要把信宿收到的消息恢复成相对应的信源消息。这个消息恢复过程称为译码，用公式表示为Xg(Y),最小错误概率译码准则,最小错误概率,最大后验概率译码准则,最大后验概率译码准则,最大似然概率译码准则,最大似然概率译码准则,用数学公式表示：若P(x*|yj)P(xi|yj)，对所有的i1，2，M(但除掉x*所对应的下标i)，则把yj译成x*，此准则使消息的错误传输概率最小例：已知一个信源的概率空间为所使用的信道的信道矩阵。找出能使错误传输概率最小的译码方案，并求出错误传输概率解：信道传输特性如图,通常采用的译码方案是最大后验准则：把信道输出符号消息yj译成具有最大后验概率P(x*|yj)的那个信道输入符号消息x*,由公式P(xy)P(x)P(y|x)可得矩阵形式表示的联合概率分布:再由公式可得行矩阵形式表示的Y中三个消息的概率分布：再由公式可得矩阵形式表示的后验概率分布:,收到y1后对x1，x2，x3的后验概率分布为：P(x1|y1)2/3P(x2|y1)1/3P(x3|y1)0比较大小后，按最大后验概率准则，应把信宿收到的y1译成x1同理，信宿收到y2后对x1，x2，x3中以P(x3|y2)最大，应把y2译成x3信宿收到y3后对x1，x2，x3中以P(x3|y3)最大，应把y3译成x3所以此准则的译码方案为：g(y1)x1g(y2)x3g(y3)x3,总的来说，各个消息的传输和译码过程如下：信源发出消息x1，信宿收到y1，译码器译成x1(正确传输)信源发出消息x2，信宿收到y1，译码器译成x1（不正确传输）信源发出消息x3，信宿收到y2或y3，译码器译成x3(正确传输)采用此准则的译码方案后，这个消息传输系统的正确传输概率PC为：PCP(x1)+P(x3)1/2+1/43/4错误传输概率PE为:PEP(x2)1/4,译码中两种特殊情况：若信道的输入消息以等概率分布，即P(xi)1/M，这时对于某个收到的消息yj而言，当信道的传输概率P(yj|xi)为最大时，其相应的后验概率P(xi|yj)也是最大。所以在信道输入消息以等概率分布的条件下，可以从最大信道传输概率P(yj|x*)直接判定此时信源发出的消息是x*。这称为最大似然译码准则。当信源X概率空间未知时，可用此准则若传输信道对同一个输出消息yj的各个P(xi|yj)(其中i1，2，M)都相等，但存在某个输入消息x*的出现概率P(x*)为最大，这样就可以把yj直接译成x*对于K重符号序列消息的译码方案与单符号消息类似,模拟信道的容量,模拟信道：在时间和取值上都连续的信道光纤，电缆，电磁波空间传播由离散走向连续是一个哲学意味深重的命题世界是否可无限分割？仅研究非常特殊的一类模拟信道：AWGN带宽有限：W加性噪声：y(t)=x(t)+z(t)白色噪声：平稳遍历随机过程，功率谱密度均匀分布于整个频域，即功率谱密度（单位带宽噪声功率）为一常数高斯噪声：平稳遍历随机过程，瞬时值的概率密度函数服从高斯分布,香农公式,AWGN信道容量为几个关键量的量纲：CbpsWHz或s-1PsWattN0Watt/Hz,提升容量的各种手段,因此，对于同样容量的传输要求，可以采用两种方式减少带宽：发送较大功率的信号增大带宽：用较小功率的信号传输,香农限,定义达到传输容量时每比特能耗为Eb=PS/C每比特传输