第四章 信道(2)

1、第四章第四章 信道信道(2)(2)无噪无损信道（无噪无损信道（ X,Y一一对应一一对应）H(Y|X)=0 噪声熵噪声熵H(X|Y)=0 疑义度疑义度I(X;Y)=H(X)=H(Y)输入等概率时，信道的传输输入等概率时，信道的传输能力达到信道容量能力达到信道容量C=maxI(X;Y)=logM各种特殊信道的信道容量计算各种特殊信道的信道容量计算1.几种极限情况几种极限情况无损信道：无损信道：无重叠输出的有噪声信道无重叠输出的有噪声信道H(Y|X)0H(X|Y)=0 疑义度疑义度I(X;Y)=H(X）输入等概率时，信道的传输输入等概率时，信道的传输能力达到信道容量能力达到信道容量C=maxI(X;

2、Y)=logMnm无噪有损信道无噪有损信道多个输入变成一个输出，如下图多个输入变成一个输出，如下图噪声熵噪声熵H(Y|X)=0疑义度疑义度H(X|Y)0H(X)H(Y)I(X,Y)=H(Y)-H(Y|X)I(X,Y)=H(X)-H(X|Y)信道容量信道容量C=maxI(X;Y)=maxH(Y)=logm有噪声打印机信道信道输人以概率1/2在输出端无改变地被接收，或以概率1/2转变为下一个宇母。若输入端有26个字符。并以间隔的方式使用输入字符，那么在每次传输过程中可以毫无误差地传输其中的13个字符。因此，该信道的容量为log13比特。也可计算得到C=maxI(X;Y) =maxH(Y)-H(Y|

3、X) =maxH(Y)-1=log26-1=log13对称对称DMC信道（信道（n个输入，个输入，m个输出）个输出）对称信道转移概率矩阵中每行的元素相同，每列的元素也相同对称信道转移概率矩阵中每行的元素相同，每列的元素也相同则条件熵则条件熵H(Y|X)=-p(xi)p(yj|xi)logp(yj|xi) p(yj|xi)logp(yj|xi)j=H(Y|xi)上述条件熵与信道输入符号的概率上述条件熵与信道输入符号的概率p(xi)无关无关ji2/16/13/13/12/16/16/13/12/1如：如：和3/13/16/16/16/16/13/13/1信道容量为：信道容量为：C=maxI(X;Y

4、) =maxH(X)-H(X|Y) = maxH(Y)-H(Y|X) = maxH(Y)-H(Y|X)p(xi)求信道容量，就是求最佳分布时的最大输出熵。求信道容量，就是求最佳分布时的最大输出熵。由离散信源最大熵定理：输出分布等概率时，输出熵最大。由离散信源最大熵定理：输出分布等概率时，输出熵最大。关键是求输入如何分布时，输出等概率分布？关键是求输入如何分布时，输出等概率分布？p(xi)p(xi)p(xi)若输入等概率分布若输入等概率分布p(xi)=1/n,则由于转移概率矩阵的列对称，则由于转移概率矩阵的列对称，所以所以p(yj)=p(xi)p(yjxi) = p(yj|xi)/nii与与j无

5、关，即输出符号等概率分布。无关，即输出符号等概率分布。由于信道的对称性，要使输出等概率分布，输入也为等概率分布。由于信道的对称性，要使输出等概率分布，输入也为等概率分布。所以，对称所以，对称DMC信道的容量为信道的容量为：C=log2m-H(Y|xi)=log2m+pijlogpij j=1m输入符号等概率分布输入符号等概率分布输出符号等概率分布输出符号等概率分布因此要使因此要使I最大最大需需H(Y)最大最大输出符号等概率分布输出符号等概率分布输入符号等概率分布输入符号等概率分布结论：对于对称的离散无记忆信道，当输入符结论：对于对称的离散无记忆信道，当输入符 号等概时，达到信道容量。号等概时，

6、达到信道容量。 - 1 1P二元对称信道（二元对称信道（BSC)容量：容量：)(1HC)1 (log)1 (log)(22H例：信道转移概率矩阵为：例：信道转移概率矩阵为：P3131616161613131求其信道容量。求其信道容量。C=log2m-H(Y|xi)=log2m+pjilogpji =2-1/3log26-2/3log23 =0.0817 bit/符号符号m=4,3、 准对称准对称DMC信道信道再进一步放松条件再进一步放松条件若若P P(y(yj j/x/xi i) )不满足对称条件，但是将信道矩阵按列分割为不满足对称条件，但是将信道矩阵按列分割为多个子矩阵：多个子矩阵：若所有子

7、阵满足对称性条件，则称若所有子阵满足对称性条件，则称P P为准对称信道。为准对称信道。例：例： 1,rPPP=L211212122112121221 - 1 1 - 1 1PPP显然子阵显然子阵P P1 1, ,P P2 2满足对称性（行，列）满足对称性（行，列）对于单消息、离散、准对称信道，当且仅当信道输入为对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值等概率分布时，信道达容量值:()1log|logrikkkCnH Y xNM=-准对称信道有下列定理：准对称信道有下列定理：jijkabpNNK是第是第k个子矩阵中行元素之和个子矩阵中行元素之和,kjiiMp b

8、aMK是第是第k个子矩阵中列元素之和个子矩阵中列元素之和,r是不互相交的子集个数是不互相交的子集个数4.4.二元对称删除信道二元对称删除信道12121221 -1 1P输入集合中只有两个消息输入集合中只有两个消息 信道的输入消息集合中只有两个消息的情况信道的输入消息集合中只有两个消息的情况 信道的消息集合信道的消息集合X X中只有中只有X1和和X2两个消息，并设它们的概率为两个消息，并设它们的概率为P(P(X1) )，P(P(X2) )1 1。根据给定的信道传输概率集合或信道矩阵，可求得各个联合概根据给定的信道传输概率集合或信道矩阵，可求得各个联合概率率P(P(xy) )和各个信宿消息的概率和

9、各个信宿消息的概率P(P(y) ) ,它们都以它们都以为参变量的函数为参变量的函数 然后用公式然后用公式I(XI(X；Y)Y)H(Y)H(Y)H(Y|X)H(Y|X) C C是是I(XI(X；Y)Y)对某个信源概率矢量对某个信源概率矢量P P(P(P(X1), P(), P(X2)的极大值的极大值, ,故可用偏导故可用偏导为零的方法为零的方法, ,即即 ，得出，得出I(XI(X；Y)Y)极大值时的极大值时的值，代入值，代入I(XI(X；Y)Y)中，可得中，可得 C C R Rmax max I(XI(X；Y)Y)maxmax0);( YXI0.2ln(0.30.2 )0.20.2ln(0.50

10、.2 )0.203/16/13/16/16/16/13/13/11P可以分解成可以分解成6/16/1,3/13/1,3/16/16/13/17 . 01 . 02 . 02 . 01 . 07 . 02P1 . 01 . 0,7 . 02 . 02 . 07 . 0可以分解成可以分解成解法二：利用准对称信道解法二：利用准对称信道当输入等概时，达到信道容量为：当输入等概时，达到信道容量为：其中其中n为输入符号集个数；为输入符号集个数； Nk为第为第k个子矩阵中行元素之和；个子矩阵中行元素之和；Mk为第为第k个子矩阵中列元素之和；个子矩阵中列元素之和；r为子集个数为子集个数()1log|logri

11、kkkCnH Y xNM=-已知信道转移概率矩阵为已知信道转移概率矩阵为P0.5 0.3 0.20.3 0.5 0.2求其信道容量求其信道容量。0.5 0.3 0.3 0.5 0.20.2分解成：分解成：n=2, N1=0.5+0.3=0.8, M1=0.5+0.3=0.8N2=0.2, M2=0.2+0.2=0.4r=2()1log|logrikkkCnH Y xNM=-（5）信道矩阵为非奇异方阵）信道矩阵为非奇异方阵若有扰离散信道矩阵为非奇异H，其逆矩阵中第j行第i列元素为qij（i,j=1,M),则有其信道容量为达到此信道容量的信道输入消息集合的概率分布11exp0MMkikjiijjd

12、qq H Y x11lnexp0MMjiijiCq H Y x,1,2,.,ckkp xe dkM一般离散信道容量的计算一般离散信道容量的计算 由于 上凸函数，故极大值存在。并且 要满足非负且归一化的条件，因此，求信道容量归结为求有约束极值的问题 。为了书写方便，记 pi=p(x),pij= p(y|x),qj=q(y) 。 现求 在约束 下的极值。 利用拉格朗日乘子法，求函数 的极值。 计算 并使其为0 并考虑到 ， )();(xpYXI为( )p xjijjiijiqpppYXI,log);(0, 1iiippiipYXIJ);(kJp1rjiijiqp p得：所以，有 记因为 ，所以 ,

13、loglogiijijjjii jjikkJp ppqqppplog(loglog )0kjkjkjjkjjjpppqpeloglogkjkjjjppeq( ; )log1,.,kjkkjjjpI a Ypkrq( ; )( ; )kkkp I a YI X Y(; )logkkkCp I a Yeloglog(log)ijijijijijjjjjjppCppp CqqloglogjjijjijijjjCqppp令log21log21jjjjCjjjjCqCq 2jCjqiiijijpppq有：有：达到信道容量时分布的唯一性达到信道容量C的时候，输入字母分布唯一吗？最优输入分布不唯一最优输入分

14、布不唯一输出分布是唯一输出分布是唯一达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。 串联信道和并联信道的信道容量串联信道和并联信道的信道容量 串联信道（级联信道）串联信道（级联信道） 串联信道的信道矩阵串联信道的信道矩阵为信道为信道1 1的信道矩阵的信道矩阵1 1与信道与信道2 2的信道矩阵的信道矩阵2 2的乘的乘积，即积，即 1 12 2 根据矩阵乘法，根据矩阵乘法，中的中的i i行第行第k k列的元素列的元素P(P(zk|xi) )为为 信道1P(y|x)信道2P(z|y)等效信道P(z|x)xyzxz JjkijikyzPxyPx

15、zP)|()|()|(串联信道的性质l 数据处理定理：I(Y;Z)I(X;Z)l 随着串联信道数目的增多，其容量趋近于0l 将级联信道的i i 乘起来，得整个级联信道的，即可求解级联信道的容量。例：两个交叉传输概率为例：两个交叉传输概率为的二进制对称信道相串联，求这串联信道的信道矩的二进制对称信道相串联，求这串联信道的信道矩阵及信道上传输的最大平均信息量阵及信道上传输的最大平均信息量 解：由题意有解：由题意有 对称串联信道的等效信道仍为对称信道，但交叉传输概率变成了对称串联信道的等效信道仍为对称信道，但交叉传输概率变成了2 2(1-(1-) )，等，等效信道的信道容量为效信道的信道容量为 11

16、21222221)1()1(2)1(2)1(1111max12222( )(|)loglog12 (1)log2 (1)(1)log(1)LijijijCH YH Y xmPP 并联信道并联信道 当各信道相互独立时，联合条件概率为：当各信道相互独立时，联合条件概率为： 平均联合互信息量为：平均联合互信息量为： 一般来说，当一般来说，当N N个相互独立的信道并联时，其总信道容量个相互独立的信道并联时，其总信道容量C C为：为： 当并联的各个信道相同时，当并联的各个信道相同时，信道1信道2xxxxyyyy)|()|()|(xyPxyPxxyyP YYXXYYXXyyPxyPxyPxyPxyPxxP

17、yyPxxyyPyyxxPYYXXI)()|()|(log)|()|()()()|(log)() ; ( NiiCC1iNCC 并联信道的性质特点：输入相同的X，输出不同的Y1,Y2,，构成随机矢量Y性质：输入并联信道的容量大于任何一个单独的信道，小于Max H(X)。思考：N个二元对称信道输入并联之后的信道容量，N越大，CN越大，越接近H(X）信道编码定理信道编码定理定理定理 对离散平稳无记忆信道，其容量为对离散平稳无记忆信道，其容量为C，输入序列长度为，输入序列长度为L。则，只要实际信息率则，只要实际信息率RC，就必可找到一种编码：当，就必可找到一种编码：当L足够长足够长时，有时，有PeC

18、，则对任何编码，则对任何编码， Pe必大于零必大于零说明说明 前者为正定理，后者为逆定理前者为正定理，后者为逆定理 给出了信息传输率的极限给出了信息传输率的极限 只要只要RC，必为有失真传输，必为有失真传输 存在性定理存在性定理译码方案译码方案译码时所用的准则译码时所用的准则 在一般的信息传输系统中，信宿收到的集合在一般的信息传输系统中，信宿收到的集合Y Y不一定与信源发出的信息集合不一定与信源发出的信息集合X X相同，而信宿需要知道此时信源发出的是哪一个信源信息，故需要把信宿收相同，而信宿需要知道此时信源发出的是哪一个信源信息，故需要把信宿收到的消息恢复成相对应的信源消息。这个消息恢复过程称

19、为译码，用公式表示到的消息恢复成相对应的信源消息。这个消息恢复过程称为译码，用公式表示为为X Xg(Y)g(Y) 12MXxxx信道12LYyyy译码器12( )MXg Yxxx最小错误概率译码准则最小错误概率最小错误概率最大后验概率译码准则最大后验概率译码准则最大后验概率译码准则最大后验概率译码准则最大似然概率译码准则最大似然概率译码准则最大似然概率译码准则最大似然概率译码准则 用数学公式表示：若用数学公式表示：若 P(P(x* *| |yj) P() P(xi| |yj) ) ，对所有的，对所有的i i1 1，2 2，M(M(但但除掉除掉x* *所对应的下标所对应的下标i)i)，则把，则把

20、yj译成译成x* *，此准则使消息的错误传输概率最小，此准则使消息的错误传输概率最小例：已知一个信源的概率空间为例：已知一个信源的概率空间为所使用的信道的信道矩阵所使用的信道的信道矩阵 。找出能使错误传输概率最小的译。找出能使错误传输概率最小的译码方案，并求出错误传输概率码方案，并求出错误传输概率 解：信道传输特性如图解：信道传输特性如图X X，P(X)P(X)X1， X2， X31/21/2， 1/41/4， 1/41/421210001001 通常采用的译码方案是通常采用的译码方案是最大后验准则：把信道最大后验准则：把信道输出符号消息输出符号消息yj译成具译成具有最大后验概率有最大后验概率

21、P(P(x* *| |yj) )的那个信道输的那个信道输入符号消息入符号消息x* * 由公式由公式 P(P(xy) )P(P(x)P()P(y|x) )可得矩阵形式表示的联合概率分布可得矩阵形式表示的联合概率分布: : 再由公式再由公式 可得行矩阵形式表示的可得行矩阵形式表示的Y Y中三个消息的概率分布：中三个消息的概率分布： 再由公式再由公式 可得矩阵形式表示的后验概率分布可得矩阵形式表示的后验概率分布: :8181000410021 XxyPyP)()(818143)()()|(yPxyPyxP 11000310032 收到收到y1后对后对x1，x2，x3的后验概率分布为：的后验概率分布为

22、： P(P(x1| |y1) )2/3 P(2/3 P(x2| |y1) )1/3 P(1/3 P(x3| |y1) )0 0 比较大小后，按最大后验概率准则，应把信宿收到的比较大小后，按最大后验概率准则，应把信宿收到的y1译成译成x1 同理，信宿收到同理，信宿收到y2后对后对x1，x2，x3中以中以P(P(x3| |y2) )最大，应把最大，应把y2译成译成x3 信宿收到信宿收到y3后对后对x1，x2，x3中以中以P(P(x3| |y3) )最大，应把最大，应把y3译成译成x3 所以此准则的译码方案为：所以此准则的译码方案为：g(g(y1) )x1 g(g(y2) )x3 g(g(y3) )

23、x3 总的来说，各个消息的传输和译码过程如下：总的来说，各个消息的传输和译码过程如下：信源发出消息信源发出消息x1，信宿收到，信宿收到y1，译码器译成，译码器译成x1 ( (正确传输正确传输) )信源发出消息信源发出消息x2，信宿收到，信宿收到y1，译码器译成，译码器译成x1 （不正确传输）（不正确传输）信源发出消息信源发出消息x3，信宿收到，信宿收到y2或或y3，译码器译成，译码器译成x3 ( (正确传输正确传输) ) 采用此准则的译码方案后，这个消息传输系统的正确传输概率采用此准则的译码方案后，这个消息传输系统的正确传输概率P PC C为：为： P PC C P(P(x1)+ P()+ P

24、(x3) )1/2 + 1/41/2 + 1/43/43/4 错误传输概率错误传输概率P PE E为为: : P PE E P(P(x2) )1/41/4XYXx1x2x3y1y2y3x1x2x311(|)1P yx12(|)1P yx23(|)1/2P yx33(|)1P yx 译码中两种特殊情况：译码中两种特殊情况： 若信道的输入消息以等概率分布，即若信道的输入消息以等概率分布，即P(P(xi) )1/M1/M，这时对于某个收到的消，这时对于某个收到的消息息yj而言，当信道的传输概率而言，当信道的传输概率P(P(yj| |xi) )为最大时，其相应的后验概率为最大时，其相应的后验概率P(P

25、(xi| |yj) )也是最大。所以在信道输入消息以等概率分布的条件下，可以从最大信道传输也是最大。所以在信道输入消息以等概率分布的条件下，可以从最大信道传输概率概率P(P(yj| |x* *) )直接判定此时信源发出的消息是直接判定此时信源发出的消息是x* *。这称为最大似然译码准则。这称为最大似然译码准则。当信源当信源X X概率空间未知时，可用此准则概率空间未知时，可用此准则 若传输信道对同一个输出消息若传输信道对同一个输出消息yj的各个的各个P(P(xi| |yj)()(其中其中i i1 1，2 2，M)M)都都相等，但存在某个输入消息相等，但存在某个输入消息x* *的出现概率的出现概率

26、P(P(x* *) )为最大，这样就可以把为最大，这样就可以把yj直接直接译成译成x* * 对于对于K K重符号序列消息的译码方案与单符号消息类似重符号序列消息的译码方案与单符号消息类似模拟信道的容量模拟信道：在时间和取值上都连续的信道 光纤，电缆，电磁波空间传播由离散走向连续是一个哲学意味深重的命题 世界是否可无限分割？仅研究非常特殊的一类模拟信道：AWGN 带宽有限：W 加性噪声：y(t) = x(t)+z(t) 白色噪声：平稳遍历随机过程，功率谱密度均匀分布于整个频域，即功率谱密度（单位带宽噪声功率）为一常数 高斯噪声：平稳遍历随机过程，瞬时值的概率密度函数服从高斯分布香农公式AWGN信

27、道容量为几个关键量的量纲： C bps W Hz 或s-1 Ps Watt N0 Watt/Hz提升容量的各种手段因此，对于同样容量的传输要求，可以采用两种方式 减少带宽：发送较大功率的信号 增大带宽：用较小功率的信号传输香农限l 定义达到传输容量时每比特能耗为Eb=PS/Cl 每比特传输需要的能量与噪声谱密度有关l 信噪比趋于0时，上述公式取得极小值0.693,称为香农限。一般信道的推导一般信道的推导 1(; )1niiI X Yp x 1(; )10niiiiI X Yp xp xp x 1( )()10niiiiH YH Y Xp xp xp xI(X;Y)是输入概率分布是输入概率分布 的上凸函数，