一般单符号离散信道的信道容量

1、4.2 4.2 离散单个符号信道及其容量离散单个符号信道及其容量 3.2 3.2 离散单个符号信道及其容量离散单个符号信道及其容量 信息传输率R：信道中平均每个符号所能传送的 信息量 信息传输速率Rt:信道在单位时间内平均传输的 信息量。t为平均传送一个符号所需的时间。 ;/RI X YH XH X Ybit符号 ;(/ ) t RR tI X Ytbit s 对于某特定的信道，转移概率p(bj|ai)已经 确定，则互信息是关于输入符号分布概率的凸 函数。 也就是说可以找到某种概率分布p(ai)，使 I(X;Y)达到最大，也即R 达到最大，该最大值就 是信道所能传送的最大信息量，即信道容量信道

2、容量。 信道容量也可定义为信道的最大的信息传 输速率Rt。 ()() / maxmax;/ det/ ii p ap a bit CRI X Ynat 符号 符号 符号 ()() / 1 maxmax;/ det/ ii t p ap a bit CRI X Ynat t s s s 【注】、一般地，我们只考虑第一种定义方式。 说明： 信道容量是信道本身的特性，与信源无关； 不是所有的信源传输符号时都可以达到这个传 输速率，使信道达到最大传输率的输入概率分 布称为最佳输入分布； 信道容量是信息传输率R的上限，定量了信道信 息的最大通过能力。 信道传递信息过程中引入两个定义： 1、信道疑义度:H

3、(X|Y) 2、噪声熵:H(Y|X) 1 1、信道疑义度、信道疑义度 1 1 (/)(/)log (/) r jij i ij H X bP ab p ab 这是收到 后关于X的后验熵，表示收到 后关于 输入符号的信息测度 j b j b , 1 (/ )(/)()log ( / ) j X Y H X YE H X bP xy P x y 这个条件熵称为信道疑义度，表示输出端在收到一个 符号后，对输入符号尚存的不确定性，这是由信道干扰造 成的，如果没有干扰，H(X|Y)=0,一般情括下H(X|Y)小于 H(X)，说明经过信道传输，总能消除一些信源的不确定性， 从而获得一些信息。 I(X;Y)

4、=H(X)-H(X|Y)= H(Y)-H(Y|X) 2 2、噪声熵、噪声熵 平均互信息I(X;Y)表示信道传递的信息量。 . ( /) (;)()log ( ) X Y P x y I X YP xy P y H(X|Y)即信到疑义度，也表示通过有噪信道造成的 损失，故也称为损失熵损失熵，因此信源的熵等于收到的信息 量加上损失的熵；而H(Y|X)表示已知输入的情况下，对输 出端还残留的不确定性，这个不确定性是由噪声引起的， 故也称之为噪声熵噪声熵。 无噪现象：1个输入只对应1个输出，噪声熵H(Y|X)=0 无损现象：1个输出只对应1个输入，疑义度H(X|Y)=0 无噪无损信道：即X、Y一一对应

5、，则 H(Y|X)= H(X|Y)= 0 有噪无损信道：一个输入X产生多个输出Y （有噪）, 而且每个X值所对应的Y值不重合；又因为信道无损， 接收到符号Y后，X完全确定。 因为无损：H(X/Y)=0，有噪：H(Y/X)0 所以：I(X;Y)=H(X)H(Y) 无噪有损信道： 一个Y对应多个X，而且每个Y 值所对应的X值 不重合。接收到符号Y后不能完全消除对X的不确 定性。 H(X/Y) 0；I(X;Y)=H(Y) H(X) X Y X Y X Y 1 1 1 1 1 1 1 1 1 1 1 1 1 (a) 无 噪 无 损 信 道 (b) 无 噪 有 损 信 道 (c) 有 噪 无 损 信 道

6、 部 分 理 想 化 的 无 干 扰 离 散 信 道 损失熵（疑义度）H(X/Y) = 0 的信道称为无 损信道，其信道容量为： 其中，r为输入信源X的符号个数，等概率分布时 H(X)最大。 噪声熵 H(Y/X) = 0 的信道称为无噪信道，其 信道容量为： 其中，s为输出信源Y的符号个数，等概率分布时 H(Y)最大。 ( ) maxlog/ p x CH Xrbit symbol ( ) maxlog/ p y CH Ysbit symbol 一一对应的信道称为无噪无损信道一一对应的信道称为无噪无损信道 ( )( ) maxmax loglog/ p xp y CH XH Y rsbit s

7、ymbol X、Y一一对应，无噪无损信道 CmaxI(X;Y)log r 多个输入变成一个输出，无噪信道 CmaxI(X;Y)maxH(Y) 一个输入对应多个输出，无损信道 CmaxI(X;Y)maxH(X) 对称DMC信道定义 输入对称 转移概率矩阵P的每一行都是第一行的重新排列 (包含同样元素)，称该矩阵是输入对称。 输出对称 转移概率矩阵P的每一列都是第一列的重新排列 (包含同样元素)，称该矩阵是输出对称。 对称的DMC信道 输入、输出都对称。 对称DMC信道例子 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3

8、1 2 1 接下来考虑对称信道的信道容量： 因为输入对称所以条件熵因为输入对称所以条件熵 与信道输入符号概率分布无关。则信道容量为 无关与iabpabp j ijij )/(log)/( ( /)()(/)log(/) (/)log(/)( /) ijiji ij jijii j H YXp ap bap ba p bap baH Y a )/()(max )|()(max )|()(max);(max )( )( )()( XYHYH XYHYH YXHXHYXIC i i ii ap ap apap 又输出对称，若信道输入符号等概率分布，则又输出对称，若信道输入符号等概率分布，则 与j无关

9、，即信道输出也等概率分布；反之，若信 道输出符号等概率分布，对称信道的输入符号必 定也是等概率分布的。因此要使H(Y)最大，只有只有 信道输出符号等概率分布信道输出符号等概率分布，此时输入符号也等概此时输入符号也等概 率分布。率分布。 则对称则对称DMC信道的容量为信道的容量为 1 log(|)loglog s iijij j CsH Y aspp 1 ()( ) (/)(/) jijiji ii p bp a p bap ba n 信道转移概率矩阵如下：信道输入符号和输出信道转移概率矩阵如下：信道输入符号和输出 符号的个数相同，都为符号的个数相同，都为r，且正确传输概率为，且正确传输概率为1

10、 1 ， 错误概率错误概率 被对称地均分给被对称地均分给r-1个输出符号，此信道称个输出符号，此信道称 为强对称信道或均匀信道，是对称离散信道的一个为强对称信道或均匀信道，是对称离散信道的一个 特例特例 1 11 1 11 1 11 rr rr rr P log(1,) 11 CrH rr 当n=2时，即为二进制对称信道 C1H（）=1- log - (1- )log(1- ) 00.20.40.60.81 0 0.2 0.4 0.6 0.8 1 定义：定义： 如果转移矩阵P 的列列可以划分成若干个互不相 交的子集Bk，（即B1B2 Bk=；B1B2Bk= P） 且每个子集所组成的子阵都是输入

11、输出对称矩 阵，则称该信道是准对称准对称DMC信道。 10 01 pp pp P 要判断一个信道是否为离散准对称信道，必须对 该信道的转移矩阵进行适当的调整，即按列重排 再按列分块。这种调整，就是定义中所说的将转 移矩阵的列划分成子集再组成子阵的过程。转移 矩阵的列与输出符号对应，因此，把转移矩阵的 列划分成互不相交的子集，也相当于把信道的输 出符号集合中的符号划分成互不相交的子集。 1 1/31/3 1/61/6 1/61/3 1/61/3 P 结论：对于准对称结论：对于准对称DMC信道，当输入分布为等概 分布时，互信息达到最大值。信道容量表示为： 将转移概率矩阵划分成若干个互不相交的对称的

12、 子集，r为输入符号集个数；p1，p2，ps是转 移概率矩阵P P 中一行的元素；Nk 是第k个子矩阵中 行元素之和，Mk是第k个子矩阵中列元素之和，t 是互不相交的子集个数。 12 1 log(,)log t skk k CrH p ppNM 如 2 . 05 . 03 . 0 2 . 03 . 05 . 0 P 2 . 0 2 . 0 , 5 . 03 . 0 3 . 05 . 0 符号/036. 04 . 0log2 . 0 8 . 0log8 . 0)2 . 0 , 3 . 0 , 5 . 0(2log 2 22 bit HC 信道容量计算：对所有可能的输入概率分布P(ai)求 该信道

13、平均互信息I(X;Y)的极大值。 由于I(X;Y)是P(ai)的型上凸函数，所以极大值一 定存在。n个变量满足概率存在条件： P(ai)1。 当信道给定时，条件转移概率矩阵P(bj|ai)都为定量 。 计算：拉格朗日乘数法计算该条件极值 引进一个新函数 )();( i X aPYXI 先求出达到极值的概率分布和拉格朗日乘 数的值，然后再求解出信道容量C。 1)( 0 )( )();( )( i X i i X i aP aP aPYXI aP 令：令： 例例 2 . 05 . 03 . 0 2 . 03 . 05 . 0 P 2 . 0)1 (2 . 02 . 0)( 2 . 05 . 0)1

14、 (5 . 03 . 0)( 2 . 03 . 0)1 (3 . 05 . 0)( 3 2 1 bp bp bp 信道的输入符号有两个，设p(a1)，p(a2)1 。信道的输出符号有三个，用b1、b2、b3表示。 ()( ,)( ) (|) jijiji ii p bp a bp a p ba loglog 0.30.2log 0.30.20.50.2log 0.50.2 0.2log0.20.5log0.50.3log0.30.2lo 0 2 ; g . jjijiji jij P bP bp I X YH Y ap bp b a H Y X a (; ) 0 0.5 I X Y 令 解得

15、符号/036. 0);(maxbitYXIC 即输入符号分布等概率时，I(X;Y)达到极大值。 所以信道容量为 定理： 一般离散信道达到信道容量的充要条件 是输入概率分布满足 ( )( ; )0 ( )( ; )0 iii iii aI x YCxp bI x YCxp 对所有 其 对所有 其 1 (/) ( ; )(/)log () s ji iji j j p ba I x Yp ba p b 该定理说明，当平均互信息达到信道容量时， 信源每一个符号都对输出端输出相同的互信息。 证明 可以利用该定理对一些特殊信道求得它的信道容量 例：输入符号集为:0,1,2，输出符号集：0,1 10 11

16、 22 01 P 假设P(0)=P(2)=1/2，P(1)=0，则： 1 (0) 2 1 (1) 2 P y P y 2 1 ( /0) (0, )( /0)loglog2 ( ) y P y IYP y P y 2 1 ( /2) (2, )( /2)loglog2 ( ) y P y IYP y P y 2 1 (/1) (1,)(/1)log0 (1) y P y IYP y P 所以： log2 1C 对于一般信道的求解方法，就是求解方程组 11 (/)log(/)(/)log() ss jijijij jj P baP baP baP bC 移项得： 11 (/)log()(/)log(/) ss jijjiji jj P baCP bP baP ba 令log() jj CP