第3章离散信道及其信道容量(ok)

1、第第3 3章章 离散信道及其信道容量离散信道及其信道容量 3.1 3.1 信道的数学模型及分类信道的数学模型及分类3.2 3.2 平均互信息平均互信息3.3 3.3 平均互信息的特性平均互信息的特性3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法 3.5 3.5 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量3.6 3.6 信源与信道的匹配信源与信道的匹配3.1 3.1 信道的数学模型及分类信道的数学模型及分类1 1、信道的分类：、信道的分类： 根据信道用户的多少，可分为：根据信道用户的多少，可分为： （1 1）单用户信道：只有一个输入端和一个输出端）单用户信道：

2、只有一个输入端和一个输出端（2 2）多用户信道：至少有一端有两个以上的用户，双向通信）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：根据输入端和输出端的关联：（1 1）无反馈信道）无反馈信道（2 2）有反馈信道）有反馈信道根据信道参数与时间的关系：根据信道参数与时间的关系：固定参数信道（恒参信道）固定参数信道（恒参信道）与时变参数信道（随参信道）与时变参数信道（随参信道）根据输入输出信号的特点根据输入输出信号的特点 （1）离散信道）离散信道 （2）连续信道）连续信道 （3）半离散半连续信道：）半离散半连续信道： （4）波形信道）波形信道我们只研究无反馈、固定参数的单

3、用户离散信道。我们只研究无反馈、固定参数的单用户离散信道。3.1 3.1 信道的数学模型及分类信道的数学模型及分类P(y/X)XY设离散信道的输入为一个随机变量设离散信道的输入为一个随机变量X，相应的输出的随，相应的输出的随机变量为机变量为Y，如图所示：，如图所示：规定一个离散信道应有三个参数规定一个离散信道应有三个参数：输入符号集：输入符号集：X=x1，x2， 输出符号集：输出符号集：Y=y1，y2， 信道转移概率：信道转移概率： P(y/X)nxmy2 2、离散信道的数学模型、离散信道的数学模型3.1 3.1 信道的数学模型及分类信道的数学模型及分类离散信道的数学模型离散信道的数学模型（1

4、）无干扰信道：输入信号与输出信号）无干扰信道：输入信号与输出信号 有一一对应关系有一一对应关系1()()(/)0()yfxyfxPyxyfx， 并 且（2）有干扰无记忆信道：输入与输出无一一对应关系，）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关；输出只与当前输入有关；（3）有干扰有记忆信道：这是最一般的信道。）有干扰有记忆信道：这是最一般的信道。3.1 3.1 信道的数学模型及分类信道的数学模型及分类根据信道模型，可对信道分类如下：根据信道模型，可对信道分类如下：3、单符号离散信道的数学模型、单符号离散信道的数学模型 单符号离散信道的输入变量为单符号离散信道的输入变量为

5、X，取值于，取值于输出变量为输出变量为Y，取值于，取值于 。并有条件概率并有条件概率条件概率被称为信道的条件概率被称为信道的传递概率或转移概率传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概一般简单的单符号离散信道的数学模型可以用概率空间率空间X,p(y|x),Y来描述。来描述。 X Y12,raaa12,sbbb( | )(|),(1,2, ;1,2, )jiP y xP bair jsra1b1asb(|)jiP ba3.1 3.1 信道的数学模型及分类信道的数学模型及分类表示成矩阵形式：表示成矩阵形式：3.1 3.1 信道的数学模型及分类信道的数学模型及分类p(bm/an

6、)p(b2/an)p(b1/an)anp(bm/a2)p(b2/a2)p(b1/a2)a2p(bm/a1)p(b2/a1)p(b1/a1)a1bmb2b1P= 为方便可以写为方便可以写成成(/)jiijP bap111212122212.ssrrrsppppppPppp 例例1 1 二元对称信道（二元对称信道（BSCBSC） X=0,1; Y=0,1; p(0/0)=p(1/1)=1-p; X=0,1; Y=0,1; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;p(0/1)=p(1/0)=p;3.1 3.1 信道的数学模型及分类信道的数学模型及分类ppppP11 0

7、0 1 1 1-p1-ppp传递矩阵：传递矩阵：二元对称信道模型：二元对称信道模型：例例2 二元删除信道：二元删除信道：X=0,1; Y=0,2,1 0 1-p 0 1 1-p 1pp23.1 3.1 信道的数学模型及分类信道的数学模型及分类P=1-pp010p1 p0120（1）联合概率）联合概率()() (/)() (/)ijijijijP abP a P baP b P ab(/)jiP ba其中其中称为称为前向概率前向概率，描述信道的噪声特性；，描述信道的噪声特性；(/)ijP ab称为称为后向概率后向概率，有时也把有时也把 称为称为先验先验概率；概率；把把 称为称为后验概率。后验概率

8、。( )iP a（2）输出符号的概率：）输出符号的概率：1()( ) (/)rjijiiP bp a p ba（3）后验概率：）后验概率：()(/)()ijijjP abP abP b(/)ijP ab1(/)1rijiP ab表明输出端收到任一符号，必定是输入端某一符号输入所致。表明输出端收到任一符号，必定是输入端某一符号输入所致。3.1 3.1 信道的数学模型及分类（公式总结）信道的数学模型及分类（公式总结）3.2 3.2 平均互信息平均互信息1、信道疑义度、信道疑义度,1(/)(/)()log( / )jX YH X YE H X bP xyP x y 这个条件熵称为信道疑义度，表示输出

9、端在收到一个这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，造成的，如果没有干扰，H(X/Y)=0,一般情况下一般情况下H(X/Y)小于小于H(X)，说明经过信道传输，总能消除一些，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。信源的不确定性，从而获得一些信息。H(Y/X)-噪声熵。噪声熵。 H(X/Y)-损失熵损失熵3.2 3.2 平均互信息平均互信息 H(Y/X)-噪声熵。噪声熵。 H(X/Y)-损失熵损失熵 H(X/Y) ，也表示通过有噪信道造成的损失，故

10、也，也表示通过有噪信道造成的损失，故也称为称为损失熵损失熵，因此信源的熵等于收到的信息量加上损，因此信源的熵等于收到的信息量加上损失的熵；而失的熵；而H(Y/X)表示已知输入的情况下，对输出端表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，还残留的不确定性，这个不确定性是由噪声引起的，故也称之为故也称之为噪声熵噪声熵。2、互信息及互信息及平均互信息平均互信息3.2 3.2 平均互信息平均互信息xyxpyxpxypYXI)()|(log)();()()()(log)()|(log)()|(log);(ypxpxypypxypxpyxpyxI互信息表示收到互信息表示收到

11、y后获得关于某事件后获得关于某事件x的信息量。的信息量。对互信息在联合概率基础上求统计平均即为对互信息在联合概率基础上求统计平均即为平均互信息平均互信息。3、平均互信息的物理意义：、平均互信息的物理意义： 表示接收端接收到输出符号后平均每个符号获得表示接收端接收到输出符号后平均每个符号获得的关于的关于X的信息量。的信息量。3.2 3.2 平均互信息平均互信息互信息与各类熵之间的关系可以用下图表示：互信息与各类熵之间的关系可以用下图表示：H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI（1）无噪一一对应信道）无噪一一

12、对应信道 此时可以计算得：此时可以计算得：H(X/Y)=H(Y/X)=0在图一中在图一中表示就是两圆重合。表示就是两圆重合。(2)输入输出完全统计独立输入输出完全统计独立 此时此时I(X;Y)=0 H(X/Y)=H(X) H(Y/X)=H(Y)3.2 3.2 平均互信息平均互信息3.3 3.3 平均互信息的特性平均互信息的特性1、平均互信息的、平均互信息的非负性非负性I(X;Y)=0 该性质表明，通过一个信道总能传递一些信息，最该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互差的条件下，输入输出完全独立，不传递任何信息，互信息等于信息等于0，但决不会

13、失去已知的信息。，但决不会失去已知的信息。2、平均互信息的、平均互信息的极值性极值性 I(X;Y)=H(X) 一般来说，信道疑义度总是大于一般来说，信道疑义度总是大于0，所以互信息总是，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度小于信源的熵，只有当信道是无损信道时，信道疑义度等于等于0，互信息等于信源的熵。，互信息等于信源的熵。3、平均互信息量的、平均互信息量的对称性对称性 I(Y;X)表示从表示从X中提取关于的中提取关于的Y的信息量，实际上的信息量，实际上I(X,Y)和和I(Y,X)只是观察者的立足点不同，对信道的输入只是观察者的立足点不同，对信道的输入X和输出和输出Y的

14、总体测度的两种表达形式的总体测度的两种表达形式 4、平均互信息的、平均互信息的凸状性凸状性111(/)(;)()(/) log()(/)nmjiijinijijiip yxIX Yp xp yxp xp yx );();(XYIYXI3.3 3.3 平均互信息的特性平均互信息的特性 定理定理3.1 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布P(X)的的 型凸函数型凸函数 这就是说，对于一定的信源分布，总可以找到某这就是说，对于一定的信源分布，总可以找到某一个先验概率分布的信源一个先验概率分布的信源X，使平均交互信息量达到，使平均交互信息量达到相应的最大值相应的最大值Imax。

15、3.3 3.3 平均互信息的特性平均互信息的特性 定理定理3.2 平均互信息平均互信息I(X;Y)信道传递概率分布信道传递概率分布P(Y/X)的的 U型凸函数型凸函数 这就是说，总可以找到某一个转移概率分布的信道，这就是说，总可以找到某一个转移概率分布的信道，使平均互信息量达到相应的最小值使平均互信息量达到相应的最小值Imin。3.3 3.3 平均互信息的特性平均互信息的特性例：对于二元对称信道 0 1-p 0 pp 1 1-p 1如果信源分布X=w,1-w，则 (; )( )( /)I X YH YH Y X1( )( )( / )log( / )XYH YP xP y xP y x11(

16、)( ) loglogXH YP xpppp11( ) loglog( )( )H YppH YH ppp3.3 3.3 平均互信息的特性平均互信息的特性I(X;Y)w1/21-H(P)(0)P ypp而：(1)Pypp所以：(; )()( )I X YHppH p 当信道固定时，平均互信息时信源分布的 型凸函数，最大只为1-H(P)3.3 3.3 平均互信息的特性平均互信息的特性例：对于二元对称信道 0 1-p 0 pp 1 1-p 1如果信源分布X=w,1-w，则 由此可得I(X;Y)p1/2(; )()( )I X YHppH p3.3 3.3 平均互信息的特性平均互信息的特性3.4 3

17、.4 信道容量及其一般计算方法信道容量及其一般计算方法定义定义信息传输率信息传输率： R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) bit/符号符号 由定理由定理3.1可知，对于每一个确定信道，都有一个信源可知，对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的为该信道的信道容量信道容量。CI X YH XH XYP XP Xmax (,)max()(/)()() 信道容量与信源无关，它是信道的特征参数，反应信道容量与信源无关，它是信道的特征参数，反应的是信道的最大的信息传输能力。的

18、是信道的最大的信息传输能力。1、离散无噪无损信道的信道容量、离散无噪无损信道的信道容量（1）具有一一对应关系的无噪）具有一一对应关系的无噪无损无损信道信道x1 y1x2 y2x3 y3此时由于信道的损失熵和噪声熵都等于此时由于信道的损失熵和噪声熵都等于0，所以，所以3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法srcloglog)|()()|()();(XYHYHYXHXHYXI(2)有噪无损信道有噪无损信道1/ 21/ 20000003 / 53 /101/100000001P 可见，信道矩阵中每一列有且只有一个非零元素时，这可见，信道矩阵中每一列有且只有一个非零元素时，这

19、个信道一定是有噪无损信道个信道一定是有噪无损信道.3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法a1a2b1b2b3b4b5a3b61/21/211/103/103/5(b)有噪无损信道有噪无损信道（a）有噪无损信道传递矩阵）有噪无损信道传递矩阵rclog)|()()|()();(XYHYHYXHXHYXI(3)无噪有损信道无噪有损信道a1a2a3a4a5b1b23.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法sclog)|()()|()();(XYHYHYXHXHYXI 如果一个离散信道的信道转移矩阵中的每一行都是由如果一个离散信道的信道转移矩阵中的每一行都

20、是由同一组元素集的不同组合构成的，并且每一列也是由这一同一组元素集的不同组合构成的，并且每一列也是由这一组元素组元素集集组成的，则称为组成的，则称为对称信道。对称信道。 如：如： 1111336611116633P 和和111236111623111362P2、对称离散信道的信道容量、对称离散信道的信道容量3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法如果离散信道的转移矩阵如下如果离散信道的转移矩阵如下 .11111.11ppprrppppPrrrppprr 则称此信道为则称此信道为强对称信道强对称信道或或均匀信道均匀信道，它是对称离，它是对称离散信道的一种特例。该信道的行数

21、等于列数。散信道的一种特例。该信道的行数等于列数。3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法通过公式推导得对称离散信道的信道容量计算公式：通过公式推导得对称离散信道的信道容量计算公式：此时，此时，信道的输入输出均是等概分布。即最佳输入信道的输入输出均是等概分布。即最佳输入分布为等概分布。分布为等概分布。S表示输出符号的个数。表示输出符号的个数。3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法) ., (21spppH 表示转移矩阵中某一行的熵（某一行表示转移矩阵中某一行的熵（某一行的元素作为一个信源，求此信源的熵）的元素作为一个信源，求此信源的熵）) .,

22、 (log21spppHsC例：1111336611116633P 对于二元对称信道对于二元对称信道log2( )1( )CH pH p 这个式子很重要。这个式子很重要。3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法817. 06log616log613log313log312) ,61,61,31,31(4logHC例：对于强对称信道，其信道容量为：例：对于强对称信道，其信道容量为：log( ,.,)111pppCrH prrrloglogloglog.log111111pppppprpprrrrrr logloglog1prppprloglog(1)( )rrH p3.4

23、 3.4 信道容量及其一般计算方法信道容量及其一般计算方法3、准对称信道的信道容量：、准对称信道的信道容量： 若信道的列可以划分成若干个互不相交的子集，每一个若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为子集都是对称信道，则称该信道为准对称信道准对称信道，如：，如：11/31/3 1/61/61/61/3 1/61/3P可划分为：可划分为：1/31/61/61/31/31/31/61/63.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法又如：又如：20.70.10.20.20.10.7P可分成：可分成：0.70.20.20.70.10.1准对称信道

24、的信道容量计算为：准对称信道的信道容量计算为：121log(,.,)lognskkkCrH p ppNM其中其中r是输入符号集的个数，是输入符号集的个数， 为原矩阵中的行元素，为原矩阵中的行元素， 是第是第k个子矩阵中的行元素之和，个子矩阵中的行元素之和， 是第是第k个子矩阵的列元个子矩阵的列元素之和。素之和。12,.,sp ppkNkM3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法 可以证明准对称信道达到信道容量的输入分布是等概分可以证明准对称信道达到信道容量的输入分布是等概分布。布。例：例：11pqqpPpqpq可分成：11pqpppqqq log2(1, , )(1)l

25、og(1)log2CHpq p qqqqq3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道的信道容量、一般离散信道的信道容量3.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法jsjijijsjjijabPabPabP11)/(log)/()/() 1求根据CCsjj求根据122log)2)(2)()3jCjbPbPj求根据取舍。进行最后利用求根据)(),()/()()()41iiriijijaPaPabPaPbP例：1110244010000101110442P可列方程组：12423134111111111logloglog24422444400111111111logloglog4424444223.4 3.4 信道容量及其一般计算方法信道容量及其一般计算方法解之得：231402 20025log(2222 )loglog5 12C2 log5 1141