第3章 信道容量A

1、第第 3 章信章信 道道 容容 量量 3.13.1信道定义与数学模型信道定义与数学模型信道数学模型：P(Y/X)XY信道模型如下图所示。12,.,.,inXxxxx12,.,.,jmYyyyy1212,.,.,.,.,1,2,.,1,2,.,(/)jminyyyyxxxxjiinjmXp yxY 称为信道的转移概率或信道的传递概率。用信道转移概率矩阵 (简称为信道矩阵)表示信道特性。信道矩阵为nm矩阵。(3)(/)jip yx112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)mmnnmnp yxp yxp yxp yxp yxp yxp yxp yxp yx 称为反

2、信道的转移概率。相应矩阵 称为反信道矩阵。反信道矩阵为m n矩阵。(4)(/)ijp xy112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)nnmmnmp xyp xyp xyp xyp xyp xyp xyp xyp xy信道的信息传输率R，定义为(5)I(X；Y )是 和 的函数。当信道特性 固定后，I(X；Y )随信道的分布特性 变化。 I(X；Y )是 的上凸函数有最大值，因此总能找到一种概率分布 使信道的信息传输率R为最大，定义这个最大信息传输率为信道容量，记为C 。(6)其单位为比特/信道符号。若信道传送平均一个符号为t秒，则单位时间为信道容量为(7)(

3、; )RI X Y()ip x(/)jip yx(/)jip yx()ip x()ip x()()maxmax (; )iip xp xCRI X Y()1max (; )itp xCI X Yt(比特/秒()ip x3.2.2 3.2.2 几种特殊离散信道的信道容量几种特殊离散信道的信道容量 一、离散无噪信道的信道容量一、离散无噪信道的信道容量 一般分为三种情况：1.1.具有一一对应关系的无噪信道具有一一对应关系的无噪信道(“(“一对一一对一”) ) m=n, 信道矩阵元素均为0或1。 无噪H(X/Y )=0,H(Y/X )=0,所以：(;Y )=H(X )= H(Y )根据信道容量的定义有

4、：(8)()max (; )logip xCI X Yn. .具有扩展性能的无噪信道（一对多）具有扩展性能的无噪信道（一对多）11213142521(/)(/)(/)000000000(/)(/)000000000(/)(/)mnmnp yxp yxp yxp yxp yxp yxp yx mn, 信道矩阵：1x1y2y3y2x5y6ynx1mymy4y信道矩阵每列只有一个元素不为0，已知后，X 不再有任何不确定性。信道疑义度H(Y/X )=0, 则有：(;Y )=H(X )因此：(9)()max (; )logip xCI X Yn3.3.具有归并性能的无噪信道（多对一）具有归并性能的无噪信

5、道（多对一）100100100010010001 mn, 信道矩阵：1x1y2y2xnxmy3x4x5x 信道矩阵中元素为0或1，每行有一个1，其余是0，每列有多个1。 这种信道的噪声熵H(Y/X )=0,信道容量(10)()max (; )logip xCI X Ym二、强对称二、强对称离散信道的信道容量离散信道的信道容量nn阶对称矩阵 其中上述信道称为。12,.,nXxxx12,.,nYyyy 111111n npppnnpppPnnpppnn1Pp对称矩阵，(1)11nppSpnn 个( ; )( )(/)I x yH YH YX111(/)log (/(/)()()njijijnnii

6、iinip yxp yxH YXHp xp x1(/)log (/)log(1)log11nnijijijHp yxp yxppppnnn (/)niH YXHniH()()max( )max( )iininip xp xCH YHH YH1()jp yn1()() (/)1,2,.,(13)njijiip yp xp yxjn( )ip x(/),1,2,.,jip yxin1()ip xnloglogloglog1niCnHpnpppn1loglog1( )CppppH p 1.01.00.50Cp三、对称三、对称离散信道的信道容量离散信道的信道容量12,.,mQq qq12,.,nPpp

7、p121111111236111336611116231116633362PP1 1 1 11 1 , , , ,3 3 6 63 6QPmn1 1 1 1 , ,3 3 6 6PQmn111(/)lo( ; )( )(/)( )( )( )( )g(/)mjijiniinimjiip yxp yI x yH YH YXHxYp xH Yp x H 1(/)log(/)mmijijijHp yxp yx ,(/),1,2,.,jii p yxjmmiH12( ; )( )=( )( ,.,)mimI x yH YHH YH q qq离散信道的信道容量离散信道的信道容量12()max( )log

8、( ,.,)imimp xCH YHmH q qq12 ,.,mQq qq12()max( )(,.,)imp xCH YH q qq11111248811114288P1 1 1 13(, )( )( , )( )12 4 8 84I X YH YHH Y 12(), ()1p xp p xp 1214111111()(1)(1), ()(1)(2)244424111()(1)()88811111111( )(1)log(1)(2)log(2)loglog44448888p ypppp ypppp yppp yH Ypppp 3333log10.0612()4844C 比特/信源符号( )0

9、1111log(1)log(2)044441212H Ypppppp3.2.3 3.2.3 离散信道容量一般计算方法离散信道容量一般计算方法 ： 是n个变量 的多元函数，并满足：可用拉格朗日乘子法求解。()max (; )ip xCI X Y(; )I X Y12 (), (),., ()np xp xp x1()1niip x引进拉格朗日乘子。解方程组(19)。1(; )( ) 1niiI X Yp x1(; )( ) 10( )( )niiiiI X Yp xp xp x（18)由于111(; )()log()( ) (/)log(/)mnmjjijijijijI X Yp yp yp x

10、 p yxp yx 1111( ) (/ )l()log ()( ) 10(og ()/nmijijiijmnjjijiip x p yxpp yp yp xp xyx（20)1()( ) (/)()(/)( )mjijijjjiip yp x p yxp yp yxp x求偏导得11(/)log ()(/)log (/og)l0mjijjijmjijijp yxp yxp yp yxep yx1()( ) (/)()(/)( )mjijijjjiip yp x p yxp yp yxp x11(/)log ()(/)log (/og)l0mjijjijmjijijp yxp yxp yp y

11、xep yxlog ()ln ()logjjp yp ye1(/) 1mjijp yx11(/ )log ()(/ )log (/ )logmmjijjijijjp yxp yp yxp yxe（21)( )ip x1111( ) (/ )log ( )( ) (/ )log (/ ) logmnmnijiijijijijijp yp x p y xp y xp xy xep 111log ()( ) (/ )logl)(/ )o(gmnmjijijijijjp yp x p yxp yxep y (; )I X YC（22)logCe（23)j111(/)log(/)(/)log()(/)

12、log()mmjijijijjjmjijjp yxp yxp yxp yCp yxp yClog()jjp yC()2jCjp y（24)（26)11(/)(/)log(/)mmjijjijijjp yxp yxp yx（25)1log2jmjC112()1jmmCjjjp y（27)122jmCj的计算步骤：1111(1)(/)(/)log(/),;(2)log2,;(3)()2,();(4)()() (/),().jjmmjijjijijjjmjCjjmjijiijp yxp yxp yxCCp yp yp yp xp yxp x由求由求由求由求()0,1,2,., .ip xin：要验证112120(1)log(1)