信息论与编码cha

1、第三章第三章 信道及其容量信道及其容量 u 信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。 u 研究信道中能够传送或存储的最大信息量，即信道容量。研究信道中能够传送或存储的最大信息量，即信道容量。 3.1 3.1 信道的数学模型和分类信道的数学模型和分类 等效信道 干扰源 物理信道 解调器 编码器 译码器 信宿 信源 调制器 实际信道 编码信道 图3.1.1 数字通信系统的一般模型 3.1 3.1 信道的数学模型和分类信道的数学模型和分类 一、信道的分类一、信道的分类 根据载荷消息的媒体不同根据载荷消息的媒体不同 根据信息传输的方式根据信息传输的方式 根据

2、信息传输的方式分类中根据信息传输的方式分类中 根据信道的用户多少：两端根据信道的用户多少：两端(单用户单用户)信道信道 多端多端(多用户多用户)信道信道 根据信道输入端和输出端的关联：根据信道输入端和输出端的关联： 无反馈信道无反馈信道 反馈信道反馈信道 根据信道的参数与时间的关系：根据信道的参数与时间的关系： 固定参数信道固定参数信道 时变参数信道时变参数信道 根据输入和输出信号的特点：根据输入和输出信号的特点： 离散信道离散信道 连续信道连续信道 半离散或半连续信道半离散或半连续信道 波形信道波形信道 二、离散信道的数学模型二、离散信道的数学模型 条件概率条件概率 P(y/x) 描述了输入

3、信号和输出信号之间统计描述了输入信号和输出信号之间统计 依赖关系。反映了信道的统计特性。依赖关系。反映了信道的统计特性。 根据信道的根据信道的统计特性即条件概率统计特性即条件概率 P(y/x)P(y/x)的不同，离散的不同，离散 信道又可分成三种情况：信道又可分成三种情况： 无干扰信道无干扰信道 有干扰无记忆信道有干扰无记忆信道 有干扰有记忆信道有干扰有记忆信道 (1)无干扰无干扰(噪声噪声)信道信道 信道中没有随机性的干扰或者干扰很小，输出信号信道中没有随机性的干扰或者干扰很小，输出信号 y与输入信号与输入信号 x 之间有确定的、一之间有确定的、一 一对应的关系。即：一对应的关系。即： y

4、f (x) )(0 )(1 )|( xfy xfy xyP (2)有干扰无记忆信道有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符号，如果任一时刻输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道。则这种信道称为无记忆信道。 )|().|.()|( ii N i NN xyPxxxyyyPxyP 1 2121 (3) 有干扰有干扰(噪声噪声)有记忆信道有记忆信道 实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类又有记忆的这种类 型。型。 例如在

5、数字信道中，由于信道滤波使频率特性不理例如在数字信道中，由于信道滤波使频率特性不理 想时造成了码字之间的干扰。想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时在这一类信道中某一瞬间的输出符号不但与对应时 刻的输入符号有关，而且还与此以前其他时刻信道的输刻的输入符号有关，而且还与此以前其他时刻信道的输 入符号及输出符号有关，这样的信道称为有记忆信道。入符号及输出符号有关，这样的信道称为有记忆信道。 三、单符号离散信道 单符号离散信道：单符号离散信道： 输入符号为输入符号为X，取值于，取值于a1,a2, ,ar。 输出符号为输出符号为Y，取值于，取值于b1,b2, ,bs。

6、 条件概率：条件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用这一组条件概率称为信道的传递概率或转移概率，可以用 来描述信道干扰影响的大小。来描述信道干扰影响的大小。 信道中有干扰信道中有干扰(噪声噪声)存在，可以用传递概率存在，可以用传递概率 P(bj/ai) 来描来描 述干扰影响的大小。述干扰影响的大小。 一般简单的单符号离散信道可以用一般简单的单符号离散信道可以用X, P(y/x) ,Y 三者加三者加 以描述。以描述。 其数学模型可以用概率空间其数学模型可以用概率空间X, P(y/x) ,Y描述。当然，描述。当然， 也可用下

7、图来描述：也可用下图来描述： a1 b1 a2 b2 X . . Y . . ar bs P(bj/ai) 例例1 二元对称信道，二元对称信道，BSC，Binary Symmetrical Channel 解：此时，解：此时，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。 传递概率传递概率: pPabP pPabP ppPabP ppPabP )0|1()|( )1|0()|( 1)1|1()|( 1)0|0()|( 12 21 22 11 p是单个符号传输发生错误的概率。是单个符号传输发生错误的概率。 （1-p）表示是无错误传输的概率。）表示是无错误传输的概率。

8、 转移矩阵转移矩阵: -1 pp pp 1 0 1 0 1 1p a1=0 0=b1 1p a2=1 1=b2 p p 符号符号“2”表示接收到了表示接收到了“0”、“1”以外的特殊符以外的特殊符 号号 qq pp 10 01 0 2 1 0 1 p 0 0 1p 1 1 q 1q 2 例例2二元删除信道。二元删除信道。BEC，Binary Eliminated Channel 解：解：X:0，1 Y:0，1，2 此时，此时，r 2，s 3， 传递矩阵为：传递矩阵为： 一般离散单符号信道的传递概率可用矩阵形式表示，即一般离散单符号信道的传递概率可用矩阵形式表示，即 s j ijij pp 1

9、10 矩阵矩阵P完全描述了信道的特性，可用它作为离散单符号完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。信道的另一种数学模型的形式。 P中有些是信道干扰引起的错误概率，有些是信道正确中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵）传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。 rsrr s s ppp ppp ppp P . : . . 21 22221 11211 b1 b2 bs a1 P(b1|a1) P(b2|a1) P(bs|a1) a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P

10、(b1|ar) P(b2|ar) P(bs|ar) 3.2 3.2 信道疑义度与平均互信息信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型本节进一步研究离散单符号信道的数学模型 下的信息传输问题。下的信息传输问题。 一、信道疑义度一、信道疑义度 信道输入信源信道输入信源X的熵的熵 H(X)是在接收到输出是在接收到输出Y以前，关于输入变量以前，关于输入变量X的先验不的先验不 确定性，称为先验熵。确定性，称为先验熵。 )(log)( )( 1 log)()( 1 xPxP aP aPXH X i r i i 接受到接受到bj后，关于后，关于X的不确定性为的不确定性为 后验熵在输出符号

11、集后验熵在输出符号集Y范围内是个随机量，对后验熵在符范围内是个随机量，对后验熵在符 号集号集Y中求数学期望，得条件熵中求数学期望，得条件熵-信道疑义度：信道疑义度： 这是接收到输出符号这是接收到输出符号bj后关于后关于X的后验熵。的后验熵。 后验熵是当信道接收端接收到输出符号后验熵是当信道接收端接收到输出符号bj后，关于输入后，关于输入 符号的信息测度。符号的信息测度。 )|( 1 log)|()|( jX jj bxP bxPbXH )/()()/()|( 1 j s j jj bXHbPbXHEYXH r i ji ji s j j baP baPbP 11 )|( 1 log)|()(

12、)|( 1 log)( , yxP xyP YX 互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后获得关于后获得关于xi的信息量的信息量 )( )|( log )|( 1 log )( 1 log)/()();( i ji jii ji xp yxp yxpxp yxIxIyxI 二、平均互信息二、平均互信息 )( )|( log)();()();( i ji ji jiji ji ji xp yxp yxpyxIyxpYXI 平均互信息平均互信息I(X; Y)： I(xi ; yj)的的统计平均。统计平均。 l它代表接收到符号集它代表接收到符号集Y后平均每个符号获得的关于后

13、平均每个符号获得的关于X的的 信息量，也表示了输入与输出两个随机变量之间的统信息量，也表示了输入与输出两个随机变量之间的统 计约束程度。计约束程度。 平均互信息与各类熵的关系平均互信息与各类熵的关系 )( 1 log)()(; )( 1 log)()( yp ypYH xp xpXH YX )|( 1 log)()|(; )|( 1 log)()|( , xyp xypXYH yxp xypYXH YXYX )( 1 log)()( , xyp xypXYH YX H(X)H(Y) H(X/Y) H(Y/X) I(X;Y)I(X;Y) H(XY)H(XY) 两种特殊信道两种特殊信道 )(0 )

14、(1 )|( xfyji xfyji xyp ij )(0 )(1 )|( xfyji xfyji yxp ji Yy Xx yPxyp)()|( Yy Xx xPyxp)()|( 三、平均互信息的性质三、平均互信息的性质 平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性： （1）非负性）非负性 即即 I(X;Y) = 0 当当X、Y统计独立时等式成立。统计独立时等式成立。 （2）极值性）极值性 即即 I(X;Y) = H(X) 当当 H(X/Y)=0 时，即信道中传输信息无损时，等式时，即信道中传输信息无损时，等式 成立。成立。 （3）交互性（对称性）交互性（对称性） 即即 I

15、(X;Y) = I(Y;X) 当当 X、Y统计独立时统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时当信道无干扰时 I(X;Y) = I(Y;X)=H(X)=H(Y) , (| )(| ) (;)( ;)()log( ) (| )log ( )( ) ( )( ) (| ) X YX Y X P y xP y x I X YI Y XP xyP x P y x P yP y P yP x P y x 其中： l 平均互信息平均互信息I(X;Y)是输入信源的概率分布是输入信源的概率分布P(x)的的 型凸函数。型凸函数。 l 平均互信息平均互信息I(X;Y)是信道传递的概率是信道传递

16、的概率P(y/x)的的 型凸函数。型凸函数。 当信源固定后，选择不同的信道来传输同一信源符当信源固定后，选择不同的信道来传输同一信源符 号，在信道输出端获得关于信源的信息量是不同的。号，在信道输出端获得关于信源的信息量是不同的。 对每一种信源都存在一种最差的信道，此时干扰对每一种信源都存在一种最差的信道，此时干扰 (噪声噪声) 最大，而输出端获得的信息量最小。最大，而输出端获得的信息量最小。 3.3 3.3 离散无记忆信道的扩展信道离散无记忆信道的扩展信道 s j ijij pp 1 10 )|().|.()|( 1 2121ij N i NN xyPxxxyyyPxyP rsrr s s p

17、pp ppp ppp P . :.: . . 21 22221 11211 1 11111 11 1 12221 12 (. )(. ) (.)(. ) (|): (.)(. ) NN NN kk rrrsss rs a aabbb a aabbb pXY a aab bb NNNN N N srrr s s 21 2 2221 1 1211 (|) khhk p 1212 (|) hhhNkkkN p b bba aa 1 (|)1,2,1,2, N NN hiki i p bakirhis 22 22 22 22 pppppp pppppp pppppp pppppp 2 11 21 31

18、 2 41 (/)(00/00)(0/0) (0/0) (/)(01/00)(0/0) (1/0) (/)(10/00)(1/0) (0/0) (/)(11/00)(1/0) (1/0) PPPPp PPPPpp PPPPpp PPPPp );();( NN YXIYXI )/()( NNN YXHXH )/()( NNN XYHYH N i ii xyPP 1 )/()/(xy N i ii YXIYXI 1 );();( ),(),( 1 ii N i YXII YX ),(),(),( 1 YXNIYXII ii N i YX 研究信道的目的是要讨论信道中平均每个符号所研究信道的目的是要

19、讨论信道中平均每个符号所 能传送的信息量能传送的信息量-信息传输率信息传输率R 平均互信息平均互信息I(X;Y)就是接收到符号就是接收到符号Y后平均每个后平均每个 符号获得的关于符号获得的关于X的信息量。的信息量。 所以：所以： R = I(X;Y) = H(X) H(X|Y) (比特比特/符号符号) 3.4 3.4 离散信道的信道容量离散信道的信道容量 信道中每秒平均传输的信息量信道中每秒平均传输的信息量-信息信息传输速率传输速率Rt Rt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒） 一、一、 信道容量的定义信道容量的定义 由于平均互信息由于平均

20、互信息I(X;Y)是输入随机变量的是输入随机变量的型凸函数型凸函数 ，所，所 以对一固定的信道，总存在一种信源，使传输每个符号平均获以对一固定的信道，总存在一种信源，使传输每个符号平均获 得的信息量最大。得的信息量最大。 即存在一个最大的信息传输率即存在一个最大的信息传输率 -定义为信道容量定义为信道容量C );(max )( YXIC XP t C C t 例例4 信道容量的计算信道容量的计算 )(1);( max pHYXI max (; )max()( ) 1( ) CIX YHppH p H p ()( )HppH p 当当 1 2 二、简单离散信道的信道容量二、简单离散信道的信道容量

21、 100 010 001 )3 , 2 , 1,( 1 0 )/()/( ji ji ji baPabP jiij )/(loglog)(max)(max )()( symbolbitsrYHXHC yPxP 100000 0 10 1 10 3 5 3 00 0000 2 1 2 1 P ”0“1)/( 1)/(1)/(1)/( 1)/(1)/( 63 524232 2111 其他各项后验概率为 baP baPbaPbaP baPbaP symbolbitrXHC xP /log)(max )( 无噪有损信道无噪有损信道 () max( )log(/) P y CH Ysbit symbol

22、 三、对称离散信道的信道容量三、对称离散信道的信道容量 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 1 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 PP和 7 . 01 . 02 . 0 1 . 02 . 07 . 0 3 1 6 1 3 1 6 1 6 1 6 1 3 1 3 1 PP和 . 11 . 11 : . 11 pp p rr pp p Prr pp p rr 1pp )/() ,., (log ),., ()(max 21 21 )( symbolbitpppHs pppHYHC s s xP YX xyp xypxpXYH )|( 1

23、 log)|()()|( )/()(xXYHxp X Y xyp xypxXYH )|( 1 log)|()|( ),., ()/( 21s pppHxXYH 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 P 四、离散无记忆四、离散无记忆N次扩展信道的信道容量次扩展信道的信道容量 ),(),( 1 ii N i YXII YX 即：即：CN = NC () () 1 () 1 1 max (; ) max(;) max (;) i N P X N ii P X i N ii P X i N i i CI X Y I X Y I X Y C 3 35 5 连续信道的信道容量连续

24、信道的信道容量 幅度连续的单个符号信源熵幅度连续的单个符号信源熵 补充：连续信源的熵与互信息补充：连续信源的熵与互信息 x dxxpxdxxpxpXHXH xxpxxpxpxpXH xxpdxxpxp xiaxiaxnabxbax n b a iX n b a iXiXn n n i iXiX n i iin xia xia iXXi i loglim )(loglim)(log)()(lim)( )(log)()(log)()( )()()( ,)1(,/)(, 11 )1( b b a a i iX Xi iX X ) )d dx x( (x x) )l lo og gp p( (x xp

25、 p 利用中值定理可得 令 )/()(),()()( )/()();();( )/()(),( )/(log),()/( ),(log),(),( )(log)()( , , XYHYHYXHYHXH YXHXHXYIYXI XYHXHYXH dxdyxypyxpXYH dxdyyxpyxpYXH dxxpxpXH ccccc cc ccc YYXc YXYXc XXc 互信息 条件熵 联合熵 相对熵 波形信源熵波形信源熵 )/(lim)(/ )( )(lim)( )(log)()( )(log)(),()( , 21 XY X yxy/xyx,Y/X xxxX YX c L c c L c

26、YYXc XXLcc HtxtyH HtxH L ddppH dppXXXHH 随机波形信源取 条件熵 相对熵 和平稳随机矢量 最大熵定理最大熵定理 具有最大熵当它是均匀分布时 变量对于定义域有限的随机限峰功率最大熵定理 ， X，: )( 1 log 1 )( )( )(log )( 1 log )( )( log)()(log)( )( )( )( 1 log)( )(log)()(,( 1 21 1 2121 21 21 1 1 1 1 1 1 1 1 1 1 ii N i N b a b a ii N i N b a b a N b a b a N b a b a N b a b a c

27、 ab dxdxdx xp xq xpe ab dxdxdx xp xq xpdxdxdxxqxp dxdxdx xq xq xp xp dxdxdxxpxpxpxH N N N N N N N N N N 最大熵定理最大熵定理 限平均功率最大熵定理：对于相关矩阵一定随机变量限平均功率最大熵定理：对于相关矩阵一定随机变量X， 当它是正态分布时具有最大熵当它是正态分布时具有最大熵 )2log( 2 1 2log 2 log 2log )( 2 )( log2log)( 2log) 2 )( exp()log( 2 1 log)()( 2 1 )( 22 2 2 2 2 2 2 2 2 2 2 )

28、( 2 2 )( 2 2 2 2 2 ee e dxxp mx edxxp dx mx xp dxexpXH exp mx c mx 一、连续单符号加性高斯噪声信道的信道容量一、连续单符号加性高斯噪声信道的信道容量 2 2log)(enh 2 0 2 0 log 2 1 2log2log P eePC )1log( 2 1 )1log( 2 1 2 n ss P PP 二、多维无记忆高斯加性连续信道二、多维无记忆高斯加性连续信道 N i i N i ii npxypxypnp 11 )()/()/()( N i ii YXIYXI 1 );();( N i ni si P P 1 1log 2

29、 1 N i ni si P P 1 1log 2 1 );(max )( YXIC xp X1Y1=X1 +n1 n1 XNYN=XN +nN nN Pn n s P PN C1log 2 N i ni ni P P C 1 1log 2 1 0 0 0 )( x xx x nisi PP PPXE N i si N i i 11 2 nisi PP nisi PP )( 1 1 WP N i si 65. 0 0 . 1.2 . 01 . 01 10 1 10 1 1 N i ni PP 517. 06 . 0.2 . 01 . 01 6 1 6 1 6 1 i ni PP 5 . 05

30、. 0.2 . 01 . 01 5 1 5 1 5 1 i ni PP 5 . 04 . 0.2 . 01 . 01 4 1 4 1 4 1 i ni PP 35. 2 4 . 03 . 02 . 01 . 0 5 . 0 log 2 1 log 2 1 log 2 1 1log 2 1 4 4321 4 1 4 1 nnnn i ni i ni si PPPP PP P C 53. 4 8 . 0.2 . 01 . 0 825. 0 log 2 1 log 2 1 log 2 1 8 87654321 8 1 nnnnnnnn i ni PPPPPPPPP C 85. 00 . 1.2 . 01 . 03 10 1 10 1 1 N i ni PP )(3 1 WP N i si 825. 08 . 0.2 . 01 . 03 8 1 三、限频限时限功率的加性高