信息论第3章信道及信道容量

1、信道及信道容量2021-10-9第3章 信道及信道容量教学内容和要求掌握单符号离散信道及平均互信息量，理解其性质掌握m=n信道、对称信道和准对称信道的信道容量了解多符号离散信道，掌握N次扩展信道及信道容量信道及信道容量2021-10-9掌握单符号连续信道及平均互信息量，理解其性质掌握高斯加性信道的信道容量和最大信息传输速率了解多符号连续信道及信道容量信道及信道容量2021-10-9编码信道译码噪声信源信宿信道传输信号的媒介，信道中通常引入噪声狭义信道信号的传输媒介有线信道电线、电缆、光缆无线信道电磁空间地波传播、天波传播、视线传播信道及信道容量2021-10-9发转换媒介收转换调制解调 调制信

2、道调制信道编码信道编码信道 广义信道包括调制解调、收发转换装置的信道调制信道连续信道编码信道离散信道信道及信道容量2021-10-9一、单符号离散信道及信道容量1、单符号离散信道定义对应于单符号离散信源和单符号离散信宿的信道表示信源离散型随机变量X信宿离散型随机变量Y信道及信道容量2021-10-9)x(P,),x(P),x(P)X(Px,x,xXn21n21设随机变量X的取值xi为信源发出的消息 i=1,2,n)y(P,),y(P),y(P)Y(Pnmy,y,yYm21m21，通常设随机变量Y的取值yj为信宿收到的消息 j=1,2,mXP(Y/X)Y信道及信道容量2021-10-9x1x2x

3、ny1y2ymP(y1/x1)P(ym/xn)P(y2/x2)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)X/Y(Pnmn2n12m22211m1211信道及信道容量2021-10-9n, 2 , 1i1)x/y(P1)x/y(P0m1jijij且其中，信道及信道容量2021-10-9p1ppp1)X/Y(P例12121122111)X/Y(P例2信道及信道容量2021-10-92、互信息量信源发出消息xi而信宿接收到消息yj，信宿消息yj所含信源消息xi的信息量定义信宿消息yj的概率P(yj)与信源发出消息xi而信宿接收到消息y

4、j的转移概率P(yj /xi )之差对数的负值，用I(xi;yj) 表示信道及信道容量2021-10-9表示)x/y(Plog)y(Plog)x/y(P)y(Plog)y;x( Iijjijjji信道及信道容量2021-10-9例375. 025. 001)X/Y(PZ信道6 . 04 . 010)X(PX信源信宿消息0所含各信源消息的互信息量55. 025. 06 . 014 . 0)0y(P1)bit(862. 01log55. 0log)x/y(Plog)y(Plog)0y; 0 x( I11111)bit(138. 125. 0log55. 0log)x/y(Plog)y(Plog)

5、0y; 1x( I21112信道及信道容量2021-10-93、平均互信息量各互信息量的数学期望，也叫交互熵，用I(X;Y)表示定义表示n1im1jijjin1im1jjjin1im1jjijiji)x/y(Plog)yx(P)y(Plog)yx(P)y;x( I )yx(P)y;x( I E)Y;X( I信道及信道容量2021-10-94、平均互信息量的意义条件熵H(Y/X)是信道给出的平均信息量噪声熵或信道散布度)X/Y(H)Y(H)Y;X( I)X/Y(H)Y(H)x/y(Plog)yx(P)y(Plog)y(Pn1im1jijjin1jjj平均互信息量I(X;Y)反映信道每传输一条消息

6、所携带的平均信息量，不反映信宿收到某条消息所含信源发出某条特定消息的信息量信道及信道容量2021-10-9n1im1jjiijin1im1jijjji)y/x(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;X( I)Y/X(H)X(H)y/x(Plog)yx(P)x(Plog)yx(Pn1im1jjijin1im1jiji条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息量损失熵或信道疑义度信道及信道容量2021-10-9H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿为参考，利用信宿的信息熵和信道的噪声熵来度量信道中传输的平均信息量以信源为参考，利用

7、信源的信息熵和信道的损失熵来度量信道中传输的平均信息量平均互信息量I(X;Y)信息传输率R信道及信道容量2021-10-9n1im1jjijijin1im1jijjji)yx(P)y(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;X( I)XY(H)Y(H)X(H)yx(Plog)yx(P)y(Plog)yx(P)x(Plog)yx(Pn1im1jjijin1im1jjjin1im1jiji信道及信道容量2021-10-95、平均互信息量的主要性质对称性)X;Y( I)Y;X( I)X;Y( I)y/x(P)x(Plog)yx(P)x/y(P)y(Plog)yx(P)Y;

8、X( In1im1jjiijin1im1jijjji信道及信道容量2021-10-9非负性0)Y;X( I)Y(H)X/Y(H0)X/Y(H)Y(H)Y;X( I极值性)Y(H)Y;X( I)X(H)Y;X( I0)Y/X(H, 0)X/Y(H信道及信道容量2021-10-9)Y(H)X/Y(H)Y(H)Y;X( I)X(H)Y/X(H)X(H)Y;X( IX与Y相互独立时，0)Y;X( IX与Y一一对应关系时，)X(H)Y(H)Y;X( I严格凸函数性信道固定时，I(X;Y)是信源概率分布P(X)的严格上凸函数信源固定时，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数信道及信道容量

9、2021-10-9例475. 025. 001)X/Y(PZ信道6 . 04 . 010)X(PX信源平均互信息量55. 025. 06 . 014 . 0)0y(P145. 075. 06 . 004 . 0) 1y(P2)bit(992. 045. 0log45. 055. 0log55. 0)y(Plog)y(P)Y(H21jjj信道及信道容量2021-10-921i21jijiji)x/y(Plog)x/y(P)x(P)X/Y(H)bit(487. 075. 0log75. 06 . 025. 0log25. 06 . 00log04 . 01log14 . 0)bit(505. 04

10、87. 0992. 0)X/Y(H)Y(H)Y;X( I信道及信道容量2021-10-9平均互信息量及p-I(X;Y)和q-I(X;Y)曲线p1p10)X(PX信源qq1q1q)X/Y(P信道qppq)q1)(p1 (pq)0y(P1qpqpq)p1 ()q1 (p) 1y(P2例5)qppq(H)qpqplog()qpqp()qppqlog()qppq()Y(H信道及信道容量2021-10-921i21jjiiji)y/x(Plog)x/y(P)x(P)X/Y(H)q(Hqlogqqlogqqlog)qpqp(qlog)qppq(qlogqpqlogqpqlogqpqlogpq)q(H)qp

11、pq(H)X/Y(H)Y(H)Y;X( I信道固定时q为常数，作p-I(X;Y)曲线0)q(H)q(H)Y;X( I0p 时，当)q(H1)q(H) 5 . 0(H)Y;X( I5 . 0p时，信道及信道容量2021-10-90)q(H)q(H)Y;X( I1p 时，00.51I(X;Y)1-H(q)p信源固定时p为常数，作q-I(X;Y)曲线) p(H) 0(H)p(H)Y;X( I0q 时，当信道及信道容量2021-10-9)p(H) 1 (H)p(H)Y;X( I1q 时，0) 5 . 0(H) 5 . 0(H)Y;X( I5 . 0q时，00.51I(X;Y)H(p)q信道及信道容量2

12、021-10-96、信道容量信道固定时，平均互信息量是信源概率分布P(X)的严格上凸函数，总能找到一种信源概率分布P(X)，使信道中传输的平均互信息量达到最大定义信道转移概率分布P(Y/X)不变时平均互信息量的最大值，用C表示信道及信道容量2021-10-9表示)Y;X( ImaxC)X(P7、m=n信道的信道容量限制下的条件极值在1)x(P)Y;X( In1iin, 2 , 1i01)x(P)Y;X( I )x(Pn1jji令信道及信道容量2021-10-9n, 2 , 1i01)x(P)x/y(Plog)x/y(P)x(P)y(Plog)y(P)x(Pn1jjn1jm1kjkjkjm1kk

13、kin, 2 , 1i)x/y(P)x/y(P)x(P)x(P)x(P)y(Pikn1jjkjiik注意到信道及信道容量2021-10-9n, 2 , 1ielog)y(Plog)x/y(P)x/y(ePlog)y(Plog)x/y(P)y(Plog)y(P)x(Pm1kkikm1kikkikm1kkki信道及信道容量2021-10-9n, 2 , 1i)x/y(Plog)x/y(P1)x(P)x/y(Plog)x/y(P)x(P)x(Pm1kikikn1jjn1jm1kjkjkjin, 2 , 1i0)x/y(Plog)x/y(Pelog)y(Plog)x/y(Pm1kikikm1kkik信

14、道及信道容量2021-10-9n, 2 , 1ielog)x/y(P)y(Plog)x/y(Pm1kikkikelogelog)x(PC)x/y(P)y(Plog)x/y(P)x(Pn1iim1kikkikn1iin, 2 , 1iC)x/y(P)y(Plog)x/y(Pm1kikkik信道及信道容量2021-10-9n, 2 , 1i)x/y(PC)y(P)logx/y(PC)y(Plog)x/y(P)x/y(Plog)x/y(Pm1kkikm1kkikm1kkikm1kikikm,1,2,knmk，可解出如果m, 2 , 1kC)y(Plogkkm, 2 , 1k2)y(PCkk信道及信道

15、容量2021-10-91222)y(Pm1kCm1kCm1kkkkm1kCk22)2log(Cm1kkm, 2 , 1k2)y(PCkkm, 2 , 1k)x/y(P)x(P)y(Pn1iikikn,1,2,i)x(Pnmi，可解出信道及信道容量2021-10-9m=n信道的信道容量m, 2 , 1kn, 2 , 1i)x/y(Plog)x/y(P)x/y(P) 1 (km1kikikm1kkik求出由)2log(C) 2(m1kk求出m, 2 , 1k2)y(P) 3(Ckk求出n, 2 , 1i)x(Pm, 2 , 1k)x/y(P)x(P)y(P) 4(in1iikik求出由信道及信道容

16、量2021-10-9Z信道 的信道容量C及达到信道75. 025. 001)X/Y(P容量的信源概率分布P(X)例6082. 10811. 075. 0log75. 025. 0log25. 075. 025. 000log01log101) 1 (212121求出由信道及信道容量2021-10-9习题：(P99) 3.1、3.2)bit(558. 0)22log(C)2(082. 10求出321. 0222)y(P679. 0222)y(P) 3(640. 1558. 0082. 1C2528. 0558. 00C121求出428. 0)x(P572. 0)x(P321. 0)x(P75.

17、0)x(P0)y(P679. 0)x(P25. 0)x(P1)y(P)4(21212211求出由信道及信道容量2021-10-9二、对称信道及信道容量1、对称信道矩阵中每一行都是集合中各元素的不同排列矩阵行可排列；每一列都是集合 中各元素的不同排列矩阵列可排列q,q,qQm21p,p,pPn21信道及信道容量2021-10-9对称信道中，当mn时，P是Q的子集；当m=n时，P =Q例1下列信道矩阵所表示的信道是否为对称信道？既行可排列，又列可排列的信道矩阵所表示的单符号离散信道定义信道及信道容量2021-10-93131616161613131)X/Y(P61613131Q6131P行可排列列

18、可排列QP, nm信道及信道容量2021-10-96131613161613131)X/Y(P行可排列不存在P，列不可排列61613131Q信道及信道容量2021-10-92、对称信道的信道容量m=n=2时的对称信道二进制对称信道BSC11)X/Y(P对称信道行可排列m1jjjn1im1jjjin1im1jijijim21qlogqqlogq)x(P)x/y(Plog)x/y(P)x(P)q,q,q (H)X/Y(H信道及信道容量2021-10-9)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxCm21)X(P)X(P)X(P信宿等概时最大m1jjjm21qlogq

19、mlog)q,q,q (HmlogC最大值可达条件对称信道列可排列，不失一般性，设对称信道的信道矩阵信道及信道容量2021-10-91nn1n3221pppppppp)X/Y(Pm1)x(Pp)x(Pp)x(Pp)x(Pp)y(Pm1)x(Pp)x(Pp)x(Pp)x(Pp)y(Pn11nn23122nn1n1n22111信道及信道容量2021-10-9n1iin21pm1)x(P)x(P)x(P解出n, 2 , 1in1)x(P1)x(nP)x(Piin1ii信道及信道容量2021-10-9n1)x(P)x(P)x(Pn21m1jjjm21qlogqmlog)q,q,q(HmlogC对称信道

20、的信道容量BSC的信道容量)1log()1 (log1)(H1C达到信道容量的信源概率分布信道及信道容量2021-10-9例2信道的信道容量及达到信道7 . 01 . 02 . 02 . 07 . 01 . 01 . 02 . 07 . 0)X/Y(P容量的信源概率分布信道矩阵既行可排列，又列可排列，所表示的信道为对称信道信道及信道容量2021-10-9信道容量)bit(429. 01 . 0log1 . 02 . 0log2 . 07 . 0log7 . 03logqlogq3logC31jjj达到信道容量的信源概率分布31)x(P)x(P)x(P321信道及信道容量2021-10-9三、准

21、对称信道及信道容量行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的子矩阵列可排列的信道矩阵所表示的单符号离散信道信道矩阵7 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P定义1、准对称信道信道及信道容量2021-10-97 . 02 . 01 . 0Q行可排列不存在P，列不可排列按列分成两个不相交的子集，两个子集构成的子矩阵7 . 01 . 01 . 07 . 0)X/Y(P12 . 02 . 0)X/Y(P2列可排列，信道为准对称信道1 . 07 . 0P12 . 02 . 0P2信道及信道容量2021-10-9二进制删除信道准对称信道2112212111

22、)X/Y(P准对称信道行可排列2、准对称信道的信道容量m1jjjn1im1jjjin1im1jijijim21qlogqqlogq)x(P)x/y(Plog)x/y(P)x(P)q,q,q (H)X/Y(H信道及信道容量2021-10-9)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxCm21)X(P)X(P)X(P信宿等概的最大值是否可达？7 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P如果信宿等概信道及信道容量2021-10-931)x(P7 . 0)x(P1 . 0)y(P31)x(P2 . 0)x(P2 . 0)y(P31)x(P1

23、. 0)x(P7 . 0)y(P2132122110)x(P6 . 0)x(P6 . 00)x(P1 . 0)x(P5 . 02121矛盾！不可达信道及信道容量2021-10-9按列分为s个不相交的子集，各子集构成的子矩阵列可排列对应于子信道的各子信宿等概时最大最大值可达条件子矩阵列可排列，不失一般性，设第k个子矩阵 s1kkkks1kM)y(Pkk)X(P) y(Plog) y(Pm) y(Plog) y(P)Y(Hmaxkj信道及信道容量2021-10-91kknkn1kn3k2k2k1kkpppppppp)X/Y(P)y(P)x(Pp)x(Pp)x(Pp)x(Pp)y(P)x(Pp)x(

24、Pp)x(Pp)x(Ppkn1k1nkn23k12kknkn1n1kn22k11kn1ikikn21p)y(P)x(P)x(P)x(P解出信道及信道容量2021-10-9n, 2 , 1in1)x(P1)x(nP)x(Piin1iis , 2 , 1kpn1)y(Pn1ikik信道及信道容量2021-10-9准对称信道的信道容量)q,q,q(H)y(Plog)y(PmCm21ks1kkkm1jjjks1kkkqlogq) y(Plog) y(Pmn1)x(P)x(P)x(Pn21达到信道容量的信源概率分布信道及信道容量2021-10-9二进制擦除信道的信道容量22212111log)1log(

25、)1 (21log)1 (C信道及信道容量2021-10-97 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P信道的信道容量及达到信道容量时的信源概率分布例1行可排列1 . 02 . 07 . 0Q不存在P，列不可排列按列分成两个不相交的子集后，两个子集构成的子矩阵信道及信道容量2021-10-97 . 01 . 01 . 07 . 0)X/Y(P12 . 02 . 0)X/Y(P2都列可排列，所表示的信道为准对称信道1 . 07 . 0P12 . 02 . 0P24 . 0) 1 . 07 . 0(21p21)y(P2m21ii 111，2 . 0)2 . 02 . 0

26、(21p21)y(P1m21ii 222，41jjjk21kkkqlogq)y(Plog)y(PmC信道容量信道及信道容量2021-10-9)bit(365. 01 . 0log1 . 07 . 0log7 . 04 . 0log4 . 021 . 0log1 . 02 . 0log2 . 07 . 0log7 . 02 . 0log2 . 014 . 0log4 . 02达到信道容量的信源概率分布21)x(P)x(P21)bit(365. 01 . 0log1 . 07 . 0log7 . 04 . 0log8 . 0log)1log()1 (21log)1 (C22212111信道及信道容

27、量2021-10-98181214181814121)X/Y(P信道的信道容量及达到信道容量时的信源概率分布例2行可排列81814121Q不存在P，列不可排列信道及信道容量2021-10-9按列分成两个不相交的子集后，两个子集构成的子矩阵21414121)X/Y(P181818181)X/Y(P2都列可排列，所表示的信道为准对称信道4121P18181P2信道及信道容量2021-10-983)4121(21p21)y(P2m21ii 111，81)8181(21p21)y(P2m21ii 222，41jjjk21kkkqlogq)y(Plog)y(PmC信道容量)bit(061. 041log

28、4121log2183log83281log81241log4121log2181log81283log832信道及信道容量2021-10-921)x(P)x(P21达到信道容量的信源概率分布信道及信道容量2021-10-9四、N次扩展信道及信道容量1、多符号离散信道定义对应于多符号离散信源和多符号离散信宿的信道表示信源离散型随机过程X1X2XN信宿离散型随机过程Y1Y2YN信道及信道容量2021-10-9)x(P,),x(P),x(P)X(PN, 2 , 1kx,x,xXn21kn21k设n, 2 , 1i ,i ,ixxxXXXN21iiiN21N21为信源发出的消息的取值随机过程)y(P

29、,),y(P),y(P)Y(PN, 2 , 1knmy,y,yYm21km21k，通常设m, 2 , 1j ,j ,jyyyYYYN21jjjN21N21为信宿收到的消息的取值随机过程信道及信道容量2021-10-9X1X2XNP(Y1Y2YN/X1X2XN)Y1Y2YN)XXX/YYY(PN21N21)xxx/yyy( P)xxx/yyy( P)xxx/yyy( P)xxx/yyy( PN21N21N21N21N21N21N21N21nnnmmmnnn111111mmm111111n, 2 , 1i ,i ,i1xxx/yyy(P1)xxx/yyy(P0N21m1jm1jiiijjjiiij

30、jj1NN21N21N21N21 且其中，信道及信道容量2021-10-92、N维离散平稳信道定义多符号离散信道对任意两个不同时间起点k和l，其转移概率分布及直到N维的各维联合转移概率分布都相同取l=1，N维离散平稳信道)XXX/YYY(P)XXX/YYY(P)XX/YY(P)XX/YY(P)X/Y(P)X/Y(PN21N211Nk1kk1Nk1kk21211kk1kk11kk信道及信道容量2021-10-93、N维离散平稳无记忆信道DMC定义N维离散平稳信道的符号序列中各符号相互独立表示m, 2 , 1j ,j , jn, 2 , 1i ,i ,i)x/y(P)x/y(P)x/y(P)xxx

31、/yyy(PN21N21ijijijiiijjjNN2211N21N21信道及信道容量2021-10-9)XXX/YYY(PN21N21)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(PNN11NN11NN11NN11nmnmn1n11m1m1111)X/Y(PNNN维离散平稳无记忆信道形式上相当于单符号离散信道的N次扩展信道N次扩展信道对应于N次扩展信源和N次扩展信宿的信道信道及信道容量2021-10-94、N次扩展信道的信道容量)X/Y(H)Y(H)Y;X( I)YYY;XXX( INNNNNN21N21)Y;X(NI)X/Y(NH)Y(NHN

32、C)Y;X(NImax)Y;X( ImaxC)X(PNN)X(PNN信道及信道容量2021-10-9BSC的信道矩阵pppp)X/Y(P二次扩展信道的信道矩阵2222222222pppppppppppppppppppppppp)X/Y(P二次扩展信道的信道矩阵和信道容量例1信道及信道容量2021-10-9二次扩展信道的信道容量)plogpplogp1 (2C2C2222241jjj2plogppplogpppplogppplogp2qlogq4logCC2plogp2plogp22plogp2plogpp2plogpp2plogp2222习题：(P99-101)3.7、3.15信道及信道容量2

33、021-10-9五、单符号连续信道及信道容量1、单符号连续信道定义对应于单符号连续信源和单符号连续信宿的信道表示信源连续型随机变量X信宿连续型随机变量Y信道及信道容量2021-10-9)x(pbxa概率密度函数设随机变量X的取值x为信源发出的消息)y(pba,d, c dyc概率密度函数，通常设随机变量Y的取值y为信宿收到的消息Xp(y/x)Y信道及信道容量2021-10-92、单符号连续信道的噪声熵 y)x/y( plogyx)x/y( p)x( plim)X/Y(Hm1jn1iijiji0y, xm, n绝对噪声熵p(y/x)为信道转移概率密度函数1dy)x/y(pdc且m1jn1iji0

34、y, xm, nm1jn1iijji0y, xm, nylogyx)yx(plim)x/y(plogyx)yx(plim信道及信道容量2021-10-9 dcba0ymdcbadxdy)xy(pyloglimdxdy)x/y(plog)xy(p yloglimdxdy)x/y(plog)xy(p0ymdcba相对噪声熵 dcbacdxdy)x/y(plog)xy(p)X/Y(H表示信道及信道容量2021-10-93、平均互信息量)X/Y(H)Y(H)Y;X( I)X/Y(H)Y(Hyloglim)X/Y(Hyloglim)Y(Hcc0ymc0ymc相对熵不能作为信息度量，平均互信息量作为熵差，

35、具有信息度量的意义信道及信道容量2021-10-94、平均互信息量的主要性质 对称性)X;Y( I)Y;X( I 非负性0)Y;X( I)Y(H)X/Y(Hcc dcdcbady)y(plog)y(pdxdy)x/y(plog)xy(p信道及信道容量2021-10-9 dcbadxdy)x/y(p)y(plog)xy(p dcbadxdy 1)x/y(p)y(p)xy(p0dxdy)xy(pdxdy)y(p)x(pdcbadcba 0)X/Y(H)Y(H)Y;X( Icc信道及信道容量2021-10-9 严格凸函数性信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数信源固定时，I

36、(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数信道及信道容量2021-10-95、信道容量与最大信息传输速率信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x)，使信道中传输的平均互信息量达到最大定义信道转移概率密度函数p(y/x)不变时平均互信息量的最大值，用C表示信道及信道容量2021-10-9表示)Y;X( ImaxC)x(p连续信道习惯于考虑信道在单位时间内平均互信息量的最大值最大信息传输速率定义单位时间的信道容量，用Ct表示信道及信道容量2021-10-9其中T为平均传输一条消息所需的时间最大信息传输速率的单位为bit/s

37、ec(bps)表示)Y;X( ImaxT1TCC)x(pt信道及信道容量2021-10-9六、高斯加性信道及信道容量1、高斯加性信道加性噪声信道中噪声与信号相互独立且对信号的作用表现为线性叠加定义作用下的信道的白色高斯加性噪声、方差均值WGANP0N2信道及信道容量2021-10-9表示XY=X+NNX的概率密度函数为p(x)，Y的概率密度函数为p(y)，N的概率密度函数为p(n)222n2e21)n( p且信道及信道容量2021-10-92、高斯加性信道的相对噪声熵相应的雅可比行列式11011yfyfxfxfJ2121)x/y(p)x(p)xy(p)n(p)x(p)xn(pJ)xn(p)xy

38、(pxyfn, xfx21设坐标变换信道及信道容量2021-10-9222n2e21)n(p)x/y(p dxdy)x/y( plog)x/y( p)x( p)X/Y(Hc dxdn)n(plog)n(p)x(p)N(Hdn)n(plog)n(pc)eP2log(21)e2log(21N2信道及信道容量2021-10-93、高斯加性信道的信道容量)X/Y(H)Y(Hmax)Y;X( ImaxCcc)x(p)x(p)eP2log(21)Y(HmaxNc)x(pNX22X2YX2XPP0P0，方差足高斯分布，且均值的高斯分布，信宿也满，方差信源取均值根据平均功率受限下的最大相对熵定理，信宿具有最大

39、相对熵信道及信道容量2021-10-9)PP( e2log21)e2log(21(Y)Hmax NX2Ycp(x)高斯加性信道的信道容量)PP1log(21)eP2log(21)PP( e2log21CNXNNXSNRPPNX为信噪功率比其中信道及信道容量2021-10-94、高斯加性信道的最大信息传输速率如果所传输信号的带宽为B，根据采样定理，不失真传输一条消息的最小时间T=1/2B高斯加性信道的最大信息传输速率香农公式)PP1log(BB21/ )PP1log(21TCCNXNXt的单边功率谱密度为设WGANBPNN0)BNP1log(BC0Xt信道及信道容量2021-10-9香农公式的意义最大信息传输速率与所传输信号的带宽成正比，基本与信噪功率比成正比信噪功率比小于1时最大信息传输速率仍大于0所传输信号的带宽趋于无穷时，最大信息传输速率趋于有限值0XtBN