信息论信道容量

1、现在学习的是第一页，共83页 对一般离散信道而言，求信道容量，就是在固定信道的对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布条件下，对所有可能的输入概率分布p(xi)，求平均互信息，求平均互信息的极大值。采用拉各朗日乘子法来计算。的极大值。采用拉各朗日乘子法来计算。niiaPYXI1)();(设:,0)(则有令iaP现在学习的是第二页，共83页()() (/)njijiip bp ap ba()(/)()jjiidp bp badp aexxloglnlognimjniiijijimjjjiapabpabpapbpbpap11111)()/(log)/()()

2、(log)()(现在学习的是第三页，共83页( / )log ( )( / )log( )( / )log ( / )0mjijjijimjijijp b ap bp b aep ap b ap b a11(/)log (/)(/)log ( )log0mmjijijijjjp b ap b ap b ap be现在学习的是第四页，共83页11(/)log(/)(/)log()logmjijijmjijjp bap bap bap be (1)两边乘两边乘p(ai)，并求和，则有：，并求和，则有：现在学习的是第五页，共83页2112112() ()log()() ()log()lognmiji

3、jiijnmijijijp a p bap bap a p bap be2(; )logI X Ye2logCe(2)现在学习的是第六页，共83页将（将（2 2）代入（）代入（1 1），则有：），则有：（3）(/)log(/)(/)log()(/)log()mjijijmjijjmjijjp bap bap bap bCp bap bC现在学习的是第七页，共83页log()jjp bC令（4）(/)log (/)(/)mjijijmjjijp bap bap ba则（则（3）变为：）变为：现在学习的是第八页，共83页:22(4)log()()2122logjjjmjjjjmmCjjjmCjp

4、bCp bC由求出（5） （6）（7）现在学习的是第九页，共83页1(5)()2()() (/)()jCjnjijiiip bp bp ap bap a由求出由求出（8）（9）现在学习的是第十页，共83页并验证。求由求由求由求由)()9(.4);()8(.3;)7(.2;)4(.1ijjaPbPC：信道矩阵如下，求：信道矩阵如下，求C C。10112现在学习的是第十一页，共83页0log01log121210111221(1)log(1) log(1)loglog(1)1log(1)现在学习的是第十二页，共83页1121 (1)log2log2mjjC 111()2()2211(1)jCjCC

5、p bp b 23现在学习的是第十三页，共83页2111()1()(1)1(1)p bp b )()()()()( 2121111abpapabpapbp4现在学习的是第十四页，共83页2121222( )( ) ( / )( ) ( /)p bp a p b ap a p b a11222()()()()(1) ()p bp ap ap bp a11111121()1(1)()1(1)p ap a 现在学习的是第十五页，共83页100)(),(21apap现在学习的是第十六页，共83页第三章信道容量2006-10-2317 注意：在第步信道容量C被求出后，计算并没有结束，必须解出相应的p(a

6、i) ，并确认所有的p(ai)0时，所求的C才存在。 在对I(X;Y)求偏导时，仅限制 ，并没有限制p(ai)0 ，所以求出的p(ai)有可能为负值，此时C就不存在，必须对p(ai)进行调整，再重新求解C。 近年来人们一般采用计算机，运用迭代算法求解。一般离散信道容量计算步骤1( ) 1niip a现在学习的是第十七页，共83页2006-10-1861第三章信道容量典型无扰离散信道的信道容量1. 均匀编码信道的信道容量定义： 基本符号时间等长的信道称为均匀编码信道，这种等长的基本符号称为码元。码元通常是持续时间为b秒的D进制脉冲（Pulse），D进制表示该码元有D种等间隔数值。现在学习的是第十

7、八页，共83页2006-10-1862第三章信道容量典型无扰离散信道的信道容量例3.1 用8kHz的取样速率对模拟信号取样，若对每一样值做256 级量化且样值是各态历经的，求传输此信号的信道容量。解：由题意可知，每秒钟有8000个样值，即n=8000（信源消息），信道基本符号数D=256，故每秒钟构成的不同消息的总数目为N = 2568000，有8000log2568000log25664tCkbpsT这就是传送PCM信号需要的信道容量现在学习的是第十九页，共83页2006-10-1863第三章信道容量典型无扰离散信道的信道容量一般地，若每个信道基本符号的长度为b秒，每秒钟内信道上可传送的信道

8、基本符号数为n，则n =1/b；T秒钟内信道上可构成的不同消息数为N(T)=DnT，其中nT为T 秒钟内信道上可传送的信道基本符号数。于是Ct = nlog Dbps(5.6)如果不以秒而是以一个码元的时间作为标准，则C = Ct / n = log Dbit/码元时间(5.7)现在学习的是第二十页，共83页2006-10-1864第三章信道容量典型无扰离散信道的信道容量2. 无固定约束的不均匀编码信道的信道容量无固定约束的不均匀编码信道的基本符号是等幅的不等长脉冲，用脉冲占有时间的不同来携带信息。例3.2 求传输脉冲时间调制信号的信道容量。解 求信道容量，主要是求在T时间内能构成的不同消息数

9、N(T)。若以最窄的脉冲作为单位码元而其它脉冲的宽度都是它的倍数，则PTM脉冲宽度量化为有限种信道基本符号。设有D种信道基本符号，分别为：a1, a2, , aD ；对应的占用时间分别为：t1, t2, , tD ；则在时间T内可能构成的符号总数N (T)有如下表达式：现在学习的是第二十一页，共83页2006-10-1865第三章信道容量典型无扰离散信道的信道容量式中第1行的 表示除a1外的D 1个信道基本符号的全排列，其余类推。利用递推的方法或其它方法可得C = log rmax bit /单位码元时间(5.9)的最大正实根。N (T ) a1 a 2 a D a1 a 2 a D N (T

10、 t1 ) N (T t 2 ) N (T t D ) r rr(5.10) 1 0 t D其中rmax是N (T)的特征方程 t1 t2(5.8)(续)现在学习的是第二十二页，共83页2006-10-1866第三章信道容量典型无扰离散信道的信道容量3. 有固定约束的不均匀编码信道的信道容量假如编码不满足遍历性，即由转移不受限制变为转移受限制，传输它的信道就成为有固定约束的不均匀编码信道。传输莫尔斯（Morse）电码的信道是一种典型的有固定约束的不均匀编码信道，下面通过对它的分析来看这种信道的信道容量。现在学习的是第二十三页，共83页基本符号构成持续时间具体实现点t1 =2清脆响一短声划 t2

11、 =4响一长声，声长三倍点字母间隔t3 =33个单位码元时间不发声单词间隔t4 = 66个单位码元时间不发声2006-10-1867第三章信道容量典型无扰离散信道的信道容量例5.3 电报员发报用Morse电码；Morse电码由点、划、字母间隔和单词间隔四种基本符号构成，见表5.1，表中的“”表示按键合上，“”表示按键断开，分别相应于发声与不发声状态；试求Morse信道的信道容量。表5.1 Morse电码的构成表现在学习的是第二十四页，共83页2006-10-1868第三章信道容量典型无扰离散信道的信道容量解 通过点、划可构成无穷多种组合，形成明码或密码。设四种基本符号分别为a1, a2, a3

12、, a4，点、划为状态1，字母及单词间隔作为状态2，t 6的间隔均看作单词间隔。由于发报期间，不允许出现2个及2个以上的字母间隔或单词间隔，即“间隔”不能连用，因此Morse信道存在有固定约束，其状态转移图为图5.2。a3a4a1状态1状态2a1a2a2图5.2 例5.3的状态转移图现在学习的是第二十五页，共83页表示在T时间内发的最后一个符号2006-10-1869第三章信道容量典型无扰离散信道的信道容量先求在时间T内从状态1转移到状态2或从状态1、2转移到状态1的各种可能消息的总数目，分别用N1(T)和N2(T)表示。则式中是a3并使状 从状态1改变到状态2的各种可能消息的总数，而a3用的

13、时间为b12；其余类推。341212()()211( )()()aaNTN TbN Tb121211112121( )()( )()11122( )()()()()aaaaN TN T bN T bN T bN T b312()aTb现在学习的是第二十六页，共83页推广之，设从状态i到状态j发的符号为ak，所用的时间为 ，则b11 从状态1到状态1，有两种可能：b21 从状态2到状态1，有两种可能：2006-10-1870第三章信道容量典型无扰离散信道的信道容量b22 从状态2到状态2，无此可能。根据表5.1，有b12从状态1到状态2，有两种可能：121 11 1()()，aabb122 12

14、 1()()，aabb341 21 2()()，aabb311224112111211212=3=，6aaaaaabbbbbbkijab现在学习的是第二十七页，共83页C lim logWmaxT2006-10-1871第三章信道容量典型无扰离散信道的信道容量在T时间里构成的消息总数N(T)为式中Wmax 为差分方程的特征方程的最大正实根。因此，求出这个最大正实根，也就求出了C。采用迭代法，略去中间过程，可解得，Wmax=1.453 ，故有C = log1.453 = 0.539 比特/符号时间N (T) = N1 (T) + N2 (T) (5.14)上式又是一个线性差分方程，由这个差分方程

15、，可得logN (T )(5.15)T 现在学习的是第二十八页，共83页3.1 信道的数学模型和分类信道的数学模型和分类3.2 单单符号离散信符号离散信道道3.4 多用户信道多用户信道3.5 信道编码定理信道编码定理现在学习的是第二十九页，共83页3.3.2 离散无记忆信道的离散无记忆信道的N次扩展信次扩展信道和独立并联信道的信道容量道和独立并联信道的信道容量现在学习的是第三十页，共83页多符号离散信道多符号离散信道 多符号信源通过离散信道传输形成多符号信源通过离散信道传输形成多符号离散信道。多符号离散信道。现在学习的是第三十一页，共83页1212.NNXX XXYYYYYXYPX)(121

16、2KnKnXaaaYbbb12Niiiia aanii iN,.,2 , 1.21Nni,.,2,112Njjjjb bbNmj,.,2,1mjjjN,.,2 , 1.21现在学习的是第三十二页，共83页YYXPX)(112111222212()().()()().().()() .()NNNNNNmmnmnnppppppppp 现在学习的是第三十三页，共83页3.3.1 多符号离散信道的数学模型多符号离散信道的数学模型3.3.2 3.3.2 离散无记忆信道的离散无记忆信道的N N次扩展次扩展信道和独立并联信道的信道容量信道和独立并联信道的信道容量现在学习的是第三十四页，共83页无记忆：无记忆

17、：YK仅与仅与XK有关有关121211221(/)(./.)(/)(/).(/)(/)NNNNNiiiP YXP Y YYX XXP YXP YXP YXP YX现在学习的是第三十五页，共83页)/()();(XYHYHYXI1X)(11XYP)(NNXYPNXXY1YNY现在学习的是第三十六页，共83页11121212121211112( /).(.) (.)log(.)NNNNNNNnnmmiiijjjiiiiijjjjjiiiH Y Xp a aap b bba aap b bba aa 1211111111112() ()()log()()NNNNNNNnnmmiiijijiiijjj

18、ijip a aap b ap bap b ap ba 现在学习的是第三十七页，共83页11111112222222222()()log()()()log().()()log()NNNNNNNnmijijiijnmijijiijnmijijiijp ap bap bap ap bap bap ap bap ba 11221(/)(/).(/)(/)KKNKKKH YXH YXH YXH YX现在学习的是第三十八页，共83页NKKKYXIYXI1);();(a)NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()

19、().()/().()/()();(现在学习的是第三十九页，共83页也是无记忆的要求等号成立相互独立，NCCYXNIYXIXaYYYKKN 2 121);();( .XX )( . 现在学习的是第四十页，共83页I ( X ;Y ) I ( X k k ) NI ( X ; Y )30单符号离散无记忆信道与其N次扩展信道信道容量之间的关系由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符号集Xka1a2aN(k=1,2, ,N) ，并具有相同的概率分布，而且都通过同一个离散无记忆信道X P(Y/X) Y ，信道输出端随机变量序列中的随机变量Yk(k=1,2, ,N)也取自同一符号集并具有

20、相同的概率分布，而且相互统计独立。所以I(Xk; Yk)= I(X; Y) ;YNk 13.3.2 离散无记忆信道和独立并联信道的信道容量现在学习的是第四十一页，共83页结论：结论： 离离 散散 无无 记记 忆忆 信信 道道 的的N次次 扩扩 展展 信信 道道 ， 如如 果果 信信 源源 也也 是是 离离 散散 无记无记 忆忆 信信 源源 的的N次次 扩扩 展展 信信 源源 ， 则则 信信 道道 总总 的的 平平 均均 互互 信信 息息 是是 单单 符符 号号 离离 散无记忆信道平均互信息的散无记忆信道平均互信息的N倍。倍。现在学习的是第四十二页，共83页第三章信道容量2006-10-2331

21、结论的说明：因为离散无记忆信道N次扩展信道可以用N个单符号离散信道来等效，这N个信道之间没有任何关联关系，若输入端的N个随机变量之间也没有任何关联关系的话，就相当于N个毫不相干的单符号离散信道在分别传送各自的信息，所以在扩展信道的输出端得到的平均信息量必然是单个信道的N倍。用C表示离散无记忆信道容量，用CN表示其扩展信道容量，CN=NC3.3多符号离散信道3.3.2 离散无记忆信道和独立并联信道的信道容量现在学习的是第四十三页，共83页 CN Ck第三章信道容量2006-10-2332独立并联信道独立并联信道/独立并列/独立平行/积信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构

22、成3.3多符号离散信道了独立并联信道。是离散无记忆信道的N次扩展信道的推广。输入随机序列X=X1X2XN ，Xka1k,a2k,ank输出随机序列Y=Y1Y2YN ，Ykb1k,b2k,bnkN个独立并联信道的容量CN第k个单符号离散无记忆信道的信道容量CkNCN C1 C2 k 13.3.2 离散无记忆信道和独立并联信道的信道容量当输入端各随机变量统计独立，且每个输入随机变量Xk(k=1,2, ,N) 的概率分布达到各自信道容量Ck(k=1,2, ,N)的最佳分布时，CN达到其最大值：max1NNkkCC现在学习的是第四十四页，共83页第三章信道容量2006-10-2333独立并联信道推广到

23、更一般情况：输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同；输出随机变量也取值于不同的符号集合，各集合的元素个数也不相同；这种更一般的信道可得到与上述类似的结论。可以把N个 变 量 的 独 立 并 联 信 道 看 成 是 离 散 无 记 忆信 道 的N次 扩 展 信 道 的 推 广 ， 也 可 以 把 离 散 信 道 的N次扩展看成是独立并联信道的特例。3.3.2 离散无记忆信道和独立并联信道的信道容量现在学习的是第四十五页，共83页3.1 信道的数学模型和分类信道的数学模型和分类3.2 单单符号离散信符号离散信道道3.3 多多符号离散信符号离散信道道3.4 3.4 多用户

24、信道多用户信道3.5 信道编码定理信道编码定理现在学习的是第四十六页，共83页第三章信道容量2006-10-2334单路通信系统：不论是单符号的还是多符号的，都只有一个输入和一个输出端的信道称为单用户信道，相应的通信系统称为单路信系统。多路通信系统：为了提高通信效率，通信网中的信道往往有多个入端和多个输出端，这种信道称为多用户信道，相应的通信系统为多路通信系统。网络信息论/多用户信息论：研究多路通信系统信息传递的理论。实际的信道大部分是多用户信道。例如：计算机通信、卫星通信、广播通信、有线电视等。3.4.1 多址接入信道3.4.2 广播信道3.4.3 相关信源的多用户信道问题3.4 多用户信道

25、现在学习的是第四十七页，共83页3.4.2 广播信道广播信道3.4 .3 相关信源的多用户信道相关信源的多用户信道现在学习的是第四十八页，共83页第三章信道容量2006-10-2335定义及信道模型多 址 接 入 信 道/多元接入信道：多个用户的信息用多个编码器分别编码以后，送入同一信道传输，在接收端用一个译码器译码，然后分送给不同的用户。这是有多个输入端但只有一个输出端的多用户信道。多址接入信道模型如图3.4.1所示3.4.1 多址接入信道3.4多用户信道现在学习的是第四十九页，共83页第三章信道容量2006-10-2336二址接入信道的信道容量最简单的多址接入信道是只有两个输入端和一个输出

26、端的二址接入信道，如图3.4.2所示。U1至U1的信息率R1，信道容量C1U2至U2的信息率R2，信道容量C2总信道容量C123.4多用户信道3.4.1 多址接入信道现在学习的是第五十页，共83页多入单出信道多入单出信道信源信源1 1信源信源2 21 u2 u编码器编码器1 1编码器编码器2 21u2u信道信道译码译码12CY1a2a二址接入信道模型现在学习的是第五十一页，共83页1 111121.nXaaa1 221222.nXaaa121222 nYb bb11uu11RC112(;/)RI X Y X12112()()max(;/)P XP XCI X Y X现在学习的是第五十二页，共8

27、3页22RC12221()()max(;/)P XP XCI X Y X121212()()max(; )P XP XCI X X Y1212RRC121212max(,)C CCCC现在学习的是第五十三页，共83页 C第三章信道容量2006-10-2337这些条件确定了二址接入信道以R1和R2为坐标的二维空间中的某个区域（图中阴影部分），这个区域的界线就是二址接入信道的容量。二址接入信道信息率和信道容量之间满足如下条件 R1 C1 R2 2R1 R2 C123.4多用户信道3.4.1 多址接入信道当X1和X2相互独立时有max(C1,C2)C12C1+C2现在学习的是第五十四页，共83页R第

28、三章信道容量2006-10-2338多址接入信道的信道容量二址接入信道的结论很容易推广到多址接入信道；多址接入信道参数多址接入信道数N第r个编码器的信息率为Rr相应的信道容量为Cr；信道总容量为C3.4.1 多址接入信道3.4多用户信道I ( X 1X N ; Y )rX N )I ( X r ; Y / X 1maxP ( X 1 ) P ( X N )maxP ( X 1 ) P ( X N )Nr 1X r 1 X r 1Rr Cr C 现在学习的是第五十五页，共83页 C第三章信道容量2006-10-2339当输入各信源独立时有3.4.1 多址接入信道3.4多用户信道rN r 1 C

29、max Crr这些限制条件规定了一个在N维空间的体积，这个体积的外型是一个截去角的多面体，多面体内是信道允许的信息率，多面体的上界就是多址接入信道的容量。现在学习的是第五十六页，共83页3.4.1 多址接入信道多址接入信道3.4 .3 相关信源的多用户信道相关信源的多用户信道现在学习的是第五十七页，共83页第三章信道容量2006-10-2340定义：具有一个输入和多个输出的信道称为广播信道。最简单的广播信道是单输入双输出广播信道，如图3.4.4所示：3.4多用户信道3.4.2 广播信道1221U1U2XY1U1U23.4.4对于一般的广播信道，很难用系统的方法求出其信息率可达区域，只在某些特殊

30、的情况下，能够证明信道容量的容量界线是可以达到的。Y2现在学习的是第五十八页，共83页退化广播信道（串联）编码器编码器信道信道1 11U2UX1Y2Y信道信道2 21()P Y X21()P Y Y图3.4.5 退化的广播信道模型)/()()/(12121bbpxbpxbbp现在学习的是第五十九页，共83页2121(/)(/)p bb xp bb)/()/(1212YYHXYYH21YYX、构成马尔可夫链);();(121YXIYYXI现在学习的是第六十页，共83页)(xp)(xp不变)()(21upup、，保持);(1YXI最大)/;(211uYXIR )/;(122uYXIR );(121

31、YXIRR现在学习的是第六十一页，共83页3.4 3.4 多用户信道多用户信道3.4.1 多址接入信道多址接入信道3.4.2 广播信道广播信道现在学习的是第六十二页，共83页第三章信道容量2006-10-2341定义：由多个单用户信道组成的并联信道，传送相互有关的多路息的信道。这种信道有多个输入和多个输出，且输入端各信源之间有关联关系。两个相关信源用两个独立信道传送的多用户信道模型。随着网络技术的发展，多用户信息论在近代信息论中越来越为大家关注，不过许多问题还没有找到系统的解决方法。3.4多用户信道3.4.3 相关信源的多用户信道问题现在学习的是第六十三页，共83页模型13.4.3 3.4.3

32、 相关信源的多用户信道相关信源的多用户信道1X信信源源2X编码器编码器1 1编码器编码器2 2信道信道1 1信道信道2 2译码器译码器1 1译码器译码器2 22X1X相关信源多用户信道现在学习的是第六十四页，共83页)/(211XXHC )/(122XXHC )(2121XXHCC现在学习的是第六十五页，共83页C2)(21XXH)(21XXH)/(21XXH)(1XH)(2XH)/(12XXHC1现在学习的是第六十六页，共83页E1C1D1x1x21x)/(21XXH边信息边信息模型模型2RE1E2C1C2D1D2x1x21x2xE0C0w现在学习的是第六十七页，共83页012(;)RI X

33、 X WW:公信息公信息11(/)RH XW22(/)RH XW要求要求R0尽可能小，并且在尽可能小，并且在W条件下，条件下，X1X2无关无关);(min21WXXIW现在学习的是第六十八页，共83页3.1 3.1 信道的数学模型和分类信道的数学模型和分类3.2 3.2 单符号离散信道单符号离散信道3.3 3.3 多符号离散信道多符号离散信道3.4 3.4 多用户信道多用户信道3.5 3.5 连续信道连续信道现在学习的是第六十九页，共83页l连续信道连续信道：输入和输出随机变量都取值于连续集合的信道。：输入和输出随机变量都取值于连续集合的信道。l信道传递特性信道传递特性：传递特性用条件转移概率

34、密度函数：传递特性用条件转移概率密度函数p(y/x)表示。表示。l连续信道数学模型连续信道数学模型：X p(y/x) Y，如图所示：，如图所示：连续信道连续信道现在学习的是第七十页，共83页l连续随机变量之间的平均互信息满足非负性，并可以证明，连续随机变量之间的平均互信息满足非负性，并可以证明，它是信源概率密度函数它是信源概率密度函数p(x)的上凸函数。的上凸函数。l连续信道的信道容量连续信道的信道容量C：信源：信源X等于某一概率密度函数等于某一概率密度函数p0(x)时，时，信道平均互信息的最大值，即信道平均互信息的最大值，即l一般连续信道的容量并不容易计算，当信道为加性信道时，情一般连续信道

35、的容量并不容易计算，当信道为加性信道时，情况要简单一些。况要简单一些。连续信道的信道容量连续信道的信道容量);(max)(YXICxp现在学习的是第七十一页，共83页l加性连续信道：噪声为连续随机变量加性连续信道：噪声为连续随机变量N，且与，且与X相互统计独立相互统计独立的信道。的信道。l这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即加，即Y=X+N。如图所示：。如图所示：加性连续信道的信道容量加性连续信道的信道容量现在学习的是第七十二页，共83页l加性连续信道的条件概率密度函数等于噪声的概率密度加性连续信道的条件概率密度函数等于

36、噪声的概率密度 p(y/x)=p(n)，这进一步，这进一步说明信道的传递概率是由于噪声熵所引起的。说明信道的传递概率是由于噪声熵所引起的。l加性连续信道的条件熵等于噪声熵加性连续信道的条件熵等于噪声熵Hc(Y/X)= Hc(N) 。说明。说明Hc(Y/X)是由噪声引是由噪声引起的，故称起的，故称Hc(N)为噪声熵。为噪声熵。 l该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即噪声信源的熵，所以称它为噪声熵。定性，即噪声信源的熵，所以称它为噪声熵。加性连续信道的信道容量加性连续信道的信道容量1)()()(

37、log)()()(log)()(log)()()/(log)/()()/(2222XcNXNXNXYcdxxpNHdnnpnpdxxpdnnpnpdxdnnpnpxpdxdyxypxypxpXYH其中现在学习的是第七十三页，共83页l加性连续信道的信道容量：加性连续信道的信道容量：l加性噪声加性噪声N和信源和信源X相互统计独立，相互统计独立，X的概率密度函数的概率密度函数p(x)的变动不会引起噪声熵的变动不会引起噪声熵Hc(N)的改变，所以加性信道的改变，所以加性信道的容量的容量C就是选择就是选择p(x) ，使输出熵，使输出熵Hc(Y)达到最大值，即达到最大值，即l上式说明：加性连续信道容量取

38、决于噪声上式说明：加性连续信道容量取决于噪声N（即信道）（即信道）的统计特性和输入随机变量的统计特性和输入随机变量X所受的限制条件。所受的限制条件。（对于不（对于不同的限制条件，连续随机变量具有不同的最大熵值。）同的限制条件，连续随机变量具有不同的最大熵值。）)()(max)/()(max);(max)()()(NHYHXYHYHYXICccxpccxpxp)()(max)(NHYHCccxp现在学习的是第七十四页，共83页l高斯加性连续信道：高斯加性连续信道： 高斯噪声为高斯噪声为N，均值为，均值为0，方差为，方差为2 ，噪声功率为，噪声功率为PN；l信道的传递概率密度函数：信道的传递概率密

39、度函数：p(y/x)=p(n)l如果把如果把x看成是一个常数，则上式就变成了随看成是一个常数，则上式就变成了随y变化的高斯函数，即变化的高斯函数，即当已知当已知X=x时，时，Y也是一个高斯变量，均值为也是一个高斯变量，均值为x，方差为，方差为2。高斯加性连续信道的信道容量高斯加性连续信道的信道容量)()/(2222222)(22121npeexypnxy现在学习的是第七十五页，共83页l因此高斯加性信道的容量为因此高斯加性信道的容量为222221221222122log22222122122)(1)(2loglog2log)(2log)(log)(log)(log)()(log)()()/(2

40、22222222NNNeNnNNNNccdnnpndnnpeednnpndnnpednnpdnnpdnenpdnnpnpNHXYHn其中2221)()(2log)(max)()(maxeYHNHYHCcxpccxp现在学习的是第七十六页，共83页l输入概率密度函数输入概率密度函数p(x)是什么样的函数时，才能使是什么样的函数时，才能使Y呈高斯分布？呈高斯分布？l设限定输入平均功率设限定输入平均功率PX，噪声平均功率，噪声平均功率PN=2，则输出随机变量，则输出随机变量Y的平均功率的平均功率PY也是受限的。也是受限的。l根据最大连续熵定理，要使根据最大连续熵定理，要使Hc(Y)达到最大，达到最大

41、，Y必须是一个均值必须是一个均值为为0、方差为、方差为2Y= PY的高斯随机变量。的高斯随机变量。l高斯加性信道中输入高斯加性信道中输入X和噪声和噪声N相互统计独立，且相互统计独立，且Y=X+N。由概。由概率论可知：若输入率论可知：若输入X是均值为是均值为0、方差为、方差为2X= PX的高斯随机变的高斯随机变量，即量，即X的概率密度函数为的概率密度函数为p(x) ，则可以证明，输出，则可以证明，输出Y的概率密的概率密度函数就等于（接下页）度函数就等于（接下页）平均功率受限的加性信道的信道容量平均功率受限的加性信道的信道容量现在学习的是第七十七页，共83页续上页续上页l即当输入随机变量即当输入随机变量X的概率密度是均值为的概率密度是均值为0、方差、方差2X的高斯随机变量；的高斯随机变量；加性信道的噪声加性信道的噪声N是均值为是均值为0、方差为、方差为2的高斯随机变量时；输出随机变的高斯随机变量时；输出随机变量量Y也是一个高斯随机变量，其均值为也是一个高斯随机变量，其均值为0、方差为、方差为2Y = 2X + 2 = PY 。l这时输出端的连续熵这时输出端的连续熵Hc(Y)达到最大值，即达到