第3章信道与信道容量

1、普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著1第第3章章 信道与信道容量信道与信道容量q信道的数学模型及其分类信道的数学模型及其分类q离散单个符号信道及其容量离散单个符号信道及其容量q离散序列信道及其容量离散序列信道及其容量q连续信道及其容量连续信道及其容量普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著2信道的数学模型信道的数学模型n信道：信息传输的媒介或通道信道：信息传输的媒介或通道n信道的主要问题信道的主要问题 信道的建模：其统计特性的描述信道的建模：其统计特性的描述 信道传输信息的能力及其计算信道传输信息的能力及其计算 有噪信道中能不能实现可靠才传输？怎么实

2、有噪信道中能不能实现可靠才传输？怎么实现现普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3信道的分类信道的分类n信道信道输入输出输入输出个数个数 单用户、多用户单用户、多用户n输入端和输出端关系输入端和输出端关系 无反馈、有反馈无反馈、有反馈n噪声噪声种类种类 随机差错、突发差错随机差错、突发差错n输入输出事件的输入输出事件的时间特性时间特性和集合的特点和集合的特点 离散信道：输入、输出的时间、幅度上都离散离散信道：输入、输出的时间、幅度上都离散 连续信道：幅度连续，时间离散连续信道：幅度连续，时间离散 半连续：输入和输出一个离散一个连续半连续：输入和输出一个离散一个连续 波形信

3、道：输入和输出都是连续随机信号，时间连波形信道：输入和输出都是连续随机信号，时间连续，幅度连续续，幅度连续 普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著4信道的分类信道的分类n信道信道参数参数与时间的关系与时间的关系恒参、随参恒参、随参n按信道按信道接入方式接入方式分分 多元接入信道多元接入信道 广播信道广播信道n根据信道的根据信道的记忆记忆特性特性 无记忆信道：信道输出仅与当前的输入有关无记忆信道：信道输出仅与当前的输入有关 有记忆信道：信道输出不仅与当前输入有关，有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关还与过去的输入有关 普通高等教育“十五”国家级规划教材

4、信息论与编码 曹雪虹等编著5信道参数信道参数n输入矢量输入矢量X=(x1,X2,Xi,)， XiA=a1,a2,ann输出矢量输出矢量Y=(Y1,Y2,Yi,)， YjB=b1,b2,bmn信道参数信道参数 输入输出之间的统计依赖关系输入输出之间的统计依赖关系p(Y/X) 转移概率转移概率普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著6n下面介绍下面介绍 无干扰信道无干扰信道 有干扰无记忆信道有干扰无记忆信道 有干扰有记忆信道有干扰有记忆信道普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著7无干扰信道无干扰信道n信道的输出信号信道的输出信号Y与输入信号与输入信号X之间

5、有确定之间有确定的关系的关系Y=f(X)n已知已知X后，确知后，确知Yn此时，转移概率为此时，转移概率为)(0)(1)/(XfYXfYXYp普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著8有干扰无记忆信道有干扰无记忆信道n信道中存在随机干扰，输出符号与输入符号之间信道中存在随机干扰，输出符号与输入符号之间无确定无确定的对应关系的对应关系n但是，信道中但是，信道中任一时刻任一时刻的输出符号仅统计依赖于的输出符号仅统计依赖于对应时刻的输入符号对应时刻的输入符号 n无记忆：每个输出只与当前输入之间有转移概率无记忆：每个输出只与当前输入之间有转移概率关系，与其他非该时刻的输入、输出都无关

6、关系，与其他非该时刻的输入、输出都无关n问题简化问题简化 不需要矢量形式，只需分析单个符号的转移概率不需要矢量形式，只需分析单个符号的转移概率p(yj/xi)即可即可NnnnNNxypxxxyyypxyp12121)|().|.()|(普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著9有干扰无记忆信道n二进制离散信道二进制离散信道n离散无记忆信道离散无记忆信道n离散输入、连续输出信道离散输入、连续输出信道n波形信道波形信道普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著10二进制离散信道二进制离散信道BSC 1-p 1-p p p 0 1 1 0 pppp11P 输出比

7、特仅与对应时刻的一个输入输出比特仅与对应时刻的一个输入比特有关，与以前的输入比特无关比特有关，与以前的输入比特无关普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著11离散无记忆信道离散无记忆信道DMCnDiscrete memoryless channelnX、Yn对任意对任意N长的输入、输出序列，有长的输入、输出序列，有 n在任何时刻信道的输出只与此时的信道输入有在任何时刻信道的输出只与此时的信道输入有关，而与以前的输入无关关，而与以前的输入无关 n还满足还满足 即，转移概率不随时间变化，平稳的或恒参即，转移概率不随时间变化，平稳的或恒参 Nnnnxypxyp1)|()|()|(

8、)|(ixjypixjypmmnn普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著12DMC的转移概率矩阵的转移概率矩阵nmnnmmppppppppp212222111211P b2 a2 a1 an bm b1 sjijijriabpsjriabp1,.,2 , 1, 1)|(,.2 , 1;,.,2 , 1, 0)|(普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著13离散输入、连续输出信道离散输入、连续输出信道n有限的、离散的输入符号集有限的、离散的输入符号集Xa1,a2,ann输出未经量化，实轴上的任意值输出未经量化，实轴上的任意值Y-, n离散时间无记忆信道离

9、散时间无记忆信道n其特性由离散输入其特性由离散输入X、连续输出、连续输出Y、一组、一组条件概率密度函数条件概率密度函数PY(y/X=ai)决定决定普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著14特例特例n加性高斯白噪声加性高斯白噪声AWGN信道信道 Y=X+GnG：白噪声，：白噪声，(0,2)n当当X=ai给定后，给定后，Y是一个均值为是一个均值为ai，方差为方差为2的高斯随机变量的高斯随机变量普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著15波形信道波形信道n信道的输入输出：取值连续的一维随机信道的输入输出：取值连续的一维随机过程过程x(t)和和y(t)n带宽受

10、限带宽受限fm 、观察时间受限、观察时间受限tBn离散化离散化 L=2*fm* tB 时间离散、取值连续的平稳随机序列时间离散、取值连续的平稳随机序列X=(X1,X2,XL)和和Y=(Y1,Y2,YL)n波形信道波形信道多维连续信道多维连续信道普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著16n多维连续信道转移密度函数多维连续信道转移密度函数 pY(y/x)=pY (y1,y2,yL/x1,x2,xL)n考虑考虑AWGN信道信道RLLLYRRdydydyxxxyyyp1.),.,/,.,(.212121普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著17AWGN信道n

11、y(t)=x(t)+n(t) n信号和噪声相互独立信号和噪声相互独立 pX,Y(x,y)=pX,n(x,n)=pX(x)*pn(n)n则则信道的转移概率密度函数信道的转移概率密度函数=噪声的概率密噪声的概率密度函数度函数)()(),()(),()/(,npxpnxpxpyxpxypnXnXXYXY普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著18n说明：条件熵说明：条件熵Hc(Y/X)是由噪声引起的，等于是由噪声引起的，等于噪声熵噪声熵Hc(n)，所以它被称为噪声熵。，所以它被称为噪声熵。 n主要讨论主要讨论加性加性、高斯白噪高斯白噪信道信道)()(log)()(log)()()

12、/(log)/()()/(log),()/(,nHdnnpnpdnnpnpdxxpdyxypxypdxxpdxdyxypyxpXYHcRnnRRnnXRRYYXYRYXc普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著19有干扰有记忆信道n实际信道实际信道n处理困难处理困难n处理方法处理方法 将以及很强的将以及很强的L个符号当矢量符号，各矢量个符号当矢量符号，各矢量符号间看成无记忆符号间看成无记忆 将转移概率将转移概率p(Y/X)看成看成Markov链的形式，链的形式，记忆有限记忆有限普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著20特例：二进制对称信道特例：二进制对

13、称信道BSCpppp11P 1-p 1-p p p 0 1 1 0 n信道的互信息量：信道的互信息量：)()()1log1log()();()1log1log)()()|(1log)|()()()|(1log)()()|()();(pHYHppppYHYXIppppxpYHxypxypxpYHxypxypYHXYHYHYXIXXYXYwwPX110设信源的概率空间为普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著21n由条件概率的关系式可知：由条件概率的关系式可知：n二元对称信道的平均互信息为二元对称信道的平均互信息为 pwwppwwpYppwpwpwpwYp)1 () 1()1

14、() 0()(1log)(1log)()(pwpwHpwwppwwppwpwpwpwYH)()();(pHpwpwHYXI)()();(pHpwpwHYXI普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著22分析分析1：固定信道时的平均互信息：固定信道时的平均互信息 n当信道固定，即当信道固定，即p为一个固定常数时，可得出为一个固定常数时，可得出I(X;Y)是是信源分布的上凸函数信源分布的上凸函数 n对于固定的信道，输入符号集对于固定的信道，输入符号集X的概率分布不同时，在的概率分布不同时，在接收端平均每个符号所获得的信息量就不同接收端平均每个符号所获得的信息量就不同 n当输入符号

15、为等概率分布时，平均互信息量当输入符号为等概率分布时，平均互信息量I(X;Y)为最为最大值，这时，接收每个符号所获得的信息量最大。大值，这时，接收每个符号所获得的信息量最大。n这是研究信道容量的基础这是研究信道容量的基础普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著23分析分析2：固定信源分布时的平均互信息：固定信源分布时的平均互信息 n当固定信源的概率分布时，则平均互信息当固定信源的概率分布时，则平均互信息I(X;Y)是信道是信道特性特性p的下凸函数的下凸函数 n当二元信源固定后，改变信道特性当二元信源固定后，改变信道特性p可获得不同的平均可获得不同的平均互信息互信息 Inp=

16、0.5时时,I(X;Y)=0。即在信道输出端获得的信息最小，。即在信道输出端获得的信息最小，这意味着信源的信息全部损失在信道中，这是一种最这意味着信源的信息全部损失在信道中，这是一种最差的信道，其噪声最大差的信道，其噪声最大 n这是信息率失真论的基础这是信息率失真论的基础普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著24信道容量信道容量n信道的信息传输率信道的信息传输率 R=I(X;Y)=H(X)H(X/Y) 比特比特/符号符号n信息传输速率信息传输速率n信道在单位时间内平均传输的信息量定义为信息信道在单位时间内平均传输的信息量定义为信息传输速率传输速率 Rt=I(X;Y)/t

17、比特比特/秒秒n信道容量信道容量 I(X;Y)的条件极大值的条件极大值 单位：比特单位：比特/符号（符号（bits/symbol或或bits/channel use）);(max)(YXICiap普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著25C的含义的含义n对于一个固定的信道，总存在一种信源概率分对于一个固定的信道，总存在一种信源概率分布，使传输每一个符号平均获得的信息量，即布，使传输每一个符号平均获得的信息量，即平均互信息平均互信息I(X;Y)最大，而相应的概率分布最大，而相应的概率分布p(x)称为称为最佳输入分布最佳输入分布n信道容量信道容量C仅与仅与信道的统计特性信道的

18、统计特性有关，即与信有关，即与信道传递概率矩阵有关，而道传递概率矩阵有关，而与信源分布与信源分布无关无关 n平均互信息平均互信息I(X;Y)在数值计算上表现为输入分在数值计算上表现为输入分布布p(x)的的上凸函数上凸函数，所以存在一个使某一特定，所以存在一个使某一特定信道的信息量达到极大值信道容量信道的信息量达到极大值信道容量C的信源。的信源。n信道容量表征信道传送信息的信道容量表征信道传送信息的最大能力最大能力。实际。实际中信道传送的信息量必须小于信道容量，否则中信道传送的信息量必须小于信道容量，否则在传送过程中将会出现错误。在传送过程中将会出现错误。 普通高等教育“十五”国家级规划教材信息

19、论与编码 曹雪虹等编著26几种特殊的信道几种特殊的信道请写出这三种信道的转移概率矩阵PP有什么特点？普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著27无噪无损信道X、Y一一对应CmaxI(X;Y)log n无噪有损信道多个输入变成一个输出：CmaxI(X;Y)maxH(Y)有噪无损信道一个输入对应多个输出CmaxI(X;Y)maxH(X)普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著28对称对称DMC信道的信道的Cn对称对称DMC信道定义信道定义输入对称输入对称 如果转移概率矩阵如果转移概率矩阵P的每一行都是第一行的置换的每一行都是第一行的置换(包含同包含同样元素样

20、元素)，称该矩阵是输入对称，称该矩阵是输入对称输出对称输出对称 如果转移概率矩阵如果转移概率矩阵P的每一列都是第一列的置换的每一列都是第一列的置换(包含同包含同样元素样元素)，称该矩阵是输出对称，称该矩阵是输出对称对称的对称的DMC信道信道 输入、输出都对称输入、输出都对称普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著293.2离散单个符号信道及其容量离散单个符号信道及其容量n对称对称DMC信道例子信道例子3131616161613131216131312161613121普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著30DMC信道的信道容量信道的信道容量C计算计算

21、n对称信道转移概率矩阵中，每行元素都相同对称信道转移概率矩阵中，每行元素都相同n 与与i无关无关jaibjpaibjp)/(log)/()/()(max)/()(max)/()(max);(max)/()/(log)/()/(log)/()()/()()()()(XYHYHXYHYHYXHXHYXICaYHabpabpabpabpapXYHiiiiapapapapiijjijijjijii普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著31n信道输入符号等概率分布信道输入符号等概率分布p(ai)=1/nn信道是对称的信道是对称的 输入符号也是等概率分布的输入符号也是等概率分布的 此

22、时，此时，H(Y)取得最大值取得最大值n对称对称DMC信道的容量为信道的容量为n其中，其中，m为输出符号集中符号的个数为输出符号集中符号的个数ijmjijippmaYHmC1loglog)/(log普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著32均匀信道（强对称信道）均匀信道（强对称信道）n信道输入符号和输出符号个数相同，且信道矩信道输入符号和输出符号个数相同，且信道矩阵为：阵为：n信道中总的错误概率为信道中总的错误概率为p，对称地平均分配给，对称地平均分配给r-1个输出符号，个输出符号，r为输入符号的个数为输入符号的个数 n各行之和为各行之和为1，而且各列之和也为，而且各列之

23、和也为1。而一般信。而一般信道各列之和不一定等于道各列之和不一定等于1 prprprprprpprprprprppP.111.1.111.11)() 1log(logpHrprC普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著33例题例题1nEg. 求信道容量求信道容量3131616161613131P符号/082. 0)61,61,31,31(4log2bitHC普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著34例题例题2n前面已有：前面已有：n特例：特例：r=2时，二进制对称信道容量时，二进制对称信道容量 C1H(p)00.20.40.60.8100.20.40.

24、60.81)() 1log(logpHrprC普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著35串联信道的串联信道的Cn按照定义： C(1,2)=maxI(X;Y) C(1,2,3)=maxI(X;Z)普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著36n有两个离散有两个离散BSC信道串接，两个信道串接，两个BSC信道的信道的转移矩阵如下，求信道容量转移矩阵如下，求信道容量1121PP222221)1 ()1 (2)1 (2)1 (1111PPP普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著37n信道容量信道容量 I(X;Y)=1-H( )，I(X;Z)

25、=1-H2 (1- )00 .5100 .20 .40 .60 .81m = 1 m = 2 m = 3 普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著38级联（串联）信道的模型级联（串联）信道的模型n信道信道1和和2都是离散无记忆信道都是离散无记忆信道n级联信道中的平均互信息满足以下关系级联信道中的平均互信息满足以下关系n第一个等号成立的条件是第一个等号成立的条件是 输出随机变量输出随机变量Z仅依赖于随机变量仅依赖于随机变量Y，与前，与前面的面的X无关无关 n第二个等号成立的条件是第二个等号成立的条件是 输出随机变量输出随机变量Z仅依赖于随机变量仅依赖于随机变量X，与前，与前面

26、的面的Y无关无关 );();();();(ZXIZXYIZYIZXYI)|()|(yzpxyzp)|()|(xzpxyzp普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著39独立并联信道独立并联信道 n序列的转移概率序列的转移概率p p( (Y Y1 1Y Y2 2Y YL L/ /X X1 1X X2 2X XL L)=)=p p( (Y Y1 1/ /X X1 1) )p p( (Y Y2 2/ /X X2 2) )p p( (Y YL L/ /X XL L) ) 1 1 1 1X1 p(Y1/X1) Y1X2 p(Y2/X2) Y2 XL p(YL/XL) YL LlllYX

27、II1);();(YXLllLCIC112);(maxYX普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著40两个定理两个定理n定理定理1：信道是无记忆的：信道是无记忆的 n平均互信息平均互信息I(X;Y)小于或等于单个随机变小于或等于单个随机变量量I(Xi;Yj)的互信息之和的互信息之和 n定理定理2：信源是无记忆的：信源是无记忆的 NiNiiiiiYXIYXIxypxyp11);();()|()|(NiNiiiiYXIYXIxpxp11);();()()(普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著41n如果转移概率矩阵如果转移概率矩阵P是输入对称而输出不对是输

28、入对称而输出不对称，即转移概率矩阵称，即转移概率矩阵P的每一行都包含同样的每一行都包含同样的元素而各列的元素可以不同，则称该信道的元素而各列的元素可以不同，则称该信道是是准对称准对称DMC信道信道3/16/13/16/16/16/13/13/11P7 . 01 . 02 . 02 . 01 . 07 . 02P准对称准对称DMC信道的信道的C普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著42准对称准对称DMC信道的信道的Cn对于准对称对于准对称DMC信道，当输入分布为等概信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量分布时，互信息达到最大值，即为信道容量nEg. 求

29、信道容量求信道容量)/()(max)|()(max);(max)()()(XYHYHYXHXHYXICiiiapapap2 . 05 . 03 . 02 . 03 . 05 . 0P普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著43 方法一：方法一： 信道的输入符号有两个，可设信道的输入符号有两个，可设p(a1) ，p(a2)1 信道的输出符号有三个，用信道的输出符号有三个，用b1、b2、b3表示表示ijijbapbp)()(2 . 0)1 (2 . 02 . 0)(2 . 05 . 0)1 (5 . 03 . 0)(2 . 03 . 0)1 ( 3 . 05 . 0)(321b

30、pbpbp0);(YXI符号/036. 0);(maxbitYXIC)()/(max)(max);(fXYHYHYXI普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著44n方法二方法二p(a1)p(a2)1/2，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符号符号n方法三方法三 将转移概率矩阵划分成若干个互不相交的对称的子集将转移概率矩阵划分成若干个互不相交的对称的子集rkkksMNpppHnC121log) , , (logn为输入符号集个数；为输入符号集个数；p1，p2，ps是转移概率矩阵是转移概率矩阵P中中一行的元素，即一行的元

31、素，即H(p1，p2，ps)H(Y/ai)；Nk是第是第k个子矩阵中行元素之和，个子矩阵中行元素之和，Mk是第是第k个子矩阵中列元素个子矩阵中列元素之和，之和，r是互不相交的子集个数是互不相交的子集个数普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著45n方法三方法三2 . 05 . 03 . 02 . 03 . 05 . 0P2 . 02 . 0,5 . 03 . 03 . 05 . 0符号/036. 04 . 0log2 . 08 . 0log8 . 0) 2 . 0 , 3 . 0 , 5 . 0(2log222bitHC普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹

32、等编著46例题：准对称例题：准对称DMC的的CnEg. 求信道容量求信道容量3/ 16/ 13/ 16/ 16/ 16/ 13/ 13/ 11P符号/041. 0) 6/ 16/ 1 (log6/ 1) 3/ 13/ 1 (log3/ 1) 6/ 13/ 1 (log) 6/ 13/ 1 () 6/ 1 , 6/ 1 , 3/ 1 , 3/ 1 (2log2222bitHC普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著47一般一般DMC信道的信道的Cn1972年由年由R.Blahut和和A.Arimoto分别独立提出分别独立提出的一种算法，现在称为的一种算法，现在称为Blahut

33、-Arimoto算法算法 I(ai;Y) = C 对于所有满足对于所有满足p(ai ) 0条件的条件的I I(ai;Y) C 对于所有满足对于所有满足p(ai ) = 0条件的条件的In当信道平均互信息达到信道容量时，输当信道平均互信息达到信道容量时，输入符号概率集入符号概率集p(ai)中每一个符号中每一个符号ai对输对输出端出端Y提供相同的互信息，只是概率为提供相同的互信息，只是概率为零的符号除外零的符号除外普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著48离散序列信道的容量离散序列信道的容量 n离散序列信道离散序列信道 信道 p(Y/X) Y X X=(X1X2XL) Xla

34、1,a2,an Y=(Y1Y2YL)Yl b1,b2,bm普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著49离散无记忆序列信道的容量离散无记忆序列信道的容量 n离散无记忆序列信道离散无记忆序列信道 LlllLLXYpXXYYpp111)/()/()/(XY1 1 1 1 1进一步信道是平稳的进一步信道是平稳的 )/()/(xyppLXY)()/(log)()/()()()/(log)()/()();(YXYXYXYXXYYXpppXYHYHpppYXHXHILLLLLL普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著50离散无记忆序列信道容量离散无记忆序列信道容量 n

35、回顾前面的结论回顾前面的结论 信道无记忆信道无记忆 信源无记忆：信源无记忆：输入矢量输入矢量X的各个分量相互独的各个分量相互独立立 1 1 1 1 1LlllYXII1);();(YXLlllYXII1);();(YXLlLlllPLlllPPLlCYXIYXIICX111)();(max);(max);(maxXXYX当信道平稳时CL=LC1，一般情况下，I(X X;Y Y) LC1普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著51扩展信道的信道容量扩展信道的信道容量 n如果对离散单符号信道进行如果对离散单符号信道进行L L次扩展，次扩展，就形成了就形成了L L次离散无记忆序列

36、信道次离散无记忆序列信道nBSC的二次扩展信道的二次扩展信道1 1 1 1X X00,01,10,11，Y Y00,01,10,11，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著52扩展信道的扩展信道的C1 1 1 122222222)1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 (

37、)1 ()1 ()1 ()1 (ppppppppppppppppppppppppP),1 (),1 (,)1(4log2222ppppppHC若p0.1，则C220.9381.062比特/序列 普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著53连续信道及其容量连续信道及其容量 n连续单符号加性信道连续单符号加性信道 信道的输入输出：取值连续信道的输入输出：取值连续的一维随机变量的一维随机变量 加入信道的噪声：均值为加入信道的噪声：均值为0，方差为方差为 2 的加性高斯噪声，的加性高斯噪声，概率密度函数记为概率密度函数记为 n信道容量信道容量x (xR) p(y/x) y (yR)

38、 npn(n)N(0, 2) )/()(max);(max)()(XYHYHYXICCCxpxp2)()(2log21)(max)()(maxeYHnHYHCCxpCCxp), 0 ()(2Nnpn普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著54连续单符号加性信道连续单符号加性信道 n 要想获得最大值，要想获得最大值，Hc(Y)应该最大。应该最大。根据限根据限平均功率最大熵定理，平均功率最大熵定理，Y正态分布时熵最大正态分布时熵最大 pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n，所以，所以pX(x)N(0,S) )1log(21log212log212log21

39、222SPeePCnC1/2 log(1+SNR)n信道输入信道输入X是均值为零、方差为是均值为零、方差为S的高斯分的高斯分布随机变量时，信息传输率达到最大值布随机变量时，信息传输率达到最大值 n若是若是加性加性的，可以求出信道容量的上下界的，可以求出信道容量的上下界 )(2log21)1log(212nHePCSC普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著55噪声为非高斯型噪声为非高斯型n实际中的噪声通常非高斯型，若只考虑实际中的噪声通常非高斯型，若只考虑加性噪声，不考虑乘性噪声。加性噪声加性噪声，不考虑乘性噪声。加性噪声均值为均值为0，平均功率为，平均功率为2的非高斯噪声

40、的非高斯噪声信道，信道容量有上下界信道，信道容量有上下界)(2log21)1log(212nHePCSc普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著56噪声为非高斯型噪声为非高斯型-2n物理含义：物理含义： 1）若输入信号）若输入信号X的分布能使的分布能使x+n=y呈高斯呈高斯分布，则分布，则Hc(Y)达到最大值，信道容量达到达到最大值，信道容量达到上限值上限值 不等式的右边，是噪声熵考虑的最坏情况，不等式的右边，是噪声熵考虑的最坏情况，即噪声为加性高斯噪声时，信道容量最小。即噪声为加性高斯噪声时，信道容量最小。 同样平均功率受限的情况下，非高斯噪声同样平均功率受限的情况下，非

41、高斯噪声信道的容量大于高斯信道的容量。信道的容量大于高斯信道的容量。 )(2log21nHePc普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著57多维无记忆加性连续信道多维无记忆加性连续信道n 信道输入随机序列信道输入随机序列XX1X2XL，输出随机序列，输出随机序列YY1Y2YL，加性信道有，加性信道有y=x+n，其中，其中n=n1n2nL 是均值是均值为零的高斯噪声为零的高斯噪声 加性信道 输入序列x 输出序列y 高斯噪声n XX1X2XL YY1Y2YL n=n1n2nL + X1 Y1=X1+n1 X1 + X2 Y2=X2+n2 + XL YL=XL+nL 普通高等教育

42、“十五”国家级规划教材信息论与编码 曹雪虹等编著58多维无记忆加性多维无记忆加性连续信道连续信道 n连续单符多维无记忆高斯加性信道就可连续单符多维无记忆高斯加性信道就可等价等价成成L个独立的并联高斯加性信道号加性信道个独立的并联高斯加性信道号加性信道 LlllLlLLPYXII121)1log(21);();(YXLlllpPIC12)()1log(21);(maxYXx比特/L维自由度 n 当且仅当输入随机矢量当且仅当输入随机矢量X中各分量统计独立，中各分量统计独立，且是均值为零、方差为且是均值为零、方差为Pl的高斯变量时，才能的高斯变量时，才能达到此信道容量达到此信道容量 普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著59限时限频限功率加性高斯白噪声信道限时限频限功率加性高斯白噪声信道n限时限频的条件下可转化成多维连续信道，限时限频的条件下可转化成多维连续信道，将输入随机过程将输入随机过