第三章 信道模型和信道容量.ppt

1、第三章 信道模型和信道容量,引言 1什么是信道？ 信道是传送信息的载体信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 2信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 3研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。,3.1 信道模型与信道分类,一、信道模型,信息论不研究信号在信道传输的物理过程，总是假定输入/输出统计关系已知，来研究信道传输信息的特点和能力,二、信道分类,信道可

2、以从不同角度加以分类，但归纳起来可以分为： 从工程物理背景传输媒介类型； 从数学描述方式信号与干扰描述方式； 从信道本身的参数类型恒参与变参； 从用户类型单用户与多用户； 等方面加以分类：,5) 根据信道输入/输出信号在时间和幅值上的离散或连续,6) 根据信道记忆特性,3.2 离散无记忆信道（DMC：Discrete Memoryless Channel）的数学模型,对于DMC，由于各个时刻的传送之间统计独立，只要用一对相应时刻的输入/输出统计关系描述即可。,单符号离散信道数学模型：,一、转移概率：因为信道受干扰，对于输入符号ai A,可能有不同的输出符号bj B与之对应。输入符号ai时，收到

3、的输出符号bj的可能性用条件概率P(bj|ai)来描述。条件概率P(bj|ai)来描述了输入至输出状态转移的统计特性，称为转移概率,二、转移概率集合：因为有r个输入和s个输出，状态转移关系需要用rs个转移概率来描述，所有这些概率组成的集合称为转移概率集合，记为：,三、转移（概率）矩阵：行对应输入符号，列对应输出符号,转移矩阵中各行s个转移概率自身是完备的：,四、信道线图：,1、二进制对称信道：,2、二进制删除信道：,3、r进制均匀信道：,4、Z型信道：,3.3 概率的计算问题,矩阵表示：,矩阵间的关系：,例3.1 二进制删除信道 输入概率为P(a1)=0.2,P(a2)=0.8。求各种概率的矩

4、阵表示。,解：,用P(a1)乘以PY|X的第一行， P(a2)乘以PY|X的第二行，得到联合概率矩阵：,3.4 信道的疑义度、散布度和平均互信息,3.4.1 信道的疑义度,一、定义：,二、意义：,从输出Y中获得的关于输入X的平均信息量I(X;Y)，等于X的先验平均不确定性H(X)减去后验平均不确定性H(X|Y),也就是X的平均不确定性减少量。 由于存在后验平均不确定性H(X|Y)，说明收到输出Y后对输入X还存有疑义。 此外上式还表明输入X的平均信息H(X)不可能全部到达输出，由于干扰的存在，从输入来的一部分信息在传输过程中损失掉了，损失部分就是H(X|Y),故H(X|Y)既代表输出Y后对输入X

5、还存有的疑义，又代表信道在传输过程中的信息损失，因此，通常把H(X|Y)称为信道的疑义度或损失熵。,三、计算,其中,代表在给定条件Y=bj下,有关X的平均不确定性，也就是受到符号bj后对输入X还存有的疑义。,四、特例,后验概率矩阵各列r个后验概率中，只有一个为1，其余均为0，则,这时损失熵为,例3.2 二进制删除信道 输入概率为P(a1)=0.2,P(a2)=0.8。求平均互信息量。,解：,直接由熵公式求X的熵,用联合概率矩阵各列元素除以对应的输出概率，得到,3.4.2 信道的散布度,一、定义：条件熵H(Y|X)叫做信道X,PY|X,Y的散布度或噪声熵。表明信道因噪声干扰所呈现的无序程度，可将

6、其视为干扰信息的直接度量,可以理解为从信道输出信息H(Y)中减去干扰信息H(Y|X)，就是我们得到的关于输入X的有用信息I(X;Y),散布度或噪声熵H(Y|X)表明因噪声干扰所呈现的无序程度，可将其视为干扰信息的直接度量。噪声熵为零的信道称为确定信道。,二、计算,其中,三、特例,如果转移概率矩阵每行元素组成确定性分布，则,这时噪声熵为0：,例3.3 两个DMC的转移矩阵，假设输入等概分布，求平均互信息量。,解：（a）因为输入等概分布，即,（b）,3.4.3 信道的平均互信息,一、非负性：I(X;Y) 0 二、极值性： I(X;Y) H(X); I(X;Y) H(Y); 三、凸状性,由上可知，

7、I(X;Y) 成为信道输入随机变量X的概率矢量PX和信道转移概率矢量PY|X的函数。这说明信道的平均互信息量既与信道的输入有关，又与信道本身有关。可记为I(PX, PY|X),定理3.1 如果信道给定即PY|X给定，那么I(PX, PY|X)是输入概率的上凸函数。,定理3.2 如果信源给定即PX给定，那么I(PX, PY|X)是转移概率的下凸函数。（证明从略）,例 3.4 平均互信息量的凸状性质的直观示意图,解：,平均互信息量是q和p的2元函数,散步度,平均互信息量,3.5 信道容量,3.5.1 信道容量的定义,一、定义：对于给定的信道，定义最大的信息率为该信道的信道容量，记为C,信道容量也可

8、定义为信道的最大信息速率，记为Ct,二、解释： 1、前提：信道是给定的。只有这样，I(X;Y)才是输入分布的上凸函数，才有可能最大值（信道容量） 2、使得给定信道的I(X;Y)达到最大值（即信道容量C）的输入分布，称为最佳输入（概率）分布，记为PX* 3、信道I(X;Y)与输入概率分布PX和转移概率分布PY|X两者有关，但信道容量C是信道的固有参数，只与信道转移概率PY|X有关,例3.5 求Z型信道的信道容量C,解：利用求导方法求信道容量。为求导方便，均采用自然对数,平均互信息量：,输出分布：,求导：,得：,可得输入概率,代入互信息量计算式，可得信道容量,3.5.2 离散无噪信道的信道容量,无

9、噪信道：无损信道、确定信道、无损确定信道的统称,一、无损信道：损失熵（疑义度）为零 ,后验概率P(x|y)=1或0。转移矩阵每列只有一个非零元素,后验概率组成确定性分布，即,因此，损失熵H(X|Y)为0,平均互信息量与输入熵相等,当输入为等概率分布时，输入熵最大，因此信道容量为,二、确定信道：噪声熵为零的信道。r个输入可划分为s个子集（与输出符号数相同），每个子集与唯一的输出符号对应。转移概率组成确定性分布：,因此，噪声熵为H(Y|X)=0，平均互信息量与输出熵相等,因此，无噪信道的信道容量为输出熵的最大值：,至少能够找到一组输入分布使输出为等概分布,三、无损确定信道：损失熵和噪声熵均为零的信

10、道。输入与输出符号成一一对应关系。,联合概率矩阵为对角阵；转移概率矩阵与后验概率矩阵均为单位阵；所以，噪声熵和损失熵均为零。,平均互信息量与输入熵和输出熵均相等：,信道容量,练习：习题3.3,设有一批电阻， 按阻值分70是2k, 30%是5k； 按功耗分64是1/8W，其余是1/4W。 现已知2k阻值的电阻中80%是1/8W 。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？,3.5.3 离散对称信道,一、定义,特点,举例,1、定义3.5.1,（1）各行所对应的条件熵H(Y|ai)(i=1,2,r)均相等:,（2）噪声熵与输入概率无关,（3）平均互信息量,（4）信道容量为,讨论：输出概率P

11、Y达到等概分布时， H(Y)得到最大。但变量为PX，PX通过式PY=PX PY|X决定PY。一般情况，变动PX未必能使PY到达等概分布。所以通过求出H(Y)关于PX的最大值来计算信道容量是非常困难的工作。,2、定义3.5.2 信道rs转移矩阵每一列r个元素，都由同一组元素q1 ,q2 ,qr的不同排列组成，则称PY|X为列排列阵，此类信道称为离散输出对称信道。,两列元素都由同一组元素的不同排列组成，对应的信道为离散输出对称信道。,举例,3、定义3.5.3 信道转移矩阵PY|X既是行排列阵又是列排列阵，则称PY|X为行列排列阵，此类信道称为离散对称信道。,举例,4、定义3.5.4 若信道转移矩阵

12、PY|X的列可被划分成若干个互不相交的子集，且每个子集所组成的子阵是行列排列阵，则称此类信道为离散准对称信道。,二、离散对称和准对称信道的信道容量,引理：离散对称信道输入等概分布时，输出也等概分布。该引理的重要性在于能够解决前面的难题，即如何变动输入分布来求出信道容量。,证明：,定理3.3,对于对称DMC，当输入等概时达到信道容量，且,例3.6 求BSC和r进制均匀信道的信道容量,解： r进制均匀信道简称均匀信道或强对称信道，当r2时退化为BSC。,由定理3.3,最佳输入分布为等概分布,均匀信道的信道容量为,取r2得BSC的信道容量,定理3.4,对于准对称DMC，当输入等概时达到信道容量,例3

13、.7 求二进制删除信道BEC的信道容量,解：,转移矩阵划分为2个子矩阵：,信道容量为：,最佳输入分布为等概分布：,例3.8 求信道容量C,解：将信道转移矩阵按列重排分块如下,三个分块阵均为行列排列阵，该信道为准对称信道，参数为：,最佳输入分布为等概分布：,3.5.4 一般DMC达到信道容量的充要条件,求解一般DMC信道容量所面临的问题：,（1）一般DMC的最佳输入分布P*X未必是等概分布 （2）按定义求解信道容量，高维数的情况计算量太大 新思路：不去刻意寻找信道容量的解析表达式，而是把注意转到信道容量解的充要条件上，借助于该充要条件，可以排除一些不可能的边界，且在某些特殊情况下能够快速找到极值

14、的位置。,定理3.5 设f(x)是定义在所有分量均非负的半n维空间上的上凸函数，其中x=x1,x2,xn,假定f(x)的一阶偏导数均存在，且在定义空间上连续，,则f(x)在定义空间上点x=x*处取最大值的充要条件（K-T条件)是,证明： （1）因f(x)是定义在所有分量均非负的半n维空间上，故边界点为x0； （2）因f(x)是上凸函数，当极值点不是定义空间的边界点即x*0,则极值就是最大值；极值点的充要条件就是式(3-5-27) （3）当极值点恰在定义空间的边界上即x*0，则f(x)在该极值点取最大值的充要条件是： f(x)沿x*0向定义空间的值是下降的，数学表达式即为式（3-5-28)。,（

15、2）偏互信息代表从输出Y中获得关于ai信息，是由ai所传送的平均互信息； （3）平均互信息是偏互信息关于ai的统计平均,说明： （1）偏互信息也是一种互信息量，只是对输出Y进行了统计平均,定义：偏互信息,定理3.6(一般DMC信道容量解的充要条件） 一般DMCX,PY|X,Y,其平均互信息I(X;Y)在输入分布为P*X=P*(a1), P*(a2), P*(ar)时取最大值的充要条件是,证明：根据定义，DMC的信道容量就是I(X;Y)在完备性约束条件的最大值。,利用拉各朗日乘数法：首先构造拉各朗日函数,因I(X;Y)是PX的上凸函数，且f(PX)是I(X;Y)与PX的线性组合，故f(PX)也是

16、PX的上凸函数。 由K-T条件可知，上凸函数f(PX)在 PX=P*X= P*(a1), P*(a2), P*(ar)处最大值的充要条件是,令偏导数为零：,于是充要条件为：,为确定常数 ，对式（3-5-35）两边求统计平均,即,将该结果代入式(3-5-35)、(3-5-36)，即得定理所述结果,讨论： （1）定理3.6说明，当信道平均互信息达到最大，所有概率非零的输入符号都传送相同的平均互信息量。 （2）若某符号ai所传送的平均互信息量I(ai;Y)比其他符号所传送的大，则可更多地使用ai，即提高P(ai)，使总的互信息I(X;Y)增加。,例3.9 求信道容量C和最佳输入分布,解：设最佳输入分

17、布为P*X=P*(a1),P*(a2),P*(a3)，3个输入概率外加信道容量C，共4个参数，需列4个方程。由定理3.6,有,化简得到：,解得：,解得：,例3.10 Z型信道的信道容量C,解:应用定理3.6列方程,化简得：,由,得最佳输入分布：,3.5.5 信道容量的迭代算法 1972年，S.Amrimoto和R.E.Blahut给出了DMC信道容量计算的迭代算法，这一算法是以下述定理为基础建立起来。,是任意给定的一组初始输入分布，其所有分量 P0(ai)均不为零。按下式不断对输入分布进行迭代、更新,则由此所得的I（PnX；PY|X）序列收敛于信道容量C。,迭代思想 （1）若某符号ai所传送的

18、平均互信息量I(ai;Y)比其他符号所传送的大，则可更多地使用ai，即提高P(ai)，使总的互信息I(X;Y)增加 （2）但P(ai)的过分增加会使P(bj)接近于P(bj |ai),这是因为,当P(ai) 1，其它P(a) 0，故P(bi) P(bj|ai),由偏互信息的定义，P(bi) 接近于 P(bj|ai)，又会使I(ai;Y)减小。 （3）根据（1）、（2）分析，反复调整输入符号的概率分布，最后必然使所有值得使用的符号的I(ai;Y)均相等，且等于信道容量C。,迭代流程图：,3.6 扩展信道及其信道容量,3.6.1 扩展信道的数学模型,N次扩展信道的模型,转移概率集合为,数学模型可记

19、为：,信道是DMC的充要条件：,例3.11 求BSC的2次扩展信道数学模型,解：单符号BSC的输入和输出符号集分别为： A=a1,a2；B=b1,b2,2次扩展信道的输入和输出符号集分别为A2=1 ,2 ,3 ,4 =a1a1,a1a2,a2a1,a2a2 B2=1, 2, 3 ,4 =b1b1,b1b2,b2b1,b2b2,计算转移概率，,可以得到2次扩展信道的转移概率矩阵：,3.6.2 扩展信道的平均互信息量和信道容量,一、基本的表达式,1、扩展信道的平均互信息量,2、平均互信息量与各类熵的关系,信源信道均无记忆时的信道容量：,1、N元随机变量序列X1，X2，XN中各Xk独立同分布，即所有

20、Xk都是完全相同的随机变量，记这些相同的输入随机变量为X。 2、无记忆信源的N元序列加到无记忆信道，得到的N元输出序列Y1，Y2，YN中各Yk必然是独立同分布的，所有Yk都是完全相同的随机变量，记这些相同的随机变量为Y。 3、I(X1;Y1)=I(X2;Y2)=I(Xk;Yk)=I(X;Y),离散无记忆信道N次扩展信道的信道容量为,因信道容量是信道的固有参数，只与信道自身的统计特性有关，对同一信道，所有Ck均相同，等于单符号信道容量C，因此，离散无记忆信道的N次扩展信道的信道容量为,3.7 信道的组合,3.7.1 串连信道：前一信道的输出符号集与后一信道的输入符号集一致。,记串联信道中3个随机

21、变量X、Y以及Z的取值符号集分别为AX=a1,a2,ar; AY=b1,b2,bs; AZ=c1,c2,ct,在给定Y之后，Z的取值与X无关，这意味着,这说明串联信道的转移概率矩阵是各单元信道的转移概率矩阵之积：,定理3.10 若随机变量XYZ组成马尔可夫链，则有 I(X;Z) I(X;Y),等号成立的充要条件是P(ai|bjck)=P(ai|ck); I(X;Z) I(Y;Z),等号成立的充要条件是P(ck|aibj)=P(ck|ai),解释：（1）从Z中所获得的X的信息不大于从Y中获得的X的信息，也就是说信道II对我们了解X的信息无任何帮助。 （2）信息不增原理：通过信道的信息不会增加。

22、（3）数据处理定理：数据经过处理之后，不会使信息增加，随着数据的不断处理，从处理后的 数据中所得的原始信息会愈来愈少。,串联信道的信道容量：与组成串联信道的各单元信道的信道容量之间无确切关系，必须根据整个信道的数学模型进行求解,例3.12 求2个相同二元对称信道（BSC）组成串联信道的信道容量 解：,单个信道转移概率矩阵为：,串联信道转移概率矩阵为,因串联信道仍然是二元对称信道，因此,推广1：若是N个BSC串联，则可以得到总的转移概率矩阵为：,仍然为对称信道，信道容量为,推广2：只要信道是有噪的，及0p1,则,可见，有噪BSC的串联信道，随着串联级数的增加，整个信道的容量趋于零。（因为随着有噪

23、串联环节的增加，串联信道的平均互信息是递减的）,3.7.2 独立并联信道,信道容量：由独立并联信道的特点可知，Yk只与Xk有关，即等效信道是无记忆的，根据定理3.8,平均互信息量满足,所以，独立并联信道的信道容量为,即独立并联信道的信道容量为各组成信道的信道容量之和,3.8 信源与信道的匹配 (1)符号匹配：信源输出的符号必须是信道能够传送的符号，即要求信源符号集就是信道的入口符号集或入口符号集的子集，这是实现信息传输的必要条件，可在信源与信道之间加入编码器予以实现 (2)信息匹配：信源与信道匹配的程度可用信道剩余度来衡量，,信道绝对剩余度CI（X;Y）,一般来说，实际信源的概率分布PX未必是

24、信道的最佳分布P*X,所以，I(X;Y) C,剩余度不为零。因此，要求信源与信道达到信息的完全匹配是不现实的，只要信道剩余度较小就可以了。,3.9 连续信道及其信道容量,连续信道：是时间离散、幅值连续信道的简称。连续信道的输入和输出都是定义在整个实域R或R的某个子集上的连续性随机变量。,3.9.1 连续信道的数学模型,一、单维连续信道：输入X、输出Y以及噪声Z都是取值于整个实域R的一维连续型随机变量。统计特性由转移概率密度函数fY|X(y|x)描述。数学模型记为：X, fY|X(y|x),Y,二、多维连续信道： 输入X、输出Y以及噪声Z都是多维连续随机变量。,三、连续无记忆信道：,四、连续信道

25、的平均互信息量I(X;Y),五、连续信道的信息传输能力：信道容量,与离散信道不同，连续信道 的输入取值区间和概率密度不能完全描述实际输入的某些性质,如输入信号的幅值受限、功率受限等。 为了适当反映这种情况，可对连续信道的输入加一个限制条件b(X)，而连续信道的信道容量定义为该信道的I(X;Y)在条件b(X)下关于fX(x)的最大值,若最大值不存在，可取其最小上界（上确界）：,此时，连续信道在输入平均功率受限时的信道容量为：,或,3.9.2 加性高斯噪声信道的信道容量,一、概念：信道的输入X、输出Y以及噪声Z 3个随机变量之间满足 Y=X+Z 且输入X与干扰Z无关，则称该信道为加性噪声信道。,求

26、解一般信道的信道容量非常困难，往往只能得出数值解。只有一些特殊的连续信道如加性噪声信道，才能推出简明的信道容量表达式。幸运的是，实际使用的连续信道大部分可近似看成是加性噪声信道，研究这种信道在理论和实践两方面都有重大意义。,二、加性噪声信道的转移概率密度函数：,上式说明，转移概率密度是由噪声引起的，加性噪声信道的转移概率密度函数等于噪声的概率密度函数,三、加性高斯噪声信道的容量,1、噪声分布密度,2、转移概率密度,3、条件熵（噪声熵）,4、平均互信息量,5、信道容量,把对I(X;Y)求最大值的问题转化为对h(Y)求最大值的问题,6、噪声Z的微分熵,假设Z的均值为0并不失一般性。因为若Z是均值为

27、 的随机变量，通过坐标变换Z=Z- ,则Z是均值为0的随机变量，并且这种特殊的坐标变换不改变随机变量的熵,Z的平均功率：,信道容量：,问题的关键转化为求信道输出熵关于概率密度fX(x)的最大值,可以分3步来求信道容量,Z的概率密度函数可写成：,Z的微分熵h(Z):,（1）与对待噪声Z的方式一样，设信道输入X的均值为0，则信道输出Y的均值为：E(Y)=E(X+Z)=E(X)+E(Z)=0,说明对于加性噪声信道，当输入X和噪声Z的均值都是0、平均功率受限与PS和PN时，输出Y的均值也为0，其平均功率受限于PSPN,（2）根据连续最大熵的已知结论，平均功率受限时，随机变量只有服从高斯分布才会使熵达到

28、最大。现在，信道输出Y的均值为0，平均功率受限于PSPN，因此，只有Y服从高斯分布时，其熵最大。,最佳输入分布：因为Y和Z均服从高斯分布，而X=Y-Z，所以X也服从高斯分布，而X的均值为0，平均功率为PS，故最佳输入分布为,（3）求出Y关于输入概率密度的最大熵,加性高斯噪声信道的信道容量：,说明： （1）在加性高斯噪声信道中传输信息，高斯分布的输入信号是最有效的； （2）信道容量与信噪比PS/PN有关。 问题：对于加性噪声信道，若输入信号服从高斯分布，那么，什么性质的噪声最有害？ 定理3.11 对于无记忆加性噪声信道，假设输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平

29、均互信息量达到最小。即I(XG;Y) I(XG;YG),3.9.3 一般加性噪声信道的信道容量的界,非高斯加性噪声信道的信道容量计算非常复杂，即使在平均功率受限条件下，也无法给出解析形式的解，只能对其上下限作出估计。以下定理给出了平均功率受限条件下一般加性噪声信道的信道容量的上下界,定理3.12 对于一般的无记忆加性噪声信道，假设输入信号的平均功率受限于PS，噪声的平均功率受限于PN，则信道容量C(PS)的上下界为,证明：先证明下界。仍然假设输入和噪声均为0。,下界得证,于是,然后用熵功率将上式表示成统一形式，因为噪声Z的熵功率为：,则Z的熵为：,上界得证,再证上界。由以上分析可知，当输入信号

30、和噪声的平均功率分别受限于PS和PN时，此时信道输出信号Y的平均功率受限于PSPN，Y服从高斯分布时其熵最大，即,3.10 波形信道及其信道容量,一、波形信道（waveform channel）的概念：,输入/输出随时间连续取值、且取值集合是连续区间的信道，也称为模拟信道。在波形信道的输入和输出分别用随机过程X(t)和Y(t)来描述。,二、近似处理 在波形信道的持续时间T内对其输入和输出进行采样，采样所得的信道可以用一个N维连续信道来近似,一般来说，波形信道是无穷维连续信道，所以，当N 时，N维连续信道的平均互信息的极限就是波形信道的平均互信息,三、信道容量：持续时间为T的波形信道的信道容量为

31、,波形信道是无穷维连续信道，信道容量的一般性研究在数学上存在相当大的困难。我们只讨论一种简单的波形信道带限、加性高斯白噪声信道，对该信道的研究在理论与实用上都有很大意义。,带限、加性高斯白噪声信道：频带限制在一定范围之内、受加性高斯白噪声干扰的波形信道,带限白噪声：白噪声Z(t)的频带限制为B，即f |B|,则称之为带限白噪声，其功率谱密度为,白噪声是一种理想噪声信号，实际并不存在，但如果噪声功率谱密度均匀分布的频率范围远大于所研究系统的带宽，则此噪声可认为是白噪声，白噪声经滤波变为带限白噪声。服从高斯分布的带限白噪声称为带限高斯白噪声。带限白噪声的相关函数是其功率谱密度的傅立叶反变换：,根据采样定理，带限为B的随机信号Z(t)可用一组独立随机变量序列Z(k/2B), k=1,2,来近似表示。另外，工程中所遇到的信号通常是限时信号，即只在有限的时段起作用。,当=k/2B(k=1,2,)时，自相关函数RZ( )=0,即从这些点上得到的所有随机变量Z(k/2B), k=1,2,互不相关,如果Z(t)服从均值为