信道与信道容量

第四章：信道和信道容量(ChannelandCannelCapacity)4.1信道的数学描述与分类4.2单符号信道的信道容量4.3多符号信道的信道容量4.4连续信道的信道容量4.5Shannon公式的应用,信息论基础,第四章：信道和信道容量(ChannelandCannelCapacity)4.6比特能量与比特信噪比4.7功率利用率与频谱利用率的关系4.8有色高斯信道的信道容量4.9信源与信道的匹配设计,信息论基础,第四章：信道和信道容量,4.1信道的数学描述与分类(Themathematicaldescriptionandclassesofchannel)一、信道的数学描述,在前面的两章，我们主要研究了信源的固有属性以及它的数学描述方法。而最终研究目的：主要是解决如何掌握信源发送信息的最大能力和最有效发送的条件。这一章我们将讨论信息流通的重要环节，即承担信息传输和存储功能的信道。首先要解决的问题是：信道的客观属性及数学描述方法；其次讨论信道的最大传送或存储信息的能力，以及如何达到充分利用信道资源的条件。实际上我们对信道已有一定的描述，如我们在互信息、条件熵的引出时，都涉及到信道的模型。,一般来讲，信道都是加性信道，即,，这是因为对于乘性噪声,的数学描述尤为困难，所以通常仅以加性取代。,4.1信道的数学描述与分类,条件熵H(Y/X)被称为噪声熵(Noiseentropy),是由于当已知信源X的条件下，信道的输出还存在不定度时，则此刻它必定是由于信道本身的干扰噪声所致。而另一条件熵H(X/Y)则称为损失熵(Lossentropy)，也有的书称为信道疑义度(Channelequivocation)。它所表达的物理意义：当信道输出端Y收到全部的输出符号之后，对输入端X尚存的平均不确定度。这种对X还剩下的不定度也是由于传送过程中，信道干扰机制所致。先分析这两个条件熵的概念差别：噪声熵H(Y/X)所表达的是当输出端Y在X所有情况都确知后，变量Y的不定度。由于信道输入除了X就是噪声N，所以此刻Y的不定度就一定是N的熵。这也说明信道的输出Y还有不定度时，已与信源的变量X毫无关系，完全是信道内部的干扰产生；而损失熵H(X/Y)所表达的含,4.1信道的数学描述与分类,义是当输出端确知所收到的信号Y以后，仍然不明晰输入端X的情况，即存在有疑义。虽然这也是信道干扰所致，但是由于是随X的出现而发生，因而称为损失熵。从数学角度看其差别并不大，因为H(X/Y)和H(Y/X)是互通的。,但是要考虑Y=X+N的客观因素，则条件概率P(Y/X)的物理意义就很明确了。因为Y的不定度是由X和N所决定，当其中一个确知以后，Y的不定度是否完全有另一变量所决定？即：,我们可以从数学中证明这个关系：,WhereC=constant,？,4.1信道的数学描述与分类,例4-1.设信道噪声为高斯噪声，且概率密度为：,4.1信道的数学描述与分类,因此，从信道模型来看，条件概率P(y/x)，充分表达出信道的固有干扰属性，则应该成为其恰如其分的数学描述。或者说信道本身所存在的干扰噪声是产生不定度的唯一来源，它对信息传输过程中必然引起信息的损失，这是信道本身的客观属性，而与信源和信宿无关。再有不同的信道应存在不同的损失，如果想利用数学关系式描述这种损失，那么P(y/x)一定是最合适的。所以这就是用P(y/x)来作为信道的数学模型的原因。而且，,显然P(x)反映的是信源属性，而P(y/x)才是信道的根本属性。因此，互信息是与信源、信道有关的量，如果对互信息作一些数学处理，设法使它能直观地反映信道的某种物理特性，那么它是否将比P(y/x)更具有实用价值？,4.1信道的数学描述与分类,虽然P(y/x)表达的是信道的数学模型，但是不能直观地表达出信道的物理功能能力的大小，这对于评估、优化、分析等应用都不方便。比如说信息熵H(X)就是表征信源能力大小的量。但是我们不能以条件熵H(Y/X)表征信道本身功能的物理量，因为H(Y/X)仅是噪声这种物理概念，并不能直观地代表信道传送信息功能的大小；而H(X/Y)是损失熵，它反映信息遭受损失的情况，也是间接反映信道的功能属性。所以我们只得引入一个信道的物理量信道容量。,二、信道容量的定义（DefinitionofChannelCapacity）,前面论述了P(y/x)仅能描述信道的数学属性,而不是物理属性。下面寻求一个既能与P(y/x)有关,又要能直观反映信道传输信息的物理特征的物理量。首先，如果说给定一个信道则就意味着给定了P(y/x)以及X、Y取值的集合A和B。或者说以P(y/x)和A,B可以唯一地确定某一信道的客观属性。因此要想构造一个有关信道的物理量，,4.1信道的数学描述与分类,就要与这三个数学特征发生关系。其次就得与信道的物理功能特征发生关系。,上式表明：互信息与信道的输入、输出量有关。如果我们加上一些数学限制条件，使它变成仅与有关时，它就能变成适合于我们的物理量。下面就是这种数学处理：,该式表示：在给定的条件下，调整P(x)而使互信息达到最大时的值。这种数学处理就是求互信息的条件极值问题。,4.1信道的数学描述与分类,求上确界是为了适应极值只能接近某一极限的情况，因此信道容量也可能是一个理论值而已。对于信道容量的定义式，我们可以用集装箱的例子形象化地比喻出来。,(supremum),4.1信道的数学描述与分类,信道好比集装箱，而信源就像不同的货物，集装箱的容积不可改变，但是里面的货物的组成是可以改变。调整信源就像改变货物的组成，是可以用于测试集装箱的最大容积。信道容量的定义是有了，但是我们还要证明这种定义是否存在和唯一，即用于定义信道容量的互信息的条件极值是否一定存在和这个极值的唯一性。书中定理4.2.1(P73)证明了互信息I(X;Y)是信源概率分布P(x)的上凸函数。,唯一性证明:要证明两种唯一性问题，互信息的极值是唯一的。达到极值C的输入分布P(x)也一定是唯一的。这实际上就是上凸函数的充分必要条件的证明。,4.1信道的数学描述与分类,三、信道的分类(Theclassesofchannel)我们给出一种基于信道数学描述的分类方法。因为条件概率P(Y/X)是任何信道的数学模型，给定P(Y/X)也唯一确定了信道，所以我们说信道的分类应该依据P(Y/X)的性质来分。,无干扰信道,有干扰信道,无记忆信道,有记忆信道,4.1信道的数学描述与分类,.无噪无损信道即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X与Y一一对应情况。书中称为无损确定信道(P93)。则：,.确定信道之一即p(y/x)=1但P(x/y)1I(X;Y)=H(Y)H(X)X与Y有确定性关系，但不是一一对应。,.确定信道之二与上述信道相反，一个X值可能有几个Y值输出，但各种X值所对应的Y不重合，即：,p(y/x)1但P(x/y)=1I(X;Y)=H(X)H(Y),上述无噪信道的信道容量问题都可以看成为最大熵问题，比较容易解决。但是实际的信道大多是有干扰信道，即：有关此类信道大体分为两类：有干扰无记忆信道和有干扰有记忆信道，从它们的数学性质上很容易划分。,4.1信道的数学描述与分类,对于后者，通常采用MC特性的方法来处理解决，到目前为止还没有更好的解决办法。此类信道我们不作介绍。而对无记忆信道一般又分成两类：一种称单符号信道，另一种称多符号信道。所谓单符号信道就是指同时只能发送一个信源符号的信道；而多符号信道是指在单位时间内可同时发送多个符号的信道。解决问题应从简单问题入手，因此我们重点讨论单符号信道问题，最后过渡到多符号信道问题。,4.1信道的数学描述与分类,下面我们再依据信道的数学特性进一步对无记忆单符号信道分类：,第四章：信道和信道容量,一.对称信道(SymmetricChannel),4.2单符号信道的信道容量(TheCapacityofASingle-SymbolChannel),所谓对称信道指信道的条件概率矩阵满足对称性的信道。矩阵对称性指矩阵每一行都是其它行的不同排列；矩阵的每一列也是其它列的不同排列。信道的条件概率矩阵：,4.2单符号信道的信道容量,则不是对称矩阵，因为行满足可排列性，但列则不满足，属于准对称性。,4.2单符号信道的信道容量,Theorem:IfasymmetricDMChasrinputsandsoutputs,itscapacityisachievedwithequiprobabileinputs,i.e.,where,isanyrowofthetransitionmatrix.,Proof:,4.2单符号信道的信道容量,Butsinceeveryrowofthematrixisapermutationofeveryotherrow,constant,Weknow,Also,byH(y)logswithequalityof,But,theconditiononthecolumnsofthetransitionmatrixguaranteesthat,4.2单符号信道的信道容量,例4-2.（书中例452）设一离散对称信道，条件概率矩阵为：,矩阵列的可排列性,Q.E.D.,求：该信道的信道容量？,4.2单符号信道的信道容量,题解：,验证，当输入为等概率时，输出也一定是等概率。,Q.E.D.,4.2单符号信道的信道容量,例43.有对称信道:,题解：,Q.E.D.,4.2单符号信道的信道容量,例4-4.均匀信道的信道容量,题解：根据Pji的对称性，可直接利用对称信道信道容量公式得,4.2单符号信道的信道容量,4.2单符号信道的信道容量,在数字信道中最简单的就数二元对称信道BSC=binarysymmetricChannel,且：,由于Pe为平均误码率；则H()为信息损失。且当0，损失为零，信道为无损信道理想信道，而当,损失最大，信道为无用信道无法传输信息。推广到n进制下的全对称信道：可得,4.2单符号信道的信道容量,下面再给出一个例题，说明利用信道疑义度解决误码率的下界问题。(费诺不等式的证明）例4-5.求证在全对称信道中信道误码率与信道疑义度有以下关系式：,Proof：,4.2单符号信道的信道容量,4.2单符号信道的信道容量,(即横坐标)它一定是该信道的最小误码率,或称误码率的下界。,如果给定信道的疑义度则在图中一定可以找到,，,信道给定则给定,再利用图解法得到Pemin，它将是该信道最小的平均误码率。,f(Pe),4.2单符号信道的信道容量,此结论给我们指出：在给定信道疑义度的条件下，可以评估出这种信道的最好平均误码率，要想再奋斗取得更低的误码率，那一定是不可能的。,Q.E.D.,二.准对称信道(Quasi-SymmetricChannel),准对称信道就是其条件概率矩阵满足准对称性。那么什么是矩阵的准对称性？书中定义4.5.4(P94)就讲了这个问题。通俗地讲就是比矩阵的对称性仅差了一点，即矩阵列的可排列性不存在了。若信道矩阵Pjirxs中,按列分成几个互不相交的子阵，(或按输出变量Y划分几个子集)，且每一个子阵均满足对称性；则此信道为准对称信道。,4.2单符号信道的信道容量,书中定理4.5.1给出了准对称信道有关信道容量求解的方法。具体的证明已由书中给出，我们仅介绍定理的应用：,注：对于准对称信道的矩阵，其行一定满足可排列性。,4.2单符号信道的信道容量,对于准对称信道，求解信道容量大体分为三步：,Example:,4.2单符号信道的信道容量,三、可逆矩阵信道(TheChannelwithinversematrix)当某一信道的条件概率矩阵Pji的逆矩阵Pji存在，则此信道称为可逆矩阵信道。显然，若矩阵Pji具有可逆性，则它一定是一方阵(r=s=n)。下面我们采用数学方法Lagrangian法导出此信道条件极值C的求解规律。,4.2单符号信道的信道容量,4.2单符号信道的信道容量,显然满足式的qj一定能使互信息I(X;Y)在给定Pji条件下为最大。若记qjqj是满足式的解，则利用：,若对式加权平均，则式左端为最大互信息，得：,4.2单符号信道的信道容量,4.2单符号信道的信道容量,由于书中没有明确给出求解信道容量的步骤，而是将其一般化处理。为了实用我们特整理出可逆信道求解信道容量的步骤：,1,2,4.2单符号信道的信道容量,例4-6给定一离散无记忆信道：,求：C=?;P(x)=?,Solution:,Q.E.D.,4.2单符号信道的信道容量,例4-7(书中例4.5.2P97),题解：,4.2单符号信道的信道容量,Q.E.D.,4.2单符号信道的信道容量,四、其它离散无记忆信道以上三类离散信道都有各自的求解信道容量的客观规律；但是仍有一些离散无记忆信道都无前三类信道的特性，故求解容量问题没有一般规律可遵循。但是它们又是大多数的实际信道，为此我们给出该类信道信道容量的数值解法，即一种求近似值的迭代算法。这是比较实用的数值解法，但是由于算法的推导需要一些基础，因此我们只介绍迭代算法(iterationalgorithm)的公式及程序流程图。下面介绍迭代算法公式：,4.2单符号信道的信道容量,4.2单符号信道的信道容量,先看一下迭代机制：,4.2单符号信道的信道容量,Theprogrammingflowchartforiterationalgorithm,4.2单符号信道的信道容量,五、高斯信道(GaussianChannel)(memorylesscontinuousalphabetchannelwithatimediscrete)当输入符号是一个连续取值，即：x(,+)且信道中的干扰噪声为加性高斯变量n,additiveGaussiannoise,此信道为高斯信道。,4.2单符号信道的信道容量,显然，噪声熵H(N)与输入变量x无关，所以在求信道容量的过程中调整信源分布p(x)的变化对H(N)没有影响。为此，当H(Y)为最大时，才有互信息的最大值信道容量。又因为在求连续变量x,y的最大熵时，要有一个限定条件，故我们一般设定输入功率受限。即：,因此，在功率受限的条件下，只有输入分布为高斯分布时才有可能使输出分布为高斯分布，而此刻的输出熵为最大，所以获得高斯信道的信道容量。可以证明高斯信道是干扰最严重的一种单符号信道，并且可得到加性信道的容量上下界。Upper/Lowerbound,4.2单符号信道的信道容量,证明：在信道输入功率受限的条件下，加性信道的信道容量受限于以下不等式：,Proof:,4.2单符号信道的信道容量,以上证明的是加性信道容量的上界：,以下证明它的下界：,因为在讨论信道容量时可以任意假设输入信源的分布，所以可以假设输入变量X的分布为高斯分布。即，,（因为两个正态变量之和仍是一个正态变量。）,4.2单符号信道的信道容量,Q.E.D.,4.2单符号信道的信道容量,由此可见，对于同样的功率条件下非高斯干扰信道的容量要比高斯信道的容量要大。如果把非高斯信道看成高斯信道来考虑，这一定是比较安全的近似。因为高斯干扰是最严重的干扰情况，如果高斯信道可以满足传输要求，那么在非高斯情况下也一定满足要求。只不过这种工程近似是一种比较保守的估计，在非高斯条件下，有时信道容量要比高斯信道大的多。所以这种保守设计会使信道资源浪费很多，仅在没有办法的情况下使用为好，(即没有条件得知信道噪声特性的前提下)。,第四章：信道和信道容量,4.3多符号信道的信道容量(TheCapacityofAMulti-SymbolChannel)一、Series-Channel串连信道也称级联信道,则串连信道的数学特性为：,显然它还是一个单符号信道，而且信道容量有以下限制，,注意，串连信道仅是单符号信道的一种扩展，其本质还是一个单符号信道。我们把它放在这里主要是为了与并联信道好比较，而且为了引出常用的BSC信道的多级级联公式。,4.3多符号信道的信道容量,例4-7.BSC信道的多级级联,可见N次级联后的信道仍是一个二元对称信道，只不过误码率会大大增加，当N时可求得级联后的信道容量丢失为零。,4.3多符号信道的信道容量,二、ParallelChannel独立并联信道指两个以上的单符号信道相互并联组合的情况，仅指各个子信道的转移概率相互独立的场合(Independent)。因此在这种条件下组合后的信道称为：独立并联信道，其数学特性为：,4.3多符号信道的信道容量,先讨论最简单的并联信道：,令它们的信道特性为：,4.3多符号信道的信道容量,4.3多符号信道的信道容量,可见联合互信息不大于各子信道互信息之和，最多相等。如果适当地选取P(X1X2)的分布，而使得互信息I(X1X2;Y1Y2)为最大值，即并联信道的信道容量，也一定满足以上互信息间的不等式。,4.3多符号信道的信道容量,问题是以上不等式在什么条件下等号成立，由于不等号的引入是来自不等式Logxx-1，当且仅当x=1时等式成立。即，,4.3多符号信道的信道容量,同理，以上结论很容易推广到N个单符号信道并联组合模式：则N个符号的并联信道也有，,4.3多符号信道的信道容量,三、SumChannel和信道这种组合信道看起来与并联信道相似，但它们的输入、输出不同，前者是随机变量；而后者是随机矢量。先看它的数学描述：当输入x的集合看成是由若干个子信道的输入变量子集的和时，即：,这也表明在任何时刻，最多只有一个子信道在工作(或称被占用)，这种通信方式在保密通信中是比较常见。如跳频通信模式。,4.3多符号信道的信道容量,4.3多符号信道的信道容量,可以看出，和信道的容量资源浪费巨大，但为了安全可靠地通信，就只得以容量为代价来换取某种通信性能指标的突破。利用牺牲某种指标来换取另一种指标，这在通信系统的设计中是常有的事。,可以证明和信道的信道容量与各子信道的信道容量之间存在着以下关系式：,第四章：信道和信道容量,其实这个题目太大，我们仅讨论连续信道最简单的一种限频（带）、限功率的高斯信道。,4.4连续信道的信道容量(TheCapacityforGaussianChannelwithPowerandBandwidthConstrained),问题的提出：,4.4连续信道的信道容量,前面我们已讨论过由多个单符号信道组合成一个独立并联信道，已达到在单位时间内传送多个符号的目的。注意这仅是在单位时间内,占用N个单符号信道来实现传送N个符号的功能。要达到这个目的,是否还可以设想由N个符号组成一个无记忆序列,由一个单符号信道来传送，只不过将其速率提高N倍而已。要保证在原来传送一个符号的时间内传送N个符号，这种改造后的单符号信道其容量应是原来的N倍。下面所要讨论的时间连续信道，就是以单符号信道来过渡到多符号信道实现按序列传输的典型例子。采用我们一贯的把复杂问题简单化的策略，将一随机过程变换成随机矢量，进而简化成无记忆序列问题。同样我们仍对数学描述最简单，但实际干扰最严重的平稳高斯过程入手，即对时间上连续的高斯信道进行分析。以前所提到的高斯信道是仅指对样点具有正态分布的单符号信道(在时间上是离散的)。而下面所提到的信道是指信道所允许,4.4连续信道的信道容量,的输入信号是一个随机过程X(t,)，而且信道本身的干扰噪声也是一个随机过程N(t,)。因此我们对时间连续的高斯信道还要加一频谱条件，这就是白色噪声特性。总起来讲，高斯信道的噪声特征：加性白色高斯干扰噪声。(AdditiveWhiteGaussianNoise)因此高斯信道一般称为AWGN信道，它是干扰最严重的信道。高斯特性与白色特性，这是两种完全不同的概念。所谓高斯噪声是指噪声的每一时刻样点取值的概率分布满足正态分布规律；这仅是针对样点而言，而频谱特性则是反映随机过程不同时刻的样点之间相互关系的量。所谓白色特性是指一个随机过程x(t),如果其功率受限，即：；则它的功率谱密度(powerspectraldensity)若满足以下条件：,，我们则称此频谱条件为白色特性。,4.4连续信道的信道容量,而白色高斯噪声是同时具备正态和白色两种特性的噪声：,对于平稳随机过程还有一时域统计规律，这就是自相关函数(autocorrelationfunction)它的数学定义为：,4.4连续信道的信道容量,因为功率谱密度与自相关函数是一对FourierTransform，所以知其中一个必知另一个。,4.4连续信道的信道容量,显然，当则每个分量之间的相关性，可以从自相关函数中得到。如果每个分量之间的时间间隔为，而每个1/2F,则自相关函数R()=0,说明每个分量之间相互独立。,如果将随机过程N(t,),分解成由2FT个分量所构成的随机序列，则我们一定可以将L个分量之间都彼此相互独立，这也就为我们构造一个无记忆序列创造了条件。给定一个AWGN信道，就是所引入的干扰噪声N(t,)，具有白色频谱，每个样点具有相同的概率分布，即零均值正态分布；而对于非白高斯信道，则是频谱特性不在保持平坦性，但概率仍是正态分布，我们则称为有色高斯信道。,4.4连续信道的信道容量,下面再讨论AWGN信道的信道容量问题：设输入该信道的信号功率受限，即：,Where:K(f)isfrequencyresponsecharacteristicofchannel.,其中K(f)是该信道的频响特性。有了这种频响特性就意味信道对其输入的信号有了限带要求,(相当于信号通过一个低通滤波器)，所以输入AWGN信道的信号也是一个带宽受限，功率受限的信号。我们已经了解到对于限频、限时的随机过程.一定可以分解成L维的随机矢量,而且L2BT个分量之间也可以实现彼此相互独立。,4.4连续信道的信道容量,这就是说当xl为零均值的高斯变量时，互信息I(xl;yl)才有最大值。而且当要传送L个变量xl时，按照独立并联信道应得下式：,4.4连续信道的信道容量,由于当且仅当每个输入变量之间相互独立，才有等号成立。,所以上述信道容量表达出传输持续时间为T，频带带宽为B；且输入功率受限的白色高斯信道的容量。有时我们常常以单位时间内的最大互信息为信道容量的标准，故：,如果将方差写成功率谱的形式：,4.4连续信道的信道容量,以上是AWGN信道的容量公式，也称为Shannon公式。它是信息论最早应用于实际工程设计的结论之一，对通信系统的设计与应用起到了不可估量的指导作用。,第四章：信道和信道容量,ShannonsFormula它所涵盖的几种物理概念，对我们实际工程设计都非常有用，所以我们加重讨论它的应用，以加深大家对信息论的认识。首先我们恢复这个定理的原貌及达到定理的条件。Theorem:LettheoutputofacontinuoustimechannelbegivenbythesumoftheinputandwhiteGaussiannoiseofspectraldensityN0.LettheInputbepowerconstrainedtoSandlettheinputbeconstrainedoversometimeintervalTtobealinearcombinationof2BTorthogonalfunctions.Thenthecapacityofthechannelperunittimeisgivenby:,4.5Shannon公式的应用(TheApplicationofShannonsFormula),4.5Shannon公式的应用,ThisisShannonsfamousformulaforthecapacityofaadditivewhiteGaussiannoisechannelwithaband-limitedpower-limitedinput.Corollary:ThecapacityperunittimeofaAWGNchannelwiththeinputpowerconstrainedtoSandwiththenumberofdegreeoffreedomunconstrainedisgivenby,4.5Shannon公式的应用,以上是Shannon公式的两种形式，这里可看出有关信道的统计特征C和实际物理量：带宽B、持续时间T以及输入信噪比都联系在一起。这无疑给我们的实际应用带来了很大的指导作用。下面我们一一分析如下：.CTisdirectlyproportionaltoB.即CT与B成正比。带宽越宽，信道所允许传输的信息就越多；但当B时，则C本身将不在提高了，非常接近一常量。可见仅靠采用扩展带宽的方法来提高信道容量，当达一定程度后就行不,关于Shannon公式的讨论,4.5Shannon公式的应用,通了，其原因：,.IfBbegiven,thenCTisdirectlyproportionaltosignal-noiseratio(S/n).,.Whensignal-noiseratio(S/n)isverylowerthan1,thenCTisnotequaltonull.,当输入信噪比远远地小于1时，则CT不为零；这说明此刻信道仍具有传输信息的能力。即对于弱信号而言，也同样有通信的可能性。比如人类可以从火星以外的空间收回飞船发出的信息。,4.5Shannon公式的应用,即，在信道容量C保持不变的条件下，信道带宽B，传输时间T和输入信噪比S/n之间，可以互相补偿(互换)。().三个物理量中当信噪比S/n不变，则BT反之TB。这说明扩展带宽可以缩短传输时间，而延长时间就可以降低带宽要求。().如果传输时间T保持不变，则(S/n)B，反之B(S/n)。即，在同样的时间内，如果扩展带宽，就可以降低对信道信噪比的要求；而当压缩带宽时，则意味着必须提高信噪比。显然对于干扰严重的信道，在保证同样的传信率要求下，则应该需要比较宽的信道传输。实际上，这也反映出在信息传输过程中的一对矛盾：,.IfCbemaintainedataconstant,thenB,TandS/ncancompensateeachother.,4.5Shannon公式的应用,在实际工程中我们也经常利用这三者的互换关系来达到不同的目的。比如收音机的调频波段FM,带宽B比调幅波段AM要宽的多，所以抗干扰性好适合于收听音乐节目，但其传输效率低。又比如为了能在窄带电缆中传输电视节目(因条件所限)，我们采用增加传输时间T来压缩电视信号的带宽(目前的彩信业务也是这种机制)。方法是先把电视信号快速录制到录像带上，然后再慢放录像带，使得输出频带降低至能使窄带电缆传输的速率，最后再接收端采用慢录快放的方式恢复原来的电视图象。而象一般的可视电话都不可能得到实时的动态图象，而是动画效果。还有海军的潜水艇上的通信手段，往往是一种突发式的通信机制(模式),有效性efficiency：,可靠性reliable：,4.5Shannon公式的应用,就是要在极短的时间内将大量的信息发送出去，可想其收发电台的带宽要求非同寻常。.TheAWGNisthemustendangerforchannelwithadditivenoise.即在加性信道的条件下，白色高斯噪声是危害最大的干扰噪声。因此对于那些不是白色高斯噪声信道来说，其信道容量一定要大于Shannon公式所给出的结果。,例48.若市话网中的输出信噪比大于6dB时，此电话线的信道容量为多少？,4.5Shannon公式的应用,此例告诉我们违反常规的工程设计，就应该在计划实施之前制止，而不是计划实施之后。所以类示信息论的这样的理论工作在可行性分析中能发挥出它的巨大作用。,第四章：信道和信道容量,比特能量Eb是根据信息能量和消息中的信息比特数计算得来。设有一kbit的信息包含在持续有限时间T的消息波形S(t)之中,则该消息的能量为：,4.6比特能量与比特信噪比(BitenergyandBitsignaltonoiseratio),则比特能量定义为：,而对于码率为R(bit/S)的数据流，则：,其中Ps是消息的平均功率，定义为：,设一含噪信号，其单边功率谱为N0(W/Hz)，若用比特信噪比（比特误差率）Eb/N0来表示信道容量：,4.6比特能量与比特信噪比,如果设定r是频谱利用率，其定义为：,可见频谱利用率r和功率利用率(Eb/N0)将作为数字通信系统中两个重要的质量指数。,4.6比特能量与比特信噪比,显然要保证可靠通信，必要确立,第四章：信道和信道容量,在评估一个通信系统性能时，系统的功率利用率和频谱利用率是两个最重要的指标。功率利用率是在给定比特率的条件下用比特信噪比（即每比特能量与白噪声的单边功率谱密度的比值Eb/N0)来衡量，此值越小说明系统的功率利用率越高，可表明此系统利用所发送信号功率的能力。例如在二进制数字载波调制系统中，BPSK的功率利用率要高于BFSK和BASK的制式。,4.7功率利用率与频谱利用率的关系(TheRelationforPoweravailabilityandSpectrumavailability),一、功率和频谱利用率的定义,4.7功率利用率与频谱利用率的关系,频谱利用率定义为系统所传输的信息速率R与系统带宽F的比值r，此值越高说明系统的频谱利用率越大，因此它表明系统在单位频带上传输信息的效率。,例如：在相同带宽条件下，多进制调制要比二进制调制具有更高的频谱利用率。如多电平正交调幅(MQAM)和多电平相移键控(MPSK）。,一个好的通信系统应该是具有高的功率利用率和频谱利用率。但是这两个指标往往是相互矛盾的，即高的功率利用率要导致低的频谱利用率出现，或者相反。因此在设计通信系统时往往在则两个指标之间进行权衡考虑。,4.7功率利用率与频谱利用率的关系,对应于频谱利用率与功率利用率关系曲线告诉我们增加每单位带宽的比特率r与随之要增加所需的每比特的能量Eb。这就是数字通信理论中能量与带宽的交换关系。在固定信息速率的前提下,增加带宽可以降低对功率的要求。,这就是AWGN信道实现可靠通信的信噪比的下界，被称为：ShannonLimit。但它要对应着通信系统的带宽无限大才能达到。,4.7功率利用率与频谱利用率的关系,ShannonLimit告诉我们每传送一比特信息所需要的能量至少需要0.693N0。,物理学告诉我们热噪声是无处不在的。热噪声的功率谱密度N0与温度有如下关系：,其中,k是波尔兹曼常数(Boltzmannsconstant),k=1.3810-23焦耳/开尔文；T是绝对温度，所以从最根本的物理限制来讲,传送1bit的信息所需要的最小能量为：,4.7功率利用率与频谱利用率的关系,例49给定信噪比Eb/No=25dB,信道带宽分别为100KHz和10KHz，问能否可靠地传输速率为1Mbps的数据？解：由式可以计算出所需的最小值。,4.7功率利用率与频谱利用率的关系,二、功率受限下有效利用信道带宽的极限对陆地通信来讲，信号功率和频率资源都是有限的，因此在一定功率限制下有效利用信道带宽就很有现实意义。为此可依据单位带宽所传输的最大信息率(即:CT/F)作为参数，分析其与功率的关系。,4.7功率利用率与频谱利用率的关系,Eb/N0与CT/F的关系如下图所示：其中的曲线可全面衡量信息传输中功率利用的有效性与带宽利用的有效性。因此可衡量各种调制、编码方式在理论上的优劣程度。,Eb/No/dB,不可实现区,对于理想的通信系统,其Eb/N0与CT/F点应尽量靠近曲线。图中同时画出了目前数字通信中常用的多电平正交调幅(MQAM)和多电平相移键控(MPSM)制式在理想情况下所达到的功率和带宽的利用率。,第四章：信道和信道容量,注意这种信道与我们前面所讨论的AWGN信道仅差了一点，即白色噪声特性变成了有色噪声而其它特性完全相同，亦称叠加型的非白高斯限频、限功率的连续信道。所谓有色噪声就是不像白色噪声具有恒定的功率谱密度,而是一个函数曲线N(f)所限制的功率谱密度，如图所示：因此，白色噪声仅是有色噪声的特例，大多数实际噪声都有色的。只不过往往为了理想化，把它们简化成白色来处理。,4.8有色高斯信道的信道容量(