现代通信原理(02-3).ppt

1、2020/7/27,1,现代通信原理,二、信号、噪声与信息论(3),2020/7/27,2,27 信息的度量,信息（INFORMATION）：抽象的、本质的。是消息的有效内容。 消息（MESSAGE）：随机的、无法预知的。是信息的载体，信号的内容。 信号（SINGNAL）：消息的载体形式。 用相同的消息量来表达的信息量是不一样的。 对于一个通信系统，若用相同长度的二进制信号，能传输的信息量越大，说明其通信能力越强。,2020/7/27,3,271 消息的统计特性,离散信源：产生离散消息，有限种符号，可以看成是一种有限个状态的随机序列，用离散型随机过程的统计特性予以描述。 连续信源：产生连续消息

2、。,2020/7/27,4,假设离散信源为包含N种符号x1,x2,xN的集合，每个符号出现的概率分别为P(x1),P(x2),p(XN),那么可以用概率场来描述信源。,x1, x2, , Xn P(x1), P(X2), , P(Xn),(,),P(Xi)=1,2020/7/27,5,表2-1 英文字母的出现概率,2020/7/27,6,表2-2 汉字电报中数字代码的出现概率,一般情况下，离散信号中各符号的出现是相互关联的。即当前出现的符号，其概率与先前出现过的符号有关，必须用条件概率来描述离散消息。,2020/7/27,7,通常，只考虑前一个符号对后一个符号的影响，用转移概率矩阵来描述。,对

3、于连续信源，其消息的取值是无限的，必须用概率密度函数反映其统计特性。消息各点之间的统计关联性可以用二维或多维概率密度来描述。,2020/7/27,8,2.7.2 离散信源的信息量,对二进制来说： 1位符号可以表示2个事件。 2位符号可以表示4个事件。 3位符号可以表示8个事件。 对于二维离散序列，N位符号所构成的随机离散序列可能出现的消息量为2N。,2020/7/27,9,基于这一考虑，哈特首先提出采用消息出现概率的对数（以2为底）来作为离散消息的度量单位，称为信息量，用I（xi）表示：,I(xi)=log1/P(xi)=-logP(xi),式中，P(xi)为该消息发生的概率。当对数以2为底时

4、，信息量单位为比特(bit)；对数以e为底时，信息量单位为奈特(nit)。 目前常用比特。,2020/7/27,10,例2-1 例2-2 以上是单一符号出现的信息量。对于由一串符号构成的消息，如果各符号的出现相互独立，整个消息的信息量I,I=- nilogP(xi),例2-3,2020/7/27,11,当存在两个信源X和Y时，它们所出现的符号分别为xi和yj，则定义这两个信源的联合信息量为I（xiyj）,I（xiyj）=-logP(xiyj),式中P(xiyj)为信源X出现xi而信源Y出现yj的联合概率。当X和Y统计独立时，联合信息量等于X和Y各自信息量之和,如下式：,I（xiyj）=-log

5、P(xiyj) =-logP(xi)P(yj) =-logP(xi)+-logP(yj),2020/7/27,12,在数字通信系统中，信源发送的离散符号集合可以看成是X，信宿接收的离散符号集合可以看成是Y，通常X的概率场是已知的，称为先验概率，记为P（xi）。 当接收端每收到Y中的一个符号yj以后，接收者要重新估计发送端各符号xi的出现概率分布，这个概率分布称为条件概率或后验概率，用P（xi/yj）表示。,2020/7/27,13,互信息量：后验概率与先验概率之比的对数。,I(xi,yj)=logP(xi/yj)/P(xi) 式中P(xi/yj)为条件概率,I(xi,yj)反映了两个随机事件之

6、间的统计关联程度，其物理意义为接收端获取信源信息的能力。,2020/7/27,14,1、若xi与yj之间统计独立，即出现yj与出现xi无关。P(xi/yj)= P(xi)， I(xi,yj)=0，互信息量为0。 2、若出现xi就一定要出现yj。P(xi/yj)=1， I(xi,yj)= I(xi) ，互信息量等于信源信息量。 例24,2020/7/27,15,273 离散信源的平均信息量（熵）,当消息很长时，用符号出现的概率来计算消息的信息量是比较麻烦的，此时引入平均信息量（熵）的概念。 平均信息量（熵）：每个符号所含信息量的统计平均值，用H（X）表示,H（X）=- p(xi)logp(xi)

7、（2-7）,例2-5,2020/7/27,16,一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57 个符号，其中0出现23次，1出现14次，2出现13次，3出现7次。用上述二种方法求该消息的信息量。,2020/7/27,17,解法一：,解法二：,2020/7/27,18,如果消息中各符号出现统计相关，则式（2-7）不再适用，必须用条件概率来计算平均信息量，此时引入条件熵的概念：,H(xj/xi)= p(xi) -p(xj/xi)logp(xj/xi),=- p(xi)p(xj/xi)logp(xj/xi),=- p(xi,xj)logp(xj/

8、xi),2020/7/27,19,例2-6 某离散信源由A、B、C三种符号组成。相邻两符号出现统计相关，其转移概率矩阵,=,且已知P（A）= P（B）= P（C）=,求该信源的条件平均信息量。,2020/7/27,20,H（xj/xi）=- =-P(A)P(A/A)logp(A/A)+P(B/A)logP(B/A)+P(C/A)logp(C/A) -P(B)P(A/B)logp(A/B)+P(B/B)logP(B/B)+P(C/B)logp(C/B) -P(C)P(A/C)logp(A/C)+P(B/C)logP(B/C)+P(C/C)logp(C/C) =0.872(bit/符号),若上例中

9、A、B、C符号统计独立，则可求得平均信息量,H（X）=- ),符号间统计独立时信源的熵高于统计相关的熵，符号间相互关联将使平均信息量减小。,2020/7/27,21,通信中要寻求解决的问题,通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题： 1、发送信号的概率如何分布才能的到最大熵？ 2、最大熵是多少？,2020/7/27,22,当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵,Hmax= -,2020/7/27,23,若二元离散信源的统计特性为,P+Q=1,H(X)=-(Plogp+QlogQ)=-Plo

10、gP+(1-P)log(1-P),对此式求导求极值，由dH(X)/DP=0,可知当概率P=Q=1/2时，有信源的最大熵H(X)max=1(bit),2020/7/27,24,图 2-1 熵与概率的关系,2020/7/27,25,对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。 减小或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。,2020/7/27,26,对于两个离散信源X和Y的情况，X中xi和Y中yi同时出现的平均信息量称为联合熵或

11、共熵，定义为,H(XY)=- P(xiyj)logP(xiyj),2020/7/27,27,两个离散信源X和Y，X中出现xI的条件下Y中出现yi的平均信息量称为条件熵，定义为,H(X/Y)=- P(xiyj)logP(xi/yj),同理有,H(Y/X)=- P(xiyj)logP(yi/xj),2020/7/27,28,互信息量的统计平均值称为平均互信息量，定义为,I(X，Y)=- P(xiyj)I(xj，yi) =- P(xiyj) log,2020/7/27,29,1、共熵与熵和条件熵的关系为 H（XY）=H（X）+H（Y/X） H（XY）=H（Y）+H（X/Y） 2、平均互信息量与熵和条

12、件熵的关系为 I（X，Y）=H（X）-H（X/Y） I（X，Y）=H（Y）-H（Y/X） 3、平均互信息量与熵和共熵的关系为 I（X，Y）=H（X）+H（Y）-H（YX）,2020/7/27,30,274 连续信源的信息度量,根据抽样定理，如果一个连续的低通信号其上限频率为W，那么可以用频率为2W的抽样序列进行无失真的表示。 设一连续的平稳随机函数，其一元概率密度为p(xi)，我们将随机变量的取值范围内分成2N小段，当N足够大时，xi小段内的概率可近似表示为,P(xixxi+x)p(xi)xi,2020/7/27,31,当各抽样点统计独立时每个点包含的平均信息量（熵）为：,H(X)- p(xi

13、)xilogp(xi)xi,令xi0,N,则可得连续每个抽样点的平均信息量,H(X)= - p(xi) xilogp(xi),2020/7/27,32,=- p(x)dxlogp(x)dx =- p(x)logp(x)dx-logdx p(x)dx =- p(x)logp(x)dx+log(1/dx),称为绝对熵。 定义,H（X）=- p(x)logp(x)dx为相对熵。,例2-7,2020/7/27,33,如前所述，离散消息源当所有符号等概输出时，其熵最大。 连续信息源的最大熵条件如何求得？最大熵是多少？,2020/7/27,34,取决于消息源输出上所受的限制。常见的限制有两种。 峰值受限：

14、对于有线性要求的系统，为了避免线性失真，对信号的峰值幅度有限制。 均方值受限（功率受限）：无线性要求的系统。,2020/7/27,35,1、对于均方值受限系统（功率受限系统 最佳概率密度函数为正态分布,p(x)= exp-x2/(2 2),其中数学期望为0，方差为 2,最佳分布时的最大熵为,H(X)=log (bit),2020/7/27,36,2、对于峰制受限情况（功率受限系统） 最佳概率密度函数为均匀分布,p(x)=,其中x的取值范围为（-A，A）,最佳分布时的最大熵为,H(X)=log(2A)(bit),2020/7/27,37,连续信源编码的目的，就是要根据信源输出的受限情况，将其信源

15、的概率密度函数变换为符合最大熵条件的概率密度函数，以得到最大熵。,2020/7/27,38,与离散信源相对应，当发送端连续信源为X，接收到的连续信源为Y时，它们的相对条件熵,H(X/Y)=- p(y)p(x/y)log(x/y)dxdy,其中P(y)为接收信号y的概率密度函数，p(x/y)为条件概率密度。,同理有：,H(X/Y)=- p(x)p(y/x)log(y/x)dxdy,2020/7/27,39,连续信源的平均互信息量,I(X,Y)= - p(xy)log dxdy,平均互信息量与条件熵和熵之间的关系为：,I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X）,2020/7/27

16、,40,2.8 信道容量和香农公式,信道容量： 单位时间内信道上所能传输的最大信息量称为信道容量。,2020/7/27,41,281 有扰离散信道的信息传输,离散信道: 信道输入和输出都是离散符号。 1、当信道中无干扰时，离散信道输入符号X和输出符号Y之间有一一对应的关系。 2、当信道中存在干扰时，输入符号与输出符号之间不存在一一对应关系，只存在一定的统计相关性。,2020/7/27,42,这种统计相关性取决于转移概率p(yj/xi)。离散无记忆信道的转移概率可用下列矩阵表示：,P(yj/xi)=,2020/7/27,43,同理有,P(xi/yj)=,2020/7/27,44,无记忆信道,每个

17、输出符号只取决于当前的输入符号，而与其它输入符号无关。,信道转移概率矩阵中各行和各列具有相同集合的元素。,对称信道,- p(yj/xi)logp(yj/xi)=常数,即上述求和与i无关,2020/7/27,45,对称信道的输入、输出符号集合之间的条件熵,H(Y/X)=- p(xiyj)logp(yj/xi) =- p(xi)p(yj/xi)logp(yj/xi) =- p(yj/xi) logp(yj/xi) p(xi) =- p(yj/xi) logp(yj/xi),上式表明，对称信道的条件熵H（Y/X）与输入符号p(xi)的概率无关，仅与信道转移概率p(yj/xi)有关。,2020/7/2

18、7,46,同理有,H(X/Y)= - p(xi/yj) logp(xi/yj),以有扰信道无记忆的二进制对称信道为例，如图2-2所示，它的传输特性可用转移概率矩阵来表示。,p(yj/xi)=,2020/7/27,47,平均互信息量,I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X）,表示了从Y中获取的关于X的信息，因而也就是有扰信道所传输的信息量。,即有扰信道上所传输的信息量不但与条件熵H（X/Y）或H（Y/X）有关，而且与熵H（X）或H（Y）有关。 尽管对称信道的条件熵只取决于信道转移概率，但H（X）或H（Y）却与p(x)或p(y)有关。,2020/7/27,48,假设通信系统发送

19、端每秒发出r个符号，则有扰信道的信息传输速率R,R=I(X,Y)r=H(X)-H(X/Y)r =H(Y)-H(Y/X)r,有扰信道的信道容量：,有扰离散信道的最高信息传输速率。用C表示。,2020/7/27,49,C=Rmax=maxH(X)-H(X/Y)r =maxH(Y)-H(Y/X)r,显然，在条件熵一定的情况下（即信道情况一定时），若能使H（X）或H（Y）达到最大，即可求得有扰离散对称信道的信道容量。,2020/7/27,50,在对称信道时，若信道输入符号是等概分布的，输出符号也是等概分布的。,证明：设输入符号等概分布，即p(xi)=1/L,对称信道转移矩阵中第j列元素为p(yj/xi

20、) p(yj/x2) p(yj/XL)，则信道输出符号yj的概率,p(yj)= p(xi)p(yj/xi)= p(yj/xi),2020/7/27,51,因此输出符号也是等概分布的，此时H（Y）达到最大熵，Hmax(Y)=logM。,得有扰离散信道的信道容量 ：,C=logM+ p(yj/xi)logp(yj/xi)r,例2-8,2020/7/27,52,2.8.2有扰连续信息的信息传输,在有扰连续信道中，接受到的信号y是发送信号x和信道噪声n的线性叠加，即 y=x+n 假设信号和噪声在各抽样点上均为独立的正态分布。此时只需考虑一维概率密度，而且条件概率密度函数p(y/x)等于噪声n的概率密度

21、函数f(n),即 p(y/x)=f(y-x)=f(n),2020/7/27,53,由连续信源的相对条件熵定义式（2-34）可得,H(Y/X)=- p(x)dx p(y/x)logp(y/x)dy =- p(x)dx f(n)logf(n)dn =- f(n)logf(n)dn=H(N),上式表明，条件熵H（Y/X）就是噪声源的熵H（N）。互信息量 I（X，Y）=H（Y）-H（Y/X）=H（Y）-H（N）,2020/7/27,54,对于频带限于W的连续信号，可以用抽样定理变换为离散信号，理想情况下最低抽样频率为2W，因此有扰连续信道的信道容量 C=maxH(X)-H(X/Y)*2W=maxH(Y

22、)-H(Y/X)*2W 假设干扰为与信号独立的白色高斯噪声，信号功率为S，噪声功率为N。,2020/7/27,55,在平均功率受限（均方值受限）的条件下可知，H（X）或H（Y）达到最大熵的最佳概率密度函数为高斯（正态）分布，并且最大熵为 H(X)=log H(Y)=log H(X)=log,2020/7/27,56,可得连续信道的信道容量公式（香农公式）如下： C=Wlog(1+S/N)(b/s),香农公式可得到如下结论： 1、提高信噪比能增加信道容量。 2、无干扰信道容量为无穷大。 3、增加信道频带W并不能无限制增大信道容量。 （证明在下页） 4、信道容量一定时，带宽W与信噪比S/N之间可以彼此互换。,2020/7/27,57,噪声功率N=Wn0(其中n0为噪声的单边带功率谱密度) 所以C= Wlog(1+S/n0W) =(S/n0) (n0W/S)log(1+S/n0W) =(S/n0)loge =1.44(S/n0),2020/7/27,58,香农公式给出了信道容量的理论极限， 并未给出怎样来实现这一极限。 通信原理这门课程主要要讨论的问题 就是采用怎样的编码调制来达到香农极限。 图2-3和图2-4就是香农限曲线。,2020/7/27,59,图