现代通信原理(02-3)

1、现代通信原理二、信号、噪声与信息论(3)8/10/2022127 信息的度量 信息（INFORMATION）：抽象的、本质的。是消息的有效内容。 消息（MESSAGE）：随机的、无法预知的。是信息的载体，信号的内容。 信号（SINGNAL）：消息的载体形式。 用相同的消息量来表达的信息量是不一样的。对于一个通信系统，若用相同长度的二进制信号，能传输的信息量越大，说明其通信能力越强。8/10/20222271 消息的统计特性 离散信源：产生离散消息，有限种符号，可以看成是一种有限个状态的随机序列，用离散型随机过程的统计特性予以描述。 连续信源：产生连续消息。8/10/20223 假设离散信源为包

2、含N种符号x1,x2,xN的集合，每个符号出现的概率分别为P(x1),P(x2),p(XN),那么可以用概率场来描述信源。 x1, x2, , Xn P(x1), P(X2), , P(Xn)() P(Xi)=1 8/10/20224表2-1 英文字母的出现概率 符号概率符号概率符号概率空隙0.20s0.052y,w0.012e0.105h0.047g0.011t0.072d0.035b0.0105o0.0654i0.029v0.008a0.063c0.023k0.003n0.059f,u0.0225x0.002l0.055m0.021j,q,z0.001r0.054p0.01758/10/2

3、0225表2-2 汉字电报中数字代码的出现概率 数字0123456789概率026016008006200600630155006200480052 一般情况下，离散信号中各符号的出现是相互关联的。即当前出现的符号，其概率与先前出现过的符号有关，必须用条件概率来描述离散消息。8/10/20226 通常，只考虑前一个符号对后一个符号的影响，用转移概率矩阵来描述。 对于连续信源，其消息的取值是无限的，必须用概率密度函数反映其统计特性。消息各点之间的统计关联性可以用二维或多维概率密度来描述。8/10/20227 2.7.2 离散信源的信息量 对二进制来说： 1位符号可以表示2个事件。 2位符号可以表

4、示4个事件。 3位符号可以表示8个事件。 对于二维离散序列，N位符号所构成的随机离散序列可能出现的消息量为2N。 8/10/20228 基于这一考虑，哈特首先提出采用消息出现概率的对数（以2为底）来作为离散消息的度量单位，称为信息量，用I（xi）表示：I(xi)=log1/P(xi)=-logP(xi) 式中，P(xi)为该消息发生的概率。当对数以2为底时，信息量单位为比特(bit)；对数以e为底时，信息量单位为奈特(nit)。 目前常用比特。8/10/20229 例2-1 例2-2 以上是单一符号出现的信息量。对于由一串符号构成的消息，如果各符号的出现相互独立，整个消息的信息量II=- ni

5、logP(xi)例2-3 8/10/202210 当存在两个信源X和Y时，它们所出现的符号分别为xi和yj，则定义这两个信源的联合信息量为I（xiyj）I（xiyj）=-logP(xiyj) 式中P(xiyj)为信源X出现xi而信源Y出现yj的联合概率。当X和Y统计独立时，联合信息量等于X和Y各自信息量之和,如下式：I（xiyj）=-logP(xiyj) =-logP(xi)P(yj) =-logP(xi)+-logP(yj)8/10/202211 在数字通信系统中，信源发送的离散符号集合可以看成是X，信宿接收的离散符号集合可以看成是Y，通常X的概率场是已知的，称为先验概率，记为P（xi）。

6、当接收端每收到Y中的一个符号yj以后，接收者要重新估计发送端各符号xi的出现概率分布，这个概率分布称为条件概率或后验概率，用P（xi/yj）表示。 8/10/202212互信息量：后验概率与先验概率之比的对数。I(xi,yj)=logP(xi/yj)/P(xi) 式中P(xi/yj)为条件概率 I(xi,yj)反映了两个随机事件之间的统计关联程度，其物理意义为接收端获取信源信息的能力。 8/10/202213 1、若xi与yj之间统计独立，即出现yj与出现xi无关。P(xi/yj)= P(xi)， I(xi,yj)=0，互信息量为0。 2、若出现xi就一定要出现yj。P(xi/yj)=1， I

7、(xi,yj)= I(xi) ，互信息量等于信源信息量。例248/10/202214273 离散信源的平均信息量（熵） 当消息很长时，用符号出现的概率来计算消息的信息量是比较麻烦的，此时引入平均信息量（熵）的概念。 平均信息量（熵）：每个符号所含信息量的统计平均值，用H（X）表示H（X）=- p(xi)logp(xi)（2-7） 例2-58/10/202215一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57 个符号，其中0出现23次，1出现14次，2出现13次，3出现7次。用上述二种方法求该消息的信息量。 8/10/202216解法一：解法二

8、：8/10/202217 如果消息中各符号出现统计相关，则式（2-7）不再适用，必须用条件概率来计算平均信息量，此时引入条件熵的概念：H(xj/xi)= p(xi) -p(xj/xi)logp(xj/xi) =- p(xi)p(xj/xi)logp(xj/xi)=- p(xi,xj)logp(xj/xi) 8/10/202218 例2-6 某离散信源由A、B、C三种符号组成。相邻两符号出现统计相关，其转移概率矩阵= 且已知P（A）= P（B）= P（C）=求该信源的条件平均信息量。8/10/202219H（xj/xi）=-=-P(A)P(A/A)logp(A/A)+P(B/A)logP(B/A

9、)+P(C/A)logp(C/A)-P(B)P(A/B)logp(A/B)+P(B/B)logP(B/B)+P(C/B)logp(C/B)-P(C)P(A/C)logp(A/C)+P(B/C)logP(B/C)+P(C/C)logp(C/C)=0.872(bit/符号)若上例中A、B、C符号统计独立，则可求得平均信息量 H（X）=- ) 符号间统计独立时信源的熵高于统计相关的熵，符号间相互关联将使平均信息量减小。8/10/202220通信中要寻求解决的问题 通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题：1、发送信号的概率如何分布才能的到最大熵？2、

10、最大熵是多少？8/10/202221 当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵Hmax= - 8/10/202222若二元离散信源的统计特性为P+Q=1 H(X)=-(Plogp+QlogQ)=-PlogP+(1-P)log(1-P)对此式求导求极值，由dH(X)/DP=0,可知当概率P=Q=1/2时，有信源的最大熵H(X)max=1(bit)8/10/202223图 2-1 熵与概率的关系8/10/202224 对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。

11、 减小或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。8/10/202225 对于两个离散信源X和Y的情况，X中xi和Y中yi同时出现的平均信息量称为联合熵或共熵，定义为H(XY)=- P(xiyj)logP(xiyj) 8/10/202226 两个离散信源X和Y，X中出现xI的条件下Y中出现yi的平均信息量称为条件熵，定义为H(X/Y)=- P(xiyj)logP(xi/yj)同理有H(Y/X)=- P(xiyj)logP(yi/xj)8/10/202227互信息量的统计平均值称为平均互信息量，定义为I(X，Y

12、)=- P(xiyj)I(xj，yi) =- P(xiyj) log8/10/2022281、共熵与熵和条件熵的关系为H（XY）=H（X）+H（Y/X）H（XY）=H（Y）+H（X/Y）2、平均互信息量与熵和条件熵的关系为I（X，Y）=H（X）-H（X/Y）I（X，Y）=H（Y）-H（Y/X）3、平均互信息量与熵和共熵的关系为I（X，Y）=H（X）+H（Y）-H（YX）8/10/202229274 连续信源的信息度量 根据抽样定理，如果一个连续的低通信号其上限频率为W，那么可以用频率为2W的抽样序列进行无失真的表示。 设一连续的平稳随机函数，其一元概率密度为p(xi)，我们将随机变量的取值范围

13、内分成2N小段，当N足够大时，xi小段内的概率可近似表示为 P(xixxi+x)p(xi)xi8/10/202230 当各抽样点统计独立时每个点包含的平均信息量（熵）为： H(X)- p(xi)xilogp(xi)xi 令xi0,N,则可得连续每个抽样点的平均信息量 H(X)= - p(xi) xilogp(xi)8/10/202231=- p(x)dxlogp(x)dx=- p(x)logp(x)dx-logdx p(x)dx=- p(x)logp(x)dx+log(1/dx)称为绝对熵。定义 H（X）=- p(x)logp(x)dx为相对熵。 例2-78/10/202232 如前所述，离散

14、消息源当所有符号等概输出时，其熵最大。 连续信息源的最大熵条件如何求得？最大熵是多少？ 8/10/202233 取决于消息源输出上所受的限制。常见的限制有两种。 峰值受限：对于有线性要求的系统，为了避免线性失真，对信号的峰值幅度有限制。 均方值受限（功率受限）：无线性要求的系统。 8/10/2022341、对于均方值受限系统（功率受限系统 最佳概率密度函数为正态分布p(x)= exp-x2/(2 2) 其中数学期望为0，方差为 2最佳分布时的最大熵为 H(X)=log (bit) 8/10/2022352、对于峰制受限情况（功率受限系统） 最佳概率密度函数为均匀分布 p(x)= 其中x的取值范

15、围为（-A，A） 最佳分布时的最大熵为 H(X)=log(2A)(bit) 8/10/202236 连续信源编码的目的，就是要根据信源输出的受限情况，将其信源的概率密度函数变换为符合最大熵条件的概率密度函数，以得到最大熵。8/10/202237 与离散信源相对应，当发送端连续信源为X，接收到的连续信源为Y时，它们的相对条件熵H(X/Y)=- p(y)p(x/y)log(x/y)dxdy 其中P(y)为接收信号y的概率密度函数，p(x/y)为条件概率密度。 同理有： H(X/Y)=- p(x)p(y/x)log(y/x)dxdy 8/10/202238连续信源的平均互信息量I(X,Y)= - p

16、(xy)log dxdy平均互信息量与条件熵和熵之间的关系为：I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X）8/10/2022392.8 信道容量和香农公式 信道容量： 单位时间内信道上所能传输的最大信息量称为信道容量。8/10/202240281 有扰离散信道的信息传输 离散信道:信道输入和输出都是离散符号。 1、当信道中无干扰时，离散信道输入符号X和输出符号Y之间有一一对应的关系。 2、当信道中存在干扰时，输入符号与输出符号之间不存在一一对应关系，只存在一定的统计相关性。8/10/202241 这种统计相关性取决于转移概率p(yj/xi)。离散无记忆信道的转移概率可用下列矩阵

17、表示： P(yj/xi)= 8/10/202242同理有 P(xi/yj)= 8/10/202243无记忆信道 每个输出符号只取决于当前的输入符号，而与其它输入符号无关。 信道转移概率矩阵中各行和各列具有相同集合的元素。对称信道- p(yj/xi)logp(yj/xi)=常数即上述求和与i无关 8/10/202244对称信道的输入、输出符号集合之间的条件熵H(Y/X)=- p(xiyj)logp(yj/xi) =- p(xi)p(yj/xi)logp(yj/xi) =- p(yj/xi) logp(yj/xi) p(xi) =- p(yj/xi) logp(yj/xi) 上式表明，对称信道的条

18、件熵H（Y/X）与输入符号p(xi)的概率无关，仅与信道转移概率p(yj/xi)有关。8/10/202245同理有H(X/Y)= - p(xi/yj) logp(xi/yj) 以有扰信道无记忆的二进制对称信道为例，如图2-2所示，它的传输特性可用转移概率矩阵来表示。 p(yj/xi)=8/10/202246平均互信息量 I（X，Y）=H（X）-H（X/Y）=H（Y）-H（Y/X） 表示了从Y中获取的关于X的信息，因而也就是有扰信道所传输的信息量。 即有扰信道上所传输的信息量不但与条件熵H（X/Y）或H（Y/X）有关，而且与熵H（X）或H（Y）有关。 尽管对称信道的条件熵只取决于信道转移概率，但

19、H（X）或H（Y）却与p(x)或p(y)有关。8/10/202247 假设通信系统发送端每秒发出r个符号，则有扰信道的信息传输速率RR=I(X,Y)r=H(X)-H(X/Y)r =H(Y)-H(Y/X)r 有扰信道的信道容量： 有扰离散信道的最高信息传输速率。用C表示。8/10/202248C=Rmax=maxH(X)-H(X/Y)r =maxH(Y)-H(Y/X)r 显然，在条件熵一定的情况下（即信道情况一定时），若能使H（X）或H（Y）达到最大，即可求得有扰离散对称信道的信道容量。8/10/202249 在对称信道时，若信道输入符号是等概分布的，输出符号也是等概分布的。 证明：设输入符号等

20、概分布，即p(xi)=1/L,对称信道转移矩阵中第j列元素为p(yj/xi) p(yj/x2) p(yj/XL)，则信道输出符号yj的概率 p(yj)= p(xi)p(yj/xi)= p(yj/xi) 8/10/202250 因此输出符号也是等概分布的，此时H（Y）达到最大熵，Hmax(Y)=logM。得有扰离散信道的信道容量 ：C=logM+ p(yj/xi)logp(yj/xi)r例2-8 8/10/2022512.8.2有扰连续信息的信息传输 在有扰连续信道中，接受到的信号y是发送信号x和信道噪声n的线性叠加，即 y=x+n 假设信号和噪声在各抽样点上均为独立的正态分布。此时只需考虑一维

21、概率密度，而且条件概率密度函数p(y/x)等于噪声n的概率密度函数f(n),即 p(y/x)=f(y-x)=f(n) 8/10/202252由连续信源的相对条件熵定义式（2-34）可得 H(Y/X)=- p(x)dx p(y/x)logp(y/x)dy =- p(x)dx f(n)logf(n)dn =- f(n)logf(n)dn=H(N) 上式表明，条件熵H（Y/X）就是噪声源的熵H（N）。互信息量 I（X，Y）=H（Y）-H（Y/X）=H（Y）-H（N）8/10/202253 对于频带限于W的连续信号，可以用抽样定理变换为离散信号，理想情况下最低抽样频率为2W，因此有扰连续信道的信道容量

22、C=maxH(X)-H(X/Y)*2W=maxH(Y)-H(Y/X)*2W 假设干扰为与信号独立的白色高斯噪声，信号功率为S，噪声功率为N。 8/10/202254 在平均功率受限（均方值受限）的条件下可知，H（X）或H（Y）达到最大熵的最佳概率密度函数为高斯（正态）分布，并且最大熵为 H(X)=log H(Y)=log H(X)=log8/10/202255 可得连续信道的信道容量公式（香农公式）如下： C=Wlog(1+S/N)(b/s) 香农公式可得到如下结论：1、提高信噪比能增加信道容量。 2、无干扰信道容量为无穷大。3、增加信道频带W并不能无限制增大信道容量。 （证明在下页） 4、信道容量一定时，带宽W与信噪比S/N之间可以彼此互换。8/10/202256噪声功率N=Wn0(其中n0为噪声的单边带功率谱密度)所以C= Wlog(1+S/n0W) =(S/n0) (n0W/S)log(1+S/n0W) =(S/n0)loge =1.44(S/n0)8/10/202257 香农公式给出了信道容量的理论极限，并未给出怎样来实现这一极限。 通信原理这门课程主要要讨论的问题就是采用怎样的编码调制来达到香农极限。 图2-3和图2-4