第四章：信道与信道容量ppt课件

.,第四章：信道与信道容量,.,本章节达到的目的,了解信息论研究信道的目的、内容了解信道的基本分类并掌握信道的基本描述方法掌握信道容量/信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系能够计算简单信道的信道容量/信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道）了解信道容量/容量代价函数在研究通信系统中的作用,.,概念问题,熵熵率无失真信源编码定理中的作用互信息信道容量信道编码定理中的作用,.,回顾互信息函数的性质1,互信息与信道输入概率分布的关系性质1：I(X;Y)是信道输入概率分布p(x)的上凸函数.,I(X;Y),p(x),.,回顾互信息函数的性质2,信息量与信道转移概率分布的关系性质2：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.,I(X;Y),p(y/x),.,回顾互信息函数的性质3,信息量与信道输入符号相关性的关系性质3:信道的输入是离散无记忆的,.,回顾互信息函数的性质4,信息量与信道输入符号相关性的关系性质4:信道是离散无记忆的,.,回顾互信息函数的性质5,性质3、性质4的推论：信道的输入和信道本身都是离散无记忆的,.,信道与信道容量,概述信道的分类与描述离散无记忆信道及其容量连续信道及其容量容量代价函数C(F),.,4.1:概述,信息论对信道研究的内容什么是信道？信道的作用研究信道的目的,.,5.1:概述1,信息论对信道研究的内容：信道的建模：用恰当的输入/输出两个随机过程来描述信道容量不同条件下充分利用信道容量的各种办法,.,5.1:概述2,什么是信道？信道是传送信息的载体信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。,.,5.1:概述3,信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。,.,5.1:概述4,研究信道的目的实现信息传输的有效性和可靠性有效性：充分利用信道容量可靠性：通过信道编码降低误码率在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性信息论研究信息的传输问题（假定传输特性已知）,.,4.2:信道的分类与描述,信道分类信道描述,.,4.2:信道分类与描述1,信道分类从工程物理背景传输媒介类型；从数学描述方式信号与干扰描述方式；从信道本身的参数类型恒参与变参；从用户类型单用户与多用户；,.,4.2:信道分类与描述2,.,4.2:信道分类与描述3,.,4.2:信道分类与描述4,.,4.2:信道分类与描述5,.,4.2:信道分类与描述6,信道描述信道可以引用三组变量来描述：信道输入概率空间：信道输出概率空间：信道概率转移矩阵：P即：P，它可简化为：。,.,4.2:信道分类与描述7,其中：而而,.,4.2:信道分类与描述8,当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC：且,.,4.3:离散无记忆信道及其信道容量,离散无记忆信道及其信道容量离散无记忆信道容量的计算离散无记忆信道的信道容量定理对称的离散无记忆信道容量香农第一定理的物理意义,.,4.3:离散无记忆信道及其信道容量-1,离散消息序列信道,.,4.3:离散无记忆信道及其信道容量-2,离散无记忆信道及其信道容量由消息序列互信息性质对离散无记忆信道，有：（性质4）则,当且仅当信源(信道入)无记忆时，“等号”成立（性质3、4推论）,.,4.3:离散无记忆信道及其信道容量-3,离散无记忆信道及其信道容量的进一步理解Cmax存在互信息性质1，上凸函数极值存在达到Cmax时的两个条件：信道输入（信源）是离散无记忆的信道输入的概率分布是使I(X,Y)达到最大的分布C的值不是由信源的p(x)决定的，而是由p决定的C是信道作为信息传输通道的性能度量只有信道输入（信源）X（x1x2xn)满足一定条件时，才能充分利用信道传输信息的能力,.,4.3:离散无记忆信道及其信道容量-4,离散无记忆信道容量的计算思路：问题转化为：有界闭区域上求约束极值方法：1、求区域内极值2、求边界极值3、求前两者的最大值具体实现：1、简单情况下求解（如单符号信道、对称信道）2、解方程3、迭代法4、其他,.,4.3:离散无记忆信道及其信道容量-5,离散无记忆信道的信道容量定理定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是其中：是信源字母ak传送的平均互信息，C就是这一信道的信道容量。,.,4.3:离散无记忆信道及其信道容量-6,离散无记忆信道的信道容量定理理解在这种分布下，每个概率0的字母提供的互信息C，每个概率0的字母提供的互信息C当且仅当这种分布时，可使I(p,Q)达到最大值CI(X,Y)是I(x=ak;Y)的平均值。即：想提高I(X,Y)，可以提高p(ak)但提高p(ak)，又使I(x=ak;Y)降低反复调整p(ak)，使I(x=ak;Y)相等且都等于C此时I(X,Y)C定理只给出了可使I(X,Y)C的p(x)的充要条件，并无具体分布及C的值，但可以帮助求解简单情况部分信道的C,.,4.3:离散无记忆信道及其信道容量-7,对称的离散无记忆信道信道容量对称的离散无记忆信道输出字母的集合可以划分为若干子集，对每个子集有：矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一列的重排列。定理5.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。,.,4.3:离散无记忆信道及其信道容量-8,对称信道,.,4.3:离散无记忆信道及其信道容量-9,a1,a2,b1,b2,b3,0。7,0。1,0。1,0。2,0。7,.,4.3:离散无记忆信道及其信道容量-10,BSC信道信道容量的计算,a1,a2,b1,b2,1-,1-,.,4.3:离散无记忆信道及其信道容量-11,由定理5.2，当输入等概分布时，互信息达到信道容量即：p(a1)=p(a2)=1/2；有：于是：这里：,应用举例3.2(18)、3.6(23),.,4.3:离散无记忆信道及其信道容量-12,二元删除信道信道容量的计算,a1,a2,b1,b2,1-,1-,b3,.,4.3:离散无记忆信道及其信道容量-13,由定理5.2，当输入等概分布时，互信息达到信道容量即：p(a1)=p(a2)=1/2；有：于是：,.,4.3:离散无记忆信道及其信道容量-14,0.5,1.0,0,0.5,1.0,c,b,a,Ca=Cb=,a:BSC信道的信道容量曲线b:二进制删除信道的信道容量曲线,.,求对称信道离散矩阵P的信道的容量1/21/31/6P=1/61/21/31/31/61/2C=logs-H(p1,p2,p3)=log3-H(1/2,1/3,1/6)=log3+1/2log1/2+1/3log1/3+1/6log1/6=1.126bit/s结果表明:只有输入等概率分布,信道容量达到最大,平均每个符号传输最大信息量为1.126比特,.,1无损信道一个输入对多个互不相交的输出,因为损失熵H(X/Y)=0故I(X,Y)=H(X)C=logrr为输入个数2确定信道一个输出对多个互不相交的输入,因为噪声熵H(Y/X)=0故I(X,Y)=H(Y)C=logss为输出个数3无损确定信道一个输入对一个输出,因为损失熵H(X/Y)=0噪声熵H(Y/X)=0故I(X,Y)=H(X)=H(Y)C=logrr为输入个数,离散无噪信道,.,4.3:离散无记忆信道及其信道容量-15,香农第一定理（变长无失真信源编码定理）的物理意义（达到极限时等号成立）从信道的角度看，信道的信息传输率（达到极限时等号成立）,.,4.3:离散无记忆信道及其信道容量-16,香农第一定理（变长无失真信源编码定理）的物理意义无噪无损信道的信道容量：C=logM再看当平均码长达到极限值时此时信道的信息传输率R无噪信道的信道容量C无失真信源编码的实质：对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。又称：无噪信道编码定理若信道的信息传输率R不大于信道容量C，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输信息；但要使信道的信息传输率R大于C而无差错地传输信息则是不可能的。,.,4.5:信道容量,Informationsource,EncoderSX,DecoderXS,Informationreceiver,.,连续信道模拟信道,连续信道：特点1：时间离散、幅度连续特点2：每个时刻是取值连续的单个随机变量（vs离散序列)研究方法：N个自由度的随机变量，取研究平均在每个自由度上的C模拟信道：特点1：时间连续、幅度连续特点2：一族时间样本函数，每个时间样本函数都是时间、幅度取值连续的研究方法：1、限频、限时时离散、量化为离散随机矢量2、为避免有记忆随机矢量研究的困难，找到一组正交完备函数集，展开为级数，使所得到系数组成的随机矢量相互独立或线性无关。注意：1、限时频谱无限，限频时间无限。2、认为函数在F以上或T以外取值很小，限时、限频不会引起函数的严重失真,.,Analogsource,模拟通信系统,Sourcecoding,Channelcoding,Analogchannel,Channeldecoding,Sourcedecoding,Destination,A/Dconverter,Modulation,Demodulation,D/Aconverter,01101,01110010,01111010,01101,.,5.4:连续信道及其容量1回顾,连续随机变量的熵微分熵（VS离散随机变量）连续随机变量最大熵分布依赖于约束条件（VS离散随机变量）峰值功率受限条件下均匀分布的随机变量具有最大微分熵平均功率受限条件下高斯分布的随机变量具有最大微分熵连续信道的输入所取的值域不足以完全表示对信道输入的限制还有约束条件Cmaxh(Y)-h(n)C取决于信道的统计特性（加性信道即噪声的统计特性）输入随机矢量X所受的限制条件（一般考虑平均功率受限时）C的单位为：比特/N个自由度连续信道信道容量容量费用函数描述,.,5.4:连续信道及其容量2,C.F吴Eb表示单位符号信号的能量，Eb=STb=S/F；Eb/N0称为归一化信噪比.也称为能量信噪比.当Eb/N01时，Eb/N0(nat)(bit),结论：低信噪比时，信道容量近似地决定于能量信噪比的值,.,5.5:模拟信道及其容量Shannon公式5,Shannon公式的用途二用信噪比换取频带多进制多电平多维星座调制方式的基本原理卫星、数字微波中常采用的有：多电平调制、多相调制、高维星座调制(M-QAM)等等，它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。,.,5.5:模拟信道及其容量Shannon公式6,Shannon公式的用途三用时间换取信噪比重传、弱信号累积接收基于这一原理。t=T0为分界线。信号功率S有规律随时间线性增长，噪声功率2无规律，随时间呈均方根增长。,.,5.5:模拟信道及其容量Shannon公式7,Shannon公式的用途四用时间换取频带或用频带换取时间扩频缩短时间：通信电子对抗、潜艇通信窄带增加时间：电话线路传准活动图象,.,5.5:模拟信道及其容量Shannon公式8,讨论信道容量及容量费用函数的目的：不是为了实现可靠传输（这是信道编码的目的）只是为了实现最大限度达到信道的信息传输能力可以给出信道编码的界关于Shannon公式条件是加性高斯白噪声（AWGN)信道下给出的是S、N、W与信道容量（最大信息传输速率）的关系没有给出S、N、W与差错概率的关系,.,.,例2、在图片传输中，每帧约为2.25106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽(信噪功率比为30dB)。信噪比（S/N）通常用分贝（dB）表示，分贝数=10log10（S/N）解：高斯白噪声加性信道单位时间的信道容量：(比特/秒）要求的信息传输率为：Ct=2.25106log1630=2.7108（bit/s)=Wlog(1+S/N)而：10lg(S/N)=30dBS/N=103W=(2.7108)/log(1+103)2.7107(HZ),猫速度和宽带的解释,举例3.8(26),.,曹志刚现代通信原理关于香农公式的一些结论,信道容量：单位时间内信道上所能传输的最大信息量香农公式：香农公式结论：提高信号与噪声功率之比能增加信道容量当噪声功率N0时，信道容量C,这意味着无干扰信道容量为无穷大。增加信道频带W使信道容量增大。,.,结论解释,在特定信道（加性高斯白噪声）下，信道容量的数值可以用发送信号的某些参量计算获得。提高信噪比，意味着改变了信道的噪声特性，因此可以改变信道的容量无噪信道定理（香农第一定理）说明：无噪无损信道的容量等于信道输入信号的熵，而连续信源的熵（非微分熵）为无穷大，因此无噪无损信道的容量为无穷大。通信原理对香农公式的研究是考虑发送信号的带宽、信噪比与最大信息传输率的关系信息论对香农公式的研究是考虑给定信道情况下，发送信号的带宽、信噪比以及发送时间三者的辩证关系,.,5.6:信道冗余度1,信道冗余度类似于信源效率有：称c为信道效率。同理：称Rc为信道相