四信道与信道容量PPT课件

.第1，4章：信道与信道容量，第2，本章达成的目的，理解信息论研究信道的目的，内容，掌握信道的基本分类，掌握信道的基本描述方法，掌握信道容量/信道容量成本函数的概念，以及互信息，信道输入概率分布， 3、概念问题，其中，信道转换函数的关系能够计算简单信道的信道容量/信道容量成本函数(对称离散信道，存储加法的高斯噪声信道)，并且能够理解信道容量/容量成本函数在研究通信系统中的作用。 无熵失真的源编码定理中的互信道容量信道编码定理中的作用，4，回顾-互信息函数的性质1，互信息与信道输入概率分布的关系性质1:I(X； y )是信道输入概率分布p(x )的上凸函数.I(X； y )，p(x )，5，回顾-互信息函数的性质2，信息量与信道转移概率分布的关系性质2:I(X； y )是信道转移概率分布p(y/x )的凹函数。 y )，p(y/x )，6，回顾-互信息函数性质3，信息量与信道输入符号相关性：信道的输入没有离散存储，7，回顾-互信息函数的性质4，信息量与信道输入符号相关性4:信道没有离散存储，8， 回顾-互信息函数的性质5 -性质3，性质4推论：信道的输入和信道本身不离散存储9，信道和信道容量，概述信道的分类和说明离散存储的信道及其容量连续信道及其容量成本函数C(F )、10、4.1:概述，信息论述信道研究内容信道角色研究信道的目的，11，5.1:概况-1，信息理论信道研究内容：信道建模：信道容量在不同条件下最大限度利用信道容量的不同方法描述为适当的输入/输出两个随机过程，12，5.1:概况-2，信道是什么？ 信道是用于传送信息的载波的信号所通过的信道。 信息是抽象的，渠道是具体的。 例如，两个人的对话，两个人的空气是频道。打电话时，电话线是频道。看电视，听收音机，收发之间的空间是频道。13、5.1:概述-3、信道的作用是：信道在信息系统中主要用于信息的发送和存储，而在通信系统中主要用于信息的发送。14、5.1:概况-4、研究信道的目的来实现信息传输的有效性和可靠性：利用信道容量的可靠性：通过信道编码来降低差错率并在通信系统中研究信道。 主要为了描述、测量、分析不同类型的信道，计算其容量，即极限传输能力，并分析其特性。 通信技术研究-信号在各个信道上传输的过程遵循的物理规律，即传输特性信息理论研究-信息传输问题(假设传输特性是已知的)、15、4.2:个信道的分类和描述、信道分类信道描述、16、4.23360个信道分类和描述-1， 信道分类描述为来自工程物理背景的、携带媒体类型的数学描述方案3354的信号以及来自不断参与干扰描述方案信道本身的参数类型的用户类型的单个和多个用户.17.4.2:信道分类.18、4.2:信道分类和描述-3、19、4.2:信道分类和描述-4、20、4.2:信道分类和描述-5、21、4.2:信道分类和描述-6，以及信道描述信道可以引用三组变量来描述：信道输入概率在、22、4.2:信道的分类和描述-7中，如果K=1，那么将、23、4.2:信道的分类和描述-8简化为单一消息(符号)信道，且如果n=m=2，则二进制单一消息若满足对称性，则构成最常用的二进制消息对称信道BSC。 且，24、4.3:无离散存储信道及其信道容量、无离散存储信道及其信道容量计算无离散存储信道容量定理对称的无离散存储信道容量香农第一物理意义， 25 4.3:离散无存储信道及其信道容量-1、离散消息序列信道、26，4.3:离散无存储信道及其信道容量-2、离散无存储信道及其信道容量根据消息序列相互信息的性质，在离散无存储信道中存在以下情况：(性质4 )的情况下， 只有源(通道输入)没有记忆时，等号成立(性质3，4推论)， 27 4.3:无离散存储的信道及其信道容量-3，无离散存储的信道及其信道容量的另一理解Cmax具有相互信息的性质1，并且具有两个条件：上凸函数的极值达到Cmax :信道输入(源)为无离散存储的信道输入的概率分布为I(X ) y )的最大分布c的值不是由源的p(x )确定，而是由p确定的c，只有当信道输入(源) X(x1x2xn )满足某个条件时，才能充分利用每个信道作为信息传输信道的性能度量(28 ) 4.3:离散存储信道及其信道容量-4离散无存储信道容量的计算构想：问题在于：在有界闭域求约束极值的方法： 1、求区域内极值的方法： 2、求边界极值的方法： 3、求前者的最大值的具体实现： 1、在简单的情况下求解(例如单符号信道、对称信道) 2 方程3，迭代方法4，其它29，4.3:对于离散存储信道及其信道容量-5离散存储信道的信道容量定理5.1 :前向转换概率矩阵为q的离散存储信道，输入字母的概率分布p*能够将互信息I(p，q )设置为最大值的满足条件是发信源字母.30，4.3:离散的无存储器信道及其信道容量-6，离散的无存储器信道的信道容量定理，在该分布下，各概率0的字母提供的互相信息=C，各概率0的字母提供的互相信息c，仅限于该分布y )的平均值。 即，想要提高I(X，y )，p(ak )被提高，但p(ak )被提高，I(x=ak； I(x=ak； 如果y )等于c，则I(X，Y)=C定理给出满足关于I(X，Y)=C的p(x )的条件，虽然没有特定分布和c的值，但是在简单情况下子信道的数目c、31、4.3:离散存储信道及其信道容量-7， 对称离散存储通道的通道容量对称的离散存储通道输出字母集合可以分成多个子集，每个子集中，矩阵中的每一行都是第一行排列的矩阵中的每一列都是第一列排列。 定理5.2 :对于对称的离散存储通道，当信道输入字母为等概率分布时，达到信道容量。32、4.3:离散无存储信道及其信道容量-8、对称信道：33、4.离散无存储信道及其信道容量-9，a1，a2，b1，b2，b3，0。 七零零。 一，0。 一，0。 二零零。从7，34，4.3:离散无存储器信道及其信道容量-10，BSC信道的信道容量的计算，a1，a2，b1，b 2，1 -，35，4.离散无存储器信道及其信道容量-11，定理5.2输入从而，这里，例如对3.2(18 )、3.6(23 )、36、4.3:等离散的无存储信道及其信道容量-12、二维删除信道的信道容量的计算被应用于a1、a2、b1、b2、1-、1-、 在b3，37，4.3:离散无存储信道及其信道容量-13，定理5.2，输入等的概况分布的情况下，互相信息是否达到信道容量： p(a1)=p(a2)=1/2:38，4.离散无存储信道及其信道容量-14，0.0 0，0.5，1.0，c，b，a，Ca=Cb=，a:BSC信道的信道容量曲线b:二进制删除信道的信道容量曲线，39， 某对称信道离散矩阵p的信道的容量1/21/31/6p=1/61/21/31/61/2c=logs-h (P1、p2、p3)=log3-h(1/2、1/3、1/6 )=log3/2log1/2/3log1/3/6log1/6=1.126比特/s 由于信道容量仅在诸如输入之类的概率分布中变得最大，并且每个码元的最大传输信息量为1.126比特，因此对于40，1无损信道的一个输入或多个不交叉的输出，存在丢失熵H(X/Y)=0，因此I(X， Y)=H(X)C=logrr具有两个输入，并且对于一个信道的输出是多个不交叉的输入，由于噪声熵H(Y/X)=0，I(X) Y)=H(Y)C=logss是用于三个输出无损确定信道的一个输入对的输出，并且丢失熵H(X/Y)=0噪声因为=0，所以I(X，Y)=H(Y)C=logss是输入数，离散地没有噪声信道，41， 4.3:从离散地存储信道及其信道容量-15香农第一定理(延长无失真源码定理)的物理意义(在达到极限时等号成立)的角度来看，信道的信息传输率(在达到极限时等号成立)、42、 4.3:离散地无存储信道及其信道容量-16香农第一定理(可变长度无失真源编码定理)的物理有效噪声损耗信道的信道容量： C=logM且平均编码长度达到了界限值时， 信道的信息传输率R=无噪声信道的信道容量c无失真源编码的实质是：适当地转换离散源，并且尽可能均匀地分布转换后的新的编码后符号源(信道的输入源)，以使得包括在每个新源的编码后符号中的信息量最大化信道的信息传输率r可以被实现为成为信道容量c。非噪声信道的编码定理可以总是对源的输出进行适当地编码(如果信道的信息传输率r不大于信道容量c )，以无噪声信道无错误地以最大信息传输率c进行传输、43、4.5:信道容量、信息资源、EncoderSX、DecoderXS、Informationreceiver、44， 连续信道-模拟信道连续信道：特征1 :时间离散，振幅连续特征2 :每时刻值连续的单一随机变量(vs离散序列)的研究方法： n自由度的随机变量，研究平均每自由度的c模拟信道：特征1 :时间连续， 幅度连续特征2 :一族时间样本函数各自的时间样本函数是时间、幅度取值的连续研究方法： 1、量化为频率限制、限时离散、离散随机向量2，为避免存储随机向量研究的困难，找出正交完备函数集并将其展开为级数，由所得系数构成的随机向量注意： 1、时间限制-频谱无限，频率限制-时间无限。2、函数在f以上或t以外取值较小，限制频率不会引起函数严重失真。Destination、， 22222222222222226 5.4:连续信道及其容量-1-审核连续随机变量的熵微分熵(VS离散随机变量)连续随机变量最大熵分布-约束条件(VS离散随机变量) 在峰值功率约束条件下-均匀分布随机变量为最大微分熵平均功率约束条件下-高斯分布随机变量取得最大微分熵连续信道输入的值域不足以完全表示信道输入的约束条件C=maxh(Y，即-h(n) c表示依赖于信道的统计特性(噪声的统计特性，即加法信道)而输入随机向量x的约束(一般地，在考虑到平均功率限制的情况下) c的单元为比特/N自由度连续信道容量-容量费用函数描述符，47，5.43360连续信道及其容量-2，c.fhebeb为单位精简Eb/N0也称为归一化信噪比.在Eb/N01情况下，Eb/N0(nat)=(bit )， 结论：在低信噪比的情况下，信道容量近似取决于能量信噪比的值.60，5.53360模拟信道及其容量-Shannon公式5 -Shannon公式的应用将信噪比与带多进制多级多维星座调制方案的基本原理卫星交换， 数字微波中经常采用的是多电平调制、多相调制、高维星座调制(M-QAM )等，通过在高质量信道中将丰富的信噪比与频带进行交换，提高传输的有效性。 61、5.5:模拟信道及其容量-Shannon公式6、Shannon公式的应用基于使用时间交换信噪比的重传、弱信号的累积接收的原理。 t=T0是边界。 信号功率s随时间线性增加，噪声功率2不规则地随时间的平方根增加。 62、5.5:模拟信道及其容量-Shannon公式7、Shannon公式的用途4小时与频带交换、频带与时间扩展交换-缩短时间：通信电子对抗、潜艇通信窄带-增加时间：通过电话线路发送视频、63、 5.5:模拟信道及其容量-研究-Shannon公式8信道容量和容量成本函数的目的：不是为了实现可靠的传输(这是为了信道编码) 64、66可以提供信道编码以最大化信道的信息传输能力的边界Shannon公式条件，在加性高斯噪声(AWGN )信道中给出的是s、n、w与信道容量(最大信息传输率)之间的关系并不与s、n、w成错误概率关系对于图片传输，将每帧约2.25106个像素，分为16个亮度级别，假定亮度级别等的概率分布，以便可以很好地再现图像。 尝试计算每秒传输30帧图像所需的通道带宽(信噪比为30dB )。 信噪比(S/N )通常由分贝(dB )表示，并且分贝数=10log10(S/N )分析：高斯白噪声加性信道单位时间的信道容量：(比特/秒)所要求的信息传输率为CT=2. 25106 log-1630=2. 7108 (比特/s )=wlog (1s/n ) 2.7107(HZ )，猫的速度和宽带的解释，例如3.8(26 )、66，关于曹志刚现代通信原理香农方案的一些结论，信道容量：单位时间内