《信息论与编码》全套教学课件

第1章绪论绪论离散信源及其信息度量离散信道及其信道容量连续信源和连续信道无失真信源编码有噪信道编码限失真信源编码全套可编辑PPT课件本章内容1.1信息的概念1.1.1什么是信息1.1.2如何度量信息1.2信息传输系统模型1.3信息论的研究内容1.3.1基本信息论的研究内容1.3.2一般信息论的研究内容1.3.3广义信息论的研究内容1.4信息论和编码理论的形成和发展1.1信息的概念我国《辞海》对信息的解释：信息是通信系统传输和处理的对象，泛指消息和信号的具体内容和意义，通常需要通过处理和分析来提取。可见信息（information）和通信系统中的消息(message)、信号(signal)之间存在密切的关系。一、什么是信息？信息、消息、信号信息：消息中有意义的内容。消息：指语言、文字和图像等。同一则信息可以用不同的消息形式来载荷。消息中包含信息，是信息的载荷者。消息是具体的，但它不是物理的。信号：信号是消息的物理体现。为了在信道上传输消息，就必须把消息调制到具有某种物理特征的信号上去。比如电信号、光信号等。通信系统的简单模型系统的组成：信源：产生一系列有待于传输的消息，并将消息转换成原始电信号。由于信源发出的消息符号具有随机性，可以用随机变量或随机矢量来描述信源的统计特性。信道：传递消息的通道。由于噪声往往具有随机性，对传输信号的影响可用信道转移概率来描述。信宿：接收消息的人或者机器。通信目的：为了从发送端向接收端传递信息。在各种通信系统中，消息传递过程的一个最基本、最普通却又不十分引人注意的特点是：在收到消息以前，收信者不知道消息的具体内容，即收信者对于发送消息的具体内容存在着“不确定性”。通过信道的传输，信宿收到消息后，原先的“不确定性”消除了或部分消除。对收信者来说，消息的传递过程是一个从不知到知的过程，或是从知之较少到知之较多的过程，或是从不确定到全部确定或部分确定的过程。通信过程是一种消除或部分消除不确定性的过程。不确定性消除得越多，获得的信息就越多。香农信息的定义： 信息是事物运动状态或存在方式的不确定的描述。二、如何度量信息？1.2信息传输系统信息传输系统模型发送设备的基本功能是将信源产生的原始电信号变换成适合在信道中传输的信号。

信源编码:在一定的准则下，对信源的输出进行变换，以提高信息传输的有效性；

信道编码:对信源编码器的输出进行变换，以提高信息传输的可靠性；

调制器:将信道编码器的输出变换成适合于信道传输要求（带宽、频段等）的信号形式。编码：信源编码、信道编码信源编码：又称为有效性编码，在不失真或允许一定失真条件下，用尽可能少的码元来表示信源符号，以提高信息传输的有效性。信道编码：又称为可靠性编码，在信息码元后面添加监督码元，以便在接收端发现或纠正错误，进而提高信息传输的可靠性。1.3信息论的研究内容

主要内容包括三个基本概念和三个编码定理信源熵、信道容量和信息率失真函数无失真信源编码定理、信道编码定理和限失真信源编码定理

基本信息论回答通信中的下列问题信息如何度量？在给定信道条件下，是否存在的传输信息能力的极限值？带限高斯白噪声信道的传输信息能力是多少？能否最有效且无失真地表述待传输的信息？此时的有效性极限条件是什么？在允许一定失真的条件下，待传输的信息能否比无失真要求更有效？此时的极限条件是什么？在噪声背景下可靠通信的极限条件是什么？一、基本信息论的研究内容香农信息论与编码理论的关系密不可分。香农信息论侧重于分析通信系统的理论性能极限，但未给出达到该极限的具体实现方法；编码理论则是在香农信息论的指导下不断发展的具体编码方法，并不断逼近香农限，同时也是对香农信息论的验证。信息论和编码理论经常结合在一起进行阐述。二、一般信息论的研究内容一般信息论也称为通信理论。它除了包括香农信息论，还包括噪声理论、统计检测与估计理论、调制理论、信号处理与信号设计等理论。后一部分内容主要是美国科学家维纳（N.Wiener）的微弱信号检测理论。虽然维纳和香农等人都是运用概率论和统计数学的方法来研究准确或近似地再现消息的问题，都是为了使得消息的传送和接收最优化，但是他们却有一个重要的区别。

维纳研究的重点在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰后，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上创立了最佳线性滤波理论（维纳滤波器）、统计检测与估计理论、噪声理论等。香农研究的对象则是从信源到信宿的全过程，是收、发端联合最优化问题，其重点放在编码。他指出：只要是在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论等。三、广义信息论的研究内容广义信息论也称为信息科学。信息科学是以信息作为主要研究对象，利用信息的运动规律和信息的原理作为主要的研究内容，它最初是从香农的信息论和维纳的微弱信号检测理论发展起来的，但它迅速渗透到通信、自动控制、电子学、光学与光电子学、计算机科学、材料科学等工程技术学科以及管理学、心理学、语言学等人文学科，对这些学科的发展起着指导作用，而这些学科的发展又丰富了信息科学，将人类社会推向信息时代。1.4信息论和编码理论的形成和发展2、信息理论的建立，一般来说始于1948年香农（Shannon）在研究通信系统时所发表的论文“通信的数学理论”（amathematicaltheoryofcommunication）。这是一篇关于现代信息论的开创性的权威论文。它用概率论的方法研究通信系统，揭示了通信系统传递的对象是信息，并对信息给以定量的描述；并指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息。香农是信息论的奠基人。1、早期：奈奎斯特：解释了信号带宽和信息速率的关系；哈特利：最早研究了通信系统传输信息的能力；阿姆斯壮：提出增大带宽可以使得抗干扰能力增强。3、香农信息论的建立和发展3）20世纪70到80年代，信息论的研究范围日益扩大，这一时期发展的主要内容在“率失真理论”与“网络信息论”两方面。4）随着21世纪的来临，信息领域出现了许多新的理论和技术：机器学习、语义通信、电磁信息论、量子信息论等，这些前沿方向相互交织，持续推动信息论发展，将为未来信息科学的重大突破奠定理论基础，开启信息时代的全新篇章。1）从1948年到20世纪60年代这一时期称为Shannon信息论的确立期，其主要特点是对Shannon理论的研究和证明。2）20世纪60年代，信道编码理论得到较大进展，成为信息论的一个重要分支。第2章离散信源及其信息度量

本章内容2.1离散信源的分类2.2离散信源的统计特性2.3离散随机变量的信息度量2.4离散信源的N次扩展信源2.5离散平稳信源2.6马尔可夫信源2.7离散信源的相关性和剩余度2.1离散信源的分类离散信源的分类按照离散信源输出的是一个消息符号还是消息符号序列，可分为单符号离散信源和多符号离散信源。按输出符号之间依赖关系分类，多符号离散信源可分为无记忆信源和有记忆信源。按照信源输出的符号序列的统计特性是否随时间变化，多符号离散信源可分为平稳信源和非平稳信源。离散信源的N次扩展信源：对信源输出的符号序列进行分组，每N个符号一组，只考虑组内各符号之间的关联性，而假定组与组之间是统计独立的；马尔可夫信源：只考虑到信源发出的消息符号与前面有限个符号的依赖关系，不考虑与更前面发出符号的依赖关系，即用有限记忆源去近似实际信源。2.2离散信源的统计特性2.3离散随机变量的信息度量

一、自信息量和信息熵信息熵的性质二、联合自信息量和联合熵三、条件自信息和条件熵四、各种熵的关系2.4离散信源的N次扩展信源1.离散信源的N次扩展信源的定义2.N次扩展信源的数学模型3.离散信源的N次扩展信源的熵4.平均符号熵和极限熵5.离散无记忆信源的N次扩展信源的熵2.5离散平稳信源一、离散平稳信源的定义二、有限维离散平稳信源特殊的离散平稳信源三、有限维离散平稳信源的条件熵四、二维离散平稳信源的N次扩展信源的平均符号熵结论：五、离散平稳信源的性质六、有限维离散平稳信源的极限熵七、计算极限熵的处理方法2.6马尔可夫信源马尔可夫信源是一种用有限状态的马尔可夫链来描述的离散信源。马尔可夫链（简称马氏链）是一种时间离散、状态离散的无后效的随机过程。无后效性表示马氏链将来所处的状态只与现在时刻所处的状态有关，与以前时刻所处的状态无关。一、马尔可夫信源的描述二、齐次遍历的马尔可夫信源三、齐次遍历马尔可夫信源的极限熵例题总结：齐次遍历的马尔可夫信源极限熵的求解步骤2.7信源的相关性和剩余度第3章离散信道及其信道容量本章内容3.1离散信道的分类3.2离散信道的数学模型3.3离散随机变量的互信息和平均互信息3.4信道容量的定义3.5单符号离散信道及其信道容量3.6多符号离散信道及其信道容量3.7信源与信道的匹配3.1离散信道的分类3.1离散信道的数学模型一、单符号离散信道的数学模型二、多符号离散信道的数学模型3.3离散随机变量的互信息和平均互信息一、互信息的定义互信息的性质

在实际工作和生活中，如果不能够直接得到某事件的信息，往往通过其他事件来获得该事件的信息。

二、平均互信息的定义平均互信息的物理含义四、平均互信息的性质五、平均互信息与各类熵之间的关系3.4信道容量的定义一、信息传输率和信息传输速率二、信道容量对于固定的信道，平均互信息是信源概率分布的上凸函数。也就是说，存在一个使某一特定信道的平均互信息达到极大值的信源分布，该极大值可以用来表述信道传送信息的最大能力，即信道容量。理论基础：注：对于特定的信道，信道容量是个定值，但是在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分布。当信道提供其最大传输能力时，相应的输入概率分布称为最佳输入分布。3.5单符号离散信道及其信道容量1、无噪信道：输入输出一一对应．2、对称离散信道3、准对称DMC信道1)定义：2)准对称信道的信道容量准对称信道取得信道容量时，输入符号分布为等概分布。即：准对称信道的最佳输入分布为等概分布。二、串联信道及其信道容量三、信息处理定理3.6多符号离散信道及其信道容量一、多符号离散信道的平均互信息二、离散无记忆信道的信道容量三、独立并联信道及其信道容量三、独立并联信道及其信道容量3.7信源与信道的匹配第4章连续信源与连续信道

4.1连续信源的分类和统计特性4.2连续随机变量的信息度量4.3连续信源的信息度量4.4连续信源的最大熵4.5连续信源熵的变换4.6连续信道和波形信道的分类4.7连续信道的平均互信息4.8连续信道的信道容量4.9

波形信道的信道容量本章内容4.1连续信源的分类和统计特性一、连续信源的分类如果信源输出消息符号取值连续，此时的信源就是连续信源。连续信源分为两种，一种是在离散时间发出的取值连续符号的信源，包括单符号连续信源和多符号连续信源；另一种是在连续时间发出的取值连续符号的信源，通常称为波形信源或模拟信源。二、连续信源的统计特性两种重要的连续随机变量两种重要的连续随机变量4.2连续随机变量的信息度量一、连续随机变量的熵熵的引入：观察离散随机变量

连续随机变量可以看作是离散随机变量的极限（量化间隔趋于0），故可采用离散随机变量来逼近。下面，将采用这一观点讨论连续随机变量的信息熵与信息量。

类比概率Pi连续随机变量的绝对熵和相对熵连续随机变量的相对熵与绝对熵应该区别对待。（1）连续随机变量的绝对熵为无穷大，其物理意义与离散随机变量的信息熵相同，表示连续随机变量信源输出的信息量为无穷大，具有非负性。（2）在取两熵之间的差时，绝对熵中的无穷项可以抵消，故定义的相对熵不影响平均互信息和信道容量的计算。所以相对熵又称为差熵。（3）非特殊指明，连续随机变量的熵指的是相对熵。虽然它在形式上和离散随机变量的信息熵相似，但在概念上不能把它作为信息熵来理解。连续随机变量的相对熵只具有熵的部分含义和性质，而丧失了某些重要的特性。相对熵仍具有可加性、上凸性和极值性，但不存在非负性。连续随机变量的熵的性质高斯连续随机变量的熵二、连续随机变量的平均互信息连续随机变量的平均互信息的定义平均互信息和其它熵之间的关系连续随机变量的平均互信息与离散连续随机变量的平均互信息的区别4.3连续信源的信息度量4.4连续信源的最大熵4.5连续信源熵的变换4.6连续信道和波形信道的分类4.7连续信道的平均互信息二、加性信道4.8连续信道的信道容量分析信道容量的思路 4.9波形信道的信道容量加性高斯白噪声(AWGN)香农公式理想通信系统3.语义通信第5章无失真信源编码

5.1信源编码的基本概念几个术语码元（码符号）码元集X码字（由码元组成）码字长度平均码长即时码存在充要条件—克拉夫特（Kraft）不等式5.2无失真信源编码定理5.3常见的无失真信源编码方法说明：霍夫曼编码方法得到的码并非唯一。每次对信源缩减时，赋予信源最后的两个概率最小的符号，用0和1是可以任意的，所以可以得到不同的霍夫曼码，但是不会影响码字的长度。对信源进行缩减时，两个概率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在缩减信源中进行概率排序，其位置放置次序是可以任意的，故会得到不同的霍夫曼码。这时将影响各码字的长度，但是平均码长相同。一般将合并后的概率放在上面，这样可以获得较小的码方差。需要大量的存储设备来缓冲码字长度的差异，这是码方差小的码质量好的原因。第6章有噪信道编码本章内容