信息论与编码（第4版）课件 第1-4章 绪论信源与信息熵 -信息率失真函数

第1章绪论信息论与编码（第4版）信息论的基本概念信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。在涉及这门课程的具体内容之前，很有必要在引言中，首先放宽视野，从一般意义上描述、阐明信息的基本含意。然后，再把眼光收缩到信息论的特定的研究范围中，指明信息论的假设前提，和解决问题的基本思路。这样，就有可能帮助读者，在学习、研究这门课程之前，建立起一个正确的思维方式，有一个正确的思路，以便深刻理解、准确把握以下各章节的具体内容。2为什么要学习信息论？时代变迁的需要

3过去对信息的存储、管理、传递方式为什么要学习信息论？4现在对信息的存储、管理、传递方式时代变迁的需要

为什么要学习信息论？时代变迁的需要5信息时代生活方式中的电子设备都充满了信息的味道信息论之父——香农克劳德·艾尔伍德·香农（ClaudeElwoodShannon，1916年4月30日—2001年2月24日）是美国数学家、信息论的创始人。1936年获得密歇根大学数学和电子工程学士学位

。在那里遇到了离散数学奠基人乔治·布尔。1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年加入贝尔实验室数学部，工作到1972年。1956年成为麻省理工学院（MIT）客座教授；1958年成为MIT终生教授；1978年成为MIT名誉教授。61948年，通信的数学理论，标志着信息论的诞生1949年，

噪声下的通信，为信道编码奠定理论基础1949年，保密通信的信息理论，最先用信息论的观点对信息保密问题作了全面的论述1959年，保真度准则下的离散信源编码定理，信息率失真理论，为信源压缩编码研究奠定理论基础1961年，双路通信信道，开拓了多用户信息理论（网络信息论）的研究。信息论之父——香农介绍香农的视频《香农传》：B站搜索，课后观看《天才简史-香农》：B站搜索，课后观看贝尔实验室：汉明和香农共事的地方晶体管、激光器、太阳能电池、发光二极管、数字交换机、通信卫星、电子数字计算机、C语言、UNIX操作系统、蜂窝移动通信设备、长途电视传送、仿真语言、有声电影、立体声录音，以及通信网等许多重大发明的诞生地。课后百度、知乎了解78第一章绪论主要内容1.1 信息论的形成和发展1.2 信息理论研究的内容1.3 通信系统的模型1.4 信息论的应用第一章绪论信息是什么？9信息是谈论的事情、新闻和知识.信息是在观察研究过程中获得的数据情报、新闻和知识.信息是所观察事物的知识。——《英国牛津字典》——《韦氏字典》——《日本广辞苑》10信息的概念问题“信息”到底是什么含义呢？“信息”和我们平时常说的“消息”、“信号”有什么区别？回顾香农大作“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。”这是香农在他的惊世之著《通信的数学理论》中的名言正是沿着这一思路，他应用数理统计的方法来研究通信系统，创立了影响深远的信息论。因此，下面从通信的角度来看。信息的概念最简单的通信系统模型信源：消息的源，指提供消息的人、事物、设备

信源输出的消息可以是由符号、文字、数字、语音图像等组成的序列，形式可以有多种：主要从时间和幅度上是否离散来分，可分为：

离散信源（DiscreteSource）：文字、数字、字母

连续信源（ContinuousSource）：话音、图像等11信源(Source)信道(Channel)信宿(Destination)信息的概念最简单的通信系统模型信道：传递消息的通道，广义上指信源到信宿之间传递物理信号的媒质和设施，如同轴电缆、光纤、电磁波空间等从传送信号情况来分，可分为：

无干扰信道和有干扰信道；

恒参信道和变参信道；

离散信道和连续信道；

单用户信道和多用户信道等。12信源(Source)信道(Channel)信宿(Destination)信道分类信息的概念最简单的通信系统模型信宿：消息传递的对象，指接收消息人、事物、设备

信宿接收的消息，其形式可以与信源发出相同，也可以不同。当两者形式不同时，存在一个映射关系。13信源(Source)信道(Channel)信宿(Destination)14信息的概念从通信的实质意义来讲，若信宿收到的消息是已知的，则等于没有收到任何信息。人们更感兴趣的是消息中所包含的未知成份，用概率论来说，就是具有不确定性的成份。消息中未知或不确定的成份，称为消息中所包含的信息。信息的概念通信中的信息、消息、信号，三者之间的关系：

通信系统传输的是信号（如光信号、电信号）

信号是消息的载体

消息中的不确定成分是信息对信息的直观认识不确定性越大（从概率上讲，即事件发生的概率越小），此事件含有的信息量就越大。

（不太可能发生的事件竟然发生了，太令人震惊了）15信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。16信息的概念信息的特征未知性或不确定性信息的最基本属性，否则就不是信息有用性可以基于概率论来描述信息的传输，由不知到知，等效为不确定性的减少可度量性这是信息理论的基础可处理性信息既有物质的某些属性，又不同于物质可以产生、消失，可以被携带、存储、处理17信息论的诞生

通信是人类活动中最为普遍的现象之一，信息的传递与交换是时时处处都在发生。在信息的传递与交换中，人们希望能够“多、快、好、省”地传递信息。问题：怎样来衡量这种“多、快、好、省”呢？怎样来判断某种通信方法的优劣呢？这就需要对信息传输过程有一个定量的描述，首先要有定量描述和度量信息的方法。181.1信息论的形成和发展信息论的诞生1832年，莫尔斯电报系统中高效率编码方法，对香农的编码理论是有启发的；1885年，凯尔文(L.Kelvin)研究过一条电缆的极限传信率问题；1922年，卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，建立了信号频谱概念；1924年，奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽，将信息率与带宽联系起来；1928年，哈特莱(R．V．Hartley)发展了奈奎斯特的工作，提出信息量等于可能消息数的对数，但没有统计特性的概念；1936年，阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处，提出了宽偏移的频率调制方法，具有划时代意义；191.1信息论的形成和发展20世纪40年代初，诺伯特·维纳将随机过程和数理统计的观点引入到通信和控制系统中，揭示了信息传输和处理过程的统计本质。“控制论之父”——诺伯特·维纳201.1信息论的形成和发展1948年，香农在贝尔系统杂志上发表了论文“TheMathematicalTheoryofCommunication”，在论文中，他用概率测度和数理统计的方法，系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。“信息论之父”——克劳德·艾尔伍德·香农211.1信息论的形成和发展香农信息理论具有崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。香农信息理论一出现就在科学界引起了巨大的轰动，许多不同领域的科学工作者对它怀有浓厚的兴趣，并试图争相应用这一理论来解决各自领域的问题。从此，信息问题的研究，进入了一个新的纪元。221.1信息论的形成和发展1948年：信息论学科诞生1948年，香农发表论文“Amathematicaltheoryofcommunication”。同时维纳提出了最佳滤波理论，成为信息论的一个重要分支。五十年代：

信息论在学术界引起了巨大反响。1959年：香农为各种信源编码的研究奠定基础：发表论文“Codingtheoremsforadiscretesourcewithafidelitycriterion”，数据压缩理论与技术成为信息论的重要分支。六十年代：

信道编码技术有较大进展。信道编码成为信息论重要分支。1961年：香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。七十年代：有关信息论的研究，从点对点间的单用户通信推广到多用户系统的研究。密码学成为信息论重要分支。目前的发展231.2信息理论研究的内容达到不失真信源压缩编码的极限（最低）编码速率是多少？

极限速率=该信源的信息熵信道的信息传输速率与错误概率之间矛盾的是否可解决？信息传输速率＜信道容量，错误概率可以任意小信息论主要研究可能性和存在性问题，为具体实现提供理论依据241.2信息理论研究的内容信息论基础：也称狭义信息论/经典信息论/香农信息论。主要研究信息测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理，信源编码，信道编码。一般信息论：主要研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。后一部分内容以维纳为代表。广义信息论：是一门综合性的新型学科－信息科学。至今没有严格的定义。凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。不仅包括一般信息论的内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学、社会学、经济管理中有关信息的问题。251.3通信系统的模型26编码技术的发展无失真信源压缩编码的发展1948年，Shannon提出了无失真信源编码定理，给出了香农编码方法1952年，Fano提出了费诺码1952年，Huffman构造了Huffman码，并证明了它是最佳码1968年，P.Elias发展了香农-费诺码，提出算术编码的初步思路1976年，J.Rissanen给出和发展了算术编码1982年，J.Rissanen和G.G.Langdon将算术编码系统化，使其更为简化、易于实现1977年，Ziv&Lempel提出通用信源编码(LZ码)1984年，T.A.Welch改进LZW码1990年，T.C.Bell改进LZ算法27编码技术的发展限失真信源压缩编码的发展1948年，在香农的论文中已体现出了率失真函数的思想1959年，香农发表了“保真度准则下的离散信源编码定理”首先提出了率失真函数及率失真信源编码定理1971年，T.Berger给出了更一般信源的率失真编码定理28编码技术的发展信道编码-纠错编码的发展20世纪60年代~70年代初，最为活跃的发展时期不仅提出了许多有效的编译码方法，还注意到纠错码的实用化。与此同时，以代数方法特别以有限域理论为基础的线性分组码理论日趋成熟20世纪70年代初~80年代，极其重要的发展时期在理论上以戈帕(Goppa)为首的一批学者，构造了一类Goppa码，其中一类子码能达到香农限。大规模集成电路和微机的迅速发展，为纠错编码的实用打下坚实的物质基础20世纪90年代初，纠错码的性能接近香农限1993年，Berrou等提出的Turbo码的并行级联卷积码，性能非常接近香农限，同时复杂度较低、可实现29香农信息论的科学体系30信息论与其他学科的交叉发展密码学第1阶段：1949年以前没有系统的理论第2阶段：从1949年到1975年标志：1949年Shannon发表的《保密系统的信息理论》用信息论的观点对信息保密问题进行了全面阐述，宣告了科学的密码学时代的到来。第3阶段：1976年至今标志：1976年Diffie和Hellman发表了《密码学新方向》一文。31信息论与其他学科的交叉发展生命科学信息论与现代分子生物学渊源1953年，H.Quastler讨论了信息论在生物学中的应用1977年DNA测序技术发展起来后，许多物种的基因组序列被测出来，使得人们可以用信息论的方法去研究遗传信息的编码，遗传信号的识别等问题信息论应用于神经科学32信息论与其他学科的交叉发展网络信息论1961年，香农的论文“双路通信信道”1971年，艾斯惠特找出多元接入信道的信道容量区1972年，科弗尔提出了广播信道的研究主要问题冲突、协作和反馈研究内容分布式信源编码(数据压缩)分布式通信(确定网络的覆盖能力)33信息论与其他学科的交叉发展341.4信息论的应用信息论在生物学、医学、经济、管理、图书情报等领域都有不同程度的应用信息论在生物学中的应用信息论在医学中的应用信息论在管理科学中的应用第2章信源与信息熵信息论与编码（第4版）主要内容2.1信源的分类及数学模型2.2离散信源熵和互信息2.3离散序列信源的熵2.4连续信源的熵和互信息2.5信源的冗余度2.1信源的分类及数学模型从信息论层面来看,信源输出消息,消息载荷信息信源发送的消息虽是具体的,但却是随机的、不确定的,因此不去考虑信源的内部结构和发送消息的不同形式，而是从信源的随机属性和概率统计特性考虑建立信源的数学模型。从数学上，分别用随机变量、随机序列（矢量）和随机过程来分别描述信源产生的消息（符号）、消息序列和连续消息。2.1信源的分类及数学模型按照信源发出的时间和消息的分布分类离散信源：信源发出消息的时间与消息的表示形式都是离散的。

如：计算机输出的代码、文稿、人写的书信等连续信源：信源发出消息的时间与消息的表示形式都是连续的。

如：语音、图像、图形等按照信源发出符号之间的关系分类无记忆信源不同时刻发出的消息是独立的有记忆信源不同时刻发出的消息是相互依赖的单符号离散信源：信源输出的消息数有限或可数，且每次只输出符号集中的一个消息。样本空间：事物所有可能选择的消息的集合概率空间：一个样本空间和它的概率分布P。随机变量：信源输出的消息是一个随机变量X。2.1信源的分类及数学模型（一维离散信源）注意：大写字母X代表随机变量，小写字母x代表随机事件，即样本。2.1信源的分类及数学模型字母概率字母概率字母概率字母概率空格0.1859A0.0642B0.0127C0.0218D0.0317E0.1031F0.0208G0.0152H0.0467I0.0575J0.0008K0.0049L0.0321M0.0198N0.0574O0.0632P0.0152Q0.0008R0.0484S0.0514T0.0796U0.0228V0.0083W0.0175X0.0013Y0.0164Z0.0005在英文通信中，符号集A包含英文字母、数字、标点符号等,英文字母的概率分布为：2.1信源的分类及数学模型序号政治科技综合字母概率字母概率字母概率1的0.0536的0.0320的0.03842是0.0165一0.0097一0.01253一0.0136在0.0092是0.00984在0.0115用0.0079在0.00955这0.0109有0.0073了0.00826主0.0108是0.0070不0.00817不0.0101不0.0069和0.00758和0.0098中0.0066有0.00699人0.0087大0.0064大0.006910们0.0087时0.0053这0.0054在中文通信中，符号集A包含中文字（常取一级汉字）、外文字母、数字、标点符号等，

最常用的十个汉字的概率分布为：2.1信源的分类及数学模型例1：布袋中有100个球，其中红球80个，白球20个，若取出一个球，记下其颜色，试构建这个信源的概率空间。例2：二进制等概信源的概率空间：2.1信源的分类及数学模型例3：若扔一颗均匀的骰子，分析研究其下落后，朝上一面的点数当作试验的结果。这个随机试验就可看作是一个单符号离散信源。信源的输出符号集就是所有可能的点数A：{1、2、3、4、5、6}，试构建这个信源的概率空间。2.1信源的分类及数学模型单符号连续信源（一维连续信源）：信源输出的是单个符号的消息，但是其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的或或2.1信源的分类及数学模型离散序列信源：是指信源每次发出一组含L个符号的符号序列代表一个消息。无记忆离散序列的联合概率粗体字体表示向量联合概率：2.1信源的分类及数学模型例4：布袋中有100个球，其中红球80个，白球20个，若先取出一个球，记下其颜色后放回布袋，再取出另一个球，两次取出的球的颜色组成消息，试建立其概率空间。单符号离散信源无记忆离散序列信源扩展粗体字体表示向量2.1信源的分类及数学模型离散序列信源例子：3位PCM信源（无记忆）:当粗体字体表示向量2.1信源的分类及数学模型独立同分布信源在离散无记忆信源中，信源输出的每个符号是统计独立的，且具有相同的概率空间，即有p(X1)=p(Xi)则该信源是离散平稳无记忆信源，亦称为独立同分布(independentlyidenticaldistribution，i.i.d.)信源。2.1信源的分类及数学模型离散有记忆序列信源

当信源输出的随机矢量中各个分量之间不相互独立而可以是任意相关的,则称此类信源为有记忆信源。布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取第二个球。连续信源连续平稳信源——时间离散，幅度连续随机波形信源——时间、幅度均连续2.1信源的分类及数学模型2.1信源的分类及数学模型N维随机矢量X=(X1,X2,…,XN)，每个随机分量Xi都是取值连续的连续型随机变量，且满足随机矢量X的各维概率密度函数与时间起点无关

pX(x)=pX(x1,x2,…,xN)

（无记忆）

（i.i.d.）2.1信源的分类及数学模型随机波形信源某时刻的取值是随机的，用随机过程{x(t)}来描述就统计特性而言，随机过程可分为平稳随机过程和非平稳随机过程两大类，最常见的平稳随机过程为遍历过程。一般认为，通信系统中的信号都是平稳遍历的随机过程。虽然受衰落现象干扰的无线电信号属于非平稳随机过程，但在正常通信条件下，都可近似当作平稳随机过程处理。一般用平稳遍历的随机过程来描述随机波形信源的输出。2.1信源的分类及数学模型随机波形信源用采样定理将波形信号转换成多维连续的信号时域采样：频带受限fm的时间连续函数f(t)，不失真采样频率fs

2fm，若时间上受限0

t

tB，采样点数为tB

(1/2fm)＝2fmtB。可见，频率受限fm、时间受限tB的任何时间连续函数，完全可以由2fmtB个采样值来描述。频域采样：时间受限于tB的频域连续函数，在0～2

的数字频域上要采L点的条件是时域延拓周期LT

tB，若频率受限fm，则采样点数L

tB/T＝tBfs

2fmtB。2.2离散信源熵和互信息主要内容2.2.1自信息量2.2.2离散信源熵(Entropy)2.2.3互信息2.2.4数据处理中信息的变化2.2.5相对熵2.2.6熵的性质自信息量自信息量I应该是消息概率p的函数

信息量与概率成反比，并且具有可加性2.2离散信源熵和互信息自信息量（单个随机事件）定义：一个随机事件的自信息量定义为其出现概率对数的负值2.2离散信源熵和互信息性质：①非负;

②单调递减；

③当p(xi)=0时，I(xi)→∞，不可能事件；

当p(xi)=1时，I(xi)→0，确定事件自信息量I(xi)的含义当事件xi发生以前，表示事件xi发生的不确定性；当事件xi发生以后，表示事件xi所提供的信息量。事件xi发生的概率2.2离散信源熵和互信息自信息量的单位自信息量的单位取决于对数的底底为2，单位为“比特（bit）”底为e，单位为“奈特（nat）”底为10，单位为“笛特（det）”

1nat＝log2el.433bit，

ldet＝log2103.322bit

单位之间的换算关系例1：二进制码元“0”、“1”等概出现，则码元“0”、“1”所包含的自信息量是多少？

I(0)=I(1)=-log2(1/2)=log22=1bit例2：从26个英文字母中，随机选取一个字母，则该事件的自信息量是多少？

I=-log2(1/26)=4.7bit2.2离散信源熵和互信息例3：m比特的二进制数集合中（集合中共有2m个m比特数），各个数等概率出现，则任何一个m比特二进制数的自信息量是:

I=-log2(1/2m)=mbit例4：二进制码元“0”、“1”的出现概率分别是p(0)=1/4,p(1)=3/4，则码元“0”、“1”所包含的自信息量是多少？

I(0)=-log2(1/4)=log24=2bit

I(1)=-log2(3/4)=log2(4/3)=0.415bit例5：设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用a1来表示晴天，用a2来表示雨天，则信源模型如下：2.2离散信源熵和互信息联合自信息量(两个随机事件)二维联合集XY上的元素(xi，yj)的联合自信息量定义为：含义：

X=xi，Y=yj

同时发生时，带来的信息量

特例：

若X、Y独立，则I(xi

,

yj)=I(xi)+I(yj)2.2离散信源熵和互信息条件自信息量（两个随机事件）二维联合集XY中，对于事件xi和yj，在给定事件yj的条件下发生事件xi带来的信息量，定义为条件自信息量：联合自信息量和条件自信息量也满足非负和单调递减性。关系：推广：2.2离散信源熵和互信息

2.2离散信源熵和互信息例6：设在正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置：

（1）将方格按顺序编号，x1y1→1,…,x8y8→64，令乙猜测棋子所在方格的顺序号，计算猜中方格顺序号所需要的信息量。由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布:

联合自信息量为:

2.2离散信源熵和互信息例6：设在正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置：

（2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置，计算猜中方格顺序号所需要的信息量。条件自信息量为:

告诉乙行（或列），意味着在已知条件下求自信息量。

2.2离散信源熵和互信息自信息量是针对信源中某一个符号所含信息的度量，那么对于发出若干符号的信源的总体度量如何？

——符号集的平均不确定性如何度量？平均自信息量：信源中各个符号自信息量的数学期望，也称为平均不确定度/平均信息量/信源熵(Entropy)

单位:bit/符号2.2离散信源熵和互信息信源熵：从平均意义上来表征信源的总体信息测度的一个量。是信源概率的整体描述，给定信源概率分布后，信源熵是一个固定的常数，可以作为信源整体信息量的度量。自信息量：指某一信源发出某一消息所含有的信息量。所发出的消息不同,它们所含有的信息量也就不同。自信息量I

(ai)是一个随机变量,不能用它来作为整个信源的信息测度。2.2离散信源熵和互信息信源熵具有以下物理含意：信源熵H(X)表示信源输出前,信源的平均不确定性信源熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信源熵H(X)可表征变量X的随机性。当p0=p1=1/2，H(X)=1bit/符号当p0=p1=p2=

p3=1/4，H(X)=2bit/符号H(X)是完全表示信源X所需的最少的每符号比特数，这就是研究信源的熵的目的。例9：电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则共能组成n=10300000个不同的画面。按等概率1/10300000计算，平均每个画面可提供的信息量为

=3×105×3.32bit/画面2.2离散信源熵和互信息例10：有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000篇。仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为

H(X)＝log2N＝4×103×3．32=1.3×104bit／千字文“一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。2.2离散信源熵和互信息例11：有三个信源，其概率空间分别为:H(Z)＞H(Y)＞H(X)信源Z

比信源X、Y的平均不确定性都要大。2.2离散信源熵和互信息推广到一般二元信源形式信源X输出符号只有两个，设为0和1，符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为则信源熵为:

H(X)=-plogp-qlogq=-plogp-(1-p)log(1-p)=H(p)信源各个符号的概率一般表示：当二元信源符号0和1等概发生时，信源熵达到极大值，等于1比特信息量。2.2离散信源熵和互信息例12：甲、乙两地的天气预报求两地天气预报各自提供的平均信息量。符号数量越多，熵越大？乙甲2.2离散信源熵和互信息例13：甲、乙地天气预报为两极端情况：当信源是确定性信源，信源熵等于零。（信源熵的值由信源符号的概率分布决定，不由符号多少决定）注意：0

log0=0乙甲2.2离散信源熵和互信息例14：甲、乙地天气预报为两极端情况：等概分布下,信源的不确定性最大,信息熵最大。甲地比乙地提供更多的信息量。(等概分布下，信源符号越多，能提供的信息量越多)

乙甲条件熵条件熵是在联合符号集合XY上的条件自信息量的数学期望。已知随机变量X的条件下，随机变量Y的条件熵定义为：2.2离散信源熵和互信息条件熵H(X|Y)表示信宿在收到Y后，对信源X仍然存在的不确定度。已知随机变量Y的条件下，随机变量X的条件熵定义：当已知特定事件xi出现时，出现的是yj

的不确定性为：对集合Y中所有元素统计平均，其熵为：上述熵值再对集合X中的元素做统计平均，得条件熵：条件熵2.2离散信源熵和互信息过程：联合熵（共熵）联合熵表示符号集合X和Y上的每个元素对xi，yj同时发生的不确定度，是联合自信息量的数学期望。2.2离散信源熵和互信息联合熵与条件熵关系例15:

二进制通信系统使用符号0和1，由于存在干扰，传输时会产生误码。用X表示信源发出的符号，Y表示接收到的符号。假设01Y0.750.50.250.5X01p(X=0)=p(X=1)=0.5,p(Y=0|X=0)=0.75,p(Y=1|X=0)=0.25p(Y=0|X=1)=0.5,p(Y=1|X=1)=0.5问：(1)已知发出符号0，求收到符号后得到的信息量H(Y|0).

解:H(Y|0)=

p(Y=0|X=0)logp(Y=0|X=0)

p(Y=1|X=0)logp(Y=1|X=0)=0.75log20.75

0.25log20.25=0.82bit/符号.2.2离散信源熵和互信息问：(2)已知发出的符号，求收到符号后得到的信息量H(Y|X).解:先求X和Y的联合概率分布.p(X=0,Y=0)=p(X=0)p(Y=0|X=0)=0.50.75=0.375,同理有

p(X=0,Y=1)=0.125,p(X=1,Y=0)=0.25,

p(X=1,Y=1)=0.25.所以，H(Y|X)=

p(X=0,Y=0)logp(Y=0|X=0)

p(X=0,Y=1)logp(Y=1|X=0)

p(X=1,Y=0)logp(Y=0|X=1)

p(X=1,Y=1)logp(Y=1|X=1)=0.375log20.750.125log20.250.25log20.50.25log20.5=0.91bit/符号.2.2离散信源熵和互信息问：(3)已知发出的和收到的符号，求能得到的信息量H(X,Y)。解1:H(X,Y)=

p(X=0,Y=0)logp(X=0,Y=0)

p(X=0,Y=1)logp(X=0,Y=1)

p(X=1,Y=0)logp(X=1,Y=0)

p(X=1,Y=1)logp(X=1,Y=1)

=0.375log20.3750.125log20.1250.25log20.250.25log20.25

=1.91bit/符号解2:因为H(X)=1bit/符号，所以

H(X,Y)=H(X)+H(Y|X)=1+0.91=1.91bit/符号.2.2离散信源熵和互信息问：(4)已知收到的符号，求被告知发出的符号得到的信息量H(X|Y)。解:因为p(Y=0)=p(X=0,Y=0)+p(X=1,Y=0)=3/8+1/4=5/8,p(Y=1)=p(X=0,Y=1)+p(X=1,Y=1)=1/8+1/4=3/8,所以H(Y)=H(3/8,5/8)=0.96bit/符号，

H(X|Y)=H(X,Y)

H(Y)=1.91

0.96=0.95bit/符号.2.2离散信源熵和互信息互信息量(两个随机事件)2.2离散信源熵和互信息信道信源X信宿Y

简单的通信系统模型干扰源互信息量(两个随机事件)2.2离散信源熵和互信息先验概率：信源发出消息xi的概率p(xi)称为先验概率。由于信宿事先不知道信源在某一时刻发出的是哪一个符号,所以每个符号消息是一个随机事件。信源发出符号通过有干扰的信道传递给信宿。通常信宿可以预先知道信息X发出的各个符号消息的集合,以及它们的概率分布。后验概率：当信宿收到一个符号消息yj后，可以推测信源发出xi的概率，即信宿可以计算信源各消息的条件概率p(xi|yj),i=1,2,…N,这种条件概率称为后验概率。H(X)大于H(X/Y)，说明当已知Y后，X的不确定度减小了。即对于接收者，在未收到任何消息时，对信源X的不确定度是H(X)。而当收到消息Y后，不确定度降低到了H(X/Y)。不确定度的减小量H(X)－H(X/Y)就是接收者通过信道传输收到的信源X的信息量，称为X和Y的互信息I(X;Y)，即

I(X;Y)=H(X)－H(X/Y)。单符号：

定义xi的后验概率与先验概率比值的对数为yj对xi的互信息量。互信息量(两个随机事件)2.2离散信源熵和互信息互信息量等于自信息量减去条件自信息量第三种表达方式：互信息量(两个随机事件)2.2离散信源熵和互信息含义：互信息I(xi;yj)=自信息I(xi)-条件自信息I(xi|yj)(1)

I(xi)——信宿收到yj之前，对信源发xi的不确定度

(2)I(xi|yj)——信宿收到yj之后，对信源发xi的不确定度

(3)I(xi;yj)——收到yj而得到(关于xi)的互信息

即为不确定度的减少量性质：

(1)对称性——I(xi

;yj)=I(yj

;xi) (2)X与Y独立时——I(xi

;yj)=0 (3)I(xi;yj)可为正、负、0 (4)I(xi;yj)<=I(xi);I(xi;yj)<=I(yj)互信息量(两个随机事件)2.2离散信源熵和互信息条件互信息量(三个随机事件)三个集合XYZ

,xi与（yj，zk）之间互信息量的定义式：

三个集合XYZ,给定条件zk下，xi，yj之间的互信息量定义式：2.2离散信源熵和互信息

条件互信息量(三个随机事件)关系式：过程：2.2离散信源熵和互信息例7：

设有两个离散信源集合

求：(1)自信息量I(xi)(2)条件自信息量I(xi|yj)(3)互信息量

I(xi;yj)

2.2离散信源熵和互信息解：(1)

解：(2)2.2离散信源熵和互信息

解：(3)2.2离散信源熵和互信息例8：设信源发出8个符号，即X={x1,x2,…,x8}，其二进制编码和概率分布如下表.假设信道传输符号不会出错.求收到符号“01”后获得的有关发送符号x3

、x4的信息量。信源符号xi编码概率p(xi)p(xi|01)x10001/80x20011/40x30101/81/3x40111/42/3x51001/160x61011/160x71101/160

x8

1111/1602.2离散信源熵和互信息解：首先计算收到符号“01”后关于信源X发送各符号的概率：p(xi|01).收到符号“01”后获得的有关发送符号x3

、x4的信息量：

I(x3;01)=log2((1/3)/(1/8))=1.415bit/符号.I(x4;01)=log2((2/3)/(1/4))=1.415bit/符号.2.2离散信源熵和互信息2.2离散信源熵和互信息自信息量条件自信息量联合自信息量互信息条件互信息符号的：信息熵条件熵联合熵平均互信息平均条件互信息集合的：扩展2.2离散信源熵和互信息平均互信息I(X;Y)平均互信息I(X;Y)表示收到符号后，平均每个符号获得的关于X的信息量。2.2离散信源熵和互信息（1）互信息I(xi;yj)在信源符号集X上的平均值：平均互信息I(X;Y)互信息I(X;Y)是表示收到符号后平均每个符号获得的关于X的信息量.可以分两步计算：2.2离散信源熵和互信息

（2）互信息I(X;yj)在信源符号集Y上的平均值：平均互信息I(X;Y)互信息I(X;Y)是表示收到符号后平均每个符号获得的关于X的信息量.可以分两步计算：962.2离散信源熵和互信息平均互信息I(X;Y)互信息I(X;Y)是表示收到符号后平均每个符号获得的关于X的信息量.特殊情况1：信道过差，X和Y相互独立：X和Y相互独立时，平均互信息量为0；即信源发出的信息在信道上全部损失了，这种信道称为全损信道。2.2离散信源熵和互信息平均互信息I(X;Y)互信息I(X;Y)是表示收到符号后平均每个符号获得的关于X的信息量.特殊情况2：信道无干扰，X和Y一一对应：X和Y一一对应时，平均互信息量为信源熵H(X)表示信息能完全通过信道传递过去2.2离散信源熵和互信息平均互信息I(X;Y)互信息I(X;Y)是表示收到符号后平均每个符号获得的关于X的信息量.I(X;Y)的极值性：信道无干扰，X和Y一一对应时，平均互信息量最大

平均互信息量与熵的关系：

I(X;Y)=H(X)

H(X|Y)=H(Y)

H(Y|X)2.2离散信源熵和互信息信宿收到的平均信息量=信宿对信源符号不确定度的平均减少量疑义度(equivocation)

：H(X|Y)即由于信道上存在干扰，接收端收到Y后，对于信源符号X尚存在的不确定度，称为疑义度。也可看成信源符号通过有扰信道传输后所引起的信息量的损失，故又称为损失熵。散布度(irrelevance)：H(Y|X)表示发送端发送X后，对Y存在的不确定度，称为散布度。它反映了信道中噪声源的不确定度，故又称为噪声熵。从发送者角度看从接收者角度看从整个通信系统角度看平均互信息量与熵的关系：

I(X;Y)=H(X)

H(X|Y)=H(Y)

H(Y|X)从发送者角度看从接收者角度看从整个通信系统角度看2.2离散信源熵和互信息平均互信息量具有对称性平均互信息量的性质

I(X;Y)=f[p(xi),

p(yj|xi)]2.2离散信源熵和互信息平均互信息是信源概率和条件概率的函数当p(xi)一定时，I是p(yj|xi)的下凸函数，存在极小值当p(yj|xi)一定时，I是p(xi)的上凸函数，存在极大值2.2离散信源熵和互信息三维联合集的信息量H(X)H(Y)H(Z)H(X|Y,Z)H(Z|X,Y)H(Y|X,Z)I(X;Y|Z)I(X;Z|Y)I(Y;Z|X)I(X;Y;Z)2.2离散信源熵和互信息三维联合集的信息量H(X|Y,Z)表示在Y、Z给定的情况下，X的不确定度，即X的条件熵I(X;Y,Z)表示在Y、Z确定的情况下，所提供的X的信息量I(X;Y|Z)

表示在Z给定的情况下，Y出现所提供的X的信息量，也即表示在Z给定的情况下，X和Y的互信息量中不确定度I(X;Y;Z)定义为X、Y和Z三者的互信息量2.2离散信源熵和互信息

已知三个随机变量(X,Y,Z)的概率分布p(x,y,z).三个随机事件的条件互信息三个随机变量的条件互信息基本性质

I(X;Y|Z)=H(X|Z)

H(X|Y,Z)I(X;Y,Z)=I(Y;X,Z)

=I(X;Y)+I(X;Z|Y)=I(X;Z)+I(X;Y|Z).I(X;Y|Z)0.2.2离散信源熵和互信息三维联合集的信息量例17:

设信源等概地发出4个消息{x1,x2,x3,x4},其二进制编码为:x1=00,x2=01,x3=10,x4=11}.将消息送入一个二元对称信道(BSC,如图所示).

试求:(1)发送符号x1和收到符号“0”产生的信息量I(x1;0).2.2离散信源熵和互信息试求：(2)如果知道收到第二个符号也是“0”，这时带来多少附加信息量I(x1;0|0)？例17:设信源等概地发出4个消息{x1,x2,x3,x4},其二进制编码为:x1=00,x2=01,x3=10,x4=11}.将消息送入一个二元对称信道(BSC,如图所示).01Y1-p1-pppX012.2离散信源熵和互信息2.2离散信源熵和互信息例18:设随机变量X和Y的联合概率分布如下所示

(1)H(X)，H(Y)；

(2)H(X|Y)，H(Y|X)，H(X|Z)；

(3)I(X;Y)，H(X,Y,Z)。解：从题意可知解：(1)H(X)，H(Y)解：(2)H(X|Y)，H(Y|X)，H(X|Z)2.2离散信源熵和互信息求：H(X|Z)随机变量X和Z的联合概率分布：

ZXc1=0c2=1a1=01/31/3a2=11/302.2离散信源熵和互信息解：(3)I(X;Y)，H(X,Y,Z)2.2离散信源熵和互信息2.2离散信源熵和互信息数据处理中信息的变化第一级处理器X输入第二级处理器YZ输出假设在Y条件下X和Z相互独立，则I(X;Z)=I(X;Y)+I(X;Z|Y)

I(X;Y|Z)I(X,Y;Z)=I(X;Z)+I(Y;Z|X)I(X,Y;Z)=I(Y;Z)+I(X;Z|Y)I(X;Z)=I(Y;Z)+I(X;Z|Y)

I(Y;Z|X)数据处理定理：

H(X|Y)

H(X|Z),

I(X;Z)

I(Y;Z),I(X;Z)

I(X;Y)数据处理过程中只会丢失一些信息，绝不会创造出新的信息，这就是所谓的信息不增性。2.2离散信源熵和互信息数据处理中信息的变化通信系统的信息变化

I(U;V)

I(X;V)

I(X;V)

I(X;Y)I(U;V)

I(X;Y)编码信道UXV译码Y性质2：对称性当变量交换顺序时熵函数的值不变。性质3：扩展性若信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。2.2离散信源熵和互信息性质1：非负性由于0≤pi≤1,所以logpi≤0，-logpi≥0，

因此总有H(X)≥0。熵的性质性质4：可加性性质5：条件熵的极值性条件熵小于信源熵两个条件下的条件熵小于一个条件下的熵联合熵小于信源熵之和2.2离散信源熵和互信息熵的性质性质6：极值性(最大离散熵定理)具有n个符号的离散信源，只有在各符号等概出现时，信源熵才能达到最大值，这表明等概分布的信源的平均不确定性最大，称为最大离散熵定理2.2离散信源熵和互信息熵的性质性质7：确定性只要信源X的概率空间中，有任一个概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。

如果一个信源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。性质8：上凸性是概率分布(p1,p2,…,pq)的严格上凸函数。2.2离散信源熵和互信息熵的性质设f(X)=f(x1,x2,…,xn)为一多元函数。若对于任意一个小于1的正数（0<<1）以及函数f(X)定义域内的两个任意矢量X1,X2有则称f(X)为定义域上的上凸函数。若“<”不成立，则为严格上凸函数若“”,则为下凸函数若“<”,则为严格下凸函数2.2离散信源熵和互信息凸函数Jesen不等式对任何凸函数f(x)

>0，有

∑pi

f(xi)

f(∑pi

xi)

其中∑pi=1例16:计算熵性质9：递增性2.2离散信源熵和互信息熵的性质2.3离散序列信源的熵主要内容离散无记忆序列信源离散无记忆序列信源的序列熵离散无记忆序列信源的符号熵离散有记忆序列信源平稳信源马尔可夫信源2.3离散序列信源的熵实际信源发出的消息，往往不止一个符号，而是由多个符号的序列组成——多符号离散信源。在一般情况下，多符号离散信源发出的每一条消息中所含的符号数(消息的长度)是各不相同的，消息与消息之间通常也是相互关联的。假设：多符号平稳离散信源发出的长度为N的不同消息之间相互统计独立、互不相关。2.3离散信源序列的熵设单符号离散无记忆信源X

的概率空间为:扩展后的序列信源序列XL共有nL种随机序列状态，其概率空间为:粗体字体表示向量信源X经过L次扩展，输出的随机序列表示为

XL=(X1，X2，…，Xi，…，XL)其中单个符号变量

或：2.3离散信源序列的熵随机序列xi的概率为：当序列无记忆时，序列xi的概率为：2.3离散信源序列的熵离散无记忆信源序列的熵注意：(1)单位:bit/序列(2)N次扩展信源的熵等于各符号熵之和2.3离散信源序列的熵若信源序列平稳，则随机变量的概率空间相同，有序列的平均符号熵为：离散无记忆平稳序列信源平均每个符号的符号熵就等于单个符号信源的符号熵.熵添加下标L，表示长度为L的序列的符号熵。2.3离散信源序列的熵例1：离散平稳无记忆信源如下，求二次扩展信源的熵。法1：利用序列熵的定义：法2：利用结论:2.3离散信源序列的熵离散有记忆序列信源

信源序列发出的序列xi中符号之间互相依赖，此时要引入条件概率分布来说明它们之间的关联。单符号信源X扩展成有记忆的序列长度为2的离散平稳信源序列，则有结论:2.3离散信源序列的熵单符号信源X扩展成有记忆的序列长度为L离散平稳信源序列，则有结论:平均符号熵：换个写法退化为无记忆信源若序列平稳无记忆信源是有记忆信源的一个特例2.3离散信源序列的熵例2：已知离散有记忆平稳信源中各符号的概率空间为：现信源发出二重符号序列消息，这两个符号的关联性用条件概率表示，并由上表给出。求信源序列的熵和平均符号熵。解：单符号信源熵:

条件熵:

信源序列的熵:平均符号熵:2.3离散信源序列的熵例2：已知离散有记忆平稳信源中各符号的概率空间为：现信源发出二重符号序列消息，这两个符号的关联性用条件概率表示，并由上表给出。求信源序列的熵和平均符号熵。序列信源平均符号熵:2次扩展后序列的符号熵比单符号熵小，这是由于符号之间存在相关性造成的。比较结果得：解：单符号信源熵:等号何时成立？2.3离散信源序列的熵离散平稳有记忆信源序列熵的性质结论1：H(XL|XL-1)是L的单调非增函数证明:

H(XL|X1,X2,…,XL-1)≤H(XL|X2,X3,…,XL-1)(条件较多的熵小于或等于条件少的熵)=H(XL-1|X1,X2,…,XL-2)（平稳性）≤H(XL-1|X2,X3,…,XL-2)(条件较多的熵小于或等于条件少的熵)=H(XL-2|X1,X2,…,XL-3)（平稳性）

…≤H(X2|X1)

2.3离散信源序列的熵离散平稳有记忆信源序列熵的性质结论2：HL(X)≥H(XL|XL-1)证明:HL(X)=H(X1,X2,…,XL)/L=[H(X1)+H(X2|X1)+…+H(XL|X1,X2,…,XL-1)]/L≥[LH(XL|X1,X2,…,XL-1)]/L=H(XL|XL-1)

(条件较多的熵小于或等于条件少的熵)

2.3离散信源序列的熵离散平稳有记忆信源序列熵的性质结论3：HL(X)

是L的单调非增函数证明:

LHL(X)=H(X1,X2,…,XL)=H(X1,X2,…,XL-1)+H(XL|X1,X2,…,XL-1)=(L-1)HL-1(X)+H(XL|XL-1)≤(L-1)HL-1(X)+HL(X)

所以

HL(X)≤HL-1(X)同理,有

HL+1(X)≤HL(X)≤HL-1(X)≤…≤H1(X)≤H0(X)等概率无记忆信源单个符号的熵一般无记忆信源单个符号的熵L+1长有记忆序列信源的平均符号熵…2.3离散信源序列的熵离散平稳有记忆信源序列熵的性质结论4：当L→∞时称为平稳信源的极限熵，又称为极限信息量推广结论3可得:求解十分困难熵的增加量H(XL/XL-1)与符号间的相关性有关，L迅速增大带来相关性迅速减小时，平均符号熵随之减小；L达到一定长度后，增加量对平均符号熵几乎不再有影响。因此，常取有限L下的条件熵H(XL|XL-1)作为

的近似值。

2.3离散信源序列的熵离散有记忆序列信源有记忆序列信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。有记忆马尔可夫(Markov)信源是指某一个符号出现的概率只与其前面有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。2.3离散信源序列的熵马尔可夫信源当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源所发出的符号只与前m个符号有关，与更前面的符号无关，这时描述符号之间依赖关系的条件概率可表述为:若条件概率与时间起点无关，则信源输出的消息可看成齐次马尔可夫链，这样的信源称为齐次马尔可夫信源。前m个符号2.3离散信源序列的熵马尔可夫信源最简单的马尔可夫信源是当m=1，也就是一阶马尔可夫信源，此时一般通过分析系统状态在输入符号作用下的转移情况，将高阶马尔可夫链过程转化为一阶马尔可夫链过程。对于m阶马尔可夫信源，将时刻i以前的m个符号组成的序列定义为状态si，即：状态集2.3离散信源序列的熵例：有二元马尔可夫序列：…01011100…

若阶数m=2，Q=nm=22=4

记：s1=00s2=01s3=10s4=11

变换成对应的状态序列为

…s2

s3

s2

s4s4

s3s1…马尔可夫信源当信源符号xk出现后，信源所处的状态将发生变化并转入一个新的状态。…,X1,X2,…,Xm-1,Xm,Xm+1,…sisj把此前已输出的符号视为状态2.3离散信源序列的熵马尔可夫信源

信源在某一时刻出现符号xj的概率与信源此时所处的状态si有关，条件概率为:其中，2.3离散信源序列的熵马尔可夫信源

在时刻m系统处于状态si的条件下，经n-m步后转移到状态sj的概率用状态转移概率pij(m,n)表示当n-m=1时，为基本转移概率或称为一步转移概率对于齐次马尔可夫链，与时刻m无关2.3离散信源序列的熵马尔可夫信源

类似的，定义k步转移概率为注意：平稳信源：其概率分布具有时间推移不变性齐次马尔可夫信源：转移概率具有时间推移不变性

平稳包含齐次，齐次不包含平稳从状态si到状态sj经历了k步2.3离散信源序列的熵马尔可夫信源

转移概率矩阵：由于系统在任一时刻可处于状态空间的任意状态，因此状态转移时，转移概率是一个矩阵

对于齐次马尔可夫信源，由一步转移概率pij可写出其转移矩阵为2.3离散信源序列的熵马尔可夫信源

例：某地今天的天气都与昨天有关，天气状态转移图如下：(1)写出状态转移概率矩阵(2)已知今天天气的概率分布为(pa

pb

pc)，明天，后天的天气状况？1/2sos11/3s21/31/4晴雨雪1/31/41/21/41/4明天天气状况：后天天气状况：天气状态转移矩阵收敛、趋于平稳，最后是一个与初始状态无关的量。2.3离散信源序列的熵马尔可夫信源

例：某地今天的天气都与昨天有关，天气状态转移图如下：(1)写出状态转移概率矩阵1/2sos11/3s21/31/4晴雨雪1/31/41/21/41/432天后天气状况可由下面矩阵获得：2.3离散信源序列的熵马尔可夫信源

切普曼-柯尔莫郭洛夫（Chapman-kormotopob）方程特别的，l=1时,若用矩阵表示

对于齐次马尔可夫链，一步转移概率完全决定k步转移概率。但是pij(k)是否存在？描述k步转移概率和k-l步转移概率之间的关系由马尔可夫链的遍历性来回答2.3离散信源序列的熵起始信源所处随机状态序列不是平稳的,经过足够长时间后，状态概率分布达