信息论第二章课件

2023/7/241第二章：离散信源及其信息测度（一）

(DiscreteSource

andtheMeasureofInformation)

2.1

信源的数学模型及分类

2.2

离散信源的信息熵 2.3信息熵的基本性质«信息理论基础»2023/7/242第2章

离散信源及其信息测度2.1信源的数学模型及分类根据消息的不同的随机性质对信源进行分类：离散信源：信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。可用一维离散型随机变量X来描述这些信源的输出。这样的信源称为～。

概率空间2023/7/2432.1

信源的数学模型及分类连续信源：输出消息的符号集A的取值是连续的，或取值是实数集（－∞,∞）我们可用一维的连续型随机变量X来描述这些信源的输出。这样的信源称为～。其数学模型为连续型的概率空间：

并满足2023/7/2442.1

信源的数学模型及分类离散平稳信源：若信源输出的随机序列X=(X1,X2,XN)中，每个随机变量Xi(i=1,2,…N)都是取值离散的离散型随机变量，即每个随机变量Xi的可能取值是有限的或可数的。而且随机矢量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为～。2023/7/2452.1

信源的数学模型及分类连续平稳信源：若信源输出的消息可用N维随机矢量X＝(X1,X2,XN)来描述，其中每个随机分量Xi(i=1,2,…N)都是取值为连续的连续型随机变量（即Xi的可能取值是不可数的无限值），并且满足随机矢量X的各维概率密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率密度函数都相同，这样的信源称为～。离散无记忆信源的扩展信源：2023/7/2462.1

信源的数学模型及分类A.假设条件

这里对离散平稳信源做进一步假设。(1)我们假设多符号离散平稳信源[X]=X1，X2，…XN中，符号的随机变量Xi都取值于同一个信源空间，(2)我们假设多符号离散平稳信源[X]=X1，X2，…XN中，各变量Xi(i=1,2,…N)之间统计独立，即P(X)=P(X1,X2,…XN)=P(X1)P(X2)P(X3)…P(XN)

2023/7/2472.1

信源的数学模型及分类

到目前为止，我们介绍的离散无记忆信源包括两层意思：▲

单符号离散无记忆信源，P(a1,a2,…aq)=P(a1)P(a2)…P(aq)▲

多符号离散无记忆信源，P(X1,X2,…XN)=P(X1)P(X2)P(X3)…P(XN)通常N次扩展信源记为XN。

2023/7/2482.1

信源的数学模型及分类B.N次扩展信源的信源空间

因为信源XN的每一个消息[Xi]，(i=1,2,…,N)均由信源X的符号集A:{a1,a2,…aq}中的N个符号组成，所以，XN

的某一个具体符号i可以表示为[i]=(ai1,ai2,…aij…aiN)aij∈A:{a1,a2,…aq}，这个关系表明扩展信源的每个符号取值于同一个单符号信源空间，A:{a1,a2,…aq}。因此扩展信源XN就有qN

种不同的符号，可以表示为[XN]:{[1],[2],…[i],…[qN]};(i=1,2,qN)

2023/7/2492.1

信源的数学模型及分类

所以平稳离散无记忆信源[X，P]的N次扩展信源的信源空间为：

并且有：

表明该信源概率空间也是一个完备空间。

2023/7/24102.1

信源的数学模型及分类有记忆信源：信源输出的平稳随机序列X中，各随机变量Xi之间是相互依赖的。这种信源称为有记忆信源。马尔可夫信源：m阶马尔可夫信源就是每次发出的符号只与前m个符号有关，与更前面的符号无关。设各时刻随机变量Xk的取值为xk，xkXk，k=1,2,…,i-1,i,i+1,…N，则描述随机序列中各随机变量之间依赖关系的条件概率为2023/7/24112.1

信源的数学模型及分类时齐马尔可夫链：如果上述条件概率与时间起点i无关，即信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。随机波形信源：实际信源输出的消息常常是时间和取值都是连续的。对于这种信源输出的消息，可用随机过程来描述，称这类信源为随机波形信源。可以把随机过程用一系列时间（或频率）域上离散的取样值来表示。这样就可以把随机过程转换成时间（或频率）上离散的随机序列来处理。若再对每个取样值经过分层（量化），就可将连续的取值转换成有限的或可数的离散值。也就可把连续信源转换成离散信源来处理。2023/7/2412PCM脉码调制语音波段

1语音波段

3语音波段

2公用线路复用器波段32110110011A/D转换1100GSM固网传输Fig.14(TM2100EU02TM_0001TransmissionPrinciples,29)2023/7/24131.频带

(300-3400Hz)2.采样

(8000Hz)3.8比特编码PCM信号的产生信号1编码采样值的传输采样值编码信号

2时隙01001101信号

1Fig.15(TM2100EU02TM_0001TransmissionPrinciples,31)2023/7/24142.1

信源的数学模型及分类随机波形信源取样定理随机过程{x(t)}随机序列X随机变量X非平稳信源平稳信源离散信源连续信源分层（量化）离散平稳信源连续平稳信源离散无记忆信源的N次扩展信源有限记忆信源取值分层信源的分类图2023/7/2415第2章

离散信源及其信息测度2.2

离散信源的信息熵2.2.1自信息(自信息量)

信源符号不确定性的度量

(1)不确定性：在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。(2)不确定性的度量（不确定度）:猜测某一随机事件是否会发生的难易程度。

2023/7/2416试验前：H(x)=log8=3(bit/符号)H(x2)－H(x3)

=1－－获得1bit信息量XP(x)＝123456781/81/81/81/81/81/81/81/812312345678第一次测量后：X1P(x1)＝123456781/41/41/41/40000H(x1)=log4=2(bit/符号)第二次测量后：X2P(x2)＝123456781/21/2000000H(x2)=log2=1(bit/符号)第三次测量后：X3P(x3)＝1234567810000000H(x3)=log1=0(bit/符号)H(x)－H(x1)

=1－－获得1bit信息量H(x1)－H(x2)

=1－－获得1bit信息量H(X)表示在获知哪个灯泡是坏的情况前，关于哪个灯泡已损坏的平均不确定性，即要确定哪个灯泡是坏的，至少需要获得3个bit的信息量，才能完全消除不确定性。必须测3次吗？？2023/7/2417第2章

离散信源及其信息测度

若一随机事件的概率为,它的自信息的数学定义为：

信息采用的单位取决于对数所选取的底。如果取以2为底，则取得的信息量单位称为比特（bit）；如果以e为底，称为奈特（nat），如果以10为底的对数，则所得的信息量单位称为哈特（Hart）。

自信息为什么一定是这样的定义？是否一定是对数形式？def2023/7/24182.2离散信源的信息熵

[例2-1]：从一个袋子里取出不同颜色小球的不确定性。a.99个，1个，b.50个，50个，c.25个，25个，25个，25个可见，a的不确定性最小，c的不确定性为最大。I(x1)=I(红球)，I(x2)=I(白球)，I(x3)=I(黑球)，I(x4)=I(黄球)2023/7/2419

由上例可以看出：符号数越多，不确定度越大；概率越小，不确定度越大；信源不确定度应具有可加性；满足p(ai)=0，则I(ai)=∞，p(ai)=1，则I(ai)=0。为了满足以上四个条件，应把信源不确定度写为对数形式

def因此：当，则2.2离散信源的信息熵2023/7/24202.2离散信源的信息熵例[2-2]：求离散信源的自信息量。一次掷两个骰子，作为一个离散信源，求下列事件产生后提供的信息量。a.仅有一个为3；b.至少有一个为4；c.两个之和为偶数。2023/7/24212.2离散信源的信息熵解：一个骰子有6个符号，两个骰子的总数（信源符号数）为36。a.事件样本数=5×2=10（另外一个不能为3）b.事件样本数=5×2+1=11（加上一个双4）c.事件样本数=6×3=18（第一个的6个符号分别与第二个的3个符号构成事件）则：P(a)=10/36=5/18;P(b)=11/36;P(c)=18/36=1/2;I(a)=log(18/5)=1.848(bit);

I(b)=log(36/11)=1.7105(bit);I(c)=log2=1(bit)2023/7/2422[例2-3]一副充分洗乱了的扑克牌(所给的牌是52张)，试问：任意一副特定排列所给出的自信息是多少？若从中抽取十三张牌，当给出的点数均不相同时可得到多少信息量？2.2离散信源的信息熵若从m个元素中抽取n个元素的取法就是组合：1.题解：任意一特定排列，即意味着第一张牌的取法有52种；第二张牌的取法有51种；……。一共有52!种排列，所以每一种排列的概率为：2023/7/2423又因为要保证所抽取的牌中点数均不相同，则可设想以下排列，每一点数有四种花色；根据点数的位置构成13张的排列数：1，2，3，4，…….134•4•4•4……•4=就是从52张牌中抽取13张牌的取法所以13张点数不同牌的抽取概率为：则：def2.2离散信源的信息熵2023/7/24242.2.2条件自信息(conditionalself-information)

2.2离散信源的信息熵定义所表达的是一个联合事件xy，在某一个变量x(或y)被确知之后，另一个变量y(或x)还剩下的不确定度；或者说另一个变量y(或x)将还能带给接收者多么大的信息量。

2023/7/24252.2离散信源的信息熵例棋盘与棋子设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格，且让乙猜测棋子所在位置：（1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号；（2）将方格按行和列编号，甲将棋子放在方格的行（或列）编号告诉乙之后，再令乙猜测棋子所在列（或行）的位置。2023/7/24262.2离散信源的信息熵

题解：前提，当棋子落入棋盘的位置是任意的；若将棋盘的行数编号为xi，棋盘的列数编号为yj；则棋子落入任何一格的概率均相等，为：(1)在二维联合集XY上的元素的xiyj自信息为(2)如果编码为

2023/7/24272.2离散信源的信息熵则每一棋盘格的编码为[aaa,bbb]，

2023/7/24282.2离散信源的信息熵例题：居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？题解：设‘女孩中有大学生’的概率为P(xi)=0.25，或者说‘女孩是大学生’是一随机事件xi；另设‘女孩中身高超过1.6m以上者’为另一随机事件yj，其概率为：P(yj)=0.5，又因‘女孩大学生中超过1.6m者’的概率为：P(yjxi)=0.75所问即：I(xiyj)=?为什么不是求：I(xiyj)=?2023/7/24292.2.3信息熵(Entropy)

定义自信息的数学期望为信源客观上的平均信息量，称为信源的信息熵(Entropy)。

2.2离散信源的信息熵

H(X)表示信源发出任何一个消息状态所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。2023/7/24302.2离散信源的信息熵熵的物理意义：△熵的本意为热力学中表示分子状态的紊乱程度；△信息论中熵表示信源中消息状态的不确定度；△信源熵与信息量有不同的意义；(1)

H(X)表示信源X输出以后，每个消息(或符号)所能提供的平均信息量；(2)

H(X)表示信源X在输出以前，信源的平均不确定度；(3)H(X)表示随机变量X的随机性；

我们借用熵的含义反映信源这个消息集合中的总体特征——平均不确定度。

2023/7/2431从数学来看，信息熵的引出仅仅由一个随机变量的统计平均处理所得到集合的统计平均值而已。但从物理意义上看，两者产生了性质的突变，仍是一个随机变量(variable);而

已变成了常量(constant)，它是代表集合的总体特征。2.2离散信源的信息熵信息熵与平均信息量的关系：只有在无干扰的情况下，接收者准确无误的收到每一条消息后，同时也完全解除了它们的不定度时才能说接收者所获得的平均信息量等于信息熵。

所以一般来讲，信源的信息熵H并不等于接收者所获得的平均信息量。因此我们讲信息熵并不反映从信源中平均能获多少信息量，而是从平均的意义上，代表信源所客观存在着发送信息的能力。2023/7/24322.2离散信源的信息熵[例2-4]则信息熵分别为：2023/7/24332.2离散信源的信息熵

[例2-5]一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的自信息量。解：2023/7/24342.2离散信源的信息熵

前提：摸一次球后再放回袋中，以不破坏概率试验条件，且一旦球拿出其不定度一定完全解除。所以，摸n次以后所得到的总信息量为：

若经算术平均处理后，则平均信息量为：

所以在此条件下才有平均信息量等于信息熵。2023/7/24352.2离散信源的信息熵[例2-6]：求一个独立信源的熵二元信源X:[0,1]，其概率空间[P(0),P(1)]=[p,1-p]

H(X)=-P(0)logP(0)-P(1)logP(1)=-plogp-(1-p)log(1-p)(bit)P(0)=0,P(1)=1,H(X)=0bitP(0)=1,P(1)=0,H(X)=0bitP(0)=P(1)=1/2,H(X)=1bit01/21pH(x)2023/7/2436第2章

离散信源及其信息测度

2.3

信息熵的基本性质信息熵是信源概率空间的一种特殊矩函数。我们可用概率矢量P表示概率分布P(x)熵函数可以表示为：2023/7/24372.3信息熵的基本性质性质1.

非负性

(non-negativity)性质2.对称性

(symmetry)2023/7/2438性质3.确定性

(deterministic)2.3信息熵的基本性质性质4.连续性

(continuity)2023/7/24392.3信息熵的基本性质信源X’的熵为：

当微小波动趋于0时，有

2023/7/2440性质5.

扩展性

(expansibility)2.3信息熵的基本性质2023/7/2441本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。2.3信息熵的基本性质2023/7/2442可加性是熵函数的性质中最重要的一条性质，正因为有此性质才决定熵函数的形式必须要用对数形式。此性质的物理含义，即知识的可积累性。具体的讲：熵函数是作为一个集合中的总体平均不定度特征，应对集合中元素的如何划分是无关的。从另一方面看，可加性所反映的是任何复杂问题，都可以分步解决。

性质6.

可加性

(Additiveproperty)或：2.3信息熵的基本性质2023/7/24432.3信息熵的基本性质如果一个随机事件的集合可以看成是由两个随机变量的联合发生而形成，则可以写成以下形式：2023/7/24442.3信息熵的基本性质按照信息熵的定义，我们可写出：联合概率(jointprobability)：2023/7/24452.3信息熵的基本性质defdefdef2023/7/24462.3信息熵的基本性质def它的平均不定度，应等于一个变量的无条件熵加上另一变量的有条件熵。这是随机变量X与Y之间相互统计独立的重要性质，它是可加性的一特例。所以一般情况下可加性表示为：2023/7/2447

但是如果我换一种问法：先取一个球问其是否为红色？如果是红色便停止取球；否则再从剩下的袋中取一球，问其颜色？判断当