第二章 离散信源及其信息测度.ppt

1、第二章离散源及其信息测度、通讯的根本问题是，尽可能迅速可靠地传输源的输出信息，并在接收侧尽可能准确地再现。 从本章开始，从有效且可靠地传输信息的观点出发，对构成信息传输系统(电信系统)的各部分分别进行研究。 本章首先讨论信源，着重于信源的统计特性和数学模型，以及各种离散信源的信息熵及其性质，引入信息论的一些基本概念和重要结论。 主要内容是2.1源的数学模型和分类2.2离散源的信息熵2.3信息熵的基本性质2.4离散无记忆源的扩展源2.5离散平稳源2.6马尔可夫源2.7源的馀量，2.1源的数学模型和分类，2.1源的数学模型和分类， 沟通过程从源开始，源发送的是消息或消息序列，在电信系统中传达的是消

2、息，消息中包含有信息。 因此，通过研究信息来研究来源。 在电信系统，在接收者接收消息之前，始发者输出的消息可以通过随机变量、随机向量或随机处理进行描述，因为始发者发送的消息是不确定的、随机的。 通常使用采样空间及其概率测度概率空间来描述源。2.1源的数学模型和分类、不同源输出的消息可根据消息的随机性质来分类源。 2.1.1发起方输出的消息用随机变量书写，其中，发起方的消息象征符是离散的且有限的，每一个发起方的输出是单个发起方象征符，并且所有象征符概率满足完全性，这是最基本的离散发起方。 信、原稿、电报、计算机输出的查询密码等。 如果始发者的输出是诸如语音、热噪声信号、传感器所测得的电压、温度、

3、压力、振动信号等的连续信号，则这些个的始发者的输出采取被称为连续始发者的连续值。 那个输出信息数不清。 其数学模型是连续型的概率空间，用以下形式表示。 此外，2.1个源的数学模型和分类、2.1个源的数学模型和分类以及2.1.2个源输出的消息可以认为是时间或空间上的概率向量，其中该概率向量描述实际源输出的消息是以恒定概率所选择的象征符序列n维随机向量X=(X1，X2，XN )表示，并且也称作随机序列。 如果随机向量的每个维度的概率分布与时间起点无关，则这样的源被称为稳态源。 每个随机变量Xi是离散性的值，其可能的值是有限的，并且这样的源被称为离散性的、平稳的源。 各随机变量Xi是连续取值的连续型

4、随机变量，连续且平滑的源。 2.1源的数学模型和分类，源相继发出的各符号相互统计上独立的情况：随机变量Xi的不同时刻的取法来自相同的符号集合A:a1、a2、aq .的情况：源不同时刻发出的符号之间没有依存关系，相互统计上独立的情况，离散的记忆的另外，在2.1个源的数学模型和分类中，如果在源不同时间点发出的象征符之间是相互依存的，那么由源x输出的随机向量x所描述的源是被称为无离散的存储源x的n次扩展源，那么该源是有存储的源。 通常，符号间的依存关系(存储长度)是有限的，如果存储长度是m 1则将具有这种存储的源称为m次马尔可夫源。 用两种条件概率描述了随机序列中各随机变量之间的依赖关系： 2.1源

5、数学模型和分类，如果条件概率与时间起点无关并且条件概率也平稳，则该源是时间序列马尔可夫源。 对于连续平稳源，也可分为不记忆源和有记忆源。 在源输出的连续型随机向量之中、各随机变量之间没有依赖性、统计上独立的情况下，该源被称为连续且没有平稳的存储的源。 当在源输出的连续随机向量之中在各随机变量之间存在依赖性时，将该源称为连续存储源。、2.1.3信源输出的消息用随机向量描述了多个实际的信源输出消息的时间和值连续，例如语音信号、热噪声信号、电视信号等的时间连续函数。 对于云同步，它们在一个特定的时间t0处是连续的和随机的。 可以通过随机过程描述这种源的输出消息。 这样的源被称为随机波形源(也称为随机

6、天线计程仪源)。 根据采样定理，随机过程也可以由离散采样值的序列来表示，即离散随机序列。 讨论和研究2.1源的数学模型和分类、2.2源的信息熵、2.2源的信息熵、最基本的离散源(即输出到单个象征符的消息，以及这些个的消息之间没有互兼容)。 基本上的离散源可以以一维随机变量x描述源的输出，源的数学模型可以抽象成： 问题：这样的来源能输出多少信息？ 各条短信的出现有多少信息量？ 2.2.1在自身信息绪论中可知，通讯时来自发信方的信息总是随机的，不确定的，只有在消息通过信道传达给接收者之后，才能消除该不真实自我。 因此，在通讯取得的信息与不真实自我消除的程度有关，消除的不真实自我取得信息量不确定性是

7、随机性，并在概率论和随机过程中测量。 概率小不确定性表示信息量大，即信息量是概率的单调递减函数，2.2离散源的信息熵，离散源x的概率空间为：上通告ai的产生所包含的信息量为：I(ai )表示两个含义：上通告ai产生前，产生表示上通告ai产生的不真实自我的上通告ai时，上通告ai 在2.2离散源的信息熵、本书(以及通讯理论)中，若没有特别说明，则信息量的单位被设定为二进制位进行了差动奥尔特(2)在2)p=1时，自信息是0 (3)在3)p=0时，自信息是无限大的(4)两个独立事件的联合自信息是各自的自信息之和2.2离散源的信息熵，示例2-1 8个串联的灯泡x1、x2、x8，其破损的可能性是等概率，

8、现在，假设一个灯泡破损，每次测量都会得到多少信息量。要确认哪个灯泡破损，合计需要多少次测量解：已知概率破坏，例如8个灯泡，因此在首次测量先验概率p(x1 )的1/8，即整体不真实自我为：2.2个离散源的信息熵后，剩下4个灯泡。 以相同概率发生破损，p(x2 )的1/4，在前面的判断中不真实自我减少，剩下的不真实自我，在第三次测定中能够判断哪个灯泡坏了，剩下的不真实自我减少为零。 第二次测量后，剩下的两个灯泡，p(x3 )的1/2，不真实自我进一步减少，剩下的不真实自我是：2.2离散源的信息熵，从例子2-2个电阻值电阻的袋子中随机取出一个得到的电阻值，推测困难度是多少，解：这是事件的不真实自我，

9、 相当于求事件等的概况，例2-3袋中有n(n 1)/2个阻抗，其中随机取出1个、2个、n个的话，就是“取出阻抗值I的阻抗”得到的信息量。 解：“电阻值取出I的电阻”的概率是多少？ 2.2离散源的信息熵、2.2.2信息熵、向一个源发出不同消息的信息量也不同。 由此，信息I(ai )为随机变量，不能将其定义为整个源的信息测量的数学期望为平均信息量Hr(X )，因为其被称为信息熵3360，2.2离散源的信息熵，并类似于统计物理学中的热熵的公式， 借用术语“熵”，H(X )称为“熵”，H(X )表示在源输出之前的平均不确定性，H(X )表示源在每个象征符上平均携带的信息量，H(X )表示源x的随机性。

10、2.2离散源的信息熵，例如2-3源x的象征符定径套为0，1，其中出现“0”象征符的概率为p，求源的熵吗？ 解：例2-4电视画面的网格点数为500600=300000，如果出现每1点有1.0灰度、每1画面等概率，则求出每1画面所包含的信息量。 解：可能的画面数是10300000张，2.2离散源的信息熵，例子2-5布袋里有l00个球，其中8.0个的红色的球，2.0个的白色的球，从其中随机取出一个球，a1取出红色的球，a2取出白色的球解：关于取出红色球时所获得的信息量，I(a1) -log p(a1) -log0.8=0.32二进制位)触摸白球时所获得的信息量，I(a2) -log p(a2) -l

11、og0.2=2.32 (二进制位)平均触摸所获得的信息量，I(a2) -log p(a2) -log0.2=2.32 ()平均触摸所获得的信息量p(a2) I(a2)=0.72 (二进制位/符号)，2.2离散来源的信息熵，例2-6中有甲、乙两箱球，甲箱中有红球5.0，白球2.0，黑球3.0乙箱中有红球9.0，白球1.0。 现在，从两个箱子分别随机取球的实验，选择从哪个箱子取球随机性高。 解：是甲、乙分别以A B代表，所以从甲箱取球的结果的随机性更大。 2.2离散来源的信息熵，例2-6 A、b两城市的天气状况概率分布如下表：晴阴雨a城0.8 0.15 0.05 B城0.4 0.3 0.3问题等城市的天气有较大的不真实自我，或解：A、b