信息论基础详细课件.ppt

1、信息理论基础，李刚北京科学技术大学信息工程学院，信息理论基础课程，李亦农李梅编着北京邮电大学出版社，目录， 第一章绪论第二章信息的测定第三章源和信息熵第四章通道和通道容量第五章无失真源代码第六章无失真源代码第七章无失真源代码1.1信息的概念1.2信息论研究对象、目的和内容、第一章绪论、1.1信息的概念、信息论是通信的数学基础信息论的建立标志是Claude Shannon (香农)在1948年发表了论文“amathematicalitytheoryofcommunication”。 本文用香农创造性的概率论方法研究了通信中的问题，给信息提供了科学的定量描述，首次提出了信息熵的概念。 1928年，

2、哈特莱首先提出了对数测量信息的概念。 消息中包含的信息量用该可能值的数量的对数表示。 (香农)信息：信息是事物运动状态和存在方式的不确定性的记述。 用研究随机事件的数学工具的概率来测量不确定性的大小。 在信息论中，我们用随机事件表示消息，发送这些消息的源用随机变量表示。 我们把某消息出现的不确定性的大小定义为自我信息，用该信息出现概率的对数的负值来表示。 自我信息同时表示在该消息中包含的信息量，即提供给接收方的最大信息量。 如果已正确传送了消息，则接收者能够获得此量的信息量。 此外，将源中包括的信息量定义为对源有可能发布的所有消息的平均不确定性，并且香农将源中包括的信息量称为信息熵。 将自信息

3、的统计平均值定义为源熵，其中q表示源消息的数量。 信息熵表示源的平均不确定性大小，表示源输出的消息中包含的平均信息量。 因此，源生成的消息可能包含不同的信息量。 在接收端，部分或全部消除了源的不确定性，接收机获得信息。 信息在数量上等于通信前后的“不确定性”的消除量(减少量)，1.2信息论研究对象、目的和内容、信息论研究对象的广义通信系统将所有信息流通系统抽象为以下模型：图1.1通信系统模式，该通信系统主要分为五个部分： (1) . (2) .编码器代码是将消息转换为适合在信道上传输的物理量信号。 编码器可被划分成源编码器和信道编码器. 源代码的目的是增强通信系统的有效性并增强信息传输的可靠性

4、。 在实际通信系统中，可靠性和有效性常常是矛盾的。 (3) .频道是通信系统将加载消息信号从发送侧传送到接收侧的介质或频道，是包含收发设备的物理设施。 (4) .解码器将信道输出的加扰后的编码信号逆转换成宿可以接收的消息。 也可将解码器分成源解码器和信道解码器。 (5) .宿成为接收信息的人或设备即信息发送的对象。 信息论正在研究该通信系统的最根本和本质问题。比如： 什么是信息？ 信息的测量方法.如何确定源中包含的信息量？ 对于一个信道，其传输信息量的最大限度(信道容量)是多少？为了传输没有失真的源信息，源编码所需的最小代码符号数是多少？ (香农第一原理，无失真源代码)在有噪声的信道上，信息以

5、接近信道容量的信息传输速率传输，错误概率是否几乎为零？ (有噪声信道编码的是香农第二定理)。 如果源编码时允许一定量的失真，需要的最小编码数是多少？ (限制失真源代码香农第三定理)目前信息论的研究内容一般有三种理解： (1)狭义的信息论：也称为香农信息论。 主要通过数学描述和定量分析，研究通信系统从源到宿的全过程，突出通过编码和解码来优化发送和接收的两端，包括信息测量、信道容量、源和信道编码理论等问题，以定理的形式证明极限的存在是信息理论的基础理论。 (2)一般信息论：也称为工程信息论。 主要通过研究信息传递和处理问题，除了香农信息论的内容外，还包括噪声理论信号的过滤和预测、统计检测和估计、调

6、制理论、信息处理理论和秘密理论等(3)广义信息论：除了上述两个内容外，还包括与信息相关的自然和社会领域，如模式识别、复制2.1自我信息和相互信息2.2平均自我信息2.3平均相互信息，第二章信息的量度，关于信息的量度有几个重要的概念： (1)自我信息：一个事件(消息)本身包含的信息量，那是由事件的不确定性决定的。 例如，掷硬币的结果是正消息中包含的信息量(2)相互信息：一个事件与另一个事件相关的信息量，例如今天的雨与明天的雨相关的信息量。 (3)平均自信息量(信息熵):事件集(用随机变量表示)中包含的平均信息量表示源的平均不确定性。 例如投掷硬币的实验中包含的信息量。 (4)平均相互信息：一个事

7、件集给与的另一个事件集的平均信息量，例如今天天气给与的明天天气的信息量。 2.1自我信息和相互信息，2.1.1自我信息随机事件的自我信息量是该事件发生概率的函数，公理化条件：1.应满足严格的减少函数。 当时，概率越小，事件发生的不确定性越大，事件发生后所包含的自我信息量越大的2个界限的情况=0时；=1的情况下=0。 此外，根据直观的概念，两个相对独立的不同消息提供的信息量必须等于各自提供的信息量之和。 证明满足以上公理化条件的函数形式是对数形式。定义2.1随机事件的自信息量被定义为该事件发生概率的对数的负值。 若事件的概率为，则如图2.1所示，该自身信息是上述信息量的定义满足上述公理的条件的函

8、数形式。 表示两个含义：表示事件发生前，发生与事件发生的不确定性大小相等的事件后，可以包含在事件中或提供的信息量。图2.1自信息量、自信息量单位与所使用的对数的底有关。 (1)通常取得对数的底为2，信息量的单位为比特(bit，binary unit )。 如果=1/2，=1比特，即概率等于1/2的事件具有1比特的自信量。 (2)取自然对数(对数以e为底)，信息量的单位为夜晚(nat，natural unit )。 在1夜晚=比特=1.443比特(3)的工序中，以10为底很方便。 以10为对数底，自己信息量的单位是哈特莱(Hartley )。取1哈特莱=比特=3.322比特(4)r为底的对数(r

9、1 )，定义1r进制单位=比特、2.1.2相互信息，将与2.2事件提供的其他事件有关的信息定义为相互信息，用表示。 互信息是关于在知道事件之后被去除的事件的不确定性，并且等于该事件自身的不确定性减去已知事件之后仍存在的不确定性。 相互信息的引出是定量表现信息、信息论发展的重要里程碑。 2.2平均自我信息、2.2.1平均自我信息(信息熵)的概念自我信息量是发送源所在的特定消息中包含的信息量，根据发送的消息所包含的信息量不同。 因此，自己信息量不能用于表现源整体的不确定度。 我们定义平均信息量来表现源整体的不确定度。 平均自我信息量又称为信息熵、信息源熵，简称信息熵。 因为信源具有不确定性，所以用

10、随机变量表示信源，并用随机变量的概率分布描述信源的不确定性。 通常，一个随机变量的所有可能的值以及与它们的可能值对应的概率被称为该概率空间。 另外，对于定义2.3随机变量x的各个可能值的自信息的统计平均值，在这里将随机变量x的平均信息量：定义为q能够是所有x的值的数量。 熵的单位也与所取得的对数底相关，根据所取得的对数底，有比特/符号、夜晚/符号、心形/符号或r进制的单位/符号。 通常是以位/符号为单位。 通常，信息熵不等于接收机平均获取的信息量，因此接收机不能全部消除源的平均不确定性，并且所获取的信息量小于信息熵。2.2.2熵函数的性质，以及信息熵是随机变量x的概率分布的函数，因此也称为熵函

11、数。 如果记为概率分布，则熵函数可以写为概率向量函数的形式。 熵函数具有以下性质：1.对称性：对称性表示熵函数仅与源的整体统计特性相关。 在概率向量中，如果一个分量为1，其他分量一定为0，对熵的贡献都为0，所以熵为0。 也就是说，确定源的不确定度为0。 3 .非负：相对于确定源，等号成立。 源熵不一定是负的，因为源熵是信息的数学期望，而自信息不是负值。 4 .扩展性：这一性质的含义是：通过增加基本上不出现的小概率事件，源的熵不变。 5 .连续性：即源概率空间中的概率分量的微小变化不引起熵的变化。 6 .所谓增加性的性质是因为如果源的n个元素的概率分布被划分成m个元素并且m个元素的概率的和等于元

12、素的概率，则所获得的新源的熵增加并且熵增加是由于划分而不确定的。 7 .极值性：式中，n是随机变量x能取的值的个数。 极值性指示当诸如离散源中的各消息等概率出现时熵是最大的，这是最大离散熵定理。 连续源的最大熵与约束相关。8 .上凸性：为严格的上凸函数，如果对于小于任意1的正数，使凸函数在定义域内成为极大值的不等式成立，则可以利用熵函数的性质来证明熵函数的极大值性。 直观地看，随机变量的不确定度不完全相同。香农指出，存在这种不确定性的尺度，是随机变量的概率分布的函数，并且3个公理条件1 .连续性条件：应该满足连续函数.等概时单调函数：应该增加函数3 .增加条件：随机变量的取法是一次试验随机变量

13、在每次试验中的不确定性应该可以相加，它总是与一次试验中得到的不确定性相同。 其中，2.2.3熵与条件熵相结合，一个随机变量的不确定性能由熵表示的概念可以容易地传播到多个随机变量中。 定义2.4维随机变量的概率空间被表示为满足概率空间的非负和完备性，二维随机变量的联合熵被定义为联合自信息的数学期待，它是二维随机变量的不确定性的尺度。 2.5定义给定时的条件熵：其中表示已知时的平均不确定性。各种熵的关系：1联合熵与信息熵、条件熵的关系：如果该关系能容易地展开为n个随机变量：称为熵函数的连锁规则。 推论：当二维随机变量x，y彼此独立时，联合熵等于x，y各自熵之和： 2条件熵与信息熵的关系： 3联合熵

14、与信息熵的关系： x，y彼此独立时，等号成立。 2.3平均互信息，2.3.1平均互信息的概念将互信息在联合概率空间中的统计平均值定义为随机变量x和y之间的平均互信息：定义2.6，2.3.2平均互信息的性质，以及2 .相互性(对称性): 对称性表示从y获得的x的信息量从x获得的y的信息量3 .如果平均相互信息和各种熵的关系：在统计上是独立的，则4 .极值性表示从一个事件提取另一事件的信息量，并且最多可以是另一事件5 .凸函数性：定理2.1当给定条件概率分布时，平均互信息是输入分布的上凸函数。 定理2.2相对于固定的输入分布，平均互信息量是条件概率分布的下凸函数。2.3.3数据处理定理，为了表现数

15、据处理定理，有必要导入三元随机变量的平均条件相互信息和平均联合相互信息的概念。 定义2.7在给定平均条件相互信息随机变量后，表示与从随机变量中得到的随机变量有关的信息量定义2.8平均联合相互信息2.8平均随机变量中得到的随机变量有关的信息量。 定理2.3 (数据处理定理)当随机变量构成马尔可夫链时，等号成立的条件是任意的，并且将再次说明某个数据处理定理，不管是什么样的信息传输系统，最后得到的信息都是源提供的信息，如果在某个过程中丢失了一些信息，则可以选择后续的系统。 这就是信息不增加的原理，与热熵不减少的原理正好相对应，反映了信息的物理意义。 3.1源的分类及其数学模型3.2离散单符号源3.3离散多符号源*3.4连续源，第三章源和信息熵，源是信息的源，消息(符号)，时间离散消息因为源输出的消息都是随机的，所以可以概率地描述统计特性。 信息论表示在随机变量x、随机矢量x、随机处理中生成消息、消息序列和时间连续消息的源。源的主要问题： 1个源(源的数学建模问题) 2如何计算源中包含的信息量3，如何有效表示源输出的消息，即源代码问题、3.1个源的分类及其数学模型、源的分类有各种方法。 源输出的消息根据时间和取值被离散地或连