第2章 信源与信息熵.ppt

1、,上节内容回顾,1. 信息的基本概念： 信息是事物运动状态或存在方式的不确定性描述。 2. 通信系统的基本模型,主要内容：,上节内容回顾,上节内容回顾,信源编码、信道编码和加密编码的对比,第2章信源与信息熵,信源的描述与分类 离散信源熵和互信息 离散序列信源熵（难点） 连续信源熵和互信息 冗余度,主要内容：,重点,2 .1 信源的描述与分类,信源指产生信息的人或机器，本课程对信源的研究主要是其输出的信息，信息的数学描述和性质。 信息的基本特性是不确定性，即随机性。,一、信源的描述,用随机变量、随机序列或随机过程描述信源输出。,用概率论和数学统计的方法描述信源输出。,用样本空间和概率分布来描述信

2、源输出。,2 .1 信源的描述与分类,二、信源的分类,（1）按照信源发出的信息在时间和幅度上的分布情况：,离散信源：时间和幅度上都离散,连续信源：时间和幅度上都连续,例子？,2 .1 信源的描述与分类,离散信源的统计特性,1、组成离散消息的信息源符号是有限的。,2、在形成消息时，各符号的概率不同。,3、组成消息的基本符号之间有一定的统计特性。,2 .1 信源的描述与分类,二、信源的分类,按照信源发出的各符号之间的关系：,发出符号序列的有记忆信源 发出符号序列的马尔可夫信源,信源,无记忆信源,有记忆信源,发出单个符号的无记忆信源,发出符号序列的无记忆信源,2 .1 信源的描述与分类,三、无记忆信

3、源,定义：信源所发出的各个符号间相互独立 各符号之间没有统计规律，各符号出现的概率 是自身的先验概率。,抛硬币,扔骰子,黑箱摸球,分类：,发出单个符号的信源：信源每次发出一个符号代表一个消息,发出符号序列的信源：发出两个以上符号序列代表一个消息,2 .1 信源的描述与分类,三、无记忆信源,发出单个符号的信源 定义：信源每次发出一个符号代表一个消息,描述方法：采用概率空间的方法进行描述,例：抛硬币、扔骰子,2 .1 信源的描述与分类,例：,抛硬币，用随机变量X表示其输出，则：,样本空间：,概率分布：,概率空间：,2 .1 信源的描述与分类,例：,扔骰子，用随机变量X表示其输出，则：,样本空间：,

4、概率分布：,概率空间：,2 .1 信源的描述与分类,一般情况,样本空间：,概率分布：,概率空间：,2 .1 信源的描述与分类,例：,一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，则随机事件的概率空间为,2 .1 信源的描述与分类,三、无记忆信源,发出符号序列的信源 定义：信源每次两个以上的符号序列代表一个消息,描述方法：采用概率空间的方法进行描述,例：扔骰子,2 .1 信源的描述与分类,例：,扔骰子，用随机变量X表示其输出，则：,样本空间：,概率分布：,概率空间：,2 .1 信源的描述与分类,一般情况,随机序列：,其中：L表示序列长度 xl：有n中取值

5、,随机序列X的样值有多少个？,联合概率：,若各个符号间相互独立,a1 a2 an,2 .1 信源的描述与分类,随机序列：,其中：L表示序列长度 xl：有n中取值,若：（1）L=2 （2） xl有n中取值：a1 a2 an 其概率空间为：,2 .1 信源的描述与分类,四、有记忆信源,发出符号序列的信源 定义：信源发出的各个符号间是有关联的。,描述方法：采用概率空间的方法进行描述,条件概率！,2 .1 信源的描述与分类,四、有记忆信源,符号序列：,概率：,表达的复杂度随着序列的增加而增加。,2 .1 信源的描述与分类,四、有记忆信源,？ 实际上，信源发出的符号往往只与前面若干个符号有较强的依赖关系

6、，随着序列长度的增加依赖关系越来越弱，因此可根据信源的特性和处理时的要求限制记忆长度，使分析和处理简化。,注意,2 .1 信源的描述与分类,五、马尔可夫信源,定义：信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的有限个符号有关。 若把有限个符号记作一个状态S，则信源发出某一符号概率除与该符号有关外，只与该时刻信源所处的状态有关。 比如：,什么叫马尔可夫信源？,2 .1 信源的描述与分类,m阶马尔可夫信源,定义：信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的m个符号有关。,什么叫m阶马尔可夫信源？,如：m=3时,2 .1 信源的描述与分类,m阶马尔可夫信源,定义：信源在某一

7、时刻发出的符号概率除了与该符号有关外，只与此前的m个符号有关。,条件概率：,联合概率：,2 .1 信源的描述与分类,一阶马尔可夫信源,定义：信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的1个符号有关。,条件概率：,联合概率：,2 .1 信源的描述与分类,一阶马尔可夫信源联合概率：,2 .1 信源的描述与分类,马尔可夫信源的状态变量分析,对于m阶的马尔可夫信源，某一时刻i时刻以前出现的m个符号组成的序列：,其中：,将,记作状态,即,则：,共有,种可能取值。,即：状态集,符号序列,状态序列,2 .1 信源的描述与分类,马尔可夫信源的状态变量分析,将符号序列转换成状态序列后，对符号的分析

8、也就变成了对状态的分析，主要研究状态转移概率。,1、状态转移概率,设信源m时刻处于si状态，n时刻处于sj状态，则由si状态转移到sj状态的转移概率可表示为：,可以理解为：m时刻系统处于si状态的条件下，n时刻系 统处于sj状态的条件概率。,2 .1 信源的描述与分类,马尔可夫信源的状态变量分析,2、k步状态转移概率,若n-m=k，此时的状态转移概率称为k步转移概率。,表示：m时刻系统处于si状态，m+k时刻系统处于sj状态的 条件概率。,2 .1 信源的描述与分类,马尔可夫信源的状态变量分析,3、一步状态转移概率,若n-m=1，此时的状态转移概率称为一步状态转移概率。,表示：m时刻系统处于s

9、i状态，m+1时刻系统处于sj状态的 条件概率。,基本状态转移概率,2 .1 信源的描述与分类,马尔可夫信源的状态变量分析,状态转移概率 与m的取值无关，即： 状态转移概率只与系统所处的状态有关，与时刻m无关。,齐次马尔可夫信源,表明：任意时刻只要从状态si转移到状态sj，转移概率相同。,2 .1 信源的描述与分类,马尔可夫信源的状态变量分析,4、转移矩阵,系统在任意时刻可处于状态空间,的任意一个状态，因此状态转移应该是一个矩阵。,转移矩阵通常用一步转移概率来表示：,2 .1 信源的描述与分类,马尔可夫信源的状态变量分析,4、转移矩阵,转移矩阵通常用一步转移概率来表示：,第i行表示从状态si转移到状态空间任意状态的概率，则： 每行的元素都是非负，且每行之和为1 第j列表示从状态空间任意状态转移到状态sj的概率，则： 每列的元素都是非负，但每列之和不一定为1.,2 .1 信源的描述与分类,马尔可夫信源的状态变量分析,5、状态转移图,目的：为了更直观地描述状态之间的转移关系。,画法： （1）每个圆圈代表一种状态。 （2）状态之间