信息论 第三章xin

1、第三章信源及信源熵,信源 描述 输出信息的能力,3.1信源的分类及其数学模型,时间 取值 离散 离散 离散 连续 连续 连续 连续 离散,平稳信源：随机变量的概率分布（统计特性）不随时间改变 非平稳信源：随机变量的概率分布（统计特性）随时间改变 有记忆信源：随机变量有依赖关系或制约关系 无记忆信源：随机变量统计独立,3.2离散单符号信源,特点：消息两两不相容，信源每次输出其中的一个消息。 离散单符号信源的平均不确定性： 用熵来描述,举例,例3.1,3.3离散多符号信源,实际信源输出的往往是符号序列 X=x1x2. . 如：电报 电话 系统,离散平稳信源：对于离散随机变量序列，X1,X2,. .

2、 .在任意两个不同时刻i和j，信源发出的消息序列的概率分布完全相同。,各维联合概率分布均与时间起点无关的信源称为离散平稳信源。 特点：统计特性不随时间推移而变化,即对于任意时刻的,条件概率,离散平稳信源的条件概率分布均与时间起点无关，只与关联长度N有关,得出：,思考：离散多符号信源怎样表示信源的平均不确定性呢？,信源的平均不确定性： 熵率：表示信源的平均不确定性，表示信源输出的符号序列中，平均每个符号所携带的信息量。 定义3.2 随机变量序列中，对前N个随机变量的联合熵求平均：,称为平均符号熵。 如果当N 时上式极限存在，则 称为熵率，或称为极限熵，记为,3.3.1离散平稳无记忆信源 平稳：每

3、个变量的统计特性相同 无记忆：每个随机变量之间统计独立 N次扩展信源的熵等于单符号离散信源熵的N倍。 离散平稳无记忆信源的熵率,举例,3.2 设有一离散无记忆信源X，其概率空间为,求该信源的熵率及其二次扩展信源（信源每次输出两个符号）的熵,举例3.2,有一无记忆信源的符号集为0，1，已知信源的概率空间为,（1）求信源熵 （2）求由m个“0”和（100-m）个“1”构成的某一特定序列自信息量的表达式 （3）计算由100个符号构成的符号序列的熵,3.3.2离散平稳有记忆信源 熵函数的链规则：,证明:,离散平稳信源的结论 （1）条件熵,随N的增加是递减的 证明：,(2)N给定时平均符号熵大于等于条件

4、熵,证明：,（3）平均符号熵 随N的增加是递减的 证明,(4),由于信源输出序列前后符号之间的统计依赖关系，随着序列长度N的增加，也就是随着统计约束条件不断增加，平均符号熵 及条件熵 均随之减少。 当 时 即为熵率，它表示信源输出的符合序列中，平均每个符号所携带的信息熵。,求熵率的两种途径： 1.极限平均符号熵 2.极限条件熵,3.1证明,马尔可夫性： 平稳信源输出的符号序列中，符号之间的相关性可以追溯到最初的一个符号 举例 一篇文章的最后一句话可以一直追溯到开篇第一句话。 如何计算熵率？ 复杂,马尔可夫性：某时刻发出的符号仅与在此之前的有限个符号有关，而与更早些时候发出的符号无关。 马尔可夫

5、信源是一类相对简单的有记忆信源，信源在某一时刻发出某一符号的概率除与该符号有关外，只与此前发出的有限个符号有关。 M阶马尔可夫信源只与前面发出的m个符号有关 1阶马尔可夫信源只与前面一个符号有关,m阶马尔可夫信源，熵率：,举例,3.3信源X的信源模型为,输出符号序列中，只有前后两个符号有记忆，条件概率给出， 求熵率，并比较,3.5二次扩展信源的熵为 ,而一阶马尔科夫信源的熵为 ,试比较两者的大小，并说明原因。,3.3.3马尔可夫信源 M阶 信源有q个可能的输出符号。 信源发出一个符号，状态发生改变。 信源输出符号不确定性问题变成信源状态转换的问题。,举例,举例,齐次马尔可夫链:如果在马尔可夫链

6、中, 从状态 转移到状态 的概率与起始时刻m无关,则称这类马尔可夫链为齐次马尔可夫链,也称为具有平稳转移概率的马尔可夫链 转移概率具有平稳性 遍历性：若齐次马尔可夫链对一切i,j存在不依赖于i的极限：,遍历的马尔可夫信源熵率: (1)齐次的马尔可夫信源:视作平稳的信源来处理 遍历的马尔可夫信源都是齐次的 遍历的马尔可夫信源:视作平稳的信源来处理 (2) m阶马尔可夫信源: 只与最近的m个符号有关.,举例3.6,3.6一个马尔可夫过程的基本符合为0，1，2，这3个概率等概率出现，并且具有相同的转移概率 （1）画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1和信源剩余度。 （2

7、）画出二阶马尔可夫过程的状态图，并求稳定状态下的二阶马尔可夫信源熵H2和信源剩余度。,3.7一阶马尔可夫信源状态转移图如图所示，信源X的符号集为（0，1，2） （1）求平稳后的信源的概率分布 （2）求信源熵 （3）求当p=0或p=1时信源的熵，并说明理由,3.3.4信源的相关性和剩余度,信源符号集有4个符号，最大熵为2bit 由于符号间的相关性和不等概分布极限熵减少到1.2bit/符号 信源存在冗余？,冗余度来自两个方面：符号间的相关性； 信源输出消息不等概分布,举例,心肌梗塞患者病情发展各个阶段时病人血清中蛋白质谱的信息指标。为此，我们先就一健康人的血清中蛋白质谱的分布为例，说明求信息指标的方法。利用纸上电泳法，得出血清中蛋白质种类的百分含量，列于下表。,我们再介绍一例心肌梗塞患者初期病情发展的信息分析资料。在临床实践研究中，人们对重病患者与轻病患者在得病期间的血清中蛋白质谱的信息指标做了计算，所得结果列于下表。为了对照所见，对与病人生活在同一地区的、同年龄、同性别、同民族的健康人血清中蛋白质谱的信息指标作了计算。,第四章信道及信道容量,信道:信息传输的通道 空间传输:电缆 光纤 光纤通信是以光波为载体，以光纤为传输媒质的一种通信方式。光纤通信技术是世界新技术革命的重要标志，是未来信息社会中各种信息网的主要传输工具 . 主